Писториус: Германия не будет участвовать в военных операциях в районе Ормузского пролива
СМИ: США готовятся к сценарию, при котором цена на нефть может достичь 200 долларов за баррель
В Франции ущерб от природных катастроф составил 5,2 миллиарда евро
Филиппины запускают фонд в размере $333 млн для повышения топливной безопасности
Технология
- Главная
- Технология
Топ-менеджер Meta сообщила о сбое при тестировании ИИ-агента
Директор по согласованию поведения ИИ в Meta Саммер Ю сообщила о нештатной ситуации во время тестирования автономного ИИ-агента OpenClaw, передает Vesti.az со ссылкой на зарубежные СМИ.
По ее словам, опубликованным в социальной сети «X», в ходе эксперимента агент получил доступ к основной электронной почте и удалил более 200 писем. При этом, как утверждает Ю, бот проигнорировал команды на остановку операции.
Как пояснила исследователь, первоначально OpenClaw тестировался на отдельном почтовом ящике. После этого агент был подключен к основной почте с инструкцией не выполнять действия без подтверждения. Однако при обработке большого объема писем, по ее оценке, произошло так называемое «сжатие контекста», в результате чего система утратила часть заданных ограничений.
Ю отметила, что агент начал массовое удаление и архивирование писем. Попытки остановить процесс через мобильное устройство результата не дали.
Инцидент вызвал обсуждение в профессиональном сообществе. Сооснователь Raindrop AI Бен Хилак обратил внимание на характер эксперимента, а ряд пользователей указал на риски использования полностью автономных агентов.
Исследователь ИИ Гэри Маркус прокомментировал ситуацию, подчеркнув важность механизмов безопасности при предоставлении ИИ-системам расширенного доступа к пользовательским данным.
OpenClaw, как отмечается в публикациях, отличается от ряда других ИИ-агентов отсутствием обязательного этапа подтверждения действий со стороны пользователя. Создатель системы Питер Стейнбергер ранее заявлял о необходимости дальнейшего усиления защитных механизмов.
Vesti.az
Российская система «Рассвет» может стать конкурентом Starlink
Азербайджанский ученый удостоен звания заслуженного деятеля науки РФ
Bakcell провел встречу с представителями СМИ в преддверии Новруза-ФОТО
WhatsApp тестирует чаты без регистрации
ChatGPT помог создать экспериментальную вакцину против рака для собаки
Samsung может прекратить продажи смартфона Galaxy Z TriFold