Технология
- Главная
- Технология
Топ-менеджер Meta сообщила о сбое при тестировании ИИ-агента
Директор по согласованию поведения ИИ в Meta Саммер Ю сообщила о нештатной ситуации во время тестирования автономного ИИ-агента OpenClaw, передает Vesti.az со ссылкой на зарубежные СМИ.
По ее словам, опубликованным в социальной сети «X», в ходе эксперимента агент получил доступ к основной электронной почте и удалил более 200 писем. При этом, как утверждает Ю, бот проигнорировал команды на остановку операции.
Как пояснила исследователь, первоначально OpenClaw тестировался на отдельном почтовом ящике. После этого агент был подключен к основной почте с инструкцией не выполнять действия без подтверждения. Однако при обработке большого объема писем, по ее оценке, произошло так называемое «сжатие контекста», в результате чего система утратила часть заданных ограничений.
Ю отметила, что агент начал массовое удаление и архивирование писем. Попытки остановить процесс через мобильное устройство результата не дали.
Инцидент вызвал обсуждение в профессиональном сообществе. Сооснователь Raindrop AI Бен Хилак обратил внимание на характер эксперимента, а ряд пользователей указал на риски использования полностью автономных агентов.
Исследователь ИИ Гэри Маркус прокомментировал ситуацию, подчеркнув важность механизмов безопасности при предоставлении ИИ-системам расширенного доступа к пользовательским данным.
OpenClaw, как отмечается в публикациях, отличается от ряда других ИИ-агентов отсутствием обязательного этапа подтверждения действий со стороны пользователя. Создатель системы Питер Стейнбергер ранее заявлял о необходимости дальнейшего усиления защитных механизмов.
Vesti.az
Panasonic передает управление ТВ-бизнесом китайской Skyworth
Инвестиции в ИТ и связь Азербайджана выросли в 2,3 раза
Nissan пересмотрел планы по Leaf третьего поколения
Privacy Display: как Samsung скроет экран от посторонних-ВИДЕО
Bloomberg: iPhone 18 Pro и Pro Max могут выйти в насыщенном красном оттенке
ФСБ пытается оправдать замедление Telegram