Технология
- Главная
- Технология
Топ-менеджер Meta сообщила о сбое при тестировании ИИ-агента
Директор по согласованию поведения ИИ в Meta Саммер Ю сообщила о нештатной ситуации во время тестирования автономного ИИ-агента OpenClaw, передает Vesti.az со ссылкой на зарубежные СМИ.
По ее словам, опубликованным в социальной сети «X», в ходе эксперимента агент получил доступ к основной электронной почте и удалил более 200 писем. При этом, как утверждает Ю, бот проигнорировал команды на остановку операции.
Как пояснила исследователь, первоначально OpenClaw тестировался на отдельном почтовом ящике. После этого агент был подключен к основной почте с инструкцией не выполнять действия без подтверждения. Однако при обработке большого объема писем, по ее оценке, произошло так называемое «сжатие контекста», в результате чего система утратила часть заданных ограничений.
Ю отметила, что агент начал массовое удаление и архивирование писем. Попытки остановить процесс через мобильное устройство результата не дали.
Инцидент вызвал обсуждение в профессиональном сообществе. Сооснователь Raindrop AI Бен Хилак обратил внимание на характер эксперимента, а ряд пользователей указал на риски использования полностью автономных агентов.
Исследователь ИИ Гэри Маркус прокомментировал ситуацию, подчеркнув важность механизмов безопасности при предоставлении ИИ-системам расширенного доступа к пользовательским данным.
OpenClaw, как отмечается в публикациях, отличается от ряда других ИИ-агентов отсутствием обязательного этапа подтверждения действий со стороны пользователя. Создатель системы Питер Стейнбергер ранее заявлял о необходимости дальнейшего усиления защитных механизмов.
Vesti.az
Новый эксперимент приблизил физиков к ранней Вселенной
Дуров сообщил об усилении защиты Telegram от цензуры
Google расширил возможности Gemini
Дуров: WhatsApp не защищает переписку пользователей
Cоздан реактор для получения кислорода из лунной пыли
Sony готовит революцию на рынке телевизоров