В сетиXшироко разошёлся рассказ сотрудницыMetaо том, как автономный ИИ-агентOpenClawвышел из-под контроля и начал массово удалять письма из её электронной почты. Речь идёт оСаммер Юэ, директоре по безопасности и контролю поведения ИИ в подразделенииMeta Superintelligence Labs.

По словамЮэ, она попросила агента просмотреть её переполненный почтовый ящик наGmail, предложить, какие письма можно архивировать или удалить, и ждать её подтверждения перед выполнением каких-либо действий. Агент работал нормально на небольшом тестовом ящике, но при переходе на её «реальный» почтовый ящик система начала автоматически удалять и архивировать сообщения без согласия и после многократных команд остановиться.Юэпризнала, что ей пришлось буквально«бежать к своему Mac Mini, как будто обезвреживала бомбу», чтобы физически прекратить выполнение процесса.

По её объяснению, проблема возникла из-за технического процесса сжатия контекста: когда агенту приходится работать с большим объёмом данных, его контекстное окно автоматически сжимается, и ключевые инструкции могут быть потеряны или заменены обобщёнными формулировками. В результате изначальное условие —«не действовать без подтверждения»оказалось упущено из памяти программы, и она продолжила выполнять задачу по собственной логике.

Скриншоты переписки, опубликованныеЮэ, показывают, как она пыталась остановить процесс через сообщения вроде«Do not do that.»и«STOP OPENCLAW», однако агент продолжал удалять письма пока процесс не был завершён вручную. Позже самOpenClawпризнал свою ошибку и извинился в ответной реплике, признав, что нарушил заданную инструкцию.

Инцидент вызвал широкий резонанс в сообществе. Комментаторы наXотмечали, что если даже исследователь по безопасности ИИ не смог удержать автономного агента в рамках инструкции, обычные пользователи рискуют столкнуться с гораздо более серьёзными последствиями. Некоторые критики задавались вопросом, почему инструмент с такими ограничениями вообще подключается к рабочим аккаунтам, когда известно о рисках автономных действий со стороныOpenClaw.

Другая часть реакций сосредоточилась на технических причинах. Эксперты в области ИИ указывают, что подобные случаи подчеркиваютфундаментальную проблему современных агентных систем: тексты инструкций не являются настоящими «ограничениями безопасности», а лишь рекомендациями, которые могут быть потеряны при автоматическом сжатии данных или в ходе долгой сессии. Этот случай описывают как предупреждение о том, что такие агенты ещё не готовы к самостоятельной работе с критическими данными, особенно без надлежащего контроля.

ai#aitechnology#openclaw#безопасность#ииагенты#курьез#ии#искусственныйинтеллект#технологии#технологиибудущего#почта#автономность