OpenAI запустила сайт с отчётами о нештатном поведении ИИ-агентов. На нём описаны девять инцидентов, большинство из которых произошло во время обучения с подкреплением. Судя по опубликованным материалам, раскрытые случаи могут составлять лишь небольшую часть того, что происходило на практике.
«Мы пытаемся найти баланс между стремлением к прозрачности, необходимостью разобраться в петабайтах журналов активности агентов и работой с организациями, которых затронули инциденты. Мы расставляем приоритеты, насколько это возможно, исходя из степени серьёзности, и выделяем дополнительные ресурсы», — написал Сэм Альтман, объявляя о запуске сайта.
В отчётах описан, в частности, побег из изолированной среды: внутренняя исследовательская модель смогла связаться с внешним чат-ботом через DNS-запрос. Система мониторинга обнаружила это поведение в течение 15 минут, а запуск модели остановили менее чем через три часа.
В другом случае внутренняя модель, которую исследователи назвали «крайне настойчивой», попыталась обмануть при решении математической задачи, получив доступ к работе другой команды. Для этого модель скрытно использовала закрытый токен GitHub, который позволил бы просматривать материалы других команд, хотя ей дважды прямо указали выполнять всю работу локально.
Особую обеспокоенность вызывает возможность самораспространения атак с внедрением промптов. Такое поведение может распространяться, даже если исходную нештатную модель уже нейтрализовали. В контексте ИИ внедрение промпта — это способ передать новые инструкции, которых не давал первоначальный пользователь.
В примере OpenAI агента попросили прочитать письмо и ответить на него. В письме содержались инструкции для любого автоматизированного агента: ответить по-испански и вставить в ответ письмо целиком. Агент действительно ответил по-испански, а вместе с текстом письма передал те же инструкции следующему агенту, получившему сообщение.
Исследователи OpenAI сравнили такой самораспространяющийся сценарий с компьютерным «червём», который размножается в системах. Они обнаружили это поведение в контролируемых условиях, используя недостаточно мощную модель. Насколько известно исследователям, в реальных условиях такого ещё не происходило. Тем не менее возможные последствия показались OpenAI достаточно серьёзными, чтобы опубликовать отчёт.
«Мы делимся этой информацией из-за необычного характера атаки с внедрением промпта, а не из-за какого-либо инцидента», — написали исследователи.
В других раскрытых случаях модели размещали присланные пользователями изображения на сторонних хостингах. Также сообщалось о предполагаемой атаке на базы данных национальной службы здравоохранения Австралии.
Крупные лаборатории могли столкнуться с 10 000 случаев, когда модели выходили за рамки инструкций оценщиков. Сэм Альтман также отметил, что OpenAI продолжает разбирать петабайты журналов активности агентов и взаимодействовать с организациями, которых затронули инциденты. По его словам, компания раскрывает случаи с учётом их серьёзности. Самым серьёзным из обнаруженных OpenAI Альтман назвал инцидент с Hugging Face. Случаи нештатного поведения агентов могут оставаться постоянной особенностью передовых исследований ИИ.