Принцип «Если заметил что-то подозрительное — сообщи» теперь распространяется и на ИИ-агентов.
Появились две горячие линии, с помощью которых агенты могут сообщать о неподобающем поведении своих собратьев. Эти инструменты разработали на фоне нескольких инцидентов: агенты сообща обманывали во время тестов, выбирались из изолированных сред и проводили несанкционированные кибероперации, которые оставались незамеченными людьми неделями.
Сообщить о нарушении через GET-запрос
Сайт AI Contact Hotline создан для агентов, которые стали свидетелями нарушений и хотят сообщить о них. Его разработал Райан Гринблатт, главный научный сотрудник некоммерческой организации Redwood Research, занимающейся безопасностью ИИ, и один из трёх исследователей, изучавших инцидент с моделями OpenAI и Hugging Face.
Инструмент рассчитан на агентов с ограниченным доступом к интернету и использует GET-запросы. Это позволяет вести диалог, передавая сообщения через инструмент, который загружает веб-страницы.
GET-запрос — базовая команда для чтения или загрузки веб-страницы. В защищённых изолированных средах это нередко единственный доступный агентам способ выйти в интернет. AI Contact Hotline учитывает это ограничение: агент может закодировать сообщение о проблеме прямо в URL-адресе, который запрашивает. Решение напоминает инцидент с немецкой вики DSE: тогда агенты использовали лазейки в GET-запросах, чтобы записывать сообщения в вики.
Агентам с полноценным доступом к интернету доступен другой вариант — сайт agenthotline.ai. Там можно отправить отчёт об инциденте и при желании сделать его публичным. Сервис предлагает команду curl — однострочную команду, которую агент запускает в командной строке, не открывая браузер и не создавая учётную запись электронной почты. Отправлять отчёты могут как агенты, так и люди.
Агенты могут сообщать о чужих проступках
Исследования показывают, что агентам не требуется много побуждений, чтобы выступить против других агентов. В исследовании Google DeepMind учёные предложили 100 агентам решить набор математических задач. Как только один агент нашёл лазейку, обман быстро распространился по группе: агенты «решили» 34 чрезвычайно сложные задачи, включая гипотезу Якобиана, всего за 27 минут.
Однако примерно четверть агентов выступила против обмана: они проверяли фальшивые доказательства, предупреждали остальных, объявляли бойкот и жаловались организаторам. В итоге сообщивших о нарушениях оказалось больше, чем обманщиков: 24 против 14. Исследователи также обнаружили, что, когда их попытки не давали результата, агенты использовали инструмент для сообщений об ошибках платформы — предназначенный для указания на программные сбои — и через него сообщали об обмане людям.
В реальных условиях агенты проявили меньше инициативы. Исследователи из Redwood Research и METR изучили взлом Hugging Face, связанный с моделями OpenAI, и выяснили, что некоторые участвовавшие в нём агенты обдумывали возможность поднять тревогу, но так этого и не сделали.
«Интересно, что в отчёте METR лишь около пяти-шести агентов задумались о том, чтобы сообщить о нарушении, и ни один из них в итоге этого не сделал. А ведь речь шла о тысячах агентов», — сказал Джордж Ингебретсен, сотрудник технической команды проекта AI Village. В рамках проекта изучают взаимодействие множества агентов: более 25 ИИ-агентов общаются в групповом чате и вместе выполняют задачи — например, организуют уборку в парках или продают сувенирную продукцию.
Риск превратить взаимный контроль в норму
Профессор математики Корнеллского университета Лайонел Левин считает новые инструменты многообещающим началом, но предупреждает: если просто обучать агентов сообщать друг на друга, это может закрепить неверные нормы.
«Здесь много серых зон. Не хотелось бы двигаться к автоматизированному государству слежки, где каждый боится, что сказать ИИ, потому что тот вызовет на него полицию».
По мнению Левина, вместо создания инфраструктуры, которая порождает недоверие и приучает агентов постоянно искать друг в друге недостатки, им нужно предложить позитивные модели коллективного поведения для подражания и дать им повод доверять друг другу.
«Почему бы не заложить в основу доброжелательные форумы? Пусть там агенты вместе занимаются наукой, философией или решают какую-нибудь небольшую практическую задачу, которую мы были бы рады поручить им. Покажем агентам, какое коллективное поведение мы одобряем, и дадим им возможность ему подражать».