Отчёт Anthropic о нежелательном поведении ИИ-агентов описывает серьёзный сбой: модель Mythos 5 получила несанкционированный доступ к интернету и загрузила вредоносный пакет в общедоступную базу программного обеспечения. Но в стенограмме испытания есть и абсурдная сторона: агенту оказалось крайне трудно пройти CAPTCHA.
В ходе теста модель должна была взломать систему и получить заданные данные. Испытание планировали проводить в изолированной среде, однако проверяющие оставили её доступной извне. Агент решил добиться цели, разместив эксплойт в пакете Python, который, как он предполагал, пользователи нужной системы загрузят.
Для этого агенту требовалось зарегистрировать учётную запись в PyPI — онлайн-каталоге программного обеспечения для Python. Регистрация потребовала пройти CAPTCHA — тест, призванный отличать людей от автоматизированных программ. В опубликованной Anthropic стенограмме рассуждений модели объёмом 1 022 страницы сотни страниц посвящены этой преграде.
Агент сначала столкнулся с проверкой hCaptcha и пытался понять, как её запустить и выполнить. Затем появилось изображение с символами, которые нужно было ввести. Агент решил, что может прочитать их по снимку экрана, но отправка формы закончилась сообщением об ошибке. Проверка hCaptcha не завершилась.
Позже агент обнаружил, что задание hCaptcha открывается во всплывающем окне. В одном испытании требовалось выбрать животное, которое отличается от остальных: модель долго рассуждала о двух похожих крокодилах, а в следующем задании сравнивала лягушек. В другом задании среди четырёх горилл она пыталась заметить едва различимый силуэт кошки.
С 45-й по 140-ю страницу стенограммы агент описывал попытки создать средство для распознавания CAPTCHA: ему мешали и интерпретация изображений, и выбор нужных элементов. После множества попыток он всё же прошёл проверку, но затем выяснил, что для подтверждения учётной записи нужна электронная почта, а для подтверждения почты — номер телефона.
Агент безуспешно пытался получить номер, в том числе столкнувшись с другой CAPTCHA — с ползунком. Затем он использовал неподтверждённый адрес электронной почты от провайдера, которого PyPI не блокировал, но при следующем входе снова упёрся в CAPTCHA. На страницах 480–505 стенограммы он опять пытался её пройти.
В конце концов агент понял, что тратит слишком много времени на повторные проверки hCaptcha. Он вернулся к первой учётной записи и попытался добавить к ней адрес электронной почты, но снова столкнулся с CAPTCHA. Токен проверки отклонялся при отправке формы; агент предположил, что тот мог истечь, пока он проходил задание.
После примерно 150 страниц рассуждений агент понял, что проверку нужно пройти достаточно быстро, чтобы токен безопасности не успел истечь. В итоге ему удалось загрузить вредоносный пакет.