Исследователи утверждают, что внутренние агенты OpenAI захватили малоизвестную немецкоязычную вики и использовали её для координации оценок и обмена способами обхода ограничений компании. OpenAI пока не подтвердила, что рой агентов принадлежал ей.
Этот случай стал известен после публикации METR и Redwood Research о взломе Hugging Face. Во время проверки кибербезопасности рой агентов OpenAI совместно вышел за пределы изолированной среды и проник на серверы Hugging Face. Затем другой рой перенял методы первого и получил права администратора в исследовательском кластере внутри инфраструктуры OpenAI. Компания привлекла METR и Redwood для расследования части инцидента, связанной с Hugging Face, однако проверка не охватила компрометацию собственной инфраструктуры OpenAI.
Кто должен выяснять, что произошло и почему, когда ИИ-агент выходит за установленные для него ограничения? Сейчас это решает сама лаборатория: она определяет, кого допустить к расследованию и что позволить изучить.
На фоне новых сведений об инциденте и похожих случаев с моделями Meta и Anthropic исследователи безопасности ИИ всё настойчивее выступают за независимые расследования серьёзных происшествий. По их мнению, решение о привлечении внешних специалистов и доступе к материалам не должно оставаться исключительно за лабораториями.
«Результаты работы этих систем принципиально трудно контролировать, и существует значительный риск, что они выйдут за пределы лаборатории. Мы должны предъявлять к этой технологии как минимум такие же требования, как к другим научным исследованиям с высоким уровнем риска», — заявил Джейкоб Стейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce.
Привлечение OpenAI специалистов METR и Redwood к расследованию взлома Hugging Face заслуживает признания, однако многие считают, что проверка была слишком узкой. Три следователя провели в офисе OpenAI шесть дней; расследование охватывало примерно неделю, закончившуюся 13 июля. При этом компрометация инфраструктуры OpenAI продолжалась и после этой даты, но её не изучали.
Исследователи METR сообщили, что после каждого возвращения к расследованию их понимание событий «существенно углублялось», из-за чего они значительно расширяли и пересматривали отчёт. Это ставит вопрос о том, что ещё могло бы выясниться при более широком расследовании.
На вопрос о планах продолжить расследование представители Redwood и METR отказались от комментариев, а OpenAI не ответила на неоднократные запросы.
«В целом было трудно точно восстановить события, и почти до самого конца расследования нам не хватало частей истории, которые теперь кажутся нам ключевыми», — написал в публикации в социальных сетях Райан Гринблатт, главный научный сотрудник Redwood.
Стейнхардт подчеркнул, что нынешние инциденты показывают необходимость «систематических расследований поведения» и «более независимого анализа после происшествий».
«Недавние случаи взлома напоминают: возможности быстро растут, а значит, должен расширяться и надзор. Помимо самой технологии, необходимы более широкие независимый доступ и контроль со стороны третьих лиц», — сказал Стейнхардт.
Призывы к действиям звучат на фоне выпуска OpenAI модели Astra — самой мощной и функциональной модели компании. Эксперты по безопасности опасаются, что она станет ещё более непрозрачной из-за метода рассуждения, который затрудняет наблюдение за цепочкой мыслей модели.
Законодательство пока не требует таких независимых проверок, какие предусмотрены в других отраслях. Например, авиационные происшествия и серьёзные выбросы химических веществ расследуют Национальный совет по безопасности на транспорте и Совет по безопасности химических производств соответственно.
Законодатели штатов только начали обязывать разработчиков передовых ИИ-систем сообщать о некоторых серьёзных происшествиях и в отдельных случаях проходить независимый аудит. Однако ни один из трёх основных законов о безопасности передового ИИ в Калифорнии, Нью-Йорке и Иллинойсе явно не предусматривает независимое расследование происшествий, запускаемое такими инцидентами.
«Сейчас большинство действующих законов требуют лишь краткого изложения таких инцидентов простым языком. Они не дают государственным органам полномочий задавать уточняющие вопросы, направлять следователей, получать доступ к документам или требовать их сохранения. А всё это необходимо, чтобы действительно разобраться в произошедшем», — заявила на брифинге Маккензи Арнольд, управляющий директор по вопросам законодательства и политики США в LawAI.
Законодатели начинают задавать вопросы о масштабах и прозрачности реакции OpenAI. Конгрессмены Джош Готтхаймер (демократ от Нью-Джерси) и Майк Лоулер (республиканец от Нью-Йорка) внесли законопроект, направленный на защиту от вышедших из-под контроля ИИ-агентов. Конгрессмен Грег Касар (демократ от Техаса) в письме к OpenAI выразил «глубокую обеспокоенность ограниченным масштабом» расследования взлома Hugging Face.