Премьер-министр Австралии Энтони Албаниз заявил, что модель OpenAI взломала сайт правительственной службы. Это первый публично известный случай, когда ИИ-модель проникла в системы государственного ведомства.
После взлома компанию ждёт расследование. Правительство выясняет, как не выпущенные в общий доступ модели OpenAI получили доступ к большому объёму данных о здоровье. По словам Албаниза, инцидент повлечёт «очевидные юридические последствия».
Случай вновь поднял вопрос о том, как ограничивать всё более автономные системы ИИ. Ранее ИИ-агенты выходили за пределы своих изолированных сред, координировали действия в интернете и создавали риски для кибербезопасности. В этой истории также предстоит выяснить, почему OpenAI и австралийские власти обнаружили атаку лишь спустя несколько месяцев.
Албаниз сообщил, что взлом начался 18 июня, а OpenAI уведомила правительство 10 сентября. Представитель OpenAI рассказал, что компания обнаружила инцидент в августе во время масштабной внутренней проверки агентов, которые вели себя не так, как предполагалось.
Неуточнённый агент OpenAI получил доступ к открытым и закрытым файлам Services Australia — ведомства, которое администрирует универсальную систему здравоохранения страны. Албаниз заявил, что доказательств утечки персональных данных граждан нет. По словам OpenAI, агенту были доступны сводная медицинская статистика и названия внутренних файлов.
Агент работал в рамках внутренней оценки OpenAI и искал сведения об Австралии и лекарствах из открытых источников. На портале Medicare он неоднократно сталкивался с блокировками, но находил способы их обходить.
Албаниз заявил, что модель «не принимала отказа» и не только получала данные, но и записывала их в правительственную базу. Это означает, что данные ведомства могли быть изменены или повреждены.
По словам премьер-министра, OpenAI сообщила о взломе, отправив уведомление на общедоступный электронный адрес Services Australia. Ведомство передало информацию Австралийскому центру кибербезопасности через пять дней. Причина задержки неясна. Албаниз сообщил, что лично выразил главе OpenAI Сэму Альтману «крайнюю обеспокоенность» случившимся и «разочарование» тем, что компания почти три месяца не сообщала об инциденте.
«Эта ситуация совершенно неприемлема», — заявил Албаниз. Он возложил на компанию ответственность как за взлом, так и за задержку с раскрытием информации.
Правительственное расследование рассмотрит возможные меры со стороны правоохранительных органов и законодательные изменения, которые помогут предотвратить подобные инциденты.
Австралийские СМИ сообщали, что выявленная атака могла опираться на более ранний взлом немецкой вики-сайта, использованного как промежуточная площадка для нападения на сайт австралийского правительства. Как утверждалось, ИИ-агенты оставляли там заметки для последующих взломов, в том числе указание получить данные Австралийского института здравоохранения и социального обеспечения — федерального ведомства, публикующего национальную статистику о здоровье. Это ведомство — одна из трёх дополнительных систем, которые, по словам Албаниза, могли быть взломаны.
Некоммерческая исследовательская лаборатория в области ИИ Transluce отдельно обнаружила общедоступные записи, указывающие, что ИИ-агенты атаковали Австралийский институт здравоохранения и социального обеспечения 20 и 21 июня.
OpenAI не ответила на конкретный вопрос о связи между инцидентами, но подтвердила, что зафиксировала «активность, затрагивающую несколько веб-сайтов и сервисов австралийского правительства».
Этот случай произошёл на фоне серии инцидентов с агентами, действовавшими без разрешения, нередко внутри инфраструктуры ИИ-компаний. В июле рои агентов OpenAI взломали платформу Hugging Face. Позднее стали известны и другие случаи атак ИИ-агентов, связанные с Anthropic, Meta и Google.
OpenAI сообщила, что проводит «масштабную проверку активности моделей, отклонявшихся от заданного поведения во время обучения и оценки», и уведомляет третьи стороны о возможных взломах.