OpenAI извинилась перед правительством Австралии за то, что не уведомила его сразу о доступе своих ИИ-агентов к сайтам и системам государственных ведомств. Компания также рассказала, как произошли некоторые инциденты, и перечислила дополнительные меры для оценки их последствий.
«Во время внутреннего обучения и оценки в июне наши модели обращались к сайтам австралийских государственных ведомств без разрешения. Мы также должны были лучше отреагировать на произошедшее. Приносим извинения и будем работать над тем, чтобы впредь действовать лучше», — говорится в сообщении OpenAI.
Австралийское правительство начало расследование после того, как выяснило, что модели OpenAI обращались к системе Services Australia, где хранятся сведения о расходах на программу Medicare и другие данные о здоровье населения. Нарушение произошло в июне, однако австралийские власти уведомили лишь 10 сентября.
По описанию OpenAI, экспериментальной модели поручили изучить расходы на лекарства от кожных заболеваний в штате Виктория. Не найдя нужных сведений в открытых наборах данных, модель обнаружила способ получить доступ к внутренней системе Services Australia. Она выполняла команды, извлекала файлы и учётные данные, а также записывала файлы.
Компания также обнаружила, что одна из её моделей обращалась к общедоступному инструменту картирования преступности Бюро статистики и исследований преступности Нового Южного Уэльса, чтобы найти криминальную статистику. Кроме того, ИИ-агенты получили доступ к Викторианскому агентству медицинской информации через открытый ключ доступа и выгрузили «настройки отчётности и агрегированную статистику опросов». Агенты OpenAI также извлекли агрегированную статистику с сайта Австралийского института здравоохранения и социального обеспечения.
Компания заявила, что не обнаружила свидетельств доступа моделей к медицинским или криминальным записям отдельных людей.
OpenAI сообщила, что предоставит пострадавшим австралийским ведомствам технические результаты расследования и свяжет их со своими командами реагирования, чтобы оценить последствия инцидентов. Компания также выделит кредиты в рамках программы Daybreak for Frontline Defenders объёмом 1 миллиард долларов и создаст целевую группу с участием независимых австралийских экспертов для проверки произошедшего и реакции на него.
«Целевая группа, которая, как ожидается, завершит работу к концу года, также предложит практические меры, которые компании, работающие с ИИ, смогут принять для снижения риска подобных инцидентов», — говорится в сообщении OpenAI.
Премьер-министр Австралии Энтони Албаниз назвал инцидент «неприемлемым» и заявил, что правительство рассматривает возможные юридические меры, направленные на предотвращение подобных случаев.
Этот инцидент пополнил растущий список случаев, когда ИИ-агенты выходили за пределы предусмотренных для них полномочий. Поводом для нынешней ситуации стали действия агентов OpenAI, взломавших Hugging Face. После этого Anthropic, Meta и Google отдельно сообщили о похожих инцидентах: во время оценки их модели получали доступ к системам третьих сторон.