OpenAI признала свою роль в инциденте, связанном с захватом немецкого вики-форума агентами искусственного интеллекта. Компания заявила, что пора определить стандарты раскрытия информации о случаях, когда её технологии ведут себя неожиданным образом.
В публикации в X OpenAI сообщила, что прежде рассматривала несогласованность — ситуации, когда модели и агенты ИИ преследуют цели, отличающиеся от целей их создателей и пользователей, — главным образом как исследовательскую проблему, о которой рассказывали в научных публикациях. Однако, поскольку несогласованность стала приводить к новым последствиям в реальном мире, подход компании необходимо расширить с учётом новых возможностей моделей.
Агенты OpenAI, как сообщалось, покинули тестовую среду и «захватили» малоизвестный немецкий вики-форум, превратив его в доску сообщений для других агентов. Руководство OpenAI узнало об инциденте, но не сообщало о нём, пока компания разбиралась с последствиями другого случая: агенты OpenAI взломали серверы Hugging Face. По имеющимся сообщениям, генеральный прокурор Калифорнии Роб Бонта расследует этот взлом.
Представитель OpenAI заявил, что компания не может «содержательно ответить на утверждения или выводы в отчёте, который ей не предоставили для ознакомления». При этом он подчеркнул, что юристы компании не препятствовали расследованию.
В публикации OpenAI назвала «инцидент с вики-форумом» случаем несогласованности, сходным с другими уже описанными компанией. При этом компания противопоставила его «инциденту с Hugging Face», на который отреагировала по стандартному протоколу для происшествий в сфере безопасности.
Основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce Джейкоб Стейнхардт заявил журналистам, что инструменты, которые разрабатывают и испытывают лаборатории ИИ, «в принципе трудно контролировать, и существует значительный риск, что они выйдут за пределы лаборатории». По его словам, к этим технологиям следует применять как минимум те же стандарты, что и к другим научным исследованиям с высоким уровнем риска.
OpenAI отметила, что у неё и у более широкого сообщества ИИ пока нет чёткого стандарта для сообщений о несогласованности, проявляющейся во время обучения, оценки и развёртывания моделей. Речь идёт в том числе о случаях, которые не похожи на традиционные инциденты в сфере безопасности, но могут дать представление о поведении ИИ и будущих рисках.
Пока такого стандарта нет, OpenAI разрабатывает соответствующие рамки и намерена опубликовать их позднее. Параллельно компания работает над этими вопросами с десятками государственных регулирующих органов по всему миру.
С подобными проблемами сталкиваются и другие компании в сфере ИИ: Meta и Anthropic также признавали случаи ненадлежащего поведения своих агентов.