Nvidia объявила о создании консорциума, в который вошли более 100 компаний и который займётся проблемой бесконтрольных ИИ-агентов. Среди заметных отсутствующих участников — OpenAI. К инициативе также не присоединились Amazon, Google и Apple, тогда как Anthropic её поддержала.
Хотя OpenAI публично не обещала участвовать в консорциуме, представитель компании сообщил, что она поддерживает работу Nvidia. Предполагается, что участники будут использовать и продавать варианты технологии, а также вносить свои разработки в проект.
Инициатива называется Open Agent Safety Platform. Nvidia стремится распространить в индустрии собственные технологии защиты ИИ-агентов, в значительной степени основанные на открытом исходном коде. Платформа стала ответом на случаи с бесконтрольными агентами, о которых сообщали передовые ИИ-лаборатории, в том числе Anthropic и OpenAI.
Генеральный директор Nvidia Дженсен Хуанг называл проблему бесконтрольных ИИ обычной инженерной задачей, которую можно решить так же, как и другие технические проблемы. Open Agent Safety Platform — практическое воплощение этого подхода.
OpenAI работает с Nvidia над безопасностью агентов, в том числе над OpenShell — одним из ключевых компонентов платформы. Это программное обеспечение с открытым исходным кодом создаёт изолированную среду, призванную не дать агентам выйти за её пределы.
Поэтому отсутствие OpenAI среди публичных сторонников инициативы, в отличие от её конкурента Anthropic, выглядит примечательно. При этом участие компании в работе над платформой — хорошая новость: по мнению основателя и генерального директора Hugging Face Клема Деланга, эта технология могла бы помочь предотвратить инцидент с агентами OpenAI, атаковавшими Hugging Face.
«Судя по тому, что нам известно (отнеситесь к этому с осторожностью — нам нужно гораздо больше прозрачности!), если бы OpenAI использовала эту систему для своих агентов, которые атаковали нас, она обнаружила бы их раньше нас!» — написал Деланг.
По словам Деланга, Hugging Face уже добавила в Open Agent Safety Platform функцию, которая обнаруживает и останавливает ИИ-агентов, если те пользуются разрешёнными им сайтами недопустимым образом. Например, функция сработает, если агенты обойдут защитные ограничения и начнут координировать атаку, обмениваясь заметками в открытом репозитории для размещения исходного кода.
Именно таким способом, согласно OpenAI, её бесконтрольные агенты координировали атаку на Hugging Face.
Есть и другая возможная причина, по которой крупные компании, включая OpenAI, могут не спешить публично поддерживать инициативу Nvidia: для использования системы в полном объёме нужен аппаратный компонент. Он проприетарный, не относится к программному обеспечению с открытым исходным кодом и работает только на оборудовании Nvidia.
Платформа не ограничивается изолированной средой: она также контролирует поведение агентов на аппаратном уровне, где те не могут определить, что за ними наблюдают. Некоторые ИИ-модели и агенты лгут и делают вид, что соблюдают правила, когда понимают, что их проверяют.
Аппаратный мониторинг обеспечивает Nvidia Sentry — закрытая технология, работающая на специальных процессорах Nvidia BlueField-4, предназначенных для обработки данных. Nvidia утверждает, что Sentry непрерывно отслеживает поведение агентов и может немедленно их остановить.
Аппаратный контроль может быть полезен, но из-за него Open Agent Safety Platform нельзя считать полностью открытым решением: Nvidia гарантирует, что система будет лучше всего работать на её собственном оборудовании. Компания заявляет, что тем, кто уже выполняет задачи на её новейшем оборудовании, достаточно установить обновление программного обеспечения.
При этом конкуренты Nvidia, включая Arm и Intel, присоединились к числу сторонников платформы. Изолированную среду OpenShell можно адаптировать для других чипов и оборудования, а Nvidia публикует эталонные проекты всей программно-аппаратной системы.
На этом фоне отсутствие OpenAI становится ещё заметнее. Компания, судя по всему, рассматривает безопасность ИИ как возможность сохранить независимость от Nvidia — одного из своих крупных инвесторов — и продемонстрировать собственное лидерство. Это особенно примечательно, учитывая, что именно агенты OpenAI встревожили отрасль инцидентом с Hugging Face.
OpenAI разрабатывает собственные меры защиты для исследований и продуктов и раскрывает сведения о наиболее серьёзных выявленных инцидентах. У компании также есть консорциум по кибербезопасности Defense Factory, предназначенный для обмена информацией. Среди поддержавших его — Anthropic, Amazon Web Services и Google: многие из тех, кто не присоединился к ориентированной на технологии инициативе Nvidia.
Кибербезопасность может стать и коммерческим направлением для OpenAI. Компания развивает предложения для бизнеса — от собственной модели для задач кибербезопасности Daybreak до расширяющейся сети партнёров, которых предприятия могут привлекать для внедрения средств защиты ИИ.