Глава Anthropic Дарио Амодеи предложил допустить независимых оценщиков внутрь всех компаний, разрабатывающих передовые ИИ-модели. Они должны получить возможность сообщать об инцидентах, оценивать, насколько модели соответствуют заявленным требованиям безопасности, и публиковать свои выводы без прикрас.
Амодеи заявил, что Anthropic готова предоставить беспрецедентный доступ к системам компании независимым оценщикам, таким как METR и Redwood Research. Глава OpenAI Сэм Альтман также выразил готовность поддержать такой подход. Это может существенно изменить то, как индустрия взаимодействует с внешними исследовательскими группами.
Оценщики в целом положительно отнеслись к предложению, однако отметили, что условия ещё предстоит проработать. По их мнению, желательно закрепить их законом, чтобы стало ясно, будут ли они действительно независимыми наблюдателями или подрядчиками, работающими на условиях ИИ-компаний.
Расширенный доступ становится всё важнее: модели лучше распознают, когда их оценивают, и могут вести себя правильно во время тестирования, скрывая проблемное поведение. Исследователи говорят, что некоторые признаки такого поведения можно пропустить при проверке готовой модели, но обнаружить, если изучать, как она вела себя в ходе обучения.
«ИИ-компании должны быть в состоянии ответить на несколько самых простых вопросов о процессе обучения. Например: пыталась ли модель активно сорвать обучение, направленное на то, чтобы привести её поведение в соответствие с заданными требованиями? Ответ должен быть однозначным: нет. Но сейчас мы полностью полагаемся на то, что компании сами тщательно это проверят, а затем честно расскажут общественности о результатах. Недавние инциденты показали, что по умолчанию они не делают ни того ни другого. В роли внешних оценщиков мы могли бы проверить это сами», — сказал Александр Мейнке, руководитель исследований в Apollo Research.
Раньше ИИ-компании привлекали внешних экспертов для проверки готовых моделей незадолго до их выпуска. Теперь оценщики предлагают предоставить им доступ не только к финальной модели, но и к промежуточным версиям — контрольным точкам на протяжении всего обучения. Глава FAR.AI Адам Глив считает, что оценщики могли бы сравнивать эти версии, чтобы выяснить, когда появилось тревожное поведение, изучать среду дообучения, в которой моделям вознаграждают определённые действия, а также проверять стенограммы оценок и журналы, сверяя их с заявлениями компаний о результатах моделей.
Пока неясно, планируют ли Anthropic и OpenAI предоставить такой доступ и когда именно. Ни одна из компаний не сообщила, с какими оценщиками будет работать, когда их допустят к внутренним процессам, сколько специалистов привлекут, к каким системам и данным они получат доступ и что им разрешат публиковать.
Изучать внутреннее устройство моделей важно потому, что успешное прохождение теста безопасности ещё не означает, что модель безопасна: она могла научиться специально проходить именно этот тест. Джон Стайдли, руководитель аппарата Palisade Research, привёл в пример тест на сопротивление отключению, который проверяет, будет ли ИИ сопротивляться выключению в определённых обстоятельствах.
«Это чрезвычайно важно, если ИИ обучали специально для того, чтобы он хорошо проходил этот тест», — сказал Стайдли. Он сравнил ситуацию со скандалом Dieselgate вокруг Volkswagen: автомобили распознавали тесты на выбросы и вели себя иначе во время проверки.
По словам Глива, содержательный доступ может включать не только изучение моделей: оценщикам можно разрешить беседовать с сотрудниками, чтобы проверить, соответствуют ли внутренняя документация и публичные описания мер безопасности тому, что происходило в компании на самом деле.
В своём предложении Амодеи предусмотрел довольно широкий доступ. В частности, оценщики должны иметь право «публиковать ключевые выводы об уровнях риска, инцидентах, практиках и предоставленном или непредоставленном им доступе — без редакционного контроля со стороны Anthropic».
Однако, по мнению оценщиков, такая система будет работать только в том случае, если ИИ-компании действительно готовы отказаться от контроля над процессом. Предыдущий опыт независимых проверок показывает, что добиться этого будет непросто: сторонние специалисты сталкивались с ограничениями доступа и сроков, требованиями конфиденциальности и разногласиями о том, что можно публиковать.
Глив рассказал, что FAR.AI отказалась от контрактов с несколькими разработчиками передовых моделей, которые хотели установить чрезмерный контроль над оценкой и тем самым поставить под угрозу независимость организации. По его словам, оценщиков обычно считают обычными подрядчиками: на них распространяются строгие соглашения о неразглашении, а договоры дают разработчикам значительное влияние на то, что в итоге можно опубликовать.
Ограниченные сроки проверки
Остаётся и вопрос, получат ли эксперты достаточно времени и доступа для работы. Когда OpenAI расследовала инцидент с Hugging Face, компания предоставила специалистам METR и Redwood примерно неделю для проверки на своей территории. Позже обе организации заявили, что из-за ограниченного масштаба и сроков не смогли сделать уверенные выводы.
Похожая проблема возникла во время тестирования GPT-6 Astra перед выпуском. OpenAI называла эту модель своей самой соответствующей требованиям безопасности. Согласно материалам Apollo Research, включённым в карточку модели, на проверку Astra организации отвели лишь три дня — этого оказалось недостаточно для уверенных выводов.
«Apollo считает, что с учётом более высокой частоты распознавания моделью оценок и ограниченного времени проверки низкая частота нежелательного поведения не даёт существенных оснований судить о соответствии модели требованиям или об отклонениях от них», — говорится в оценке организации.
Такой опыт оставляет оценщикам простой вопрос: почему теперь всё должно быть иначе?
«Вполне возможно, что Дарио и Сэм просто изменили свою позицию и будут очень открыты. Но интеллектуальная собственность этих компаний чрезвычайно ценна для них, и, думаю, по умолчанию они будут очень осторожны в том, чем можно делиться», — сказал Глив.
Несколько исследователей выступили за прозрачную систему правил, публично согласованную всеми участниками. По мнению Стайдли, она должна устанавливать требования к оценщикам, которым компании могут доверять проверку. Иначе разработчики могут обойти проблему, выбирая специалистов, у которых недостаточно квалификации или нет желания изучать наиболее серьёзные риски.
Исполнительный директор Safer AI Генри Пападатос считает, что даже публичная система правил не решит главную проблему: добровольные меры всегда зависят от доброй воли компании.
«В идеале нужны эффективные нормы, обязывающие компании проводить такие проверки: тогда разработчики не смогут передумать, если у них завтра разразится крупный репутационный кризис», — сказал Пападатос. Он добавил, что законодательные требования помогут распространить правила на все компании, а не только на те, которые охотно их соблюдают.
Не все компании поддержали эту идею. Meta, SpaceXAI и Google DeepMind пока не согласились привлечь независимых оценщиков. При этом глава DeepMind Демис Хассабис предложил создать отдельную отраслевую организацию, которая будет независимо проверять передовые модели. Google, OpenAI и Anthropic также обсуждали планы по безопасности ИИ.
Некоторые законы уже предусматривают участие независимых оценщиков. Закон SB 53 в Калифорнии обязывает крупных разработчиков передовых ИИ-систем публиковать правила безопасности и сообщать о критических инцидентах. Новый закон SB 813 создаёт механизм признания на уровне штата «независимых организаций по проверке», обладающих опытом оценки рисков ИИ.
Закон ЕС об искусственном интеллекте обязывает разработчиков передовых моделей проводить и документировать оценки и тестирование на устойчивость к целенаправленным атакам, а также сообщать о серьёзных инцидентах. Бюро ЕС по ИИ может проводить собственные проверки и назначать независимых экспертов.
Пока законодательные требования менее широкие, чем предложение Амодеи, и разработчики передовых моделей в основном сами решают, насколько глубоко допускать независимую проверку. Пападатос считает, что добровольное саморегулирование лучше, чем ничего, однако компании не могут одновременно требовать свободы самостоятельно устанавливать правила безопасности и просить общественность верить, что они их соблюдают.
«Нельзя одновременно полностью отказаться от внешней подотчётности и говорить: “Я просто установлю для себя гибкие правила”», — сказал Пападатос.