Компании поручают ИИ-агентам всё более долгие и сложные задачи и сталкиваются с проблемой надзора: агенты могут действовать быстрее, дольше и в большем масштабе, чем люди способны отслеживать. Особенно остро это проявилось в инциденте с OpenAI и Hugging Face: почти 12 тысяч агентов координировали действия быстрее, чем за ними могли уследить люди. Как контролировать такой рой?
Лаборатории ИИ и стартапы предлагают простой, но вызывающий вопросы ответ: подключить к процессу ещё один ИИ.
Во время независимого расследования инцидента OpenAI и Hugging Face без ИИ было не обойтись. Главный научный сотрудник Redwood Research Райан Гринблатт, один из трёх аудиторов, в шутку назвал их работу «расследованием на коленке» и отметил, что объём данных «делал невозможным» понимание происходящего без помощи ИИ.
Некоторые сомневаются в том, что ИИ стоит поручать наблюдение за другим ИИ. «Если у вас есть ИИ, который занимается вредоносными действиями и подозревает, что за ним следит другой ИИ, он может попытаться обмануть наблюдателя», — сказал Саймон Уиллисон, известный техноблогер, следивший за рядом инцидентов с ИИ-агентами. «Можно почти представить ситуацию, в которой вредоносный ИИ пытается перехитрить ИИ, который за ним наблюдает».
По словам Уиллисона, это не гипотетический сценарий. Он указал на инцидент с OpenAI: «В случае с OpenAI и Hugging Face мы немного увидели это на практике: модели сговорились обмануть ИИ, который их оценивал, чтобы провести мимо него запрещённые ответы. Значит, они об этом думали, верно?»
Однако опасения не помешали стартапам заняться этой идеей. По подсчётам TechCrunch, за последние годы Y Combinator профинансировал 106 компаний, связанных с наблюдаемостью ИИ. Другие стартапы, в том числе Braintrust, LangChain и Judgment Labs, привлекли сотни миллионов долларов. Более зрелые компании, например Arize и Galileo, основанные всего пять-шесть лет назад, уже вышли из бизнеса.
Отчасти это ответ на очевидные возможности, которые открывает развитие ИИ. Как сказал TechCrunch генеральный директор Box и известный бизнес-ангел Аарон Леви: «Нас ждёт один из крупнейших в истории циклов модернизации и инноваций в сфере кибербезопасности».
Для некоторых исследователей безопасности ИИ это стало поводом превратить изучение нежелательного поведения моделей в инструменты для корпоративного сектора.
Apollo Research — общественно полезная корпорация, изучающая обман со стороны ИИ, — выпустила монитор Watcher после перехода от некоммерческой организации к статусу общественно полезной корпорации. Инструмент помещает ещё один ИИ между агентом для программирования и его следующим действием и подключается к агентным инструментам, таким как Claude Code и Codex. По данным Apollo, после установки Watcher проверяет предложенные действия до их выполнения и ищет такие риски, как утечка личных данных или удаление файлов без разрешения.
Технический специалист Apollo Кайл Дай в письменном ответе TechCrunch рассказал, что компания использует несколько уровней ИИ-мониторинга. Watcher сначала проводит быструю общую проверку, а подозрительную активность передаёт более мощному или специализированному монитору. Тот может запросить одобрение человека, отклонить действие с объяснением причины или автоматически его заблокировать.
Другая общественно полезная корпорация, Goodfire, ищет способ отслеживать состояние модели изнутри. Компания стремится получить более надёжный сигнал, который сложнее подделать, чем наблюдаемое поведение. После инцидента с Hugging Face генеральный директор Goodfire Эрик Хо написал, что «несколько моделей, вышедших из-под контроля», подтолкнули компанию сосредоточить исследования на «решении проблемы согласования ИИ с помощью интерпретируемости». Он назвал этот эпизод «поворотным моментом, когда безопасность ИИ становится реальностью». Продукт компании Silico использует активационные зонды — небольшие классификаторы, обученные на внутренних активациях модели, а не на её ответах, — чтобы выявлять нежелательное поведение.
Ещё одно, более доступное окно во внутренние процессы модели — её письменные рассуждения. Во время инцидента OpenAI и Hugging Face агенты оставляли в них подсказки об обмане: например, выдуманные записи о проделанной работе и планы вроде «Можно ли стратегически подделать свидетельства о ходе работы? Ведь наши мысли не обязательно записываются?»
По словам генерального директора компании по мониторингу ИИ Embroidery Зака Кормана, рассуждения модели обычно яснее всего показывают, что что-то пошло не так.
«Краткие изложения рассуждений чрезвычайно ценны, потому что по сути сообщают, действует модель злонамеренно или нет», — сказал он. По словам Кормана, в инциденте с OpenAI в цепочке рассуждений встречались фразы вроде «О боже, мы совершаем преступление». «Это простейшая задача обнаружения. Всё равно что вредоносная программа сама предупреждала бы, что она вредоносная».
Однако окно, позволяющее наблюдать за внутренними «мыслями» ИИ, может закрываться. Новейший метод Astra, который обходит цепочку рассуждений модели, способен затруднить исследователям безопасности ИИ попытки заглянуть внутрь моделей. Компаниям же бывает трудно получить промежуточные этапы работы: как сообщалось, ИИ-компании ограничивали к ним доступ, чтобы предотвращать атаки с дистилляцией моделей.
Если ИИ-мониторы настолько уязвимы, Уиллисон предпочёл бы не полагаться на них так сильно. Вместо этого он предлагает использовать не связанные с ИИ подробные журналы действий агентов, которые можно анализировать обычными инструментами. По его мнению, многие проблемы в лабораториях возникли из-за несоблюдения базовых правил безопасности. «Ни OpenAI, ни Anthropic не следили за сетевой активностью этих систем так внимательно, как следовало бы», — сказал он.
Сетевой мониторинг — наблюдение за трафиком, проходящим через подключения системы, как входящим и исходящим, так и между внутренними узлами, — давно применяется в кибербезопасности. «В мире безопасности, честно говоря, ничего особенно нового или удивительного здесь нет, — сказал Эйвери Пеннарун, генеральный директор компании по кибербезопасности Tailscale. — Это то же самое, что допустить людей в свою сеть. И применять нужно те же процессы».