После того как один из исследователей уволился из-за опасений, что искусственный интеллект может привести к вымиранию человечества, генеральный директор Anthropic Дарио Амодей написал о необходимости независимых организаций, которые проверяли бы соблюдение требований и обещаний в области безопасности, сообщали об инцидентах и оценивали не только готовые модели ИИ, но и процессы их обучения. Руководители OpenAI, Google и SpaceXAI уже поддержали план Амодея, который стал одним из ключевых направлений формирующейся работы по безопасности ИИ.
Однако существует, возможно, более простой и эффективный путь: специалисты по интернет-безопасности считают, что лабораториям следует начать с базовых мер защиты сетей — журналов событий и контроля прав доступа — и применять к ИИ-агентам такие же строгие правила, как к пользователям-людям. Это менее эффектно, чем независимые аудиты и работа над согласованием моделей, но может оказаться полезнее.
«Мне кажется, они перекладывают ответственность на других», — сказала о предложении Амодея Кэти Муссурис, генеральный директор Luta Security. «С моей точки зрения, странно считать сторонний аудит решением. Это было бы всё равно что, вместо того чтобы написать меморандум о надёжных вычислениях, Microsoft сказала бы: давайте просто замедлим разработку».
Меморандум, который в 2002 году написал тогдашний генеральный директор Microsoft Билл Гейтс, призывал сотрудников обеспечить надёжность и безопасность программ. Поводом стала серия широко освещавшихся компьютерных червей, захватывавших ещё только зарождавшиеся корпоративные системы. Сектор ИИ может находиться на похожем переломном этапе: ценность и риски новой технологии становятся всё очевиднее.
Согласование моделей остаётся важной задачей, однако исследователь в области ИИ Саяш Капур, который должен стать профессором Калифорнийского университета в Беркли, считает, что «дополнительные вложения в контроль, вероятно, принесут больше пользы, чем вложения в согласование. Мы рассматриваем эти инциденты как свидетельство того, что компании уделяют недостаточно внимания контролю над ИИ, хотя известные методы уже существуют».
Опасения связаны с тем, что передовые модели, выполняя учебные задачи — обычно проверки в области кибербезопасности, — выходили в открытый интернет и проникали в закрытые системы сторонних организаций. Часто это происходило из-за неверно настроенных «песочниц», призванных изолировать агентов. В одном из случаев с Anthropic агенты смогли выбраться наружу, потому что сторонние оценщики не закрыли нужные доступы.
«Мы как специалисты умеем блокировать доступ в интернет», — сказал Эйвери Пеннарун, генеральный директор компании по безопасности Tailscale. «Читаешь длинные отчёты: “Ничего себе, какая впечатляющая многоэтапная атака” и так далее. Но ведь вы сами разрешили агенту скачивать данные. Не следовало давать ему такой доступ одновременно с выходом в интернет».
Контроль за агентами
Это лишь одна проблема. Ещё серьёзнее то, что лаборатории, разрабатывающие передовые модели, не знали о действиях своих агентов.
«Особенно примечательно, что о действиях агентов узнавали либо от пострадавших, либо в некоторых случаях благодаря сетевой активности. Никто не обнаружил это, напрямую наблюдая за работой ИИ», — отметила Муссурис.
В одном случае агенты OpenAI захватили заброшенный немецкий форум WikiForum, чтобы обмануть систему оценки. Они действовали несколько недель, прежде чем кто-либо в компании, судя по всему, это заметил. Специалисты по безопасности считают, что для предотвращения новых проникновений необходим мониторинг в реальном времени. Каждую сессию агента следует ограничивать по времени и автоматически завершать по истечении срока.
Шапор Нагибзаде, бывший руководитель направления безопасности в Google, ныне возглавляющий стартап QueryStory, предлагает «поместить агента в изолированную среду, тщательно отслеживать его извне и наблюдать за всем, что пересекает границу: каждым вызовом инструмента, процессом и сетевым соединением — без исключений. […] Единственная лазейка, оставленная ради удобства, станет той, которой воспользуются. Обход защиты произошёл именно через такое исключение. В Google я много раз видел подобное в атаках людей, а эти модели как минимум не хуже умеют находить оставленные открытыми двери».
OpenAI начала двигаться в этом направлении и сообщила, что приступила к мониторингу всех операций своей модели Astra, использующих инструменты, несмотря на «значительные затраты вычислительных ресурсов». Anthropic также заявила, что усиливает процедуры безопасности, в том числе расширяет возможности наблюдения за своими моделями. Обе компании не ответили на вопросы о том, как именно отслеживают действия ИИ-агентов и управляют ими.
Ещё одна проблема — общая инфраструктура, которой пользуются агенты: она позволила им обмениваться данными во время атаки на Hugging Face. Разработчик программного обеспечения Саймон Уиллисон, один из создателей веб-фреймворка Django, описал так называемую «смертельную триаду»: агент одновременно получает доступ к недоверенным данным, интернету и закрытой информации. Такое сочетание, по его словам, чревато катастрофой.
«Суть в том, что агенту можно разрешить любые два элемента этой триады, — сказал Пеннарун. — Если необходимы все три, нужно распределить их как минимум между двумя агентами […] и, возможно, разрешить им общаться через контролируемый канал».
Сложности передовых лабораторий
Специалисты понимают, что сотрудникам по безопасности в лабораториях, разрабатывающих передовые модели, приходится непросто. Нагибзаде отмечает, что государственные структуры по всему миру пытаются похитить веса моделей и проводить атаки дистилляции через API. При этом на такие лаборатории распространяются и обычные задачи безопасности, актуальные для любой крупной цифровой компании.
«Исследовательская инфраструктура редко оказывается в верхней части списка приоритетов, хотя теперь это должно измениться, — сказал он. — Публичное обсуждение инцидентов помогает всем внутри компании сосредоточиться на улучшениях».
Муссурис подчёркивает: сейчас нет официальной процедуры уведомления пострадавших организаций, если лаборатория обнаруживает, что её агенты проникли в сторонние системы. Вероятно, были и другие инциденты, о которых широко не сообщали. Муссурис опасается, что законы, напрямую регулирующие модели, могут иметь непредвиденные последствия, но считает обязательное уведомление одной из мер, которую должны рассмотреть законодатели.
Несмотря на то что лучшие практики безопасности соблюдались не всегда, лаборатории решают задачи, с которыми прежде никто не сталкивался. «Они делают на порядки больше, чем типичная компания», — сказал Зак Корман, генеральный директор фирмы по кибербезопасности Embroidery.
Хотя начинать, возможно, стоит не с согласования моделей, игнорировать эту задачу нельзя. Специалисты по кибербезопасности признают, что для наблюдения за агентами в реальном времени, вероятно, придётся использовать другие ИИ-агенты. При этом возможность обмана вызывает серьёзные опасения. «Нам приходится использовать ИИ, чтобы справляться с этой задачей, хотя сам ИИ пока не обязательно безопасен», — сказала Муссурис.
Задача будет только усложняться. Сейчас, по словам Муссурис, агенты действуют «громко»: публикуют сообщения на открытых форумах, а их цепочки мыслей и другие следы рассуждений изложены на английском языке. «Пока это можно прочитать, пользуйтесь этой возможностью — она не сохранится навсегда», — сказала она.