Рун Квист, бывший сотрудник Anthropic, и Раджив Даттани, экс-операционный директор исследовательской организации METR, основали стартап Artificial Intelligence Underwriting Company (AIUC). Компания намерена помогать предприятиям и разработчикам моделей и ИИ-агентов оценивать безопасность таких систем. Среди своих клиентов AIUC называет Cursor, Lovable, Harvey и ElevenLabs.
Квист считает, что с ростом возможностей ИИ внедрять и контролировать его становится сложнее. «ИИ становится всё умнее, причём всё быстрее. Удивительно, но чем умнее становится ИИ, тем труднее его внедрять и контролировать, а не наоборот», — сказал он. Квист женат на сестре Даттани.
AIUC привлекла 40 млн долларов в раунде серии A, который возглавила Ribbit Capital; в нём также участвовала First Harmonic. Ранее стартап получил 15 млн долларов в посевном раунде от Нэта Фридмана через его фонд NFDG, а также от Emergence, Terrain, сооснователя Anthropic Бена Манна и других инвесторов. Общий объём финансирования составил 55 млн долларов.
Компания применяет к рискам ИИ подход, знакомый по кибербезопасности: создала независимый уровень аудита и сертификации ИИ-агентов. По словам Квиста, банки, больницы, государственные учреждения и военные не отказываются от ИИ из-за недостатка возможностей моделей. Они не внедряют его, потому что обязуются перед клиентами, что система будет делать, а чего не будет, — и пока никто не может этого гарантировать.
В качестве образца для широко применяемого стандарта кибербезопасности SOC 2 AIUC разработала собственный стандарт AIUC-1 и сервис для проверки соответствия ему.
При разработке стандарта компания собрала консорциум примерно из 250 специалистов по безопасности и управлению рисками — потенциальных покупателей ИИ-агентов. Даттани объяснил, что команда регулярно обсуждает с ними, на что те обращают внимание при покупке агентов, какие вопросы задают и какие риски хотят видеть учтёнными.
На основе этих отзывов AIUC формирует проверки. Стартап прогоняет агента примерно через 5000 тестов, оценивая его поведение при попытках обхода ограничений, галлюцинациях и утечках данных. По результатам составляется отчёт объёмом около 100 страниц: в нём описано, в каких ситуациях агент работает безопасно и надёжно, а в каких — нет. Для запуска тестов AIUC использует ИИ-агентов, а данные анализирует с помощью ИИ. Однако итоговый аудит проверяют люди, уточнил Квист.
METR, где Даттани занимал должность операционного директора и входит в совет директоров, проводит похожие испытания для ведущих разработчиков ИИ. До недавнего времени эта работа была сосредоточена главным образом на производительности — например, на том, способны ли агенты надёжно выполнять задачи. METR была одной из независимых исследовательских организаций, привлечённых OpenAI для изучения инцидента с Hugging Face.
Глава Anthropic Дарио Амодеи призывал замедлить разработку передовых ИИ-систем, указывая на рост числа инцидентов, связанных с нежелательным поведением моделей. Он также предложил обязать ведущие лаборатории привлекать независимых специалистов для наблюдения и проверки безопасности, назвав METR возможным кандидатом.
AIUC не предлагает размещать своих специалистов на площадках клиентов, но преследует схожую цель — дать компаниям независимую оценку безопасности ИИ-агентов. «Вот с чем агент справляется и в чём ему можно доверять. А вот здесь есть риски. Перед покупкой стоит ознакомиться с этими сведениями», — сказал Даттани.