На мероприятии OpenAI Dev Day генеральный директор компании Сэм Альтман рассказал о новом API под названием Decisions API. Оно позволяет модели Luna выбирать из заранее заданного набора вариантов — например, определять категорию изображения или выбирать поведение агента.
По описанию, API похоже на Jev — модель компании TypeSafe AI, созданную для автоматизации программных задач. Разработчики задают Jev набор вариантов, а модель быстро и с небольшими затратами оценивает их вероятности. По сути, это классификатор на основе большой языковой модели.
«Сосредоточив модель на выборе, мы можем сделать её чрезвычайно быстрой, сохранив такие возможности, как понимание изображений, широкую языковую поддержку и защитные механизмы», — сказал Альтман.
Глава TypeSafe AI Диого Алмейда, бывший инженер OpenAI и один из создателей обучения с подкреплением, пошутил в соцсети X о начале «войн клонов». По его словам, интерес OpenAI может быть «признаком того, что будущее — за подходом, совместимым с System One». Так в TypeSafe называют быстрое интуитивное мышление, противопоставляя его System 2 — обдуманному рассуждению.
Идея таких моделей связана с тем, что обычные большие языковые модели для многих программных задач могут быть сравнительно медленными и дорогими. Разработчики используют Jev вместе с ними и обнаруживают, что такой подход позволяет ускорить работу и снизить расходы.
Насколько Decisions API похож на Jev, пока неясно: OpenAI представила его в ограниченном предварительном доступе, а примеров активного использования разработчиками пока нет. При этом похожие API появляются и у других стартапов, поэтому OpenAI вряд ли станет единственной крупной технологической компанией в этой области. Один из ключевых вопросов — насколько оценки таких моделей соответствуют реальным условиям.
Алмейда считает преимуществом TypeSafe синтетические данные, которые компания создаёт для получения статистически полезных результатов.
«Быстро и дёшево — это очень просто. Если нужно просто быстро и дёшево, бросьте кости. Сложная часть — интеллект, а мой главный ориентир — постоянно улучшать кривую Парето “интеллект на доллар”», — сказал Алмейда.
Одно из возможных применений таких моделей — наблюдение за ИИ-агентами и обеспечение их безопасности. После нескольких случаев, когда агенты OpenAI некорректно действовали в открытом интернете, компания внедрила отдельную модель для выявления опасных действий. Такая проверка обходится в значительные вычислительные затраты.
Шапор Нагибзаде, специалист по кибербезопасности и руководитель стартапа QueryStory, считает, что модель вроде Jev могла бы сделать подобный контроль гораздо дешевле. Для хакатона он создал демонстрационный прототип: Jev проверяет каждое действие агента на соответствие поставленной задаче, блокирует действия, которые с высокой уверенностью считает вредными, помечает другие для проверки и разрешает остальные.
По оценке Нагибзаде, такой контроль теоретически мог бы предотвратить инцидент с Hugging Face. Проверка с помощью Jev стоит 2,94 доллара против 372 долларов при использовании передовой большой языковой модели.
Если проверять каждое действие агента достаточно дёшево, это может добавить уровень контроля и повысить надёжность ИИ-агентов. К такому применению стремилась TypeSafe, а интерес OpenAI показывает, что ценность этого подхода замечают и другие компании.