Vercel добавила Microsoft Decision-1 в AI Gateway, расширив небольшую, но важную категорию моделей, созданных для типизированной классификации, маршрутизации и оценки, а не для генерации открытого текста.
Выпуск от 9 октября означает, что разработчики могут вызывать модель с помощью решения Vercel AI SDK API, OpenAI-совместимого решения API или TypeSafe-совместимого API, используя имя модели microsoft/microsoft-decision-1. Vercel утверждает, что пользователям нужен только ключ AI Gateway API, без отдельной учетной записи Azure или развертывания.
Изменение узкое с точки зрения продукта, но оно указывает на более широкий сдвиг в разделении инфраструктуры приложений AI. Растущая доля производственной работы ИИ – это не болтовня. Он решает, является ли обращение в службу поддержки связанным с выставлением счетов или техническим, следует ли перейти к следующему этапу рабочего процесса, соответствует ли ответ ИИ критерию или какая нижестоящая модель должна обрабатывать запрос. Decision-1 предоставляет этим рабочим нагрузкам более понятный интерфейс.
Что изменилось
Decision-1 предназначен для ответа на вводимые вопросы о тексте. Вместо того, чтобы возвращать объяснения в свободной форме, Vercel утверждает, что может возвращать вероятности, варианты выбора и оценки. Это делает его пригодным для задач, где приложению нужен структурированный ответ, который он может использовать немедленно.
В качестве примера использования Vercel перечисляет классификацию запросов на поддержку, выбор этапов рабочего процесса и оценку критериев ответа ИИ. Это не гламурные приложения, но они часто встречаются в корпоративных системах искусственного интеллекта. Они также, как правило, находятся на критическом пути принятия решений по стоимости, задержке и качеству.
Упаковка шлюза имеет значение. Предоставляя Decision-1 доступ через AI Gateway, Vercel делает модель доступной через тот же тип поверхности управления, который разработчики уже используют для других вызовов AI. Для групп, стандартизирующих OpenAI-совместимый API шлюз, это уменьшает операционные трудности при тестировании модели принятия решений без создания другого пути учетной записи поставщика.
Это также соответствует недавнему шагу OpenAI по отделению типизированных вызовов принятия решений от общих генеративных вызовов. Дело не только в том, что доступна другая модель. Дело в том, что категория интерфейса становится все более заметной среди поставщиков и шлюзов.
Почему типизированные вызовы для принятия решений имеют значение
Большинство платформ LLM изначально были организованы вокруг чата, генерирующего токены, и завершающих вызовов. Такая форма не всегда идеальна для классификации, маршрутизации, оценки и проверки политик. Системе может потребоваться ограниченный ответ, показатель уверенности или небольшой набор разрешенных вариантов выбора, а не абзац.
Типизированные модели принятия решений могут облегчить обоснование этих вызовов. Если приложение запрашивает, принадлежит ли входящее сообщение к одной из пяти категорий, структурированный ответ с вероятностями легче регистрировать, сравнивать и проверять, чем ответ на естественном языке, который необходимо анализировать постфактум.
Это различие становится более важным по мере того, как системы искусственного интеллекта становятся более автоматизированными. Решение о маршрутизации может определить, будет ли запрос направлен на дешевую модель, на премиальную модель, в очередь проверки человеком или по заблокированному пути. Оценка по критериям может определить, будет ли показан покупателю ответ, сгенерированный ИИ. Классификатор может решить, какая команда получит запрос на поддержку.
Для разработчиков практические последствия являются архитектурными. Сообщения о принятии решений не следует рассматривать как просто короткие подсказки в чате. Это отдельный тип рабочей нагрузки с разными ожиданиями в отношении задержки, детерминированности, наблюдаемости и распределения затрат. В зрелом стеке эти вызовы должны быть видны на информационных панелях наряду с чатом, изображениями, видео, встраиванием и трафиком агентов.
Кто затрагивается
Непосредственной аудиторией являются разработчики, уже использующие Vercel AI Gateway или Vercel AI SDK.Они могут протестировать Decision-1, не настраивая отдельное развертывание Azure, что сокращает усилия, необходимые для сравнения его с другими моделями, позволяющими принимать решения.
Команды по разработке продуктов и платформ могут ощутить влияние в более широком смысле. Если в компании используются десятки рабочих процессов ИИ, вызовы классификации и маршрутизации часто становятся скрытой инфраструктурой. Они могут быть встроены в автоматизацию поддержки, операции продаж, модерацию контента, внутренних агентов или конвейеры оценки. Как только эти вызовы перейдут на шлюз, команды смогут начать управлять ими как первоклассным классом трафика.
Это имеет очевидные последствия для LLM API атрибуции затрат. Звонки по принятию решений могут быть дешевле, чем длительные генеративные вызовы, но они могут выполняться с гораздо большей интенсивностью. Платформа поддержки может классифицировать каждое входящее сообщение. Агентская система может оценивать несколько возможных следующих шагов для каждой задачи. Конвейер контроля качества может оценивать каждый сгенерированный ответ перед выпуском.
Для компаний, использующих внутренние платформы в стиле B2B LLM, урок прост: поток решений должен помечаться, измеряться и управляться отдельно, где это возможно. Если все запросы на ИИ объединяются в одну общую корзину расходов на LLM, команды теряют возможность видеть, связаны ли затраты с генерацией с участием пользователей, фоновой маршрутизацией, оценкой или автоматическими проверками политик.
Практические последствия для команд платформы ИИ
Добавление Decision-1 должно побудить команды платформы пересмотреть то, как они моделируют рабочие нагрузки ИИ внутри компании. мультимодельный шлюз AI API больше не ограничивается лишь заменой одной модели чата на другую. Ему все чаще приходится поддерживать различные классы задач: генерацию, извлечение, создание изображений и видео, использование инструментов агента, пакетную обработку, а теперь и вызовы типизированных решений.
Это влияет на ведение журнала. Трассировки запросов должны фиксировать не только поставщика и модель, но также тип задачи, класс ввода, возвращаемый выбор, достоверность, задержку и последующие действия. Если модель принятия решений неправильно определяет проблему клиента, командам нужен способ восстановить то, что произошло.
Это также влияет на оценку. Точность типизированной модели принятия решений измеряется иначе, чем качество ответа чат-бота. Командам понадобятся размеченные наборы данных, матрицы путаницы, пороговое тестирование и планы отката. Модель, которая хорошо работает для сортировки заявок на выставление счетов, может оказаться ненадежной для классификации, чувствительной к соблюдению требований.
Это также влияет на закупки и политику. Если модели принятия решений станут более дешевой или быстрой альтернативой полным звонкам LLM, у инженерных групп может возникнуть соблазн широко использовать их. Это может быть разумно, но только если администраторы могут видеть использование по проекту, ключу, среде и рабочему процессу. В противном случае недорогая функция плоскости управления может стать еще одной неотслеживаемой зависимостью.
Что остается неопределенным
В объявлении Vercel указывается доступность и поддерживаемые пути доступа, но оно не отвечает на все производственные вопросы. Общедоступные сведения о производительности тестов, режимах сбоев, поведении цен при различных рабочих нагрузках и о том, как Decision-1 сравнивается с другими вариантами типизированного решения в реальных наборах корпоративных данных, по-прежнему ограничены.
Существует также вопрос управления. Модели принятия решений часто используются там, где результат запускает действие. Это делает пороги доверия и политику проверки человеком более важными, чем само название модели. Предприятиям следует протестировать Decision-1 на своих собственных данных, прежде чем полагаться на него для рабочих процессов маршрутизации, политики или оценки, которые влияют на клиентов или регулируемые процессы.
Большой сигнал яснее: типизированные вызовы принятия решений становятся частью основной инфраструктуры искусственного интеллекта. Поскольку шлюзы добавляют такие модели, как Microsoft Decision-1, компаниям необходимо будет управлять потоком решений с той же дисциплиной, которую они уже применяют для доступа к генеративным моделям, отчетности о расходах и управления API-ключами.