Microsoft обновила уровень AI Gateway в системе управления API Azure, добавив набор элементов управления, которые имеют меньшее значение для экспериментов с моделями и больше для производственных операций: стабильные псевдонимы моделей, доступ Microsoft Entra, более детализированные роли AI Gateway, политики на уровне шлюза и отчеты об использовании для потоковых ответов OpenAI-совместимых завершений чата.
Выпуск от 24 сентября не является запуском модели. Это обновление уровня управления для команд, у которых уже есть несколько приложений, поставщиков, развертываний или рабочих нагрузок агентов, перемещающихся через шлюз. Это делает важным для команд платформы, пытающихся сохранить гибкость доступа к модели, не позволяя маршрутизации, аутентификации, политике и учету токенов разбрасываться по коду приложения.
Что изменилось в Azure AI Gateway
Изменение в заголовке — это псевдонимы моделей. Вместо того, чтобы требовать от приложения прямого вызова определенной модели внутреннего каталога, Azure API Management AI Gateway теперь может предоставлять стабильное имя модели, ориентированное на клиента. Бэкэнд-цель может меняться, пока приложение продолжает вызывать псевдоним.
Эта абстракция полезна в обычных терминах программного обеспечения, но особенно полезна для операций LLM. Названия моделей, развертывания, регионы и поставщики могут меняться быстрее, чем циклы выпуска корпоративных приложений. Псевдоним дает командам платформы возможность переносить трафик в новое развертывание, стандартизировать именование между командами или скрывать сложность серверной части от клиентских приложений.
Обновление также добавляет поддержку токенов доступа Microsoft Entra в качестве варианта аутентификации для клиентов шлюза. Ключи API по-прежнему широко распространены в интеграциях с искусственным интеллектом, но долгоживущими ключами сложно управлять в больших масштабах. Доступ на основе Entra дает предприятиям другой путь: доступ на основе удостоверений, который лучше сочетается с существующими политиками доступа, практиками условного доступа и управлением жизненным циклом сотрудников или субъектов службы.
Microsoft также расширила возможности назначения ролей. Роли AI Gateway теперь можно назначать через шлюз или более узко ограничивать псевдоним модели или сервер MCP. Это важно, поскольку шлюзы ИИ все чаще используют более одного вида ресурсов. Одной команде могут потребоваться права на управление определенным псевдонимом внутреннего помощника, в то время как другая команда управляет сервером MCP, который предоставляет агентам бизнес-инструменты.
Почему важен потоковый сбор данных об использовании
Наиболее значимые с операционной точки зрения изменения могут быть менее заметны разработчикам, использующим API. Потоковая передача ответов чата, совместимых с OpenAI, теперь включает объект использования, даже если клиенты не запрашивают stream_options.include_usage.
Это устраняет распространенный пробел в учете. Потоковая передача привлекательна для вторых пилотов, работающих с пользователем, помощников по кодированию и интерфейсов агентов, поскольку она уменьшает воспринимаемую задержку. Но если использование токенов не фиксируется надежно для каждого потокового ответа, информационные панели затрат, принудительное соблюдение квот, счетчики бюджета и аналитика использования могут отклоняться от реальности.
Принудительно отслеживая потоковое использование на уровне шлюза, служба управления API Azure может улучшить нисходящую телеметрию, не полагаясь на то, что каждая группа приложений запомнит правильный вариант запроса. Для компаний, использующих общие платформы искусственного интеллекта, в этом заключается разница между отчетностью о расходах на консультации и обязательным распределением затрат.
Здесь обновление также подключается к более широкой корпоративной инфраструктуре LLM API. Многие организации уже прошли этап, когда одна команда называет одну модель одним ключом. Теперь им нужна централизованная маршрутизация, возможность аудита, контроль политик и сигналы затрат, которые выдерживают смену моделей и переписывание приложений.
Кого это затронет
Непосредственная аудитория — это команды по разработке платформ, облачной инфраструктуры, безопасности и опытные разработчики, использующие Azure API Management в качестве шлюза искусственного интеллекта. Разработчики приложений могут ощутить изменения в основном в виде упрощения конечных точек и меньшего количества решений по обработке учетных данных, но последствия управления находятся выше в стеке.
Для групп безопасности доступ Entra снижает зависимость от статических ключей API для доступа к шлюзу. Это не устраняет необходимость повсеместного управления ключами, поскольку вышестоящие поставщики, учетные данные для развертывания и доступ между службами могут по-прежнему требовать отдельных элементов управления. Но это дает предприятиям, ориентированным на Microsoft, привычную плоскость идентификации для одной важной части пути трафика ИИ.
Для команд платформы псевдонимы моделей уменьшают связь между приложениями и развертыванием серверной модели. Это может сделать миграцию менее разрушительной. Это также может сделать шаблоны отката и управления трафиком более чистыми, поскольку псевдоним шлюза может стать контрактом, в то время как реализация серверной части остается настраиваемой.
Для руководителей финансов, операций и продуктов изменение потокового использования должно облегчить атрибуцию расходов на ИИ.Потоковые рабочие нагрузки часто представляют собой рабочие нагрузки, которые на самом деле видят бизнес-пользователи: вторые пилоты службы поддержки, продавцы, помощники по написанию кода и внутренние агенты по сбору знаний. Если эти рабочие нагрузки недооцениваются или подсчитываются непоследовательно, бюджетный контроль и анализ рентабельности инвестиций становятся слабее.
Практические последствия и открытые вопросы
Практический краткосрочный эффект заключается в том, что команды платформы ИИ на базе Azure смогут перенести больше управления в шлюз. Вместо того, чтобы разбрасывать имена моделей, проверки политик и предположения телеметрии по репозиториям приложений, они могут сконцентрировать большую часть этой логики в управляемой точке управления.
Политики на уровне шлюза являются частью одного и того же шаблона. Microsoft заявляет, что политики могут применять ограничения для совместимых моделей, псевдонимов и серверов MCP. Это должно уменьшить дрейф политики по мере добавления новых моделей или серверов инструментов. Это также помогает избежать привычного режима сбоя: одно приложение получает обновленные правила безопасности, ведения журнала или маршрутизации, а другое сохраняет более старую реализацию, поскольку логика была встроена локально.
Покупателям и разработчикам все еще есть вопросы, которые нужно протестировать в своих собственных средах. В выпуске описаны новые возможности, но командам по-прежнему необходимо будет проверить, насколько псевдонимы соответствуют их процессу развертывания, как наследование политик ведет себя в сложных конфигурациях шлюзов и как объекты использования передаются в существующие системы телеметрии и выставления счетов. Предприятиям также необходимо будет решить, какие рабочие нагрузки должны немедленно использовать доступ Entra, а какие интеграции по-прежнему требуют шаблонов на основе ключей API.
Более широкий сигнал ясен: шлюзы искусственного интеллекта становятся инфраструктурой управления, а не просто прокси-уровнями. Выбор модели по-прежнему имеет значение, но более сложной проблемой предприятия является контроль того, кто может использовать какую модель или инструмент, в рамках какой политики и с какими затратами. Обновление Microsoft еще больше расширяет возможности управления API Azure.