Firma Microsoft zaktualizowała warstwę AI Gateway w usłudze Azure API Management za pomocą zestawu elementów sterujących, które mają mniejsze znaczenie w przypadku eksperymentów z modelami, a większe w przypadku operacji produkcyjnych: stabilne aliasy modeli, dostęp do Microsoft Entra, bardziej szczegółowe role AI Gateway, zasady ograniczone do bramy i raportowanie użycia w przypadku odpowiedzi na ukończenie czatu zgodnych ze standardem OpenAI.

Wersja z 24 września nie jest wprowadzeniem modelu na rynek. Jest to aktualizacja płaszczyzny kontrolnej dla zespołów, które mają już wiele aplikacji, dostawców, wdrożeń lub obciążeń agentów przechodzących przez bramę. To sprawia, że ​​ważne jest dla zespołów zajmujących się platformami, które starają się zachować elastyczność dostępu do modeli, nie pozwalając na rozproszenie routingu, uwierzytelniania, zasad i rozliczania tokenów w kodzie aplikacji.

Co zmieniło się w Azure AI Gateway

Główną zmianą są aliasy modeli. Zamiast wymagać od aplikacji bezpośredniego wywoływania określonego modelu wykazu zaplecza, brama AI do zarządzania interfejsami API platformy Azure może teraz udostępniać stabilną nazwę modelu dostępną dla klienta. Cel zaplecza może się zmienić, gdy aplikacja będzie nadal wywoływać alias.

Ta abstrakcja jest użyteczna w zwykłym kontekście oprogramowania, ale jest szczególnie przydatna w przypadku operacji LLM. Nazwy modeli, wdrożenia, regiony i dostawcy mogą zmieniać się szybciej niż cykle wydawania aplikacji dla przedsiębiorstw. Alias ​​umożliwia zespołom zajmującym się platformami przenoszenie ruchu do nowszego wdrożenia, standaryzację nazewnictwa w zespołach lub ukrywanie złożoności backendu przed aplikacjami klienckimi.

Aktualizacja dodaje także obsługę tokenów dostępu Microsoft Entra jako opcję uwierzytelniania klientów bram. Klucze API są nadal powszechne w integracji sztucznej inteligencji, ale kluczami długotrwałymi trudno jest zarządzać na dużą skalę. Dostęp oparty na systemie Entra zapewnia przedsiębiorstwom inną ścieżkę: dostęp oparty na tożsamości, który może lepiej pasować do istniejących zasad dostępu, praktyk dostępu warunkowego oraz zarządzania cyklem życia pracowników lub głównych usług.

Microsoft rozszerzył także opcje przypisywania ról. Role AI Gateway można teraz przypisywać przez bramę lub węższy zakres do aliasu modelu lub serwera MCP. Ma to znaczenie, ponieważ bramy AI coraz częściej obsługują więcej niż jeden rodzaj zasobów. Zespół może potrzebować uprawnień do zarządzania określonym aliasem asystenta wewnętrznego, podczas gdy inny zespół zarządza serwerem MCP udostępniającym agentom narzędzia biznesowe.

Dlaczego strumieniowe przechwytywanie użycia ma znaczenie

Najbardziej istotna pod względem operacyjnym zmiana może być mniej widoczna dla programistów korzystających z interfejsu API. Odpowiedzi dotyczące uzupełnień czatu zgodne z OpenAI zawierają teraz obiekt użycia, nawet jeśli klienci nie żądają stream_options.include_usage.

To zamyka typową lukę rozliczeniową. Przesyłanie strumieniowe jest atrakcyjne dla drugich pilotów mających kontakt z użytkownikiem, asystentów kodowania i interfejsów agentów, ponieważ zmniejsza postrzegane opóźnienia. Jeśli jednak użycie tokenu nie zostanie niezawodnie przechwycone w przypadku każdej odpowiedzi przesyłanej strumieniowo, pulpity nawigacyjne kosztów, egzekwowanie przydziałów, liczniki budżetu i analiza użycia mogą odbiegać od rzeczywistości.

Wymuszając przesyłanie strumieniowe przechwytywania użycia w warstwie bramy, usługa Azure API Management może ulepszyć telemetrię na dalszym etapie bez konieczności polegania na tym, że każdy zespół aplikacji pamięta właściwą opcję żądania. W przypadku firm korzystających ze wspólnych platform AI jest to różnica między raportowaniem kosztów doradztwa a możliwym do wyegzekwowania przypisywaniem kosztów.

W tym miejscu aktualizacja łączy się również z szerszą infrastrukturą API LLM dla przedsiębiorstw. Wiele organizacji ma już za sobą etap, w którym jeden zespół wywołuje jeden model jednym kluczem. Potrzebują teraz centralnego routingu, możliwości audytu, kontroli zasad i sygnałów kosztów, które przetrwają zamianę modeli i przepisanie aplikacji.

Kogo to dotyczy

Bezpośrednimi odbiorcami są zespoły zajmujące się inżynierią platform, infrastrukturą chmurową, bezpieczeństwem i doświadczeniem programistów korzystające z usługi Azure API Management jako bramy AI. Twórcy aplikacji mogą odczuć zmiany głównie w postaci prostszych punktów końcowych i mniejszej liczby decyzji dotyczących obsługi danych uwierzytelniających, ale implikacje związane z zarządzaniem są ważniejsze.

Dla zespołów ds. bezpieczeństwa dostęp Entra zmniejsza zależność dostępu do bramy od statycznych kluczy API. Nie eliminuje to wszędzie potrzeby kluczowego zarządzania, ponieważ dostawcy wyższego szczebla, dane uwierzytelniające wdrożeniowe i dostęp między usługami mogą w dalszym ciągu wymagać oddzielnych kontroli. Zapewnia jednak przedsiębiorstwom zorientowanym na firmę Microsoft znajomą płaszczyznę tożsamości dla jednej ważnej części ścieżki ruchu AI.

W przypadku zespołów zajmujących się platformami aliasy modeli zmniejszają powiązanie między aplikacjami a wdrożeniami modeli zaplecza. Dzięki temu migracje będą mniej uciążliwe. Może także sprawić, że wzorce wycofywania zmian i zarządzania ruchem staną się czystsze, ponieważ alias bramy może stać się kontraktem, podczas gdy implementacja zaplecza pozostaje regulowana.

W przypadku liderów ds. finansów, operacji i produktów zmiana w użyciu strumieniowym powinna ułatwić przypisywanie wydatków na sztuczną inteligencję.Obciążenia związane z przesyłaniem strumieniowym to często obciążenia, które faktycznie widzą użytkownicy biznesowi: pomoc drugiego pilota, asystenci sprzedaży, pomocnicy kodowania i wewnętrzni agenci wiedzy. Jeśli te obciążenia są zaniżone lub liczone niespójnie, kontrola budżetu i analiza ROI stają się słabsze.

Praktyczne konsekwencje i otwarte pytania

Praktyczny efekt krótkoterminowy jest taki, że zespoły platformy AI opartej na platformie Azure mogą przenieść więcej zarządzania do bramy. Zamiast rozpraszać nazwy modeli, kontrole zasad i założenia dotyczące telemetrii pomiędzy repozytoriami aplikacji, można skoncentrować większą część tej logiki w zarządzanym punkcie kontrolnym.

Zasady ograniczone do bramy są częścią tego samego wzorca. Microsoft twierdzi, że zasady mogą obejmować bariery ochronne dla kompatybilnych modeli, aliasów i serwerów MCP. Powinno to ograniczyć zmianę polityki w miarę dodawania nowych modeli lub serwerów narzędzi. Pomaga także uniknąć znanego trybu awarii: jedna aplikacja otrzymuje zaktualizowaną regułę bezpieczeństwa, rejestrowania lub routingu, podczas gdy inna zachowuje starszą implementację, ponieważ logika została osadzona lokalnie.

Nabywcy i konstruktorzy nadal mają pytania do przetestowania we własnych środowiskach. W tej wersji opisano nowe możliwości, ale zespoły nadal będą musiały sprawdzić, czy aliasy pasują do procesu wdrażania, jak zachowuje się dziedziczenie zasad w złożonych konfiguracjach bram oraz w jaki sposób obiekty użytkowe przepływają do istniejących systemów telemetrycznych i rozliczeniowych. Przedsiębiorstwa będą również musiały zdecydować, które obciążenia powinny natychmiast korzystać z dostępu Entra, a które integracje nadal wymagają wzorców opartych na kluczach API.

Szerszy sygnał jest jasny: bramy AI stają się infrastrukturą zarządzania, a nie tylko warstwami proxy. Wybór modelu nadal ma znaczenie, ale trudniejszym problemem przedsiębiorstwa jest kontrolowanie, kto może korzystać z jakiego modelu lub narzędzia, w ramach jakiej polityki i z jaką ścieżką kosztów. Aktualizacja firmy Microsoft przesuwa usługę Azure API Management w tę rolę jeszcze bardziej.