Microsoft je posodobil stopnjo AI Gateway za Azure API Management z naborom kontrolnikov, ki so manj pomembni za eksperimentiranje z modelom in bolj za produkcijske operacije: stabilni vzdevki modela, dostop do Microsoft Entra, natančnejše vloge AI Gateway, pravilniki v obsegu prehoda in poročanje o uporabi za pretočne odgovore dokončanja klepeta, združljive z OpenAI.
Izdaja 24. septembra ni predstavitev modela. To je posodobitev nadzorne ravnine za ekipe, ki že imajo več aplikacij, ponudnikov, razmestitev ali delovnih obremenitev agentov, ki se premikajo skozi prehod. Zaradi tega je pomembno za skupine platforme, ki poskušajo ohraniti prilagodljiv dostop do modela, ne da bi se usmerjanje, preverjanje pristnosti, pravilnik in obračunavanje žetonov razpršili po kodi aplikacije.
Kaj se je spremenilo v Azure AI Gateway
Glavna sprememba so vzdevki modela. Namesto da bi zahteval, da aplikacija neposredno pokliče določen model zalednega kataloga, lahko Azure API Management AI Gateway zdaj razkrije stabilno, odjemalcu usmerjeno ime modela. Cilj zaledja se lahko spremeni, medtem ko aplikacija še naprej kliče vzdevek.
Ta abstrakcija je uporabna v smislu običajne programske opreme, vendar je še posebej uporabna za operacije LLM. Imena modelov, uvedbe, regije in ponudniki se lahko spremenijo hitreje kot cikli izdaje aplikacij podjetja. Vzdevek omogoča ekipam platforme, da premaknejo promet na novejšo uvedbo, standardizirajo poimenovanje med ekipami ali skrijejo kompleksnost zaledja pred odjemalskimi aplikacijami.
Posodobitev dodaja tudi podporo za žetone dostopa Microsoft Entra kot možnost preverjanja pristnosti za odjemalce prehoda. Ključi API-ja ostajajo običajni pri integracijah AI, vendar je ključe z dolgo življenjsko dobo težko upravljati v velikem obsegu. Dostop, ki temelji na Entra, daje podjetjem drugo pot: dostop, ki temelji na identiteti, ki se lahko bolje ujema z obstoječimi politikami dostopa, praksami pogojnega dostopa in upravljanjem življenjskega cikla zaposlenih ali vodje storitve.
Microsoft je prav tako razširil možnosti dodeljevanja vlog. Vloge prehoda AI je zdaj mogoče dodeliti prek prehoda ali ožje obsegati na vzdevek modela ali strežnik MCP. To je pomembno, ker prehodi umetne inteligence vedno pogosteje uporabljajo več kot eno vrsto virov. Ekipa morda potrebuje pravice za upravljanje določenega vzdevka za notranjega pomočnika, medtem ko druga ekipa upravlja strežnik MCP, ki posrednikom razkrije poslovna orodja.
Zakaj je zajem pretočne uporabe pomemben
Operativno najpomembnejša sprememba je morda manj vidna razvijalcem, ki uporabljajo API. Pretočni odgovori zaključkov klepeta, združljivi z OpenAI, zdaj vključujejo predmet uporabe, tudi če odjemalci ne zahtevajo stream_options.include_usage.
S tem se zapolni pogosta računovodska vrzel. Pretakanje je privlačno za kopilote, pomočnike kodiranja in agentske vmesnike, ki so obrnjeni k uporabniku, ker zmanjšuje zaznano zakasnitev. Če pa uporaba žetona ni zanesljivo zajeta za vsak pretočni odgovor, se lahko nadzorne plošče stroškov, uveljavljanje kvot, proračunski števci in analitika uporabe oddaljijo od realnosti.
S prisilnim zajemanjem pretočne uporabe na prehodni ravni lahko Azure API Management izboljša telemetrijo v nižjem toku, ne da bi se zanašal na to, da si bo vsaka aplikacijska skupina zapomnila pravo možnost zahteve. Za podjetja, ki uporabljajo platforme umetne inteligence v skupni rabi, je to razlika med svetovalnim poročanjem o stroških in izvršljivim pripisovanjem stroškov.
Tukaj se posodobitev povezuje tudi s širšo infrastrukturo API-ja LLM za podjetja. Mnoge organizacije so že mimo faze, ko ena ekipa pokliče en model z enim ključem. Zdaj potrebujejo centralno usmerjanje, revizijo, nadzor politik in signale stroškov, ki preživijo zamenjave modelov in prepisovanje aplikacij.
Koga to zadeva
Neposredno občinstvo so ekipe za inženiring platforme, infrastrukturo v oblaku, varnost in izkušnje razvijalcev, ki uporabljajo Azure API Management kot prehod AI. Razvijalci aplikacij lahko spremembe večinoma občutijo kot enostavnejše končne točke in manj odločitev glede ravnanja s poverilnicami, vendar so posledice upravljanja višje v nizu.
Za varnostne ekipe dostop Entra zmanjša odvisnost od statičnih ključev API za dostop do prehoda. Ne odpravlja potrebe po upravljanju ključev povsod, saj lahko ponudniki navzgor v verigi, poverilnice za uvedbo in dostop med storitvami še vedno zahtevajo ločen nadzor. Toda podjetjem, osredotočenim na Microsoft, daje znano ravnino identitete za pomemben del prometne poti umetne inteligence.
Za skupine platform vzdevki modela zmanjšajo povezovanje med aplikacijami in uvedbami zalednih modelov. To lahko naredi migracije manj moteče. Prav tako lahko naredi vzorce povrnitve in upravljanja prometa čistejše, ker lahko vzdevek prehoda postane pogodba, medtem ko zaledna izvedba ostane nastavljiva.
Za vodje financ, operacij in izdelkov bi morala sprememba pretočne uporabe olajšati pripisovanje porabe AI.Pretočne delovne obremenitve so pogosto delovne obremenitve, ki jih poslovni uporabniki dejansko vidijo: podporni kopiloti, prodajni pomočniki, pomočniki kode in notranji agenti znanja. Če so te delovne obremenitve prenizko ali nedosledno preštete, proračunski nadzor in analiza donosnosti naložbe postanejo šibkejši.
Praktične posledice in odprta vprašanja
Praktični kratkoročni učinek je, da lahko ekipe platforme AI, ki temelji na Azure, prenesejo več upravljanja na prehod. Namesto da bi razpršili imena modelov, preverjanja pravilnikov in predpostavke o telemetriji po repozitorijih aplikacij, lahko več te logike koncentrirajo v upravljani nadzorni točki.
Pravila v obsegu prehoda so del istega vzorca. Microsoft pravi, da lahko pravilniki uporabijo zaščitne ograje med združljivimi modeli, vzdevki in strežniki MCP. To bi moralo zmanjšati odstopanje pravilnika, ko se dodajo novi modeli ali strežniki orodij. Pomaga tudi pri izogibanju znanemu načinu napak: ena aplikacija dobi posodobljeno varnostno pravilo, pravilo beleženja ali usmerjanja, medtem ko druga ohrani starejšo izvedbo, ker je bila logika vdelana lokalno.
Še vedno obstajajo vprašanja, ki jih morajo kupci in razvijalci preizkusiti v svojih okoljih. Izdaja opisuje nove zmožnosti, vendar bodo ekipe še vedno morale preveriti, kako vzdevki ustrezajo njihovemu procesu uvajanja, kako se dedovanje pravilnika obnaša v zapletenih konfiguracijah prehodov in kako se predmeti uporabe pretakajo v njihove obstoječe sisteme telemetrije in zaračunavanja. Podjetja se bodo morala tudi odločiti, katere delovne obremenitve naj takoj uporabijo dostop Entra in katere integracije še vedno zahtevajo vzorce, ki temeljijo na ključih API-ja.
Širši signal je jasen: prehodi umetne inteligence postajajo infrastruktura upravljanja, ne le proxy plasti. Izbira modela je še vedno pomembna, vendar je težja težava podjetja nadzor nad tem, kdo lahko uporablja kateri model ali orodje, v skladu s katero politiko, s katero sledjo stroškov. Microsoftova posodobitev potisne Azure API Management še dlje v to vlogo.