Microsoft ir atjauninājis Azure API pārvaldības AI vārtejas līmeni ar vadīklu kopu, kas ir mazāk svarīga modeļa eksperimentēšanai un vairāk ražošanas operācijām: stabili modeļu aizstājvārdi, Microsoft Entra piekļuve, detalizētākas AI vārtejas lomas, vārtejas politikas un lietojuma ziņojumi straumētai ar OpenAI saderīgai tērzēšanas versijai

Septembris — 2. izlaiduma atbildes. Tas ir vadības plaknes atjauninājums komandām, kurām jau ir vairākas lietojumprogrammas, nodrošinātāji, izvietojumi vai aģentu darba slodzes, kas pārvietojas caur vārteju. Tāpēc platformu komandām ir svarīgi nodrošināt elastīgu piekļuvi modeļiem, neļaujot maršrutēšanai, autentifikācijai, politikai un marķiera uzskaitei izkaisīt pa lietojumprogrammas kodu.

Kas mainījās pakalpojumā Azure AI Gateway

Virsraksta izmaiņas ir modeļu aizstājvārdi. Tā vietā, lai pieprasītu lietojumprogrammai tieši izsaukt noteiktu aizmugursistēmas kataloga modeli, Azure API Management AI Gateway tagad var atklāt stabilu, klientam orientētu modeļa nosaukumu. Aizmugursistēmas mērķis var mainīties, kamēr lietojumprogramma turpina izsaukt aizstājvārdu.

Šī abstrakcija ir noderīga parastajā programmatūras izteiksmē, taču tā ir īpaši noderīga LLM operācijām. Modeļu nosaukumi, izvietojumi, reģioni un nodrošinātāji var mainīties ātrāk nekā uzņēmuma lietojumprogrammu izlaišanas cikli. Aizstājvārds sniedz platformu komandām iespēju pārvietot trafiku uz jaunāku izvietošanu, standartizēt nosaukšanu komandās vai paslēpt aizmugursistēmas sarežģītību no klientu lietojumprogrammām.

Atjauninājums arī pievieno atbalstu Microsoft Entra piekļuves pilnvarām kā autentifikācijas opciju vārtejas klientiem. API atslēgas joprojām ir izplatītas AI integrācijās, taču ilgstošas ​​​​atslēgas ir grūti pārvaldīt mērogā. Iekšējā piekļuve nodrošina uzņēmumiem citu ceļu: uz identitāti balstīta piekļuve, kas labāk atbilst esošajām piekļuves politikām, nosacījuma piekļuves praksei un darbinieku vai pakalpojumu galvenā dzīves cikla pārvaldībai.

Microsoft arī paplašināja lomu piešķiršanas iespējas. AI vārtejas lomas tagad var piešķirt pa vārteju vai šaurāk attiecināt uz modeļa aizstājvārdu vai MCP serveri. Tam ir nozīme, jo AI vārtejas arvien vairāk nodrošina vairāk nekā viena veida resursus. Komandai var būt nepieciešamas tiesības pārvaldīt konkrētu iekšējā asistenta aizstājvārdu, savukārt cita komanda pārvalda MCP serveri, kas aģentiem nodrošina biznesa rīkus.

Kāpēc ir svarīga straumētā lietojuma tveršana

Izstrādātājiem, kuri izmanto API, var būt mazāk pamanāmas darbības ziņā nozīmīgākās izmaiņas. Ar OpenAI saderīgās tērzēšanas pabeigšanas atbildēs tagad ir ietverts lietošanas objekts pat tad, ja klienti nepieprasa stream_options.include_usage.

Tas novērš bieži sastopamo uzskaites trūkumu. Straumēšana ir pievilcīga uz lietotājiem vērstiem kopilotiem, kodēšanas palīgiem un aģentu saskarnēm, jo ​​tā samazina uztverto latentumu. Taču, ja marķiera lietojums netiek droši fiksēts katrai straumētajai atbildei, izmaksu informācijas paneļi, kvotu izpilde, budžeta skaitītāji un lietojuma analīze var novirzīties no realitātes.

Piespiežot straumētā lietojuma tveršanu vārtejas slānī, Azure API pārvaldība var uzlabot pakārtoto telemetriju, nepaļaujoties uz katras lietojumprogrammas pareizo komandu. Uzņēmumiem, kas izmanto koplietojamas AI platformas, šī ir atšķirība starp konsultatīvo izmaksu atskaiti un izpildāmo izmaksu attiecinājumu.

Šajā gadījumā atjauninājums tiek savienots arī ar plašāku uzņēmuma LLM API infrastruktūru. Daudzas organizācijas ir pārdzīvojušas posmu, kad viena komanda izsauc vienu modeli ar vienu atslēgu. Viņiem tagad ir nepieciešama centrālā maršrutēšana, pārbaudāmība, politikas vadīklas un izmaksu signāli, kas iztur modeļu mijmaiņas darījumus un lietojumprogrammu pārrakstīšanu.

Ietekmētie lietotāji

Tiešā mērķauditorija ir platformas inženierijas, mākoņa infrastruktūras, drošības un izstrādātāju pieredzes komandas, kas izmanto Azure API Management kā AI vārteju. Lietojumprogrammu izstrādātāji var izjust izmaiņas galvenokārt kā vienkāršākus galapunktus un mazāk lēmumus par akreditācijas datu apstrādi, taču pārvaldības ietekme ir augstāka.

Drošības komandām Entra piekļuve samazina atkarību no statiskām API atslēgām vārtejas piekļuvei. Tas nelikvidē vajadzību pēc galvenās pārvaldības visur, jo augšupējiem pakalpojumu sniedzējiem, izvietošanas akreditācijas datiem un pakalpojumu savstarpējai piekļuvei joprojām var būt nepieciešamas atsevišķas vadīklas. Taču tas nodrošina uz Microsoft orientētiem uzņēmumiem pazīstamu identitātes plānu vienai svarīgai AI trafika ceļa daļai.

Platformu komandām modeļu aizstājvārdi samazina saikni starp lietojumprogrammām un aizmugursistēmas modeļu izvietošanu. Tas var padarīt migrāciju mazāk traucējošu. Tas var arī padarīt tīrākus atcelšanas un datplūsmas pārvaldības modeļus, jo vārtejas aizstājvārds var kļūt par līgumu, bet aizmugursistēmas ieviešana paliek regulējama.

Finanšu, operāciju un produktu vadītājiem straumētā lietojuma izmaiņām vajadzētu atvieglot AI tēriņu attiecināšanu.Straumēšanas darba slodzes bieži vien ir slodzes, ko biznesa lietotāji faktiski redz: atbalsta kopiloti, pārdošanas palīgi, koda palīgi un iekšējie zināšanu aģenti. Ja šīs darba slodzes tiek uzskaitītas par maz vai nekonsekventi, budžeta kontroles un IA analīze kļūst vājāka.

Praktiskās sekas un atklātie jautājumi

Praktiskā īstermiņa ietekme ir tāda, ka uz Azure balstītas AI platformas komandas var ieviest vārtejā lielāku pārvaldību. Tā vietā, lai izkliedētu modeļu nosaukumus, politikas pārbaudes un telemetrijas pieņēmumus lietojumprogrammu krātuvēs, tās var koncentrēt vairāk šīs loģikas pārvaldītā vadības punktā.

Vārtejas darbības jomas politikas ir daļa no tā paša modeļa. Microsoft saka, ka politikas var piemērot aizsargmargas saderīgos modeļos, aizstājvārdos un MCP serveros. Tam vajadzētu samazināt politikas novirzi, pievienojot jaunus modeļus vai rīku serverus. Tas arī palīdz izvairīties no pazīstama kļūmes režīma: viena lietojumprogramma saņem atjauninātu drošības, reģistrēšanas vai maršrutēšanas kārtulu, bet cita saglabā vecāku implementāciju, jo loģika tika iegulta lokāli.

Pircējiem un izstrādātājiem joprojām ir jautājumi, ko pārbaudīt savā vidē. Laidienā ir aprakstītas jaunās iespējas, taču komandām joprojām būs jāpārbauda, ​​kā aizstājvārdi atbilst to izvietošanas procesam, kā politikas pārmantošana darbojas sarežģītās vārtejas konfigurācijās un kā lietošanas objekti ieplūst viņu esošajās telemetrijas un norēķinu sistēmās. Uzņēmumiem būs arī jāizlemj, kurām darba slodzēm nekavējoties jāizmanto Entra piekļuve un kurām integrācijām joprojām ir nepieciešami uz API atslēgām balstīti modeļi.

Plašāks signāls ir skaidrs: AI vārtejas kļūst par pārvaldības infrastruktūru, nevis tikai starpniekservera slāņiem. Modeļa izvēle joprojām ir svarīga, taču grūtāka uzņēmuma problēma ir kontrolēt, kurš var izmantot kādu modeli vai rīku, saskaņā ar kādu politiku un ar kādu izmaksu trasi. Microsoft atjauninājums paplašina Azure API Management šo lomu.