OpenAI on alustanud uue piirimudeli GPT-6 Astra kasutuselevõttu, mis on saadaval piiratud hulgale organisatsioonidele ja millele on kavandatud juurdepääs ChatGPT tasuliste plaanide, OpenAI API, Microsoft Azure'i ja Amazon Bedrocki kaudu. API mudeli nimi on gpt-6-astra ja OpenAI loetleb 1 050 000 märgiga kontekstiakna kuni 128 000 väljundmärgiga.

Ettevõtete pealkiri ei ole ainult mudeli võime. Astra saabub avaldatud API-hinnaga: 10 dollarit 1 miljoni sisendmärgi kohta ja 50 dollarit 1 miljoni väljundmärgi kohta standardsel API tasemel, kõrgemad pika konteksti määrad, kui sisend ületab 272 000 märgi. See asetab Astra selgelt esmaklassilise mudeli territooriumile ja muudab seda, kuidas meeskonnad peaksid mõtlema agentide kujundamisele, pika dokumentatsiooni töövoogudele ja tootmise marsruutimisele.

Ettevõtete jaoks, kes juba kasutavad mitut mudelipakkujat, on Astra vähem lihtne mudeliuuendus kui uus töömuutuja. See lisab veel ühe suure võimekusega marsruudi OpenAI otsejuurdepääsu ja pilve hostitud kanalite vahel, sundides samal ajal rangemat distsipliini kulutuste, latentsuse, andmetöötluse ja kasutuskinnituste osas.

Mis muutus

OpenAI väljalase annab arendajatele uue mudeli lõpp-punkti gpt-6-astra, mille kontekstiaken on piisavalt suur, et käsitleda väga pikki viipasid, dokumendipakette, hoidla mastaabis kodeerimiskonteksti, keerulisi tööriistaajalugu või laiendatud agendimälu. Maksimaalne väljundsuurus 128 000 märki toetab ka ebatavaliselt pikki genereeritud artefakte, sealhulgas aruandeid, koodi migreerimist, struktureeritud andmete teisendusi ja mitmeastmelisi arutlusjälgi, kus rakendused need paljastavad.

Avaldamine on samuti mitme kanaliga. OpenAI ütleb, et Astra on saadaval OpenAI API, ChatGPT tasuliste plaanide, Microsoft Azure'i ja AWS Bedrocki kaudu. Eraldi pilve kättesaadavus on oluline, sest ettevõtte ostjad teevad mudelotsuseid sageli hanke, identiteedi, logimise, piirkondliku juurutamise ja andmehaldusnõuete, mitte ainult võrdlusaluste põhjal.

Hinnakujundus on sama oluline. Sisendkulu on mõttekas, kuid väljundkulu on see, kus agendi töökoormused võivad kiiresti kalliks muutuda. Töövoo, mis loeb suurt korpust ja koostab tagasihoidliku kokkuvõtte, kuluprofiil erineb kodeerimisagendi kuluprofiilist, mis korduvalt koostab, vaatab läbi, testib ja selgitab suuri muudatusi. Astra puhul peavad rakenduste koostajad enne laiaulatuslikku levitamist modelleerima märgi pearaamatu mõlemad pooled.

Miks on see ettevõtete tehisintellektimeeskondade jaoks oluline

Astra miljoni märgiga kontekstiaken julgustab meeskondi saatma mudelile rohkem teavet: pikemad lepingud, rohkem pileteid, suuremad teadmistebaasid, laiem koodikontekst ja täielik vestluste ajalugu. See võib parandada maandust, kui lisakontekst on asjakohane. Samuti võib see raha raisata ja tuua kaasa välditava andmete eksponeerimise, kui meeskonnad kasutavad konteksti akent otsingu kujundamise, filtreerimise ja eeskirjade jõustamise asendajana.

Siin saab määravaks ettevõtte infrastruktuur. Juurdepääs mudelile peab olema ümbritsetud kvoodihalduse, kulutuste prognoosimise, logimise ja kinnitamise teedega. Meeskonnad, kes käitavad ettevõtte LLM API-d, peaksid saama otsustada, millised kasutajad, projektid või töökoormused saavad kutsuda esmaklassilist mudelit, millal minna tagasi odavamate mudelite juurde ja kuidas märgistada ebatavaline kasutus, enne kui sellest saab arveldus- või turvaintsident.

Astra suurendab ka vajadust teenusepakkujateadliku marsruutimise järele. Sama mudeliperekond võib olla kättesaadav otse OpenAI, Azure'i ja Bedrocki kaudu, kuid need marsruudid võivad erineda saadavuse, lepingutingimuste, logimiskäitumise, piirkondliku toe, autentimise, kiiruspiirangute ja operatiivse telemeetria poolest. Nende käsitlemine identsete lõpp-punktidena on riskantne. Mitme mudeliga lüüs peaks esindama iga marsruuti eraldi ja mõõtma tegelikku tootmiskäitumist enne kriitiliste töökoormuste teisaldamist.

Tagajärjed kuludele ja juhtimisele

Pika konteksti lisatasu üle 272 000 sisendmärgi on praktiline hoiatus. Arendajad võivad luua prototüüpe, mis näivad lühikeste viipade järgi taskukohased ja muutuvad siis oluliselt kallimaks, kui kasutajad lisavad täielikud dokumendikomplektid või agentidel on pikk ajalugu. Administraatorid peaksid määrama kontekstipikkused eelarved rakenduse, mitte ainult kogu organisatsiooni igakuise kulu järgi.

Samuti peab kasutusanalüüs muutuma detailsemaks. Keskmine kulu päringu kohta ei ole Astra-stiilis töökoormuse jaoks piisav. Ettevõtted peaksid jälgima sisendmärke, väljundmärke, pika kontekstiga päringuid, uuesti proovimise käitumist, tööriistade kutsumise ahelaid, kasutaja või meeskonna omistamist ja pakkuja marsruuti. Need andmed on vajalikud tagasimaksete, eelarvehoiatuste, hangete planeerimise ja juhtumite ülevaatamiseks.

API-võtmega juhtimine on osa samast probleemist. Premium-mudelid ei tohiks olla kättesaadavad skriptidesse, kohalikesse tööriistadesse või töövõtjakeskkondadesse manustatud haldamata võtmete kaudu. Organisatsioonid peaksid teadma, millised võtmed pääsevad Astrale juurde, millised töökoormused on heaks kiidetud ja kas päringud tulevad eeldatavatest süsteemidest. Meeskondade jaoks, kes kasutavad B2B LLM-i ühtse API kihina, on praktiline ühendus lihtne: Astrat tuleks käsitleda pigem juhitud marsruudina, millel on selged õigused, kulude nähtavus ja mudelivaliku poliitika, mitte vaikimisi täiendusena.

Mis jääb ebaselgeks

OpenAI juhid ja mõned levialad on raamistanud Astra potentsiaalselt AGI-tasemel. See on subjektiivne iseloomustus ja see ei tohiks üksinda ettevõttes kasutusele võtta. Kontrollitavad faktid on mudeli väljalase, API identifikaator, kontekst ja väljundlimiidid, hinnakujundus ja kavandatud saadavuse kanalid. Sõltumatud tootmistõendid on tähtsamad kui käivituskeel.

Samuti on liiga vara teada, kuidas Astra toimib tavaliste ärikoormuste puhul: struktureeritud väljavõte, juriidiline ülevaade, tarkvara hooldus, klienditoe automatiseerimine, andmete analüüs ja pikaajaline tööriistakasutus. Suured kontekstiaknad ei taga automaatselt paremaid vastuseid. Need võivad parandada jõudlust, kui kaasatakse õige teave, kuid need võivad suurendada ka latentsust, kulusid ja võimalust, et ebaoluline kontekst häirib mudelit.

Ettevõtete lähiaja ülesanne on seega hindamine, mitte üldine migratsioon. Meeskonnad peaksid võrdlema Astrat olemasolevate mudelitega tegeliku töökoormuse korral, arvutama tõelise kasutuse korral žetoonide kulusid, testima eraldi teenusepakkuja marsruute ja määratlema tootmiskasutuse heakskiitmise reeglid. Astra laiendab seda, mida arendajad saavad eesliinimudelitega proovida, kuid tõstab ka nende vastutustundliku kasutamise tööstandardit.