OpenAI ir sācis ieviest GPT-6 Astra — jaunu robežmodeli, kas ir pieejams ierobežotam organizāciju lokam un kuram ir paredzēts piekļūt, izmantojot ChatGPT maksas plānus, OpenAI API, Microsoft Azure un Amazon Bedrock. API modeļa nosaukums ir gpt-6-astra, un OpenAI sarakstā ir 1 050 000 marķieru konteksta logs ar līdz pat 128 000 izvades marķieriem.

Uzņēmumu virsraksts ir ne tikai modeļa iespējas. Astra tiek piedāvāta ar publicētām API cenām: 10 ASV dolāri par 1 miljonu ievades marķieru un 50 ASV dolāri par 1 miljonu izvades marķieru standarta API līmenī ar augstākiem ilgtermiņa konteksta tarifiem, kad ievade pārsniedz 272 000 marķieru. Tādējādi Astra nepārprotami tiek izmantota augstākās klases modeļa teritorijā un mainās to, kā komandām vajadzētu domāt par aģentu dizainu, ilgstošām dokumentu darbplūsmām un ražošanas maršrutēšanu.

Uzņēmumiem, kas jau izmanto vairākus modeļu nodrošinātājus, Astra ir mazāk vienkāršs modeļa jauninājums, nevis jauns darbības mainīgais. Tas pievieno vēl vienu augstas iespējas, izmantojot tiešo OpenAI piekļuvi un mākoņa mitinātos kanālus, vienlaikus piespiežot stingrāku disciplīnu attiecībā uz tēriņiem, latentumu, datu apstrādi un lietošanas apstiprinājumiem.

Kas mainījies

OpenAI laidiens izstrādātājiem sniedz jaunu modeļa galapunktu gpt-6-astra ar pietiekami lielu konteksta logu, lai apstrādātu ļoti garas uzvednes, dokumentu paketes, repozitorija mēroga kodēšanas kontekstu, sarežģītas rīku vēstures vai paplašinātu aģenta atmiņu. Maksimālais izvades lielums 128 000 marķieru atbalsta arī neparasti ilgi ģenerētus artefaktus, tostarp pārskatus, kodu migrāciju, strukturētu datu transformācijas un daudzpakāpju argumentācijas trases, kur lietojumprogrammas tos atklāj.

Izlaišana ir arī vairāku kanālu. OpenAI saka, ka Astra būs pieejama, izmantojot OpenAI API, ChatGPT maksas plānus, Microsoft Azure un AWS Bedrock. Atsevišķa mākoņa pieejamība ir svarīga, jo uzņēmumu pircēji bieži pieņem modeļu lēmumus, izmantojot iepirkuma, identitātes, reģistrēšanas, reģionālās izvietošanas un datu pārvaldības prasības, nevis tikai salīdzinājumus.

Cenu noteikšana ir vienlīdz svarīga. Ievades izmaksas ir nozīmīgas, taču izlaides izmaksas ir tās, kurās aģentu darba slodze var ātri kļūt dārga. Darbplūsmai, kas nolasa lielu korpusu un veido nelielu kopsavilkumu, izmaksu profils atšķiras no kodēšanas aģenta, kas atkārtoti izstrādā, pārskata, pārbauda un izskaidro lielas izmaiņas. Izmantojot Astra, lietojumprogrammu veidotājiem pirms plašas izlaišanas ir jāmodelē abas marķieru virsgrāmatas puses.

Kāpēc tas ir svarīgi uzņēmumu AI komandām

Astra miljonu marķieru konteksta logs mudinās komandas nosūtīt modelim vairāk informācijas: ilgāki līgumi, vairāk biļešu, lielākas zināšanu bāzes, plašāks koda konteksts un pilnīga sarunu vēsture. Tas var uzlabot pamatojumu, ja papildu konteksts ir būtisks. Tas var arī izšķērdēt naudu un radīt novēršamu datu atklāšanu, kad komandas izmanto konteksta logu kā izguves dizaina, filtrēšanas un politikas izpildes aizstājēju.

Šajā gadījumā uzņēmuma infrastruktūra kļūst par izšķirošu. Modeļa piekļuvei ir jāiekļauj kvotu pārvaldība, tēriņu prognozēšana, reģistrēšana un apstiprināšanas ceļi. Komandām, kurās darbojas uzņēmuma LLM API, ir jāspēj izlemt, kuri lietotāji, projekti vai darba slodzes var izsaukt augstākās klases modeli, kad atgriezties pie lētākiem modeļiem un kā atzīmēt neparastu lietojumu, pirms tas kļūst par norēķinu vai drošības incidentu.

Astra arī pastiprina vajadzību pēc pakalpojumu sniedzēja apzinātas maršrutēšanas. Viena un tā pati modeļu saime var būt tieši sasniedzama, izmantojot OpenAI, Azure un Bedrock, taču šie maršruti var atšķirties pēc pieejamības, līguma noteikumiem, reģistrēšanas darbības, reģionālā atbalsta, autentifikācijas, ātruma ierobežojumiem un darbības telemetrijas. Tos uzskatīt par identiskiem galapunktiem ir riskanti. Vairāku modeļu vārtejai ir jāattēlo katrs maršruts atsevišķi un jāizmēra reālā ražošanas darbība pirms kritisko darba slodžu pārvietošanas.

Izmaksas un pārvaldības sekas

Ilga konteksta piemaksa, kas pārsniedz 272 000 ievades marķieru, ir praktisks brīdinājums. Izstrādātāji var izveidot prototipus, kas šķiet pieņemami pēc īsiem norādījumiem, un pēc tam kļūt ievērojami dārgāki, ja lietotāji pievieno visas dokumentu kopas vai aģentiem ir sena vēsture. Administratoriem ir jāiestata konteksta budžeti pēc lietojumprogrammas, nevis tikai pēc visas organizācijas ikmēneša tēriņiem.

Arī lietojuma analīzei ir jākļūst detalizētākai. Vidējā maksa par pieprasījumu nav pietiekama Astra stila darba slodzei. Uzņēmumiem ir jāizseko ievades pilnvaras, izvades marķieri, gara konteksta pieprasījumi, atkārtota mēģinājuma darbība, rīku izsaukuma cilpas, lietotāja vai komandas attiecinājums un pakalpojumu sniedzēja maršruts. Šie dati ir nepieciešami atmaksai, budžeta brīdinājumiem, iepirkumu plānošanai un incidentu pārskatīšanai.

API atslēgas pārvaldība ir daļa no tās pašas problēmas. Premium modeļi nedrīkst būt sasniedzami no nepārvaldītām atslēgām, kas iegultas skriptos, vietējos rīkos vai līgumslēdzēja vidēs. Organizācijām ir jāzina, kuras atslēgas var piekļūt Astra, kuras darba slodzes ir apstiprinātas un vai pieprasījumi tiek saņemti no paredzamajām sistēmām. Komandām, kuras izmanto B2B LLM kā vienotu API slāni, praktiskais savienojums ir vienkāršs: Astra ir jāuzskata par pārvaldītu maršrutu ar skaidrām atļaujām, izmaksu redzamību un modeļa atlases politiku, nevis kā noklusējuma jauninājumu.

Kas paliek neskaidrs

OpenAI vadītāji un daži pārklājumi ir norādījuši, ka Astra ir potenciāli AGI līmeņa. Tas ir subjektīvs raksturojums, un tam nevajadzētu veicināt pārņemšanu uzņēmumā. Pārbaudāmie fakti ir modeļa izlaidums, API identifikators, konteksta un izvades ierobežojumi, cenas un plānotie pieejamības kanāli. Neatkarīgi ražošanas pierādījumi būs svarīgāki par palaišanas valodu.

Ir arī pāragri zināt, kā Astra veiks parastās biznesa darba slodzes: strukturētu izgūšanu, juridisku pārskatīšanu, programmatūras uzturēšanu, klientu atbalsta automatizāciju, datu analīzi un ilgstošu rīku izmantošanu. Lieli konteksta logi automātiski negarantē labākas atbildes. Tie var uzlabot veiktspēju, ja ir iekļauta pareizā informācija, taču tie var arī palielināt latentumu, izmaksas un iespēju, ka neatbilstošs konteksts novērš modeļa uzmanību.

Tādēļ uzņēmumu tuvākā laika uzdevums ir izvērtēšana, nevis vispārēja migrācija. Komandām ir jāsalīdzina Astra ar esošajiem modeļiem ar reālu darba slodzi, jāaprēķina marķiera izmaksas reālā lietošanā, atsevišķi jāpārbauda pakalpojumu sniedzēja maršruti un jādefinē apstiprināšanas noteikumi ražošanas lietošanai. Astra paplašina iespējas, ko izstrādātāji var izmēģināt ar modernākajiem modeļiem, taču tas arī paaugstina darbības standartu, lai tos izmantotu atbildīgi.