OpenAI κυκλοφόρησε το GPT-6.1 Sol στο API του, προσθέτοντας μια νέα επιλογή δρομολόγησης προηγμένης τεχνολογίας για ομάδες που χρειάζονται ισχυρή κωδικοποίηση, χρήση υπολογιστή και επαγγελματική απόδοση ροής εργασιών χωρίς προεπιλογή σε GPT-6 Astra για κάθε εργασία.
Η έκδοση έχει μικρότερη σημασία επειδή προσθέτει ένα άλλο όνομα μοντέλου στον κατάλογο και περισσότερο επειδή αλλάζει την πρακτική κλίμακα τιμών. Το OpenAI παραθέτει το GPT-6.1 Sol για τις Απαντήσεις API και τις Ολοκληρώσεις συνομιλίας, με δυνατότητα κλήσης εργαλείων μέσω των απαντήσεων API και υποστήριξης πολλαπλών πρακτόρων σε έκδοση beta. Η δημοσιευμένη τυπική τιμολόγηση είναι 2 $ ανά 1 εκατομμύριο διακριτικά εισόδου, 0,10 $ ανά 1 εκατομμύριο διακριτικά εισόδου προσωρινής αποθήκευσης, 2,50 $ ανά 1 εκατομμύριο διακριτικά εγγραφής στην κρυφή μνήμη και 10 $ ανά 1 εκατομμύριο διακριτικά εξόδου για προτροπές έως και 272.000 διακριτικά εισόδου.
Αυτός ο συνδυασμός δίνει στις ομάδες μηχανικών μια πιο ξεκάθαρη μέση διαδρομή: χρησιμοποιήστε ένα μοντέλο προηγμένης κατηγορίας για πιο σκληρή δουλειά, αλλά διαχειριστείτε το κόστος δρομολογώντας επαναλαμβανόμενες εντολές και μακροχρόνιες ροές εργασίας μέσω στοιχείων ελέγχου με επίγνωση κρυφής μνήμης.
Τι άλλαξε
GPT-6.1 Το Sol έφτασε ως μοντέλο με το όνομα API στις 29 Σεπτεμβρίου. Το αρχείο καταγραφής αλλαγών του OpenAI το αναφέρει ως διαθέσιμο τόσο για τις Απαντήσεις API όσο και για τις Ολοκληρώσεις συνομιλίας, κάτι που δίνει στους υπάρχοντες χρήστες API έναν σχετικά άμεσο τρόπο να το δοκιμάσουν έναντι της τρέχουσας κυκλοφορίας παραγωγής. Η σελίδα μοντέλου το τοποθετεί επίσης στη σύγχρονη στοίβα εργαλείων OpenAI: η κλήση εργαλείων υποστηρίζεται μέσω των απαντήσεων και το Multi-agent είναι διαθέσιμο σε έκδοση beta.
ΤοGitHub ανακοίνωσε ξεχωριστά τη διαθεσιμότητα GPT-6.1 Sol στο GitHub Copilot την ίδια ημερομηνία, με την τιμολόγηση να γίνεται μέσω του μοντέλου χρέωσης βάσει χρήσης του Copilot. Αυτό σημαίνει ότι πολλοί προγραμματιστές θα συναντήσουν το μοντέλο πρώτα μέσα στις ροές εργασιών κωδικοποίησης αντί να το συνδέσουν ρητά σε ένα backend εφαρμογής.
Η σημαντική λειτουργική λεπτομέρεια είναι η τιμολόγηση. Με 2 $ ανά εκατομμύριο διακριτικά εισόδου και 10 $ ανά εκατομμύριο διακριτικά εξόδου, το GPT-6.1 Sol βρίσκεται κάτω από το προφίλ συνόρων με το υψηλότερο κόστος, αλλά δεν είναι μοντέλο εμπορευμάτων. Το αποτέλεσμα παραμένει ο κύριος παράγοντας κόστους για τους αναλυτικούς πράκτορες κωδικοποίησης, τη σύνταξη εγγράφων και τις ροές εργασιών ανάλυσης. Ο πιο χαρακτηριστικός μοχλός είναι η είσοδος στην κρυφή μνήμη: OpenAI παραθέτει τις αποθηκευμένες αναγνώσεις με 0,10 $ ανά εκατομμύριο διακριτικά, ενώ οι εγγραφές στην κρυφή μνήμη κοστίζουν 2,50 $ ανά εκατομμύριο διακριτικά.
Γιατί η εισαγωγή στην κρυφή μνήμη έχει πλέον μεγαλύτερη σημασία
Η προσωρινή αποθήκευση προτροπής συχνά αντιμετωπίζεται ως μια ωραία βελτιστοποίηση. Με το GPT-6.1 Sol, γίνεται ερώτηση σχεδιασμού προϋπολογισμού. Πολλές εταιρικές εφαρμογές στέλνουν ξανά και ξανά τις ίδιες μεγάλες οδηγίες συστήματος, μπλοκ πολιτικών, σχήματα, πρότυπα ανάκτησης, παραδείγματα και περιβάλλον αποθήκης. Εάν αυτές οι επαναλαμβανόμενες είσοδοι είναι κατάλληλες για επισκέψεις προσωρινής μνήμης, το οριακό κόστος εισόδου μπορεί να μειωθεί απότομα. Εάν ξαναγράφονται συνεχώς, αναδιατάσσονται ή κατακερματίζονται σε αντιπροσώπους, η εξοικονόμηση ενδέχεται να μην εμφανιστεί ποτέ.
Αυτό ασκεί πίεση στην αρχιτεκτονική της εφαρμογής. Οι ομάδες που εκτελούν βοηθούς κωδικοποίησης, πιλότους εργασίας γνώσης, ανάλυση συμβάσεων, αυτοματοποίηση υποστήριξης ή πράκτορες αναλυτών θα πρέπει να μετρούν τα ποσοστά επισκέψεων στην κρυφή μνήμη και όχι μόνο τον συνολικό όγκο διακριτικών. Ένα μοντέλο που φαίνεται ακριβό σε μια απλή σύγκριση ανά διακριτικό μπορεί να είναι φθηνότερο σε πραγματικό φόρτο εργασίας εάν επαναχρησιμοποιήσει αποτελεσματικά το σταθερό πλαίσιο. Το αντίστροφο ισχύει επίσης: ένα σύστημα με κακή πειθαρχία μπορεί να διαγράψει το προφανές πλεονέκτημα της τιμολόγησης στην κρυφή μνήμη.
Για επιχειρήσεις που χρησιμοποιούν ένα κοινόχρηστο enterprise LLM API, η έκδοση του μοντέλου ενισχύει την ανάγκη για κεντρική δρομολόγηση και αναφορά κόστους. Οι μεμονωμένες ομάδες μπορούν να δουν μόνο το δικό τους μοντέλο κλήσης. Οι ομάδες πλατφόρμας πρέπει να δουν εάν η επισκεψιμότητα χρησιμοποιεί κρυφή μνήμη, ποιοι φόρτοι εργασίας παράγουν ακριβά αποτελέσματα και εάν οι εκτελέσεις αντιπροσώπων πολλαπλασιάζουν τις κλήσεις πίσω από ένα μόνο αίτημα χρήστη.
Ποιος επηρεάζεται
Οι προγραμματιστές που δημιουργούν πολύπλοκα εργαλεία κωδικοποίησης είναι το πιο προφανές κοινό. GPT-6.1 Η υποστήριξη του εργαλείου τοποθέτησης, διαθεσιμότητας Copilot και Responses API της Sol το καθιστούν σχετικό με τη δημιουργία κώδικα, την αναδιαμόρφωση, τον εντοπισμό σφαλμάτων, την αναζήτηση αποθετηρίου και την αυτοματοποίηση ροής εργασιών. Οι ομάδες που αξιολόγησαν πρόσφατα το GPT-6 Sol ή το GPT-6 Astra έχουν τώρα μια άλλη επιλογή ίδιας οικογένειας για συγκριτική αξιολόγηση όσον αφορά τον λανθάνοντα χρόνο, την ποιότητα εξόδου και το κόστος.
Επηρεάζονται επίσης ομάδες προϊόντων που εκτελούν επαγγελματίες πράκτορες ροής εργασιών. Η κλήση εργαλείων και η υποστήριξη beta πολλαπλών πρακτόρων οδηγούν σε συστήματα όπου μια εργασία χρήστη μπορεί να εξελιχθεί σε βήματα σχεδιασμού, ανάκτησης, εκτέλεσης, αναθεώρησης και παρακολούθησης. Αυτό είναι χρήσιμο, αλλά περιπλέκει τη λογιστική. Μια μεμονωμένη ενέργεια που αντιμετωπίζει ο πελάτης μπορεί να καταναλώσει διακριτικά σε διάφορους ρόλους, εργαλεία και επαναλήψεις αντιπροσώπων.
Οι ομάδες οικονομικών και λειτουργιών πλατφόρμας θα πρέπει επίσης να δώσουν προσοχή. Η επιλογή μοντέλου δεν είναι πλέον μια απλή απόφαση «καλύτερο μοντέλο έναντι φθηνού μοντέλου». Το καλύτερο ερώτημα είναι ποιο μοντέλο, μήκος περιβάλλοντος, μοτίβο κρυφής μνήμης και πολιτική εξόδου θα πρέπει να εφαρμόζονται σε κάθε φόρτο εργασίας. GPT-6.1 Η Sol κάνει αυτήν την ερώτηση πιο ευκρινή επειδή οι δημοσιευμένες τιμές της δημιουργούν ορατές αντισταθμίσεις μεταξύ της νέας εισαγωγής, της αποθηκευμένης εισόδου, των εγγραφών στην κρυφή μνήμη και της παραγόμενης εξόδου.
Πρακτικές συνέπειες για API ομάδες
Το πρώτο πρακτικό βήμα είναι η συγκριτική αξιολόγηση έναντι της πραγματικής επισκεψιμότητας. Τα συνθετικά μηνύματα σπάνια δείχνουν τα οικονομικά στοιχεία ενός μοντέλου με σημαντική τιμολόγηση προσωρινής αποθήκευσης. Οι ομάδες θα πρέπει να επαναλαμβάνουν αντιπροσωπευτικά αιτήματα, συμπεριλαμβανομένων των μηνυμάτων πλήρους συστήματος, των ωφέλιμων φορτίων ανάκτησης, των σχημάτων εργαλείων και των αναμενόμενων μηκών εξόδου. Θα πρέπει να συγκρίνουν το συνολικό κόστος ανά ολοκληρωμένη εργασία, όχι μόνο το κόστος ανά εκατομμύριο διακριτικά.
Το δεύτερο βήμα είναι η πολιτική. Εάν το GPT-6.1 Sol είναι ευρέως ενεργοποιημένο, οι ομάδες χρειάζονται όρια ανά έργο, περιβάλλον, ομάδα χρηστών και περίπτωση χρήσης. Οι πράκτορες κωδικοποίησης και οι ροές εργασίας πολλών πρακτόρων μπορεί να είναι ιδιαίτερα δύσκολο να υπολογιστούν στον προϋπολογισμό, επειδή οι προγραμματιστές ενδέχεται να μην βλέπουν κάθε κλήση μεταγενέστερου μοντέλου. Η απόδοση ανά αντιπρόσωπο, τα όρια δαπανών και τα όρια έγκρισης γίνονται μέρος της ετοιμότητας παραγωγής και όχι εκ των υστέρων.
Το τρίτο βήμα είναι η υγιεινή της μετανάστευσης. Επειδή το μοντέλο είναι διαθέσιμο τόσο μέσω των Απαντήσεων API όσο και μέσω των Ολοκληρώσεων συνομιλίας, ορισμένες ομάδες μπορούν να το δοκιμάσουν χωρίς σημαντική επανεγγραφή. Ωστόσο, η συμπεριφορά κλήσης εργαλείων, η συμπεριφορά της προσωρινής μνήμης και οι λειτουργίες beta πολλαπλών παραγόντων θα πρέπει να επικυρώνονται χωριστά. Μια εφαρμογή που λειτουργεί με συνηθισμένες ολοκληρώσεις συνομιλίας μπορεί να χρειάζεται διαφορετική παρατηρησιμότητα μόλις αρχίσει να χρησιμοποιεί κλήσεις εργαλείων ή συντονισμένους πράκτορες.
Τι παραμένει αβέβαιο
ΤοOpenAI έχει επιβεβαιώσει τη διαθεσιμότητα, υποστηρίζει API επιφάνειες, τιμολόγηση, κλήση εργαλείων και υποστήριξη πολλαπλών πρακτόρων beta. Αυτό που παραμένει λιγότερο βέβαιο είναι η απόδοση GPT-6.1 Sol σε συγκεκριμένους φόρτους εργασίας για επιχειρήσεις σε σύγκριση με τα GPT-6 Sol, GPT-6 Astra, τα επίπεδα Sonnet και Opus του Anthropic, τη γραμμή Gemini του Google και μοντέλα με ανοιχτή ή δρομολογημένη πύλη χαμηλότερου κόστους.
Η υποστήριξη πολλών πρακτόρων είναι επίσης ρητά beta, επομένως οι ομάδες θα πρέπει να αναμένουν την εξέλιξη της συμπεριφοράς, των ορίων και της λειτουργικής καθοδήγησης. Αυτό δεν καθιστά την κυκλοφορία άχρηστη, αλλά υποστηρίζει τη μετρημένη διάθεση: πρώτα ελεγχόμενα έργα, εξοπλισμός κόστους από την πρώτη μέρα και σαφή εναλλακτικές διαδρομές εάν ο λανθάνοντας χρόνος, η αξιοπιστία ή οι δαπάνες διαφέρουν από τις προσδοκίες.
Για τις ομάδες B2B, η έκδοση θεωρείται καλύτερα ως ένα άλλο σημάδι ότι η προμήθεια μοντέλων γίνεται δρομολόγηση φόρτου εργασίας. GPT-6.1 Το Sol δεν είναι απλώς ένα νέο τελικό σημείο. Είναι μια απόφαση τιμολόγησης και αρχιτεκτονικής που ανταμείβει το σταθερό πλαίσιο, τις ορατές ροές διακριτικών και την πειθαρχημένη διακυβέρνηση.