OpenAI κυκλοφόρησε ένα νέο Decisions API σε δημόσια έκδοση beta, δίνοντας στους προγραμματιστές ένα ξεχωριστό τελικό σημείο για πληκτρολογημένες αποφάσεις αντί για δημιουργία πλήρους κειμένου. Η beta έφτασε στις 6 Οκτωβρίου με υποστήριξη για GPT-6 Luna και είναι τοποθετημένη για φόρτους εργασίας όπου ο χώρος εξόδου είναι γνωστός εκ των προτέρων: κατηγορήματα, επιλογές και βαθμολογίες.
Ακούγεται στενό, αλλά έχει σημασία. Ένα μεγάλο μερίδιο της κυκλοφορίας τεχνητής νοημοσύνης παραγωγής δεν είναι γραφή ανοιχτού τύπου. Είναι η ταξινόμηση, η δρομολόγηση, οι έλεγχοι πολιτικής που γειτνιάζουν με τον έλεγχο, την ανίχνευση πρόθεσης, την επιλογή εργαλείου και τη λογική του προστατευτικού κιγκλιδώματος. Αυτές οι κλήσεις συχνά ζητούν από ένα μοντέλο να παράγει μια μικρή δομημένη απάντηση και, στη συνέχεια, αναγκάζουν την εφαρμογή να την αναλύσει ή να την επικυρώσει. Ο OpenAI αντιμετωπίζει τώρα αυτό το μοτίβο ως τη δική του επιφάνεια API.
Τι άλλαξε
Οι Αποφάσεις API μετατρέπουν το κείμενο και τις εικόνες σε δακτυλογραφημένες απαντήσεις. Το OpenAI λέει ότι μπορεί να είναι έως και 10 φορές πιο γρήγορο από τις απαντήσεις API για υποστηριζόμενους φόρτους εργασίας αποφάσεων. Στη δημόσια έκδοση beta, οι προγραμματιστές μπορούν να ορίσουν τα αποτελέσματα απόφασης ως κατηγορήματα, επιλογές ή βαθμολογίες, αντί να ζητούν από ένα μοντέλο να δημιουργήσει αυθαίρετο κείμενο και στη συνέχεια να περιορίζουν το αποτέλεσμα εκ των υστέρων.
Το μοντέλο τιμολόγησης είναι επίσης διαφορετικό. Το OpenAI παραθέτει GPT-6 Χρήση Luna για τις Αποφάσεις API με 0,10 $ ανά 1 εκατομμύριο διακριτικά εισόδου, χωρίς χρεώσεις cache-read, cache-write ή output-token. Αυτό διευκολύνει τη μοντελοποίηση της οικονομίας της μονάδας για επίπεδα απόφασης μεγάλου όγκου, επειδή ο λογαριασμός συνδέεται μόνο με τον όγκο εισόδου.
Η κυκλοφορία δεν αντικαθιστά τα chat, τις απαντήσεις ή τα API προσανατολισμένα σε πράκτορες. Δημιουργεί μια πιο εξειδικευμένη διαδρομή για περιπτώσεις όπου η εφαρμογή χρειάζεται μια αξιόπιστη δακτυλογραφημένη απάντηση, όχι μια παράγραφο. Για ομάδες που κατανέμουν ήδη φόρτους εργασίας σε μεγέθη μοντέλων, επίπεδα καθυστέρησης και διαδρομές παρόχου, αυτό προσθέτει μια άλλη κατηγορία στην αρχιτεκτονική: κλήσεις αποφάσεων.
Γιατί οι προγραμματιστές πρέπει να ενδιαφέρονται
Πολλές εφαρμογές τεχνητής νοημοσύνης χρησιμοποιούν ήδη κλήσεις μικρών μοντέλων ως λογική εσωτερικού ελέγχου. Ένας βοηθός υποστήριξης μπορεί να ταξινομήσει ένα εισιτήριο πριν επιλέξει μια ροή εργασίας. Ένας παράγοντας κωδικοποίησης μπορεί να αποφασίσει ποιο εργαλείο θα καλέσει στη συνέχεια. Ένα σύστημα επεξεργασίας εγγράφων μπορεί να βαθμολογήσει εάν μια εγγραφή πληροί ένα όριο πολιτικής. Ένα προϊόν που απευθύνεται σε πελάτες μπορεί να δρομολογεί αιτήματα μεταξύ φθηνότερων και πιο ικανών μοντέλων.
Μέχρι τώρα, αυτά τα μοτίβα εφαρμόζονταν συχνά ως κανονικές κλήσεις δημιουργίας με αυστηρές προτροπές, σχήματα JSON, επαναλήψεις και επίπεδα επικύρωσης. Αυτή η προσέγγιση λειτουργεί, αλλά επιβαρύνει. Οι προγραμματιστές πληρώνουν για τα διακριτικά εξόδου, διαχειρίζονται αποτυχίες ανάλυσης και συχνά αποδέχονται περισσότερο λανθάνοντα χρόνο από ό,τι απαιτεί η ίδια η απόφαση.
Ένα πληκτρολογημένο τελικό σημείο απόφασης αλλάζει αυτή την ανταλλαγή. Εάν η έξοδος μπορεί να αναπαρασταθεί ως boolean, μια περιορισμένη επιλογή ή μια βαθμολογία, οι ομάδες μπορούν να μετακινήσουν την κλήση εκτός μιας γενικής διαδρομής παραγωγής. Αυτό μπορεί να μειώσει την καθυστέρηση και να απλοποιήσει τον κώδικα εφαρμογής. Μπορεί επίσης να μειώσει την ασάφεια στα αρχεία καταγραφής και στα αναλυτικά στοιχεία, επειδή ο σκοπός της κλήσης είναι σαφής.
Οι πιο άμεσες περιπτώσεις χρήσης είναι πιθανό να είναι εσωτερικοί έλεγχοι υψηλής συχνότητας: δρομολόγηση αιτημάτων, πύλες καταλληλότητας περιεχομένου, κανόνες κλιμάκωσης, βήματα επιλογής εργαλείου και πολιτικές επιλογής μοντέλου. Σε αυτά τα μέρη, μικρές βελτιώσεις στον λανθάνοντα χρόνο και το κόστος μπορεί να έχουν σημασία, επειδή η κλήση απόφασης μπορεί να συμβεί πριν από κάθε αίτημα μεγαλύτερου μοντέλου.
Επιπτώσεις κόστους και διακυβέρνησης
Η τιμή μόνο για εισαγωγή είναι η εμπορική λεπτομέρεια που πρέπει να παρακολουθήσετε. Για ομάδες που εκτελούν μεγάλους όγκους προστατευτικών κιγκλιδωμάτων ή αποφάσεις δρομολόγησης, η εξάλειψη της χρέωσης με διακριτικό εξόδου αλλάζει τη σύγκριση με μοντέλα μικρών συνομιλιών, μηχανισμούς κανόνων και τερματικά σημεία ταξινομητή για συγκεκριμένους παρόχους. Επίσης, καθιστά τις προβλέψεις κόστους λιγότερο ευαίσθητες στη δημοσιότητα εξόδου ή στις επαναλήψεις σχήματος.
Αυτό δεν σημαίνει ότι κάθε ταξινομητής πρέπει να μετακινηθεί στις Αποφάσεις API. Οι ντετερμινιστικοί κανόνες θα εξακολουθούν να είναι φθηνότεροι και ευκολότεροι στον έλεγχο όταν η λογική είναι απλή. Τα υπάρχοντα φίλτρα ενσωμάτωσης, αναζήτησης ή βάσης δεδομένων μπορεί να είναι πιο κατάλληλα για ορισμένα προβλήματα δρομολόγησης. Ωστόσο, όταν ένα μοντέλο χρησιμοποιείται ήδη για την ερμηνεία ακατάστατου κειμένου ή εικόνων σε μια περιορισμένη απάντηση, το νέο API δίνει στις ομάδες μια πιο καθαρή επιλογή προμήθειας και μηχανικής.
Για τις ομάδες πλατφόρμας, το μεγαλύτερο ζήτημα είναι η ταξινόμηση. Εάν όλες οι κλήσεις τεχνητής νοημοσύνης αντιμετωπίζονται ως ολοκληρώσεις συνομιλίας ή γενικές απαντήσεις σε εσωτερικούς πίνακες εργαλείων, ο φόρτος εργασίας απόφασης θα είναι δύσκολο να διαχειριστεί. Έχουν διαφορετικές προσδοκίες καθυστέρησης, συμπεριφορά χρέωσης και τρόπους αποτυχίας. Οι οργανισμοί με ώριμα προγράμματα LLM διαχείρισης κόστους θα πρέπει να διαχωρίσουν την επισκεψιμότητα αποφάσεων από την επισκεψιμότητα παραγωγής, έτσι ώστε η δρομολόγηση, οι προϋπολογισμοί και οι ειδοποιήσεις να αντικατοπτρίζουν την πραγματική συμπεριφορά του φόρτου εργασίας.
Το ίδιο ισχύει και για τις πύλες. Μια πύλη πολλαπλών μοντέλων AI API που κανονικοποιεί μόνο κλήσεις τύπου συνομιλίας μπορεί να μην είναι αρκετή, εάν οι πάροχοι συνεχίσουν να δημιουργούν εξειδικευμένα τελικά σημεία για αποφάσεις, εργαλεία, παρτίδες, ζωντανό ήχο και πράκτορες. B2B LLM οι πλατφόρμες και τα εσωτερικά επίπεδα ελέγχου τεχνητής νοημοσύνης μπορεί να χρειάζονται κατηγορίες τελικού σημείου πρώτης κατηγορίας για πληκτρολογημένες αποφάσεις αντί να επιβάλλουν τα πάντα μέσω μιας αφαίρεσης συνομιλίας.
Ποιος επηρεάζεται
Οι προγραμματιστές εφαρμογών απολαμβάνουν το πιο άμεσο όφελος εάν διατηρούν βαριά ταξινόμηση ή κώδικα δρομολόγησης. Το νέο API μπορεί να τους επιτρέψει να αντικαταστήσουν τις εύθραυστες ροές προτροπής και ανάλυσης με πληκτρολογημένες εξόδους που ταιριάζουν καλύτερα με το μηχάνημα εσωτερικής κατάστασης της εφαρμογής.
Οι ομάδες πλατφόρμας AI επηρεάζονται επειδή θα πρέπει να αποφασίσουν εάν οι Αποφάσεις API εκτίθενται ως ξεχωριστή εγκεκριμένη ικανότητα, πώς καταγράφεται και ποιες ομάδες μπορούν να τη χρησιμοποιήσουν. Οι αναθεωρητές ασφάλειας και συμμόρφωσης θα θέλουν να γνωρίζουν εάν τα αποτελέσματα αποφάσεων χρησιμοποιούνται για έλεγχο πρόσβασης, καταλληλότητα χρηστών, ροές εργασιών υγειονομικής περίθαλψης, προσλήψεις, οικονομικές αποφάσεις ή άλλες ευαίσθητες διαδικασίες.
Οι ομάδες οικονομικών και λειτουργιών θα πρέπει επίσης να δώσουν προσοχή. Οι κλήσεις λήψης αποφάσεων μπορεί να είναι αόρατες στην αναφορά στελεχών, εάν ομαδοποιούνται σε ευρύτερη χρήση μοντέλου. Μόλις οι εφαρμογές αρχίσουν να χρησιμοποιούν κλήσεις μοντέλων ως λογική επιπέδου ελέγχου, όχι μόνο ως δημιουργία προς το χρήστη, το LLM API απόδοση κόστους πρέπει να καταγράψει την επιχειρηματική λειτουργία της κλήσης, όχι μόνο το όνομα του μοντέλου.
Τι παραμένει αβέβαιο
Η ανακοίνωση beta καθορίζει το βασικό σχήμα του API, αλλά σημαντικές λεπτομέρειες παραγωγής χρειάζονται ακόμα επικύρωση. Το OpenAI δεν έχει παράσχει ανεξάρτητες αποδείξεις συγκριτικής αξιολόγησης για τον ισχυρισμό "έως και 10 φορές ταχύτερο" σε πραγματικούς φόρτους εργασίας της επιχείρησης. Οι προγραμματιστές θα πρέπει να δοκιμάσουν τον λανθάνοντα χρόνο με τα δικά τους μεγέθη εισόδου, ωφέλιμα φορτία εικόνων, περιοχές και μοτίβα ταυτόχρονης χρήσης.
Δεν είναι επίσης σαφές πόσο σταθερή θα είναι η διεπαφή beta, πώς θα συγκριθούν τα όρια ποσοστού με άλλες OpenAI API επιφάνειες και πώς θα εξελιχθούν οι Αποφάσεις API παράλληλα με τις Απαντήσεις και τα μελλοντικά API πρακτόρων. Η τιμολόγηση είναι ελκυστική για επίπεδα απόφασης μεγάλου όγκου, αλλά η τιμολόγηση beta και η συμπεριφορά τελικού σημείου δεν θα πρέπει να αντιμετωπίζονται ως μόνιμες χωρίς έλεγχο συμβολαίου.
Το στρατηγικό σήμα είναι σαφές, ωστόσο: το OpenAI αποδεσμεύει ένα άλλο κοινό πρότυπο εφαρμογής LLM από τη δημιουργία γενικής χρήσης. Για τις επιχειρήσεις, αυτό σημαίνει ότι η αρχιτεκτονική τεχνητής νοημοσύνης γίνεται όλο και λιγότερη όσον αφορά την επιλογή ενός τελικού σημείου μοντέλου και περισσότερο για την αντιστοίχιση κάθε φόρτου εργασίας στο σωστό API πρωτόγονο.