Το OpenRouter προσθέτει το Batch API για χαμηλού κόστους ασύγχρονους φόρτους εργασίας LLM

Το OpenRouter κυκλοφόρησε μια παρτίδα API για ασύγχρονα συμπεράσματα LLM, προσθέτοντας μια νέα επιφάνεια κόστους για ομάδες που μπορούν να περιμένουν αποτελέσματα αντί να πληρώνουν για άμεσες σύγχρονες απαντήσεις.

Η έκδοση της 22ας Σεπτεμβρίου επιτρέπει στους χρήστες να υποβάλλουν ομαδικούς φόρτους εργασίας στο /api/v1/batches για ολοκλήρωση συνομιλιών, ολοκλήρωση συνομιλιών και απαντήσεις. Το OpenRouter λέει ότι η δυνατότητα λειτουργεί σε περισσότερα από 70 μοντέλα. Λέει επίσης ότι οι πάροχοι χρεώνουν γενικά το 50% ή λιγότερο της κανονικής τιμολόγησης ανά διακριτικό όταν μπορούν να ολοκληρώσουν την εργασία τους μέσα σε ένα παράθυρο 24 ωρών.

Αυτό κάνει την ανακοίνωση περισσότερο από ένα άλλο τελικό σημείο. Επισημοποιεί έναν διαχωρισμό που πολλές ομάδες τεχνητής νοημοσύνης διαχειρίζονται ήδη ανεπίσημα: ορισμένες κλήσεις μοντέλων πρέπει να πραγματοποιούνται ενώ ένας χρήστης περιμένει, ενώ πολλές άλλες μπορούν να εκτελούνται στο παρασκήνιο. Οι αξιολογήσεις, οι εργασίες ταξινόμησης, οι ενσωματώσεις, ο εμπλουτισμός εγγράφων, η επισήμανση, οι συμπληρώσεις, οι σουίτες δοκιμών της κόκκινης ομάδας και οι μεγάλες ουρές περίληψης συχνά δεν χρειάζονται αποκρίσεις χαμηλής καθυστέρησης. Μέχρι τώρα, αυτές οι εργασίες προωθούνταν συχνά μέσω των ίδιων σύγχρονων API μοτίβων με τις διαδραστικές λειτουργίες προϊόντων.

Τι άλλαξε

Το OpenRouter's Batch API δημιουργεί μια ξεχωριστή διαδρομή για εργασία που μπορεί να μπει στην ουρά και να ολοκληρωθεί ασύγχρονα. Αντί να υποβάλουν ένα αίτημα και να κρατήσουν ανοιχτή μια διαδρομή απόκρισης, οι χρήστες υποβάλλουν μια παρτίδα, παρακολουθούν την κατάστασή της και ανακτούν αργότερα τα ολοκληρωμένα αποτελέσματα.

Η πρακτική αλλαγή είναι τόσο οικονομική όσο και τεχνική. Η ανακοίνωση του OpenRouter λέει ότι οι πάροχοι γενικά τιμολογούν αυτούς τους φόρτους εργασίας στο μισό ή λιγότερο από τις τυπικές τιμές ανά διακριτικό, εάν μπορούν να ολοκληρώσουν την εργασία εντός του παραθύρου των 24 ωρών. Η εταιρεία ανέφερε επίσης ότι η έκδοση beta της διαχειρίστηκε περισσότερες από 230.000 ολοκληρωμένες παρτίδες με διάμεσο χρόνο ολοκλήρωσης 7 λεπτών.

Αυτοί οι αριθμοί δεν πρέπει να διαβάζονται ως εγγύηση σε επίπεδο καθολικής υπηρεσίας. Η διαθέσιμη έκπτωση εξαρτάται από την υποστήριξη και τη δρομολόγηση του παρόχου και ο χρόνος ολοκλήρωσης θα διαφέρει ανάλογα με το μοντέλο, το βάθος της ουράς, το σχήμα του φόρτου εργασίας και τη χωρητικότητα του παρόχου. Αλλά η κατεύθυνση είναι σαφής: API οι πλατφόρμες αρχίζουν να εκθέτουν τον λανθάνοντα χρόνο ως σκόπιμο μοχλό ελέγχου κόστους.

Γιατί έχει σημασία για τις ομάδες τεχνητής νοημοσύνης

Για τους προγραμματιστές, η ομαδική επεξεργασία αλλάζει τον τρόπο με τον οποίο πρέπει να σχεδιάζεται η εργασία LLM. Μια ομάδα προϊόντων μπορεί να εξακολουθεί να χρησιμοποιεί σύγχρονες κλήσεις για συνομιλία, βοήθεια κωδικού, χρήση εργαλείων αντιπροσώπου ή ροές εργασίας που αντιμετωπίζουν πελάτες. Ωστόσο, η ίδια ομάδα μπορεί να μετακινήσει τις επαναλαμβανόμενες σειρές αξιολόγησης, τη νυχτερινή επεξεργασία βάσης γνώσεων, τη δημιουργία ενσωματώσεων και τα αναλυτικά στοιχεία εκτός σύνδεσης σε μια ουρά χαμηλότερου κόστους.

Αυτό έχει σημασία επειδή η δαπάνη διακριτικών κατανέμεται ολοένα και περισσότερο σε πολλές κρυφές λειτουργικές εργασίες. Μια εταιρεία μπορεί να παρατηρήσει πρώτα το κόστος των ορατών χαρακτηριστικών τεχνητής νοημοσύνης, αλλά οι εσωτερικές εργασίες μπορούν να γίνουν ένα μεγάλο μερίδιο του όγκου συμπερασμάτων μόλις οι ομάδες αρχίσουν να εκτελούν αξιολογήσεις, ελέγχους ποιότητας, εποπτεία περιεχομένου, μετασχηματισμούς δεδομένων και συντήρηση ανάκτησης σε κλίμακα. Τα ομαδικά API διευκολύνουν τον διαχωρισμό, τον προϋπολογισμό και τη βελτιστοποίηση αυτών των φόρτων εργασίας στο παρασκήνιο.

Η έκδοση ενισχύει επίσης ένα ευρύτερο μοτίβο στον AI API έλεγχος κόστους: οι επιχειρήσεις χρειάζονται περισσότερα από μια λίστα υποστηριζόμενων μοντέλων. Χρειάζονται δρομολόγηση, παρατηρησιμότητα, πολιτική, αναλυτικά στοιχεία χρήσης και λογική χρέωσης που κατανοούν τη λειτουργική διαφορά μεταξύ διαδραστικού και αναβαλλόμενου συμπεράσματος.

Για τις ομάδες που χρησιμοποιούν πύλη πολλαπλών μοντέλων, το συμπέρασμα παρτίδας εγείρει άμεσα ερωτήματα διακυβέρνησης. Ποιοι πάροχοι είναι κατάλληλοι για παρτίδες; Ορισμένα μοντέλα έχουν εγκριθεί μόνο για σύγχρονη χρήση από τον χρήστη, ενώ τα φθηνότερα μοντέλα προτιμώνται για αξιολόγηση εκτός σύνδεσης; Πώς δοκιμάζονται ξανά τα αποτυχημένα στοιχεία παρτίδας; Μπορούν οι ομάδες χρηματοδότησης ή πλατφόρμας να αποδώσουν ασύγχρονη χρήση διακριτικού στο σωστό προϊόν, πελάτη, περιβάλλον ή εσωτερική ομάδα;

Ποιος επηρεάζεται

Οι πιο προφανείς δικαιούχοι είναι ομάδες με μεγάλο όγκο εργασιών LLM με ανεκτικότητα σε καθυστέρηση. Οι ομάδες αξιολόγησης τεχνητής νοημοσύνης μπορούν να εκτελέσουν ευρύτερες σειρές δοκιμών χωρίς να αντιμετωπίζουν κάθε μήνυμα ως συναλλαγή σε πραγματικό χρόνο. Οι ομάδες δεδομένων μπορούν να επεξεργάζονται συσσωρευμένα εισιτήρια υποστήριξης, έγγραφα, μεταγραφές ή καταλόγους προϊόντων με χαμηλότερο κόστος. Οι ομάδες ανάκτησης μπορούν να δημιουργήσουν ενσωματώσεις και μεταδεδομένα στο παρασκήνιο.Οι ομάδες ασφάλειας και διακυβέρνησης μπορούν να εκτελούν ελέγχους πολιτικής ή να ελέγχουν φόρτους εργασίας χωρίς να ανταγωνίζονται τους προϋπολογισμούς καθυστέρησης παραγωγής.

Οι νεοσύστατες εταιρείες και οι μικρότερες ομάδες ενδέχεται επίσης να ωφεληθούν, επειδή η τιμολόγηση παρτίδας μπορεί να κάνει τον πειραματισμό φθηνότερο. Μια ομάδα που συγκρίνει πολλά μοντέλα για σύνοψη ή ταξινόμηση θα μπορούσε να εκτελέσει μεγαλύτερες δοκιμές εκτός σύνδεσης πριν δεσμευτεί σε μια διαδρομή παραγωγής. Τούτου λεχθέντος, η εξοικονόμηση κόστους δεν είναι αυτόματη. Εάν μια ροή εργασίας εξακολουθεί να μπλοκάρει έναν χρήστη ή εάν τα συστήματα μεταγενέστερης ροής δεν έχουν κατασκευαστεί για ψηφοφορία για ολοκλήρωση και χειρισμό μερικών αστοχιών, η εξαναγκασμός σε ένα μοντέλο παρτίδας μπορεί να δημιουργήσει περισσότερη πολυπλοκότητα από την αξία.

Για τις ομάδες πλατφόρμας και υποδομής, η ανακοίνωση υποδεικνύει μια απαίτηση προϊόντος που είναι πιθανό να εξαπλωθεί. Καθώς η τιμολόγηση παρτίδας γίνεται πιο κοινή, οι εσωτερικές πλατφόρμες τεχνητής νοημοσύνης θα χρειάζονται ξεχωριστούς ελέγχους για ασύγχρονες εργασίες: ποσοστώσεις, ροές έγκρισης, κανόνες διατήρησης, συμπεριφορά ακύρωσης, παρακολούθηση κατάστασης και απόδοση κόστους. Ένας μεμονωμένος μετρητής διακριτικών δεν είναι αρκετός.

Αυτό που παραμένει αβέβαιο

Η κύρια αβεβαιότητα είναι πόσο συνεπής θα είναι η εξοικονόμηση πόρων μεταξύ των μοντέλων και των παρόχων. Το OpenRouter περιγράφει το επίπεδο 50% ως ένα γενικό μοτίβο παρόχου, όχι ως υπόσχεση ότι κάθε μοντέλο ή διαδρομή θα είναι πάντα διαθέσιμο σε αυτήν την έκπτωση. Οι αγοραστές θα πρέπει να ελέγξουν ποια μοντέλα υποστηρίζουν τη λειτουργία δέσμης, πώς παρουσιάζεται η τιμολόγηση σε αρχεία καταγραφής και τιμολόγια και εάν οι αλλαγές δρομολόγησης αλλάζουν τα αναμενόμενα οικονομικά στοιχεία.

Υπάρχει επίσης ένα λειτουργικό ερώτημα σχετικά με τα παράθυρα ολοκλήρωσης. Ένα 24ωρο παράθυρο είναι εύλογο για πολλούς φόρτους εργασίας εκτός σύνδεσης, αλλά οι επιχειρήσεις πρέπει ακόμα να γνωρίζουν εάν οι περισσότερες εργασίες τελειώνουν σε λεπτά, ώρες ή κοντά στην προθεσμία. Ο αναφερόμενος διάμεσος χρόνος ολοκλήρωσης beta των 7 λεπτών του OpenRouter είναι ενθαρρυντικός, αλλά η μέση απόδοση δεν απαντά σε ερωτήσεις τελικής καθυστέρησης για μεγάλες παρτίδες παραγωγής.

Η μεγαλύτερη σημασία είναι ότι η υποδομή LLM γίνεται λιγότερο μονολιθική. Το παλιό μοντέλο ήταν απλό: στείλτε μια προτροπή, λάβετε απάντηση, πληρώστε την αναγραφόμενη τιμή συμβολικού. Το αναδυόμενο μοντέλο μοιάζει περισσότερο με την τιμολόγηση της υποδομής cloud, όπου ο χρονισμός, η δρομολόγηση, η κατηγορία φόρτου εργασίας, η επιλογή παρόχου και η πολιτική επηρεάζουν το κόστος. Η παρτίδα API του OpenRouter δίνει στους προγραμματιστές έναν νέο τρόπο να εκμεταλλευτούν αυτήν τη διαφορά, υπό την προϋπόθεση ότι τα συστήματά τους είναι σχεδιασμένα να αντιμετωπίζουν την αναβαλλόμενη εξαγωγή συμπερασμάτων ως μια πρώτης τάξεως ροή εργασίας.