Το Cloudflare κυκλοφόρησε το Auto Router σε δημόσια έκδοση beta για το AI Gateway, προσθέτοντας αυτόματη επιλογή μοντέλου στο επίπεδο πύλης αντί να αφήνει κάθε απόφαση δρομολόγησης στον κώδικα εφαρμογής. Η νέα λειτουργία αξιολογεί κάθε αίτημα, εκτιμά το είδος της εργασίας που ζητείται και επιλέγει από τα κατάλληλα μοντέλα χρησιμοποιώντας σήματα αναμενόμενης ποιότητας, κόστους διακριτικού, λανθάνοντος χρόνου και διαθεσιμότητας.
Η έκδοση έχει σημασία επειδή η δρομολόγηση μοντέλων γίνεται βασικό μέρος της εταιρικής υποδομής τεχνητής νοημοσύνης. Για ομάδες που χρησιμοποιούν πολλούς παρόχους, το δύσκολο πρόβλημα δεν είναι πλέον μόνο η πρόσβαση σε μοντέλα. Αποφασίζει ποιο μοντέλο θα χειριστεί ένα δεδομένο αίτημα, κάτω από ποιους περιορισμούς κόστους και καθυστέρησης, με αρκετή ορατότητα για να εξηγηθεί αργότερα η απόφαση.
Η απάντηση του Cloudflare είναι να τοποθετήσει περισσότερο αυτή τη λογική στο AI Gateway. Το Auto Router μπορεί να δοκιμάσει πρώτα το επιλεγμένο μοντέλο και να επιστρέψει σε άλλο κατάλληλο μοντέλο εάν ο πάροχος δεν μπορεί να εξυπηρετήσει το αίτημα. Αυτό κάνει την πύλη μια πολιτική και ένα σημείο εκτέλεσης, όχι απλώς έναν διακομιστή μεσολάβησης για API κλήσεις.
Τι άλλαξε
Πριν από αυτήν την κυκλοφορία, πολλές ομάδες χειρίζονταν την επιλογή μοντέλου σε κώδικα εφαρμογής, πλαίσια ενορχήστρωσης ή προσαρμοσμένες υπηρεσίες δρομολόγησης. Αυτή η προσέγγιση μπορεί να λειτουργήσει, αλλά δημιουργεί επαναλαμβανόμενες εργασίες μηχανικής σε προϊόντα και ομάδες. Κάθε εφαρμογή πρέπει να κωδικοποιεί κανόνες κόστους, προτιμήσεις μοντέλων, εναλλακτική συμπεριφορά και χειρισμό για συγκεκριμένο πάροχο.
Ο Αυτόματος δρομολογητής μετακινεί μέρος αυτής της απόφασης στο Cloudflare AI Gateway. Το Cloudflare λέει ότι ο δρομολογητής χρησιμοποιεί έναν ταξινομητή που αναπτύσσεται στην άκρη για να αξιολογήσει τον τύπο και την πολυπλοκότητα της εργασίας. Στη συνέχεια, βαθμολογεί τα κατάλληλα μοντέλα με βάση πολλές πρακτικές διαστάσεις: αναμενόμενη ποιότητα απόκρισης, κόστος διακριτικού, καθυστέρηση και εάν το μοντέλο είναι διαθέσιμο για την εξυπηρέτηση του αιτήματος.
Αυτός ο συνδυασμός είναι σημαντικός. Ένας απλός κανόνας δρομολόγησης όπως «χρησιμοποιήστε πρώτα το φθηνότερο μοντέλο» μπορεί να υποβαθμίσει την ποιότητα της παραγωγής σε πιο δύσκολες εργασίες. Ένας κανόνας που στέλνει πάντα επισκεψιμότητα σε ένα μοντέλο συνόρων μπορεί να σπαταλήσει τον προϋπολογισμό σε εργασίες ρουτίνας ταξινόμησης, εξαγωγής, επανεγγραφής ή μορφοποίησης. Ο Αυτόματος δρομολογητής έχει σχεδιαστεί για να κάνει το αίτημα ανταλλαγής κατόπιν αιτήματος, ενώ εξακολουθεί να λειτουργεί μέσα στο σύνολο μοντέλων που έχει επιτρέψει μια ομάδα.
Η εναλλακτική συμπεριφορά αλλάζει επίσης τη λειτουργική εικόνα. Εάν ο επιλεγμένος πάροχος δεν μπορεί να εξυπηρετήσει ένα αίτημα, το AI Gateway μπορεί να επιχειρήσει ένα άλλο κατάλληλο μοντέλο. Για συστήματα παραγωγής, που μπορεί να μειώσει τον αντίκτυπο των διακοπών του παρόχου, των ορίων ρυθμών ή των παροδικών αστοχιών χωρητικότητας. Σημαίνει επίσης ότι οι ομάδες πρέπει να σκεφτούν προσεκτικά τι σημαίνει "κατάλληλο", επειδή ένα εναλλακτικό μοντέλο μπορεί να διαφέρει ως προς τη συμπεριφορά, το κόστος, τον λανθάνοντα χρόνο, το παράθυρο περιβάλλοντος ή το προφίλ ασφάλειας.
Γιατί έχει σημασία για τον έλεγχο κόστους
Οι δαπάνες LLM διαμορφώνονται όλο και περισσότερο από τις αποφάσεις δρομολόγησης. Η ίδια δυνατότητα που αντιμετωπίζει ο χρήστης μπορεί να περιλαμβάνει σύντομα μηνύματα, μεγάλες προτροπές, αποθηκευμένο περιβάλλον, κλήσεις εργαλείων, δημιουργία κώδικα και εργασίες στο παρασκήνιο χαμηλού κινδύνου. Η αποστολή όλης αυτής της επισκεψιμότητας σε ένα μοντέλο είναι απλή, αλλά σπάνια οικονομική. Το
Αυτόματος δρομολογητής αντικατοπτρίζει μια ευρύτερη στροφή προς τον AI API έλεγχος κόστους σε επίπεδο πύλης. Αντί να αντιμετωπίζουν την επιλογή μοντέλου ως μια επιλογή που ανήκει αποκλειστικά στους προγραμματιστές, οι επιχειρήσεις μπορούν να αρχίσουν να τη διαχειρίζονται ως μια κοινή επιχείρηση πλατφόρμας. Αυτό είναι ιδιαίτερα σημαντικό για οργανισμούς με πολλές ομάδες που δημιουργούν λειτουργίες AI πάνω από τους ίδιους λογαριασμούς παρόχου.
Το πρακτικό αποτέλεσμα δεν είναι εγγυημένη εξοικονόμηση σε κάθε ανάπτυξη. Η Cloudflare λέει ότι ο Αυτόματος δρομολογητής μπορεί να μειώσει τη δαπάνη τεχνητής νοημοσύνης διατηρώντας παράλληλα την απόδοση, αλλά τα πραγματικά αποτελέσματα θα εξαρτηθούν από τον συνδυασμό φόρτου εργασίας, τα μοντέλα που επιτρέπονται, τα όρια ποιότητας, τα μοτίβα εντολών και την ανοχή για εναλλαγή παρόχων. Μια εταιρεία που εκτελεί ως επί το πλείστον δύσκολους φόρτους εργασίας συλλογιστικής μπορεί να έχει λιγότερα οφέλη από μια εταιρεία με μεγάλο όγκο συνήθους σύνοψης, εξαγωγής, ταξινόμησης και αυτοματοποίησης υποστήριξης.
Παρόλα αυτά, η κατεύθυνση είναι σαφής.Η βελτιστοποίηση κόστους γίνεται όλο και λιγότερο για τη μη αυτόματη επιλογή ενός μοντέλου και περισσότερο για τον καθορισμό περιορισμών: ποια μοντέλα εγκρίνονται, πότε μπορούν να χρησιμοποιηθούν φθηνότερα μοντέλα, πότε απαιτούνται μοντέλα premium και πότε είναι αποδεκτή η εναλλακτική.
Ποιος επηρεάζεται
Οι προγραμματιστές που δημιουργούν εφαρμογές πολλαπλών μοντέλων είναι το πιο άμεσο κοινό. Ο Αυτόματος δρομολογητής μπορεί να μειώσει την ποσότητα του κώδικα δρομολόγησης που χρειάζεται να διατηρήσει, ειδικά όταν οι εφαρμογές βρίσκονται ήδη πίσω από το Cloudflare AI Gateway. Αντί να συνδέσουν κάθε εργασία σε ένα σταθερό μοντέλο, οι ομάδες μπορούν να ορίσουν ένα κατάλληλο σύνολο μοντέλων και να αφήσουν την πύλη να αποφασίσει εντός αυτών των ορίων.
Επηρεάζονται οι ομάδες πλατφόρμας και υποδομής επειδή η πύλη μετατρέπεται σε επίπεδο ελέγχου τεχνητής νοημοσύνης. Θα πρέπει να αποφασίσουν εάν οι πολιτικές δρομολόγησης είναι παγκόσμιες, για συγκεκριμένο έργο, για το περιβάλλον ή συνδέονται με τον κίνδυνο προϊόντος. Ένα bot υποστήριξης πελατών, ένας εσωτερικός βοηθός κωδικοποίησης και μια ροή εργασιών συμμόρφωσης δεν θα πρέπει απαραίτητα να μοιράζονται την ίδια συμπεριφορά αυτόματης δρομολόγησης.
Οι οικονομικές και λειτουργικές ομάδες έχουν επίσης μερίδιο. Εάν η αυτόματη δρομολόγηση αλλάξει ποιο μοντέλο χειρίζεται ένα αίτημα, η απόδοση κόστους πρέπει να παραμείνει σαφής. Ένας χαμηλότερος λογαριασμός μικτού διακριτικού είναι χρήσιμος μόνο εάν οι ομάδες μπορούν ακόμα να κατανοήσουν ποια προϊόντα, πελάτες, έργα ή κλειδιά API δημιούργησαν τη δαπάνη. Εκεί είναι που τα αναλυτικά στοιχεία χρήσης και οι ετικέτες γίνονται εξίσου σημαντικά με την ίδια την απόφαση δρομολόγησης.
B2B LLM οι πελάτες και οι χρήστες παρόμοιας πλατφόρμας θα πρέπει να διαβάσουν την κυκλοφορία ως μέρος μιας ευρύτερης κίνησης της αγοράς. Η ενοποιημένη πρόσβαση API αναμένεται όλο και περισσότερο να περιλαμβάνει τη διακυβέρνηση, τα αναλυτικά στοιχεία, τους ελέγχους προϋπολογισμού και την πολιτική δρομολόγησης. Ο κατάλογος μοντέλων είναι μόνο ένα στρώμα. οι λειτουργικοί κανόνες γύρω από αυτόν τον κατάλογο γίνονται ο διαφοροποιητής.
Πρακτικές συνέπειες
Η πρώτη συνέπεια είναι ο σχεδιασμός πολιτικής. Οι ομάδες που υιοθετούν την αυτόματη δρομολόγηση θα πρέπει να τεκμηριώνουν ποιοι φόρτοι εργασίας μπορούν να ανεχθούν την αντικατάσταση του μοντέλου. Η εσωτερική περίληψη μπορεί να είναι χαμηλού κινδύνου. Η ανάλυση συμβολαίου, η ρυθμιζόμενη επικοινωνία με τους πελάτες, οι αλλαγές κώδικα ή η χρήση πρακτορείου μπορεί να απαιτούν αυστηρότερους περιορισμούς και ρητό έλεγχο.
Το δεύτερο είναι η δοκιμή. Η αυτόματη δρομολόγηση κάνει την αξιολόγηση πιο σημαντική, όχι λιγότερο. Οι ομάδες θα πρέπει να συγκρίνουν τα αποτελέσματα στα κατάλληλα μοντέλα που επιτρέπουν, ειδικά για περιπτώσεις αιχμής, μακροχρόνιες προτροπές, δομημένα αποτελέσματα, αιτήματα ευαίσθητα στην ασφάλεια και ορολογία για συγκεκριμένο τομέα. Εάν μια πύλη μπορεί να επιλέξει μεταξύ μοντέλων, το σύνολο αξιολόγησης θα πρέπει να καλύπτει ολόκληρο το σύνολο διαδρομών και όχι ένα μεμονωμένο προεπιλεγμένο μοντέλο.
Το τρίτο είναι η παρατηρησιμότητα. Οι προγραμματιστές χρειάζονται αρχεία καταγραφής που να δείχνουν ποιο μοντέλο επιλέχθηκε, αν προέκυψε εναλλακτική, ποια ήταν η καθυστέρηση και η χρήση του διακριτικού και πώς κατανεμήθηκε το κόστος. Χωρίς αυτό το αρχείο, η αυτόματη δρομολόγηση μπορεί να γίνει δύσκολη στον εντοπισμό σφαλμάτων όταν ένας χρήστης αναφέρει αλλαγή συμπεριφοράς ή όταν μια οικονομική ομάδα ρωτά γιατί μετακινήθηκε ένας λογαριασμός.
Το τέταρτο είναι η πειθαρχία των προμηθειών. Το Auto Router μπορεί να διευκολύνει την προσθήκη νέων παρόχων ή μοντέλων, αλλά κάθε προσθήκη επεκτείνει την επιφάνεια πολιτικής. Οι επιχειρήσεις θα πρέπει να αποφασίσουν εάν ένα μοντέλο έχει εγκριθεί για πειραματισμό, εσωτερικούς φόρτους εργασίας, κίνηση πελατών παραγωγής, ευαίσθητα δεδομένα ή ρυθμιζόμενη χρήση. Αυτές οι κατηγορίες θα πρέπει να αντικατοπτρίζονται στη διαμόρφωση της πύλης και όχι σε ανεπίσημες συμβάσεις ομάδας.
Αυτό που παραμένει αβέβαιο
Το μεγαλύτερο ανοιχτό ερώτημα είναι πόσο καλά αποδίδει ο Αυτόματος δρομολογητής σε πραγματικούς φόρτους εργασίας της επιχείρησης. Το Cloudflare έχει περιγράψει τον σχεδιασμό και την προβλεπόμενη εξοικονόμηση, αλλά τα αποτελέσματα παραγωγής θα ποικίλλουν. Ένας δρομολογητής που έχει καλή απόδοση για γενικά μηνύματα ενδέχεται να χρειάζεται προσεκτικό συντονισμό γύρω από εξειδικευμένες βάσεις κωδικών, νομική γλώσσα, ιατρικό περιεχόμενο, οικονομική ανάλυση ή εργασίες γνώσεων για συγκεκριμένες εταιρείες.
Δεν είναι επίσης σαφές πώς οι ομάδες θα εξισορροπήσουν την αυτόματη βελτιστοποίηση με την προβλεψιμότητα. Ορισμένες επιχειρήσεις μπορεί να καλωσορίσουν την αλλαγή μοντέλου λόγω κόστους και ανθεκτικότητας. Άλλοι μπορεί να προτιμούν τη σταθερή συμπεριφορά του μοντέλου για λόγους ελέγχου, αξιολόγησης ή εμπειρίας πελάτη.Το πιθανό αποτέλεσμα δεν είναι μια καθολική πολιτική, αλλά πολυεπίπεδα στοιχεία ελέγχου: αυστηρή δρομολόγηση για ευαίσθητες ροές εργασίας, ευέλικτη δρομολόγηση για εργασίες ρουτίνας και ξεχωριστά πειράματα για νέα υποψήφια μοντέλα.
Η κυκλοφορία του Cloudflare εξακολουθεί να είναι σημαντική επειδή σηματοδοτεί μια σαφή κατεύθυνση προϊόντος. Η δρομολόγηση πολλαπλών μοντέλων δεν είναι πλέον απλώς ένα μοτίβο αρχιτεκτονικής εφαρμογών. Γίνεται μια λειτουργία διαχειριζόμενης πύλης και αυτό θα αυξήσει τις προσδοκίες για κάθε πλατφόρμα τεχνητής νοημοσύνης που ισχυρίζεται ότι βοηθά τις επιχειρήσεις να ελέγχουν το κόστος, την αξιοπιστία και τη διακυβέρνηση σε όλα τα μοντέλα.