Πώς να δημιουργήσετε δρομολόγηση μοντέλου LLM με επίγνωση κόστους χωρίς να θυσιάσετε την ποιότητα

Η δρομολόγηση μοντέλου LLM με επίγνωση κόστους δεν πρέπει να σημαίνει την αποστολή κάθε αιτήματος στο φθηνότερο διαθέσιμο μοντέλο. Αυτό δημιουργεί μια αθόρυβη λειτουργία αποτυχίας: τα τιμολόγια βελτιώνονται για μερικές εβδομάδες και, στη συνέχεια, οι ομάδες προϊόντων ανακαλύπτουν κατεστραμμένα σχήματα, πιο αδύναμο σκεπτικό, ασυνεπή τόνο ή υποστηρίζουν πρόχειρα που απαιτούν περισσότερο καθαρισμό από τον άνθρωπο.

Το καλύτερο μοτίβο είναι μια πολιτική δρομολόγησης που υποστηρίζεται από την αξιολόγηση. Ταξινομήστε το αίτημα, ορίστε την ελάχιστη αποδεκτή ποιότητα για αυτήν την εργασία, καταργήστε διαδρομές που δεν μπορούν να ικανοποιήσουν περιορισμούς ικανότητας ή διακυβέρνησης, εκτιμήστε τα οικονομικά στοιχεία διαδρομής και, στη συνέχεια, επιλέξτε το επιλέξιμο μοντέλο με το χαμηλότερο κόστος. Η απόφαση δρομολόγησης γίνεται εξηγήσιμη κατά τη διάρκεια μιας αξιολόγησης κόστους, επειδή συνδέεται με μια έκδοση πολιτικής, όχι με την προτίμηση προγραμματιστή ή μια ασαφή προεπιλογή παρόχου.

Τι βελτιστοποιεί η δρομολόγηση με επίγνωση κόστους

Ένας πρακτικός δρομολογητής βελτιστοποιεί τη φθηνότερη διαδρομή που εξακολουθεί να πληροί τις απαιτήσεις λειτουργίας της εργασίας. Αυτό διαφέρει από τη βελτιστοποίηση για το φθηνότερο μοντέλο.

Γεγονότα: μεγάλοι πάροχοι μοντέλων δημοσιεύουν τιμολόγηση διακριτικών με ξεχωριστές διαστάσεις, όπως διακριτικά εισόδου, αποθηκευμένα διακριτικά εισόδου, διακριτικά εξόδου, προσωρινή αποθήκευση και επεξεργασία παρτίδας. Ορισμένοι πάροχοι εκθέτουν επίσης πεδία χρήσης που αναφέρουν συμπεριφορά κρυφής μνήμης. Αυτό σημαίνει ότι η επιλογή με το χαμηλότερο κόστος μπορεί να αλλάξει βάσει του σχήματος προτροπής, του αναμενόμενου μήκους εξόδου, της καταλληλότητας της προσωρινής μνήμης και του αν ο φόρτος εργασίας μπορεί να εκτελεστεί ασύγχρονα.

Σύσταση: αντιμετωπίζετε τη δρομολόγηση ως πρόβλημα πολιτικής εντός μιας πύλης πολυμοντέλων AI API, όχι ως δήλωση διακόπτη σε επίπεδο εφαρμογής. Η πύλη βλέπει αρχεία δυνατοτήτων παρόχου, κανόνες μισθωτή, API βασικά μεταδεδομένα, πίνακες τιμών, τηλεμετρία χρήσης και εναλλακτική συμπεριφορά σε ένα μέρος.

Πρόβλεψη: οι ομάδες που συνεχίζουν τη λογική δρομολόγησης διάσπαρτη στα αποθετήρια εφαρμογών θα δυσκολευτούν να εξηγήσουν τις αλλαγές κόστους αργότερα. Μπορεί να μειώσουν τις δαπάνες, αλλά θα έχουν πιο αδύναμα στοιχεία για το γιατί ένα δεδομένο αίτημα χρησιμοποίησε ένα συγκεκριμένο μοντέλο.

Ξεκινήστε με κατηγορίες εργασιών, όχι ονόματα παρόχων

Ο δρομολογητής χρειάζεται μια ετικέτα φόρτου εργασίας για να μπορέσει να λάβει μια χρήσιμη απόφαση. Ένα μόνο προεπιλεγμένο μοντέλο δεν μπορεί να αντιπροσωπεύει το προφίλ κινδύνου κάθε αιτήματος.

Οι χρήσιμες κατηγορίες εργασιών περιλαμβάνουν:

• Εξαγωγή: μετατρέψτε το μη δομημένο κείμενο σε πεδία, συχνά με αυστηρή επικύρωση σχήματος.
• Ταξινόμηση: εκχωρήστε ετικέτες, προτεραιότητα, πρόθεση, συναίσθημα ή κατηγορίες δρομολόγησης.
• Σύνοψη: συμπίεση μεγάλης εισόδου διατηρώντας τα βασικά γεγονότα και αποφάσεις.
• Σύνταξη υποστήριξης πελατών: δημιουργεί μια απάντηση που ένας άνθρωπος μπορεί να ελέγξει ή να στείλει.
• Σύνθεση απαντήσεων RAG: απάντηση από ανακτημένο πλαίσιο με απαιτήσεις αναφοράς ή γείωσης.
• Έλεγχος κώδικα: επιθεωρήστε τις διαφορές ή τα αρχεία προέλευσης για θέματα ορθότητας, κινδύνου ή στυλ.
• Ανάλυση μακράς διάρκειας: λόγος για συμβόλαια, μεταγραφές, αρχεία καταγραφής, πολιτικές ή πακέτα έρευνας.
• Υποστήριξη αποφάσεων υψηλού αντίκτυπου: οποιαδήποτε ροή εργασίας όπου μια κακή απάντηση θα μπορούσε να επηρεάσει τα χρήματα, τη συμμόρφωση, την ασφάλεια ή την εμπιστοσύνη των πελατών.

Η κατηγορία εργασιών μπορεί να προέρχεται από ρητά μεταδεδομένα αιτήματος, ένα εύρος κλειδιού API, μια διαδρομή εφαρμογής ή έναν ελαφρύ ταξινομητή. Τα ρητά μεταδεδομένα είναι συνήθως καλύτερα από το συμπέρασμα πρόθεσης από το κείμενο προτροπής, επειδή οι ασαφείς προτροπές αναγκάζουν το δρομολογητή σε συντηρητικές προεπιλογές.

Συνδέστε έναν όροφο ποιότητας σε κάθε εργασία

Η δρομολόγηση με επίγνωση κόστους λειτουργεί μόνο εάν κάθε εργασία έχει επίπεδο ποιότητας. Χωρίς ένα, ο δρομολογητής δεν έχει τρόπο αρχής να απορρίψει ένα φθηνότερο μοντέλο.

Ένα όροφο ποιότητας μπορεί να περιλαμβάνει πολλούς ελέγχους:

• Επανάληψη σετ αξιολόγησης: αντιπροσωπευτικά παραδείγματα από την ανάπτυξη και την παραγωγή, χωρίς ευαίσθητα δεδομένα όπου απαιτείται.
• Εγκυρότητα σχήματος: Η έξοδος πρέπει να αναλύει, να επικυρώνει το κανονικό σχήμα και να αποφεύγει τα μη υποστηριζόμενα πεδία.
• Κριτήρια περιεχομένου: Η απάντηση πρέπει να ακολουθεί κανόνες στυλ, άρνησης, γείωσης και πληρότητας για την εργασία.
• Κριτήρια ασφαλείας: η έξοδος δεν πρέπει να διαρρέει κρυφές οδηγίες, να αγνοεί τα όρια πολιτικής ή να εκτελεί μη αξιόπιστες οδηγίες από το ανακτηθέν περιεχόμενο.
• Ανθρώπινη αναθεώρηση: απαιτείται για ροές εργασιών με μεγάλο αντίκτυπο ή για προώθηση μιας νέας διαδρομής.
• Όριο παλινδρόμησης: η υποψήφια διαδρομή πρέπει να ανταποκρίνεται ή να υπερβαίνει την τρέχουσα διαδρομή σε κρίσιμες κατηγορίες αποτυχίας, όχι μόνο τη μέση βαθμολογία.

Γεγονός: η τεκμηρίωση παρόχου περιγράφει τις αξιολογήσεις ως έναν τρόπο δοκιμής των αποτελεσμάτων των μοντέλων με βάση καθορισμένα κριτήρια περιεχομένου και στυλ. Ένα φιλοξενούμενο προϊόν αξιολόγησης έχει προγραμματιστεί για κατάργηση, επομένως τα συστήματα δρομολόγησης θα πρέπει να αποθηκεύουν ουδέτερα από τον πάροχο σύνολα δεδομένων, αναμενόμενα αποτελέσματα, ρουμπρίκες βαθμολόγησης και αποτελέσματα αντί να εξαρτώνται από μια επιφάνεια αξιολόγησης που φιλοξενείται από έναν πάροχο.

Σύσταση: αποθηκεύστε τα αποτελέσματα ανά κατηγορία εργασιών, μοντέλο, έκδοση προσαρμογέα παρόχου, έκδοση προτροπής, έκδοση σχήματος και έκδοση ισοτιμίας. Μια διαδρομή δεν θα πρέπει να είναι επιλέξιμη απλώς και μόνο επειδή ένα μοντέλο είναι νέο ή φθηνότερο. Γίνεται κατάλληλο όταν περάσει την τρέχουσα πύλη ποιότητας της εργασίας.

Δημιουργία μητρώου δυνατοτήτων παρόχου

Πριν υπολογίσετε το κόστος, καταργήστε οποιαδήποτε διαδρομή δεν μπορεί να ικανοποιήσει το αίτημα. Αυτό το βήμα εμποδίζει τον δρομολογητή να επιλέξει ένα φθηνό μοντέλο που δεν διαθέτει τις απαιτούμενες δυνατότητες.

Ένα αρχείο ικανότητας θα πρέπει να περιλαμβάνει:

• Υποστηριζόμενες λειτουργίες εισόδου και εξόδου.
• Όρια παραθύρου περιβάλλοντος.
• Δομημένη έξοδος και υποστήριξη κλήσης εργαλείων.
• Υποστήριξη ροής.
• Υποστήριξη προσωρινής αποθήκευσης και διαθεσιμότητα τηλεμετρίας κρυφής μνήμης.
• Παρτίδα API υποστήριξη.
• Τοπικές επιλογές επεξεργασίας.
• Όροι παρακολούθησης διατήρησης δεδομένων και κατάχρησης που έχουν σημασία για την πολιτική σας.
• Διαστάσεις ορίου τιμών και τρέχουσα χωρητικότητα.
• Γνωστές διαφορές συμβολαίων εξόδου στο επίπεδο του προσαρμογέα σας.

Αυτό το μητρώο θα πρέπει να διατηρείται χωριστά από τα μηνύματα προτροπής της εφαρμογής. Ανήκει κοντά στο επίπεδο δρομολόγησης και προσαρμογέα παρόχου, όπου το σύστημα μπορεί να συγκρίνει μοντέλα χωρίς να διαρρέει υποθέσεις για συγκεκριμένους παρόχους σε κάθε εφαρμογή.

Εκτίμηση κόστους διαδρομής πριν από την επιλογή

Ο δρομολογητής δεν μπορεί να γνωρίζει το τελικό κόστος πριν από την εκτέλεση, αλλά μπορεί να εκτιμήσει αρκετά καλά ώστε να επιλέξει μεταξύ των κατάλληλων διαδρομών. Η εκτίμηση θα πρέπει να περιλαμβάνει τις μεταβλητές που πραγματικά μετακινούν το τιμολόγιο.

estimated_cost =
  input_tokens * input_token_price
  + cached_input_tokens * cached_input_token_price
  + output_tokens_expected * output_token_price
  + tool_call_overhead_expected
  + retry_allowance_expected
  - batch_discount_if_eligible

Χρησιμοποιήστε πρόσφατη τηλεμετρία για να υπολογίσετε τα διακριτικά εξόδου ανά κατηγορία εργασιών. Για παράδειγμα, οι εργασίες εξαγωγής μπορεί να έχουν περιορισμένο μήκος εξόδου, ενώ η ανάλυση μακροχρόνιου περιβάλλοντος μπορεί να διαφέρει πολύ. Οι πράκτορες που χρησιμοποιούν εργαλεία ενδέχεται να έχουν πρόσθετο κρυφό κόστος από τον προγραμματισμό κλήσεων εργαλείων, τις επαναλήψεις και τα ενδιάμεσα μηνύματα.

Η εκτίμηση κόστους θα πρέπει επίσης να λαμβάνει υπόψη την καταλληλότητα της κρυφής μνήμης και της παρτίδας:

• Καταλληλότητα προσωρινής μνήμης: σταθερό πρόθεμα προτροπής, επαναχρησιμοποιήσιμες οδηγίες συστήματος, επαναλαμβανόμενα ανακτημένα περιβάλλοντα, υποστηριζόμενη συμπεριφορά παρόχου και επαρκής πιθανότητα επίσκεψης στην προσωρινή μνήμη.
• Καταλληλότητα παρτίδας: ο φόρτος εργασίας μπορεί να περιμένει, έχει ανίκανο χειρισμό αιτημάτων, έχει ανθεκτική παρακολούθηση εργασιών και δεν χρειάζεται διαδραστική ροή.
• Κίνδυνος αναφοράς εξόδου: Το μοντέλο τείνει να παράγει μεγαλύτερες ή μικρότερες απαντήσεις για την ίδια εργασία και η περικοπή θα έβλαπτε την ποιότητα.
• Κίνδυνος επανάληψης: ο πάροχος ή το μοντέλο έχει αυξημένα ποσοστά σφαλμάτων, ποσοστά επιδιόρθωσης σχήματος ή αποτυχίες λανθάνοντος χρόνου για αυτήν την εργασία.

Εδώ είναι που η δρομολόγηση κόστους συνδέεται με την ευρύτερη Διαχείριση κόστους LLM. Δεν αρκεί μόνο ο πίνακας τιμών. Ο δρομολογητής χρειάζεται μεταδεδομένα αιτημάτων, δομή προτροπής, μετρήσεις επισκέψεων στην κρυφή μνήμη και τακτοποιημένα δεδομένα χρήσης για να γνωρίζει εάν πράγματι συνέβη η αναμενόμενη εξοικονόμηση.

Χρήση βαθμίδων μοντέλων αντί για μία καθολική προεπιλογή

Μια κλιμακωτή πολιτική είναι ευκολότερο να εξηγηθεί από μια μεγάλη λίστα εξαιρέσεων για συγκεκριμένους παρόχους. Κάθε επίπεδο θα πρέπει να περιέχει ένα ή περισσότερα κατάλληλα μοντέλα που έχουν περάσει πύλες για συγκεκριμένες εργασίες.

Μην αφήνετε τη βαθμίδα να αντικαθιστά τις βαθμίδες. Ένα μοντέλο μπορεί να είναι οικονομικό για ταξινόμηση αλλά ακατάλληλο για σύνταξη υποστήριξης. Ένα άλλο μοντέλο μπορεί να είναι ισχυρό για σύνοψη, αλλά πολύ ακριβό για σύντομη ντετερμινιστική επισήμανση.

Δρομολόγηση με ρητή ακολουθία απόφασης

Ένας δρομολογητής με επίγνωση του κόστους θα πρέπει να είναι αρκετά ντετερμινιστικός για εντοπισμό σφαλμάτων. Η ακριβής υλοποίηση ποικίλλει, αλλά η ακολουθία απόφασης θα πρέπει να είναι σταθερή.

1. Ανάγνωση μισθωτή, κλειδί API, περιβάλλον και μεταδεδομένα εφαρμογής.
2. Προσδιορισμός κλάσης εργασιών από ρητά μεταδεδομένα ή έξοδο ταξινομητή.
3. Φορτώστε την έκδοση πολιτικής δρομολόγησης για αυτόν τον μισθωτή ή τον χώρο εργασίας.
4. Εφαρμόστε περιορισμούς διακυβέρνησης, όπως διατήρηση δεδομένων, περιοχή, λίστα επιτρεπόμενων μοντέλων και περιορισμοί λειτουργιών.
5. Φιλτράρισμα με βάση τις απαιτούμενες δυνατότητες: μήκος περιβάλλοντος, εργαλεία, δομημένη έξοδος, ροή, τροπικότητα και υποστήριξη παρτίδας.
6. Φιλτράρισμα ανά κατώτατο όριο ποιότητας που υποστηρίζεται από αξιολόγηση για την κατηγορία εργασιών.
7. Εκτιμήστε το κόστος χρησιμοποιώντας διακριτικά εισόδου, αναμενόμενα διακριτικά εξόδου, καταλληλότητα προσωρινής αποθήκευσης, καταλληλότητα παρτίδας και κίνδυνο επανάληψης δοκιμής.
8. Εφαρμογή πολιτικής προϋπολογισμού και προτιμήσεων ενοικιαστών.
9. Επιλέξτε την κατάλληλη διαδρομή με το χαμηλότερο κόστος.
10. Επισυνάψτε πολιτική εναλλακτικής διαδρομής, χρονικού ορίου λήξης, επανάληψης και επιδιόρθωσης.
11. Καταγράψτε την απόφαση με έναν σταθερό κωδικό αιτιολογίας.

Στον ψευδοκώδικα, ο δρομολογητής θα πρέπει να μοιάζει περισσότερο με αξιολόγηση πολιτικής παρά με σκληρά κωδικοποιημένη προτίμηση παρόχου:

function selectRoute(request):
  context = buildRoutingContext(request)
  task = classifyTask(context)
  policy = loadPolicy(context.tenant_id, task)

  candidates = modelRegistry.models
    .filter(model => policy.allows(model))
    .filter(model => model.supports(context.required_capabilities))
    .filter(model => evalStore.passes(task, model, policy.quality_floor))

  priced = candidates.map(model => ({
    model,
    estimated_cost: estimateCost(model, context),
    expected_latency: estimateLatency(model, context),
    risk_flags: estimateRisk(model, context)
  }))

  eligible = priced.filter(route => route.risk_flags.noneBlocking())
  return minBy(eligible, route => route.estimated_cost)

Καταγραφή κάθε απόφασης δρομολόγησης

Αν η χρηματοδότηση ρωτήσει γιατί χρησιμοποιήθηκε ένα μοντέλο premium ή η μηχανική ρωτήσει γιατί έπεσε η ποιότητα, ο δρομολογητής θα πρέπει να απαντήσει από τα αρχεία καταγραφής. Μην βασίζεστε στην ανακατασκευή της πρόθεσης από τις προτροπές μετά το γεγονός.

Καταγραφή αυτών των πεδίων για κάθε αίτημα:

• Αναγνωριστικό αιτήματος, αναγνωριστικό μισθωτή, API αναγνωριστικό κλειδιού, αναγνωριστικό εφαρμογής και περιβάλλον.
• Αποτέλεσμα ταξινόμησης εργασιών και εμπιστοσύνη.
• Έκδοση πολιτικής δρομολόγησης.
• Εξοδική έκδοση συνόλου δεδομένων και πύλη ποιότητας που χρησιμοποιείται.
• Κατάλληλα μοντέλα και μοντέλα που απορρίφθηκαν.
• Λόγος για τον οποίο κάθε μοντέλο που απορρίφθηκε εξαιρέθηκε.
• Εκτιμώμενες εισροές, αποθηκευμένες εισόδους και κουπόνια εξόδου.
• Εκτιμώμενο κόστος διαδρομής και κόστος τελικής διευθέτησης όταν είναι διαθέσιμο.
• Επιλεγμένος πάροχος, μοντέλο, έκδοση προσαρμογέα και επίπεδο.
• Πολιτική εναλλακτικής διαδρομής και επανάληψης δοκιμής.
• Τηλεμετρία επιτυχίας ή απώλειας προσωρινής μνήμης όταν είναι διαθέσιμη.
• Μαζική έναντι σύγχρονης λειτουργίας εκτέλεσης.
• Επικύρωση σχήματος, προσπάθειες επισκευής, κατάσταση άρνησης και σημαίες ασφαλείας.

Αυτά τα αρχεία καταγραφής υποστηρίζουν επίσης LLM API απόδοση κόστους, επειδή η επιλογή μοντέλου είναι μόνο ένα μέρος της δαπάνης. Οι ομάδες πρέπει ακόμα να κατανείμουν το κόστος ανά μισθωτή, χώρο εργασίας, κλειδί, προϊόν, ροή εργασιών ή πελάτη.

Προσθέστε στοιχεία ελέγχου Drift πριν προωθήσετε φθηνότερες διαδρομές

Αλλαγή της συμπεριφοράς του μοντέλου, των τιμών, των προτροπών και του συνδυασμού φόρτου εργασίας. Μια διαδρομή που ήταν ασφαλής τον περασμένο μήνα μπορεί να γίνει αδύναμη μετά από μια άμεση αναθεώρηση ή ενημέρωση μοντέλου.

Ένας βασικός βρόχος ελέγχου drift θα πρέπει να περιλαμβάνει:

• Δείγμα πρόσφατων αιτημάτων παραγωγής ανά κατηγορία εργασιών.
• Κατάργηση ή μετατροπή ευαίσθητων δεδομένων σύμφωνα με την πολιτική.
• Επανάληψη δειγμάτων μέσω τρέχουσες και υποψήφιες διαδρομές.
• Σύγκριση ποιότητας, εγκυρότητας σχήματος, συμπεριφοράς άρνησης, κόστους και καθυστέρησης.
• Ελέγξτε τις αποτυχίες ανά κατηγορία, όχι μόνο τη συνολική βαθμολογία.
• Προωθήστε τη φθηνότερη διαδρομή μόνο εάν πληροί τους περιορισμούς ποιότητας και λειτουργίας.
• Κανάρι η νέα διαδρομή για μικρό ποσοστό κίνησης.
• Αυτόματη επαναφορά σε περίπτωση αποτυχίας σχήματος, υπέρβασης κόστους, παραβίασης λανθάνοντος χρόνου ή κλιμάκωσης ανθρώπινης κριτικής.

Σύσταση: κάντε την προώθηση διαδρομής ως εκδήλωση διαχείρισης αλλαγών. Καταγράψτε ποιος το ενέκρινε, ποιο σετ αξιολόγησης πέρασε, ποιο ποσοστό επισκεψιμότητας επηρεάζει, πότε λήγει ή χρειάζεται έλεγχος και πώς λειτουργεί η επαναφορά.

Δώστε στις ομάδες παρακάμψεις, αλλά κάντε τις να λήξουν

Υπάρχουν νόμιμοι λόγοι για την παράκαμψη της δρομολόγησης: περιστατικό παρόχου, έκτακτη ανάγκη προϋπολογισμού, έλεγχος συμμόρφωσης, κλιμάκωση πελάτη ή παλινδρόμηση μοντέλου. Το πρόβλημα δεν είναι η παράκαμψη. Το πρόβλημα είναι μια παράκαμψη που γίνεται αόρατη μόνιμη πολιτική.

Κάθε παράκαμψη πρέπει να περιλαμβάνει:

• Πεδίο εφαρμογής: μισθωτής, εφαρμογή, κλειδί API, κατηγορία εργασιών, μοντέλο, πάροχος ή περιοχή.
• Αιτία: περιστατικό, προϋπολογισμός, ποιότητα, συμμόρφωση, καθυστέρηση ή αίτημα πελάτη.
• Έγκριση.
• Ώρα έναρξης και χρόνος λήξης.
• Αναμενόμενος αντίκτυπος στο κόστος, την καθυστέρηση και την ποιότητα.
• Συνθήκη επαναφοράς.

Οι παρακάμψεις που έχουν λήξει θα πρέπει να αποτύχουν σύμφωνα με την κανονική πολιτική δρομολόγησης ή να απαιτούν ανανέωση. Αυτό εμποδίζει τις αποφάσεις έκτακτης ανάγκης να γίνουν κρυφοί κίνδυνοι κόστους ή ποιότητας.

Συμβιβασμούς για να γίνουν σαφείς

Η δρομολόγηση με επίγνωση κόστους έχει πραγματικό λειτουργικό κόστος. Αξίζει ακόμα να το κάνετε όταν η δαπάνη για LLM είναι σημαντική, αλλά οι αντισταθμίσεις θα πρέπει να είναι ορατές.

• Εξάρτηση μεταδεδομένων: η ποιότητα δρομολόγησης εξαρτάται από τις ακριβείς ετικέτες εργασιών και τα μεταδεδομένα του φόρτου εργασίας. Οι ετικέτες που λείπουν ωθούν την επισκεψιμότητα σε συντηρητικές προεπιλογές.
• Eval συντήρηση: Οι αξιολογήσεις εργασιών χρειάζονται ενημερώσεις καθώς αλλάζουν τα μηνύματα, τα προϊόντα και η συμπεριφορά των χρηστών.
• Πολυπλοκότητα παρόχου: οι εκπτώσεις προσωρινής μνήμης και παρτίδας μπορούν να βελτιώσουν την οικονομία, αλλά να κάνουν τη λογική δρομολόγησης πιο περίπλοκη.
• Κίνδυνος φορητότητας: οι συγκεκριμένες λειτουργίες του παρόχου θα πρέπει να υπάρχουν σε προσαρμογείς και αρχεία δυνατοτήτων και όχι στον κωδικό προϊόντος.
• Εκτίμηση αβεβαιότητας: το τελικό μήκος εξόδου, οι κλήσεις εργαλείων, οι επαναλήψεις και οι επισκέψεις στην προσωρινή μνήμη δεν είναι πλήρως γνωστά πριν από την εκτέλεση.
• Φάρος επεξήγησης: η επιθετική βελτιστοποίηση μπορεί να κάνει τη συμπεριφορά του προϊόντος δύσκολο να εξηγηθεί, εκτός εάν κάθε απόφαση καταγράφεται με την έκδοση πολιτικής και τους κώδικες λόγων.

Λίστα ελέγχου εφαρμογής

• Καθορίστε κατηγορίες εργασιών για τις κορυφαίες ροές εργασίας LLM ανά δαπάνες και επιχειρηματικό αντίκτυπο.
• Δημιουργήστε σετ αξιολόγησης και ορόφους ποιότητας για κάθε κατηγορία εργασιών.
• Δημιουργία μητρώου δυνατοτήτων παρόχου και μοντέλου.
• Αποθηκεύστε τους τρέχοντες πίνακες τιμών και τους τροποποιητές τιμολόγησης ανά πάροχο, μοντέλο και λειτουργία εκτέλεσης.
• Εκτιμήστε τα διακριτικά εισόδου, τα αναμενόμενα διακριτικά εξόδου, την καταλληλότητα της προσωρινής μνήμης, την καταλληλότητα κατά παρτίδες και τον κίνδυνο επανάληψης δοκιμής.
• Φιλτράρετε τους υποψηφίους βάσει περιορισμών διακυβέρνησης πριν από τη βελτιστοποίηση κόστους.
• Επιλέξτε το μοντέλο με το χαμηλότερο κόστος μόνο αφού περάσουν οι πύλες δυνατοτήτων και ποιότητας.
• Καταγραφή επιλεγμένων και απορριφθέντων διαδρομών με κωδικούς λόγων.
• Σύγκριση εκτιμώμενου κόστους με τακτοποιημένα δεδομένα χρήσης και τιμολογίων.
• Εκτελέστε περιοδικές αξιολογήσεις επανάληψης προτού προωθήσετε φθηνότερες διαδρομές.
• Αλλαγές διαδρομής Canary και ορισμός ενεργειών επαναφοράς.
• Απαιτούνται ημερομηνίες λήξης για μη αυτόματες παρακάμψεις.

Συμπέρασμα

Ο πρακτικός στόχος δεν είναι να κατευθύνετε κάθε αίτημα σε ένα φθηνότερο μοντέλο. Ο στόχος είναι να σταματήσετε να πληρώνετε υπερβολικά για καθημερινή εργασία, προστατεύοντας παράλληλα την ποιότητα, τις συμβάσεις, τους κανόνες διακυβέρνησης και την επεξήγηση.

Δημιουργήστε το δρομολογητή γύρω από κατηγορίες εργασιών, επίπεδα ποιότητας, δυνατότητες παρόχων, εκτιμήσεις κόστους και αρχεία καταγραφής πολιτικών. Στη συνέχεια, επιλέξτε τη διαδρομή με το χαμηλότερο κόστος. Αυτή η μία λέξη, "κατάλληλη", είναι που διαχωρίζει τη δρομολόγηση με επίγνωση κόστους από τη δρομολόγηση φθηνότερου μοντέλου.

Σχετική ανάγνωση

• όρια δαπανών σε επίπεδο πύλης