Το Cloudflare πρόσθεσε ένα στοιχείο ελέγχου στο AI Gateway που επιτρέπει στους χειριστές να απαιτούν διαπιστευτήρια παρόχου σε αιτήματα μοντέλων τρίτων. Η αλλαγή είναι μικρή σε όρους διεπαφής, αλλά αντιμετωπίζει ένα πρακτικό πρόβλημα διακυβέρνησης για ομάδες που δρομολογούν την κυκλοφορία τεχνητής νοημοσύνης μέσω μιας πύλης: τι θα πρέπει να συμβεί όταν ένας πελάτης, έργο ή μισθωτής δεν έχει παράσχει έγκυρο κλειδί παρόχου;
Πριν από αυτήν την ενημέρωση, το Cloudflare AI Gateway θα μπορούσε να χρησιμοποιήσει τη ρύθμιση Unified Billing ως εναλλακτική διαδρομή για υποστηριζόμενους τρίτους. Αυτό μπορεί να είναι βολικό όταν διαφορετικά θα αποτύγχανε ένα αίτημα, αλλά μπορεί επίσης να θολώσει την απόδοση κόστους και τα όρια συμμόρφωσης. Η νέα ρύθμιση μόνο BYOK επιτρέπει στους κατόχους πυλών να αποτρέπουν αυτήν την εναλλακτική και να απαιτούν από τα αιτήματα να χρησιμοποιούν ρητά παρεχόμενα διαπιστευτήρια με το κλειδί με το δικό σας κλειδί.
Το Cloudflare λέει ότι η ρύθμιση μπορεί να ενεργοποιηθεί στον πίνακα ελέγχου ή μέσω του API με byok_only=true. Πρόσθεσε επίσης μια κεφαλίδα ανά αίτημα, cf-aig-no-wholesale, για περιπτώσεις όπου οι ομάδες θέλουν να αποκλείσουν τη χρήση διαπιστευτηρίων χονδρικής ή διαχειριζόμενης από το Cloudflare σε μεμονωμένες κλήσεις.
Τι άλλαξε
Το αρχείο καταγραφής αλλαγών AI Gateway της 14ης Σεπτεμβρίου εισάγει μια απαίτηση διαπιστευτηρίων τρίτου μέρους. Όταν είναι ενεργοποιημένη, η πύλη δεν θα επιστρέψει σιωπηλά στα διαπιστευτήρια Ενοποιημένης χρέωσης που διαχειρίζονται το Cloudflare, εάν ο καλών δεν έχει παράσχει αποδεκτά διαπιστευτήρια παρόχου.
Αυτή η διάκριση έχει σημασία επειδή οι πύλες τεχνητής νοημοσύνης βρίσκονται όλο και περισσότερο μεταξύ πολλών εσωτερικών εφαρμογών, εξωτερικών πελατών και πολλών παρόχων μοντέλων. Ένα κλειδί που λείπει δεν είναι απλώς μια λειτουργία τεχνικής βλάβης. Μπορεί να αποφασίσει ποια νομική οντότητα θα χρεωθεί, ποιος λογαριασμός θα καταναλωθεί και αν η χρήση εμφανίζεται στο σωστό κέντρο κόστους.
Ο νέος έλεγχος δίνει στις ομάδες της πλατφόρμας έναν πιο αυστηρό τρόπο λειτουργίας. Αντί να αντιμετωπίζει τα διαπιστευτήρια πελατών που λείπουν ως ενόχληση δρομολόγησης, η πύλη μπορεί να τα αντιμετωπίζει ως παραβίαση πολιτικής. Αυτό είναι ιδιαίτερα σημαντικό για ρυθμίσεις μεταπωλητών, αναπτύξεις κλειδιών που ανήκουν στον πελάτη και εταιρικά περιβάλλοντα όπου η σχέση παρόχου πρέπει να παραμένει άμεσα συνδεδεμένη με μια επιχειρηματική μονάδα ή έναν μισθωτή.
Γιατί έχει σημασία για τους χειριστές πύλης τεχνητής νοημοσύνης
Ο σχεδιασμός της πύλης AI έχει επικεντρωθεί συχνά στη δρομολόγηση, τον λανθάνοντα χρόνο, την προσωρινή αποθήκευση, τις επαναλήψεις μοντέλων και τις επαναλήψεις. Η συμπεριφορά χρέωσης αξίζει την ίδια προσοχή. Εάν μια πύλη αλλάζει αυτόματα τη λειτουργία διαπιστευτηρίων όταν μια διαδρομή δεν είναι διαθέσιμη, η μεταγενέστερη αναφορά μπορεί να γίνει παραπλανητική. Ένα αίτημα μπορεί να μοιάζει με συνηθισμένη κίνηση εφαρμογών ενώ το τιμολόγιο αποστέλλεται κάπου αλλού.
Για επιχειρήσεις που λειτουργούν με ένα επίπεδο κεντρικό έλεγχο κόστους API AI, αυτό δημιουργεί λειτουργικό κίνδυνο. Οι ομάδες οικονομικών μπορεί να χάσουν καθαρά δεδομένα αντιστροφής χρέωσης. Οι ομάδες ασφαλείας ενδέχεται να μην γνωρίζουν ποια διαπιστευτήρια χρησιμοποιήθηκαν στην πραγματικότητα. Οι ομάδες προϊόντων ενδέχεται να δυσκολεύονται να εξηγήσουν γιατί η χρήση ενός ενοικιαστή χρεώθηκε μέσω ενός λογαριασμού πλατφόρμας αντί του λογαριασμού παρόχου αυτού του ενοικιαστή.
Η λειτουργία μόνο BYOK βοηθά επίσης με τις δεσμεύσεις πελατών. Ορισμένοι αγοραστές απαιτούν οι δικές τους συμβάσεις παρόχου, οι όροι επεξεργασίας δεδομένων ή οι τοπικές ρυθμίσεις να διέπουν τις κλήσεις μοντέλων. Εάν μια πύλη μπορεί να επιστρέψει σε ένα διαπιστευτήριο διαχειριζόμενης χρέωσης, αυτή η δέσμευση γίνεται πιο δύσκολο να επιβληθεί, εκτός εάν η εναλλακτική λύση είναι απενεργοποιημένη από την πολιτική.
Η κεφαλίδα ανά αίτημα προσθέτει μια πιο λεπτομερή επιλογή. Μια πλατφόρμα μπορεί να διατηρήσει την ευρύτερη συμπεριφορά της Ενοποιημένης χρέωσης διαθέσιμη για ορισμένους φόρτους εργασίας, ενώ την αποτρέπει για αιτήματα που περιλαμβάνουν αυστηρότερες απαιτήσεις συμμόρφωσης, μεταπωλητή ή απόδοσης. Αυτό δίνει στους προγραμματιστές μια διαδρομή μετεγκατάστασης χωρίς να επιβάλλει κάθε εφαρμογή στην πιο αυστηρή λειτουργία ταυτόχρονα.
Που επηρεάζεται
Το άμεσο κοινό είναι οποιαδήποτε ομάδα που χρησιμοποιεί το Cloudflare AI Gateway για αιτήματα μεσολάβησης σε τρίτους παρόχους τεχνητής νοημοσύνης. Η αλλαγή είναι πιο σχετική όταν πολλές ομάδες, ενοικιαστές ή πελάτες μοιράζονται μια πύλη και όπου τα διαπιστευτήρια παρόχου αναμένεται να ανήκουν εκτός του λογαριασμού κεντρικής πλατφόρμας.
Οι εταιρικές ομάδες πλατφόρμας τεχνητής νοημοσύνης θα πρέπει να ελέγξουν εάν η συμπεριφορά τους στην πύλη ταιριάζει με την εσωτερική πολιτική. Εάν ένα έργο υποτίθεται ότι χρησιμοποιεί τον δικό του λογαριασμό OpenAI, Anthropic, Google, Mistral ή άλλου παρόχου, η πύλη θα πρέπει να κάνει αυτή την εξάρτηση ορατή και εκτελεστή. Μια εναλλακτική λύση που βοηθά μια επίδειξη να πετύχει μπορεί να αποτελέσει πρόβλημα στην παραγωγή, εάν αποκρύψει την κατεστραμμένη ρύθμιση διαπιστευτηρίων.
Οι μεταπωλητές και οι πλατφόρμες συνεργατών έχουν μια πιο ευκρινή έκδοση του ίδιου ζητήματος. Εάν οι πελάτες φέρουν τα δικά τους κλειδιά παρόχου, οι χειριστές της πλατφόρμας χρειάζονται εμπιστοσύνη ότι η κίνηση δεν μετατρέπεται κατά λάθος σε χρήση με χρέωση πλατφόρμας. Διαφορετικά, τα περιθώρια, τα τιμολόγια, τα αρχεία ελέγχου και η εμπιστοσύνη των πελατών μπορούν να επηρεαστούν.
Επηρεάζονται και οι προγραμματιστές, αν και κυρίως μέσω πιο σαφών τρόπων αποτυχίας. Με την επιβολή μόνο BYOK, ένα αίτημα που στερείται κατάλληλων διαπιστευτηρίων θα πρέπει να αποτύχει αντί να δρομολογηθεί μέσω μιας εναλλακτικής διαδρομής χρέωσης.Αυτό μπορεί να απαιτεί καλύτερους ελέγχους ενσωμάτωσης, σαφέστερο χειρισμό σφαλμάτων και δοκιμές ανάπτυξης που επαληθεύουν τα κλειδιά παρόχου πριν ξεκινήσει η κυκλοφορία.
Πρακτικές συνέπειες
Το πρώτο πρακτικό βήμα είναι το απόθεμα πολιτικής. Οι ομάδες θα πρέπει να αποφασίσουν σε ποιους φόρτους εργασίας επιτρέπεται η χρήση της Ενοποιημένης χρέωσης που διαχειρίζεται το Cloudflare και ποιες πρέπει να χρησιμοποιούν διαπιστευτήρια παρόχου που ανήκουν στον πελάτη ή ανήκουν σε έργα. Αυτή η απόφαση θα πρέπει να είναι σαφής και να μην αφήνεται στην προεπιλεγμένη συμπεριφορά πύλης.
Το δεύτερο βήμα είναι η παρατηρησιμότητα. Τα αρχεία καταγραφής και τα αναλυτικά στοιχεία χρήσης θα πρέπει να καταγράφουν ποια λειτουργία διαπιστευτηρίων χρησιμοποιήθηκε, εάν ένα αίτημα αποκλείστηκε επειδή ήταν ενεργοποιημένο μόνο το BYOK και ποιος μισθωτής ή έργο παρείχε το κλειδί. Χωρίς αυτήν την ορατότητα, ένας αυστηρότερος έλεγχος μπορεί να μειώσει την ασάφεια χρέωσης, αλλά εξακολουθεί να αφήνει τους χειριστές με ανεπαρκή δεδομένα αντιμετώπισης προβλημάτων.
Το τρίτο βήμα είναι η ροή εργασιών για προγραμματιστές. Οι εφαρμογές που εξαρτώνται από το AI Gateway θα πρέπει να αποτυγχάνουν νωρίς όταν λείπουν τα διαπιστευτήρια. Ένας έλεγχος εκκίνησης, επικύρωση ανάπτυξης ή προειδοποίηση κονσόλας διαχειριστή είναι καλύτερος από την ανακάλυψη του προβλήματος μετά την απόρριψη ενός αιτήματος παραγωγής.
Η εναπομένουσα αβεβαιότητα αφορά λιγότερο το χαρακτηριστικό και περισσότερο τα μοτίβα υιοθέτησης. Το Cloudflare έχει τεκμηριώσει το νέο στοιχείο ελέγχου, αλλά κάθε χειριστής πρέπει ακόμα να αποφασίσει πού θα το εφαρμόσει. Ορισμένες ομάδες θα προτιμήσουν την ανθεκτικότητα της εναλλακτικής χρέωσης για εσωτερικά πειράματα. Άλλοι θα ορίσουν μόνο το BYOK ως προεπιλογή για την κυκλοφορία ενοικιαστών παραγωγής. Η σημαντική αλλαγή είναι ότι αυτή είναι πλέον μια επιλογή διακυβέρνησης και όχι μια σιωπηρή συμπεριφορά που κρύβεται μέσα στο επίπεδο δρομολόγησης.