Πώς να σχεδιάσετε ένα σύστημα διακυβέρνησης κλειδιού LLM API για ομάδες

Τα κοινόχρηστα κλειδιά παρόχου LLM είναι βολικά μέχρι την πρώτη αποσύνδεση, την αιχμή χρέωσης, την ενοποίηση συνεργάτη ή το μυστικό που διέρρευσε. Το πρακτικό πρόβλημα δεν είναι μόνο ότι μπορεί να αποκαλυφθεί ένα κλειδί. Είναι ότι ένα κοινόχρηστο κλειδί καθιστά την ιδιοκτησία ασαφή, την απόδοση δύσκολων δαπανών και την ανάκληση έκτακτης ανάγκης επικίνδυνη, επειδή πολλές εφαρμογές μπορεί να εξαρτώνται από το ίδιο διαπιστευτήριο.

Ένα λειτουργικό σύστημα διακυβέρνησης κλειδιού AI API θα πρέπει να απαντά σε πέντε ερωτήσεις για κάθε αίτημα: σε ποιον ανήκει αυτή η πρόσβαση, τι επιτρέπεται να κάνει, πόσα μπορεί να ξοδέψει, πώς θα εντοπιστεί η μη φυσιολογική χρήση και πώς μπορεί να ανακληθεί χωρίς να καταργηθούν άσχετα συστήματα;

Αυτός ο οδηγός διαχωρίζει τα επαληθευμένα γεγονότα από τις συστάσεις εφαρμογής. Τα γεγονότα περιγράφουν δυνατότητες και κινδύνους που τεκμηριώνονται από μεγάλους παρόχους ή πλαίσια ασφαλείας. Οι συστάσεις περιγράφουν ένα πρακτικό μοντέλο λειτουργίας για ομάδες που χρησιμοποιούν πολλούς παρόχους LLM.

Ξεκινήστε με ένα μοντέλο διαπιστευτηρίων δύο επιπέδων

Η πιο σημαντική απόφαση σχεδιασμού είναι να σταματήσετε να διανέμετε ακατέργαστα κλειδιά παρόχου ανάντη σε όλες τις εφαρμογές, τα σενάρια, τους φορητούς υπολογιστές, τις εργασίες CI και τα συστήματα συνεργατών. Αντ' αυτού, χρησιμοποιήστε ένα μοντέλο δύο επιπέδων:

• Διαπιστευτήρια παρόχου: Κλειδιά ή διαπιστευτήρια υπηρεσίας που εκδίδονται από παρόχους τεχνητής νοημοσύνης στο παρελθόν. Αυτά θα πρέπει να αποθηκεύονται μόνο σε ελεγχόμενο backend, πύλη, μυστικό διαχειριστή ή παρόμοια περιορισμένη υπηρεσία.
• Εσωτερικά διαπιστευτήρια: Κλειδιά που εκδίδονται σε ομάδες, εφαρμογές, περιβάλλοντα, εργασίες CI ή συνεργάτες. Αυτά τα κλειδιά καλούν το επίπεδο ελεγχόμενης πρόσβασης, το οποίο εφαρμόζει πολιτική, δρομολόγηση, τηλεμετρία, όρια και ανάκληση.

Γεγονός: Η καθοδήγηση του παρόχου συνήθως συμβουλεύει να μην κοινοποιείτε κλειδιά API με συμπαίκτες, συνιστά ασφαλή αποθήκευση και προειδοποιεί ότι τα κλειδιά που έχουν διαρρεύσει μπορεί να δημιουργήσουν μη εξουσιοδοτημένη δραστηριότητα ή χρεώσεις. Οι κονσόλες παρόχου ενδέχεται επίσης να υποστηρίζουν στοιχεία ελέγχου έργου, χώρου εργασίας, χρήσης σε επίπεδο κλειδιού, ορίου ποσοστού και προϋπολογισμού, αν και οι δυνατότητες διαφέρουν ανά προμηθευτή και σχέδιο.

Σύσταση: Αντιμετωπίστε τα κλειδιά παρόχου ως μυστικά υποδομής και όχι ως διακριτικά ευκολίας προγραμματιστή. Οι προγραμματιστές θα πρέπει να λαμβάνουν ρυθμιζόμενα κλειδιά που μπορούν να ρυθμιστούν και να ανακληθούν ανεξάρτητα. Αυτή η προσέγγιση υποστηρίζει λειτουργίες enterprise LLM API επειδή η πολιτική διαπιστευτηρίων, τα αναλυτικά στοιχεία και οι έλεγχοι κόστους μπορούν να εφαρμοστούν με συνέπεια σε πολλά μοντέλα και παρόχους.

Ορίστε μια ταξινόμηση κλειδιών πριν εκδώσετε περισσότερα κλειδιά

Οι ομάδες δημιουργούν συχνά προβλήματα διακυβέρνησης εκδίδοντας κλειδιά προτού καθορίσουν τι αντιπροσωπεύει κάθε κλειδί. Ένα κλειδί πρέπει να είναι κάτι περισσότερο από ένα τυχαίο μυστικό. Θα πρέπει να είναι ένα διαχειριζόμενο αντικείμενο με μεταδεδομένα, ιδιοκτησία, πολιτική και κατάσταση κύκλου ζωής.

Ελάχιστα μεταδεδομένα για κάθε κυβερνώμενο κλειδί

• Ομάδα κατόχων: Η υπόλογη ομάδα, όχι μόνο ο μεμονωμένος αιτών.
• Εφαρμογή ή φόρτος εργασίας: Το σύστημα, η υπηρεσία, το σενάριο ή η ενοποίηση χρησιμοποιώντας το κλειδί.
• Περιβάλλον: Παραγωγή, σκηνοθεσία, ανάπτυξη, CI, sandbox ή συνεργάτης.
• Επιχειρηματικός σκοπός: Σύνοψη υποστήριξης πελατών, εσωτερική αναζήτηση, βοήθεια κώδικα, εξαγωγή εγγράφων, ροή εργασιών αντιπροσώπου ή άλλη εγκεκριμένη περίπτωση χρήσης.
• Επιτρεπόμενη οικογένεια μοντέλων ή διαδρομή παρόχου: Σε ποια μοντέλα ή παρόχους μπορεί να έχει πρόσβαση το κλειδί.
• Επίπεδο ευαισθησίας δεδομένων: Εάν τα αιτήματα μπορεί να περιλαμβάνουν δημόσια, εσωτερικά, εμπιστευτικά, ρυθμιζόμενα δεδομένα ή δεδομένα πελατών.
• Ανώτατο όριο προϋπολογισμού: Ημερήσιο, εβδομαδιαίο, μηνιαίο όριο δαπανών ή σε επίπεδο έργου.
• Όρια τιμών: Αιτήματα ανά λεπτό, διακριτικά ανά λεπτό, ταυτόχρονες εργασίες ή όρια παρτίδας.
• Ημερομηνία λήξης: Απαιτείται για προσωρινά κλειδιά και συνιστάται για τα περισσότερα κλειδιά μη παραγωγής.
• Επικοινωνία έκτακτης ανάγκης: Ένα κανάλι ομάδας ή ένα άτομο που είναι υπεύθυνο κατά τη διάρκεια περιστατικών.

Μια απλή σύμβαση ονομασίας βοηθά τους χειριστές να κατανοήσουν γρήγορα την ακτίνα έκρηξης. Για παράδειγμα:

ομάδα: support-ops
εφαρμογή: εισιτήριο-συνοπτικός
env: παραγ
use_case: πελάτης-υποστήριξη-σύνοψη
data_tier: εμπιστευτικό πελάτη
models_allowed: [model-family-a, model-family-b]
monthly_budget_USd: 2500
rotation_interval_days: 90
ιδιοκτήτη_επαφής: #support-platform-alerts

Σύσταση: Μην εκδίδετε γενικά κλειδιά με το όνομα ενός ατόμου, όπως alice-openai-key, για συστήματα παραγωγής. Χρησιμοποιήστε την ιδιοκτησία λογαριασμού υπηρεσίας και τη λογοδοσία της ομάδας, ώστε το κλειδί να επιβιώνει από τις αλλαγές ρόλου υπαλλήλου ενώ παραμένει ανιχνεύσιμο.

Διαχωρίστε περιβάλλοντα για μείωση της ακτίνας έκρηξης

Μην επαναχρησιμοποιείτε ποτέ ένα κλειδί API LLM σε περιβάλλοντα παραγωγής, σκηνοθεσίας, ανάπτυξης, CI και συνεργατών. Ο λειτουργικός λόγος είναι απλός: αυτά τα περιβάλλοντα έχουν διαφορετικά προφίλ κινδύνου. Ένα κλειδί που χρησιμοποιείται στην τοπική ανάπτυξη είναι πιο πιθανό να εμφανίζεται στο ιστορικό φλοιού, σε προσωρινά αρχεία, σε σημειωματάρια ή σε δοκιμαστικές αποθήκες. Ένα κλειδί παραγωγής έχει συνήθως υψηλότερα ποσοστά και πρόσβαση σε ευαίσθητους φόρτους εργασίας. Ο συνδυασμός τους κάνει κάθε διαρροή πιο σοβαρή.

Πρακτική πολιτική περιβάλλοντος

• Παραγωγή: Αυστηρή έγκριση, ιδιοκτησία λογαριασμού υπηρεσίας, χαμηλή ανοχή για ευρεία πρόσβαση μοντέλων, ελεγχόμενοι προϋπολογισμοί και διαδικασίες έκτακτης ανάκλησης.
• Σταδιοποίηση: Παρόμοια δρομολόγηση με την παραγωγή αλλά χαμηλότερα όρια και χωρίς δεδομένα παραγωγής εκτός εάν εγκριθεί ρητά.
• Ανάπτυξη: Χαμηλότερα ποσοστά, σύντομη λήξη, περιορισμένη ευαισθησία δεδομένων και περιορισμοί μοντέλων που ενθαρρύνουν τον ασφαλή πειραματισμό.
• CI και αυτοματισμός: Ειδικά κλειδιά για δοκιμαστικές εργασίες, εργασίες συγκριτικής αξιολόγησης, αγωγούς αξιολόγησης και ροές εργασιών έκδοσης.
• Πρόσβαση συνεργάτη: Κλειδιά ανάθεσης ή εμβέλειας συνεργάτη με αυστηρά όρια, τεκμηρίωση και παρατηρησιμότητα ανά συνεργάτη.

Εναλλαγή: Ο διαχωρισμός με λεπτόκοκκο περιβάλλον αυξάνει τον αριθμό των διαπιστευτηρίων προς διαχείριση. Η απάντηση δεν είναι να συμπτύξετε τα πάντα σε ένα κοινό κλειδί. Η απάντηση είναι η αυτοματοποίηση της παροχής, η λήψη μεταδεδομένων, η μυστική αποθήκευση και η κατάσταση εναλλαγής.

Εφαρμογή πολιτικής ελάχιστων προνομίων στο επίπεδο API

Ένα κλειδί API LLM δεν πρέπει να σημαίνει απεριόριστη πρόσβαση σε κάθε μοντέλο, τελικό σημείο, μέγεθος περιβάλλοντος και επίπεδο δαπανών. Το ελάχιστο προνόμιο για τα διαπιστευτήρια LLM απαιτεί περισσότερα από έναν έλεγχο άδειας ναι ή όχι.

Στοιχεία ελέγχου που αξίζει να εφαρμοστούν

• Επιτρεπόμενα μοντέλα: Επιτρέπονται μόνο εγκεκριμένες οικογένειες μοντέλων ή διαδρομές για την περίπτωση χρήσης του κλειδιού.
• Μέγιστο μέγεθος περιβάλλοντος: Αποτρέψτε την τυχαία υποβολή ασυνήθιστα μεγάλων εγγράφων ή πακέτα προτροπών.
• Μέγιστα διακριτικά εξόδου: Περιορίστε το κόστος παραγωγής και μειώστε τον αντίκτυπο κατάχρησης.
• Περιορισμοί τελικού σημείου: Διαχωρίστε τη συνομιλία, τις ενσωματώσεις, τη δέσμη, την εικόνα, τη χρήση εργαλείων και την πρόσβαση μέσω πρακτορείου, όπου χρειάζεται.
• Ανώτατα όρια προϋπολογισμού: Ορίστε ανώτατα όρια σε επίπεδο κλειδιού, σε επίπεδο εφαρμογής και σε επίπεδο ομάδας.
• Όρια τιμών: Περιορίστε τις αυξήσεις αιτημάτων και προστατέψτε τα ανοδικά όρια.
• Περιορισμοί IP ή δικτύου: Εφαρμόζονται όταν υποστηρίζονται και είναι λειτουργικά.
• Αποκλεισμένες περιπτώσεις χρήσης: Αρνηθείτε γνωστές μη επιτρεπόμενες ροές εργασίας, μη εγκεκριμένα επίπεδα δεδομένων ή διαδρομές αυτοματισμού υψηλού κινδύνου.

Για παράδειγμα, μπορεί να επιτρέπεται σε έναν εσωτερικό βοηθό τεκμηρίωσης να χρησιμοποιεί ενσωματώσεις και ένα μοντέλο δημιουργίας κειμένου μεσαίου κόστους, αλλά όχι μοντέλα συλλογισμού premium, εργασίες μαζικής παρτίδας ή δημιουργία εικόνων. Μια ροή εργασιών χρηματοδότησης μπορεί να απαιτεί αυστηρότερο χειρισμό δεδομένων και στενότερη δρομολόγηση μοντέλων. Ένα περιβάλλον δοκιμών ανάπτυξης μπορεί να έχει χαμηλό ημερήσιο όριο και πρόσβαση μόνο σε μη ευαίσθητα δεδομένα δοκιμής.

Σύσταση: Βάλτε την επιβολή πολιτικής στο επίπεδο ελεγχόμενης πρόσβασης αντί να βασίζεστε αποκλειστικά στον κώδικα εφαρμογής. Οι έλεγχοι σε επίπεδο εφαρμογής είναι χρήσιμοι, αλλά είναι πιο εύκολο να παρακαμφθούν κατά λάθος όταν οι ομάδες αντιγράφουν αποσπάσματα, δημιουργούν σενάρια ή προσθέτουν γρήγορα νέες ενσωματώσεις.

Όργανο κάθε κλειδιού με αναλυτικά στοιχεία χρήσης

Η βασική διακυβέρνηση αποτυγχάνει όταν εκδίδονται διαπιστευτήρια αλλά δεν τηρούνται. Η παρακολούθηση θα πρέπει να καθιστά κάθε ελεγχόμενο κλειδί καταλογιζόμενο και διαγνώσιμο.

Τηλεμετρία για λήψη από προεπιλογή

• Αναγνωριστικό κλειδιού και όνομα κλειδιού, εξαιρουμένης της ίδιας της μυστικής τιμής.
• Ετικέτες ομάδας κατόχων, εφαρμογής, περιβάλλοντος και κέντρου κόστους.
• Χρονική σήμανση, πλήθος αιτημάτων, όγκος διακριτικών και εκτιμώμενο κόστος.
• Παροχέας, μοντέλο, τελικό σημείο, καθυστέρηση, κωδικός κατάστασης και κατηγορία σφάλματος.
• Εφαρμογή πηγής, λογαριασμός υπηρεσίας, περιοχή ή προέλευση δικτύου όπου είναι διαθέσιμη.
• Αποφάσεις πολιτικής, όπως επιτρεπόμενες, απορρίψεις, περιορισμένες, αποκλεισμένες βάσει προϋπολογισμού ή δρομολόγηση σε εναλλακτική λύση.

Γεγονός: Μεγάλοι πάροχοι τεχνητής νοημοσύνης προσφέρουν κάποια μορφή αναφοράς χρήσης, κόστους, έργου, χώρου εργασίας ή βασικού επιπέδου. Τα ακριβή πεδία αναφοράς και τα διαχειριστικά API διαφέρουν ανάλογα με τον πάροχο και το σχέδιο.

Σύσταση: Κανονικοποιήστε τα μεταδεδομένα χρήσης στο δικό σας σύστημα εάν χρησιμοποιείτε πολλούς παρόχους. Οι εγγενείς πίνακες ελέγχου του παρόχου είναι χρήσιμοι, αλλά η προβολή μεταξύ παρόχων είναι απαραίτητη όταν μια ομάδα μπορεί να χρησιμοποιεί διαφορετικά μοντέλα για διαφορετικούς φόρτους εργασίας.

Η καταγραφή προτροπής και απάντησης απαιτεί ιδιαίτερη προσοχή. Τα λεπτομερή αρχεία καταγραφής περιεχομένου μπορούν να βοηθήσουν στη διερεύνηση περιστατικών και στον ποιοτικό εντοπισμό σφαλμάτων, αλλά μπορούν επίσης να δημιουργήσουν υποχρεώσεις απορρήτου και συμμόρφωσης. Μια ασφαλέστερη προεπιλογή είναι η καταγραφή μεταδεδομένων, αποφάσεων πολιτικής, κόστους και κατακερματισμού ή παραπομπών. Ενεργοποιήστε την καταγραφή περιεχομένου μόνο για εγκεκριμένες περιπτώσεις χρήσης με κανόνες διατήρησης και ελέγχους πρόσβασης.

Δημιουργήστε ειδοποιήσεις που εντοπίζουν έγκαιρα την κακή χρήση διαπιστευτηρίων

Τα όρια δαπανών είναι απαραίτητα αλλά όχι επαρκή. Ένα κλειδί που διέρρευσε μπορεί να προκαλέσει ύποπτα μοτίβα κυκλοφορίας πριν φτάσει σε έναν μεγάλο λογαριασμό. Η ειδοποίηση θα πρέπει να συνδυάζει το κόστος, την ένταση, τη διαδρομή και τα σήματα συμπεριφοράς.

Χρήσιμες ειδοποιήσεις ανωμαλιών

• Ένα κλειδί ανάπτυξης στέλνει ξαφνικά όγκο επισκεψιμότητας παρόμοιο με την παραγωγή.
• Ένα κλειδί χρησιμοποιεί μια οικογένεια μοντέλων που δεν έχει χρησιμοποιήσει στο παρελθόν.
• Ο όγκος των διακριτικών αυξάνεται απότομα σε σύγκριση με την ίδια ώρα ή ημέρα σε προηγούμενες περιόδους.
• Τα αιτήματα προέρχονται από νέο δίκτυο, περιοχή, συνεργάτη ή στόχο ανάπτυξης.
• Τα ποσοστά σφαλμάτων αυξάνονται επειδή ένας αυτοματοποιημένος πελάτης προσπαθεί ξανά επιθετικά.
• Ένα κλειδί πλησιάζει το 50%, το 80% και το 100% του ανώτατου ορίου του προϋπολογισμού του.
• Ένα αδρανές κλειδί ενεργοποιείται μετά από εβδομάδες ή μήνες χωρίς χρήση.

Πρόβλεψη: Καθώς οι ομάδες αναπτύσσουν περισσότερες ροές εργασίας αντιπροσώπων και αυτοματοποιημένες εργασίες LLM, ο εντοπισμός ανωμαλιών σε επίπεδο κλειδιού θα γίνει πιο σημαντικός από τον μηνιαίο έλεγχο τιμολογίων. Τα προβλήματα θα συμβούν με την ταχύτητα του μηχανήματος, επομένως τα συστήματα διακυβέρνησης χρειάζονται σήματα σχεδόν σε πραγματικό χρόνο.

Δημιουργήστε μια ροή εργασίας εναλλαγής που δεν προκαλεί διακοπές

Η εναλλαγή των κλειδιών συχνά αποφεύγεται επειδή οι ομάδες φοβούνται να σπάσουν την παραγωγή. Αυτός ο φόβος δικαιολογείται όταν η περιστροφή είναι χειροκίνητη και δεν παρακολουθείται. Μια ασφαλέστερη ροή εργασιών εναλλαγής χρησιμοποιεί επικαλυπτόμενα παράθυρα εγκυρότητας.

Εναλλαγή περιστροφής

1. Δημιουργήστε το κλειδί αντικατάστασης με την ίδια ή σκόπιμα ενημερωμένη πολιτική.
2. Αποθηκεύστε το στον εγκεκριμένο διαχειριστή μυστικών και επισυνάψτε τα ίδια μεταδεδομένα κατόχου, εφαρμογής και περιβάλλοντος.
3. Αναπτύξτε το νέο κλειδί στην εφαρμογή ή τον φόρτο εργασίας χρησιμοποιώντας την κανονική διαδικασία έκδοσης.
4. Επιβεβαιώστε τη μετατόπιση επισκεψιμότητας ελέγχοντας ότι τα αιτήματα φτάνουν κάτω από το νέο αναγνωριστικό κλειδιού.
5. Περιμένετε σε ένα συμφωνημένο παράθυρο παρατήρησης αρκετό καιρό για να καλύψετε τις προγραμματισμένες εργασίες και τους εργαζομένους στο παρελθόν.
6. Ανακλήστε το παλιό κλειδί μόνο αφού επιβεβαιώσετε ότι δεν υπάρχει νόμιμη κυκλοφορία.
7. Ολοκλήρωση εγγραφής με χρονική σήμανση, ιδιοκτήτη, λόγο και τυχόν αλλαγές πολιτικής.

Για προσωρινές αποδείξεις ιδέας συνεργατών, βραχύβια κλειδιά ανάπτυξης ή εφάπαξ εργασίες αξιολόγησης, χρησιμοποιήστε ημερομηνίες λήξης και αυτοματοποιημένες υπενθυμίσεις. Για φόρτους εργασίας παραγωγής, επιλέξτε ένα διάστημα εναλλαγής που ταιριάζει με τις απαιτήσεις ασφαλείας και την ωριμότητα ανάπτυξης. Η πολύ μικρή διάρκεια ζωής μειώνει την έκθεση, αλλά μπορεί να προκαλέσει διακοπές, εάν η μυστική ανάπτυξη είναι αναξιόπιστη.

Ανταλλαγή: Η συχνότητα περιστροφής είναι μια ισορροπία. Τα μικρότερα διαστήματα μειώνουν τη μακροχρόνια έκθεση. Τα μεγαλύτερα διαστήματα μειώνουν τον λειτουργικό θόρυβο. Ο αυτοματισμός αλλάζει την ισορροπία κάνοντας τη συχνή εναλλαγή λιγότερο ενοχλητική.

Προετοιμάστε ένα βιβλίο εκτέλεσης απόκρισης διαρροών πριν συμβεί διαρροή

Μια απάντηση διαρροής δεν πρέπει να ξεκινά με μια συζήτηση σχετικά με το ποιος κατέχει το κλειδί. Το σύστημα διακυβέρνησης θα πρέπει να κάνει προφανείς την ιδιοκτησία, την πρόσφατη χρήση και τις επιλογές ανάκλησης.

Λίστα ελέγχου απόκρισης διαρροών

1. Προσδιορίστε το κλειδί από την τιμή που διέρρευσε, το πρόθεμα, τον κατακερματισμό, το αναγνωριστικό κλειδιού, την εύρεση χώρου αποθήκευσης ή τα αρχεία καταγραφής πύλης.
2. Βρείτε τον ιδιοκτήτη και το περιβάλλον χρησιμοποιώντας το μητρώο κλειδιών.
3. Παγώστε ή ανακαλέστε το κλειδί ανάλογα με τη σοβαρότητα και τις διαθέσιμες επιλογές συνέχειας.
4. Ελέγξτε την πρόσφατη χρήση για μη φυσιολογικό όγκο αιτημάτων, μοντέλα, περιοχές, τελικά σημεία και κόστος.
5. Εκτιμήστε την έκθεση, συμπεριλαμβανομένων των δαπανών, της πρόσβασης σε δεδομένα και των μεταγενέστερων συστημάτων.
6. Εναλλάξτε τα σχετικά μυστικά εάν το κλειδί ήταν αποθηκευμένο κοντά σε άλλα διαπιστευτήρια.
7. Ειδοποιήστε τα ενδιαφερόμενα μέρη όπως την ιδιοκτήτρια ομάδα, ασφάλεια, χρηματοοικονομικά, νομικά, διαχειριστή συνεργατών ή ομάδα πελατών, ανάλογα με την περίπτωση.
8. Έγγραφο βασικής αιτίας όπως δεσμευμένο μυστικό, έκθεση από την πλευρά του πελάτη, αντιγραμμένο σημειωματάριο, μη ασφαλής μεταβλητή CI ή λάθος χειρισμός συνεργάτη.
9. Προσθέστε ένα προληπτικό έλεγχο όπως μυστική σάρωση, μικρότερη λήξη, αυστηρότερη πολιτική ή αλλαγή ανάπτυξης.

Γεγονός: Η έκθεση κλειδιών API σε περιβάλλοντα πελάτη, όπως προγράμματα περιήγησης ή εφαρμογές για κινητά, αναγνωρίζεται ευρέως ως μη ασφαλής, επειδή μπορούν να εξαχθούν μυστικά που διανέμονται σε συσκευές τελικού χρήστη. Η έρευνα για τα οικοσυστήματα εφαρμογών για κινητά ανέφερε επίσης επίμονη διαρροή διαπιστευτηρίων LLM API, ενισχύοντας την ανάγκη να διατηρούνται τα διαπιστευτήρια παρόχου μακριά από κατανεμημένους πελάτες.

Διαχείριση ενσωματώσεων συνεργατών με ανάθεση πρόσβασης

Οι ενοποιήσεις συνεργατών δημιουργούν ένα ειδικό πρόβλημα διακυβέρνησης. Οι συνεργάτες χρειάζονται σταθερή πρόσβαση, αλλά η παράδοση ενός ακατέργαστου κλειδιού παρόχου παρέχει υπερβολικό έλεγχο και αποδυναμώνει την απόδοση. Εάν ο συνεργάτης ρυθμίσει εσφαλμένα τον χώρο αποθήκευσης ή υπερβεί τη συμφωνηθείσα χρήση, ο ιδιοκτήτης κλειδιού παρόχου φέρει τον λειτουργικό και οικονομικό κίνδυνο.

Αντ' αυτού εκδώστε κλειδιά με εύρος συνεργατών ή διακριτικά ανάθεσης πρόσβασης. Κάθε διαπιστευτήριο συνεργάτη θα πρέπει να έχει το δικό του όριο, εγκεκριμένα τελικά σημεία, επιτρεπόμενη περίπτωση χρήσης, ημερομηνία λήξης ή ανανέωσης και διαδρομή υποστήριξης. Η επισκεψιμότητα συνεργατών θα πρέπει να είναι ορατή ξεχωριστά από την εσωτερική επισκεψιμότητα εφαρμογών.

Παράδειγμα πολιτικής κλειδιού συνεργάτη

συνεργάτης: acme-integration
env: παραγωγή
επιτρεπόμενα_τελικά σημεία: [συνομιλία]
allow_models: [approved-low-latency-model]
monthly_budget_USd: 500
rate_limit_rpm: 60
max_output_tokens: 800
content_logging: απενεργοποιημένο
renewal_review: 31-12-2026
support_contact: [email protected]

Σύσταση: Ξεκινήστε τα κλειδιά συνεργατών με χαμηλότερα προεπιλεγμένα όρια και αυξήστε τα αφού παρατηρήσετε σταθερή επισκεψιμότητα. Αυτό προστατεύει και τις δύο πλευρές: ο συνεργάτης αποκτά μια σαφή διαδρομή ενοποίησης και ο κάτοχος της πλατφόρμας διατηρεί τον έλεγχο της ανάκλησης και των δαπανών.

Χρησιμοποιήστε εγγενή στοιχεία ελέγχου παρόχου, αλλά μην εξαρτάστε από το μοντέλο ενός παρόχου

Τα έργα παρόχων, οι χώροι εργασίας, οι λογαριασμοί υπηρεσιών, οι ειδοποιήσεις προϋπολογισμού, τα όρια τιμών και οι αναφορές χρήσης είναι πολύτιμα. Χρησιμοποιήστε τα. Μειώνουν τον κίνδυνο στην πηγή και μπορούν να παρέχουν ένα επιπλέον επίπεδο περιορισμού.

Ωστόσο, οι ομάδες πολλών παρόχων αντιμετωπίζουν γρήγορα ασυνέπεια. Ένας πάροχος μπορεί να εκθέσει αναφορές χρήσης σε βασικό επίπεδο. Ένας άλλος μπορεί να δομήσει την πρόσβαση γύρω από χώρους εργασίας. κάποιο άλλο μπορεί να προσφέρει διαφορετικά διαχειριστικά API ή ελέγχους που καλύπτονται από σχέδιο. Εάν οι ομάδες χρησιμοποιούν πολλούς παρόχους LLM, η διακυβέρνηση θα πρέπει να εξομαλύνει το μοντέλο λειτουργίας σε αυτές.

Σύσταση: Διατηρήστε ένα εσωτερικό μητρώο κλειδιού και ένα επίπεδο πολιτικής ακόμη και όταν υπάρχουν εγγενείς έλεγχοι του παρόχου. Αντιστοιχίστε τα εσωτερικά κλειδιά σε έργα παρόχων ή χώρους εργασίας όπου είναι δυνατόν. Αυτό δίνει στις ομάδες ασφάλειας, πλατφόρμας και χρηματοδότησης ένα μέρος για να απαντήσουν σε βασικές ερωτήσεις: σε ποιον ανήκει αυτή η επισκεψιμότητα, ποια πολιτική εφαρμόστηκε, τι κόστισε και πώς την απενεργοποιούμε;

Λίστα ελέγχου εφαρμογής

• Δημιουργήστε ένα μητρώο κλειδιών με τον ιδιοκτήτη, την εφαρμογή, το περιβάλλον, τον σκοπό, το επίπεδο δεδομένων, τον προϋπολογισμό, τη λήξη και την επαφή έκτακτης ανάγκης.
• Μετακινήστε τα κλειδιά παρόχου σε μια περιορισμένη υπηρεσία υποστήριξης, πύλη ή υπηρεσία που διαχειρίζεται μυστικά.
• Εκδώστε ρυθμιζόμενα κλειδιά για ομάδες, εφαρμογές, περιβάλλοντα, εργασίες CI και συνεργάτες.
• Εφαρμόστε δρομολόγηση ελάχιστων προνομίων: επιτρεπόμενα μοντέλα, τελικά σημεία, όρια διακριτικών, όρια τιμών και ανώτατα όρια προϋπολογισμού.
• Διαχωρίστε την παραγωγή, τη σκηνοθεσία, την ανάπτυξη, το CI και την πρόσβαση συνεργάτη.
• Απαιτείται ιδιοκτησία λογαριασμού υπηρεσίας για φόρτους εργασίας από μηχανή σε μηχανή παραγωγής.
• Καταγράψτε την τηλεμετρία χρήσης σε επίπεδο κλειδιού και κανονικοποιήστε την σε όλους τους παρόχους.
• Ορίστε ειδοποιήσεις ανωμαλιών για αιχμές δαπανών, δραστηριότητα αδρανούς κλειδιού, χρήση νέου μοντέλου και ασυνήθιστες πηγές δικτύου.
• Εφαρμογή επικαλυπτόμενης περιστροφής πλήκτρων και ολοκλήρωσης κομματιού κεντρικά.
• Γράψτε και δοκιμάστε ένα βιβλίο εκτέλεσης διαρροών απόκρισης.
• Χρησιμοποιήστε καταγραφή μόνο μεταδεδομένων από προεπιλογή, εκτός εάν η καταγραφή περιεχομένου έχει εγκριθεί ρητά.
• Ελέγξτε τα αδρανή, χωρίς ιδιοκτήτη, τα κλειδιά με υπερβολική άδεια και τα κλειδιά που σχεδόν λήγουν σε ένα επαναλαμβανόμενο χρονοδιάγραμμα.

Εκκίνητο συμπέρασμα

Ο στόχος της βασικής διακυβέρνησης LLM API δεν είναι να επιβραδύνει τις ομάδες. Είναι για να γίνει η ασφαλής πρόσβαση εύκολη και η μη ασφαλής πρόσβαση περιττή. Τα κοινόχρηστα κλειδιά παρόχου δημιουργούν ασαφή ιδιοκτησία, ανεξέλεγκτη ακτίνα έκρηξης και αργή απόκριση συμβάντος. Τα ρυθμιζόμενα κλειδιά δημιουργούν έναν διαχειρίσιμο κύκλο ζωής: αίτημα, έγκριση, έκδοση, εμβέλεια, παρακολούθηση, περιστροφή και ανάκληση.

Ξεκινήστε με τον τομέα υψηλότερου κινδύνου: την παραγωγή και την πρόσβαση συνεργατών. Τοποθετήστε τα κλειδιά παρόχου πίσω από ένα ελεγχόμενο επίπεδο, εκδώστε εσωτερικά διαπιστευτήρια εύρους, επισυνάψτε μεταδεδομένα ιδιοκτησίας και παρακολουθήστε τις δαπάνες και τη χρήση κατά κλειδί. Μόλις δημιουργηθεί αυτό το θεμέλιο, επεκτείνετε το ίδιο μοτίβο σε ανάπτυξη, CI, αγωγούς αξιολόγησης και προσωρινά πειράματα.

Το καλύτερο σύστημα διακυβέρνησης είναι αυτό που μπορούν πραγματικά να χρησιμοποιήσουν οι προγραμματιστές: γρήγορο στο αίτημα, εκκαθάριση στην πολιτική, παρατηρήσιμο από προεπιλογή και ασφαλές για ανάκληση όταν κάτι πάει στραβά.

Σχετική ανάγνωση

• καθολικό