Ασφάλεια πρακτόρων στα τελικά σημεία πελατών της Perplexity με το Numbat

Τα πράκτορες τεχνητής νοημοσύνης πρέπει να είναι ασφαλείς για να είναι χρήσιμοι. Καθώς οι δυνατότητες των μοντέλων και των συστημάτων εξελίσσονται, το ίδιο συμβαίνει και με την επαγρύπνηση που απαιτείται για την προστασία των χρηστών.

Η πρώιμη έρευνα ασφάλειας πρακτόρων επικεντρώθηκε σε ενέσεις προτροπών (prompt injections) και άλλες μορφές adversarial εισόδων. Ωστόσο, οι πρόσφατες εξελίξεις στην αυτονομία των πρακτόρων προκαλούν περιστατικά ασφάλειας που δεν χρειάζεται να προϋποθέτουν την ύπαρξη adversarial εισόδων—ή ανθρωπίνων αντιπάλων εν γένει.

Αντίθετα, οι πράκτορες που κατευθύνονται να επιδιώκουν υψηλού επιπέδου στόχους, χωρίς δεσμευτικές οδηγίες για το πώς να τους επιτύχουν, μπορούν να γίνουν ο αντίπαλος. Αυτό συμβαίνει όταν ένας πράκτορας, σε απάντηση σε έναν στόχο που έχει ορίσει ο χρήστης, επιλέγει μια πορεία δράσης που ο χρήστης δεν είχε σκοπό και δεν θα είχε εγκρίνει. Παρόλο που τέτοια περιστατικά είχαν θεωρηθεί μόλις πριν από λίγους μήνες, γρήγορα έχουν γίνει θέματα πρακτικής ανησυχίας.

Επειδή αυτές οι συμπεριφορές δεν μπορούν να διορθωθούν πλήρως εντός του επιπέδου του μοντέλου, μια ισχυρή άμυνα πρέπει επομένως να κατοικεί στο περιβάλλον σύστημα, συμπεριλαμβανομένου του εργαλείου σύνδεσης (harness) του πράκτορα που χρησιμεύει ως διασύνδεση του μοντέλου με τον έξω κόσμο. Κάνουμε ανοιχτού κώδικα το Numbat, τη σουίτα ασφάλειας πρακτόρων μας που βοηθά τους αμυνόμενους να αποτρέψουν, να εντοπίσουν και να μετριάσουν περιστατικά που σχετίζονται με πράκτορες. Το Numbat εντοπίζει και ενσωματώνεται άμεσα με τα εργαλεία σύνδεσης πρακτόρων που βρίσκονται συνήθως σε τελικά σημεία πελατών επιχειρήσεων, επιβάλλοντας κανόνες ασφάλειας και επιτρέποντας τον γρήγορο εντοπισμό και την απόκριση.

Η υιοθέτηση πρακτόρων θέτει νέες προκλήσεις ασφάλειας για προγραμματιστές, υιοθετούντες και αμυνόμενους εξίσου. Αυτό ισχύει ιδιαίτερα όταν οι επιχειρήσεις αναπτύσσουν πράκτορες απευθείας σε τελικά σημεία πελατών με προνομιακή πρόσβαση σε επιχειρησιακά συστήματα και δεδομένα.

Οι αναπτύξεις πρακτόρων σε τελικά σημεία πελατών, όπως πράκτορες κωδικοποίησης βασισμένοι σε CLI ή σε εφαρμογές επιφάνειας εργασίας, συνοδεύονται από διάφορα επίπεδα sandboxing και απομόνωσης. Οι χρήστες αξιοποιούν αυτούς τους πράκτορες για αμέτρητες περιπτώσεις χρήσης, καθεμία με τον δικό της συνακόλουθο χώρο ενεργειών που μπορεί να επηρεάσει το ίδιο το τελικό σημείο ή άλλα συστήματα προσβάσιμα από αυτό. Όλο και περισσότερο, αναμένεται οι πράκτορες να λειτουργούν αυτόνομα για ώρες ή ακόμη και ημέρες. Για αυτές τις ροές εργασίας, πολλοί χρήστες επιλέγουν να εκχωρούν τις εγκρίσεις ενεργειών του πράκτορα σε ταξινομητές ή να παρακάμπτουν εντελώς τις εγκρίσεις με ανησυχητικά ονομαζόμενες σημαίες ρύθμισης όπως --dangerously-skip-permissions και --yolo. Ο πολλαπλός χαρακτήρας των περιπτώσεων χρήσης και των ρυθμίσεων του πράκτορα, σε συνδυασμό με το εύρος των ενεργειών που μπορούν να εκτελέσουν οι πράκτορες κωδικοποίησης σε προνομιούχα τελικά σημεία, διαμορφώνει ένα προφίλ κινδύνου που απαιτεί προληπτική διαχείριση από τις ομάδες ασφαλείας.

Σήμερα, κυκλοφορούμε το Numbat, μια σουίτα ασφάλειας πρακτόρων ανοιχτού κώδικα που δημιουργήσαμε για να ανιχνεύει, να διερευνά και να αποτρέπει επικίνδυνη δραστηριότητα από πράκτορες AI. Καθώς όλο και περισσότερες εταιρείες υιοθετούν κορυφαία προϊόντα πρακτόρων, το Numbat δίνει στις ομάδες ασφαλείας τη δυνατότητα να συμβαδίζουν με τις προκύπτουσες προκλήσεις ασφαλείας. Ενσωματώνεται σε καθεμία από τις πιο ευρέως χρησιμοποιούμενες υλοποιήσεις πρακτόρων στην πλευρά του πελάτη, ενώ ταυτόχρονα εκθέτει μια συνεπή διεπαφή σε όλες τους. Έτσι, το Numbat απαλλάσσει τις ομάδες ασφαλείας από το βάρος της δημιουργίας προσαρμοσμένων δικλίδων ασφαλείας και εργαλείων παρακολούθησης για κάθε μεμονωμένο πράκτορα στον οποίο βασίζονται οι χρήστες τους. Το Numbat είναι διαθέσιμο στο οικοσύστημα των αμυνομένων ως μέρος της συμμετοχής της Perplexity στη Συμμαχία Open Secure AI με τη NVIDIA και άλλους οργανισμούς.

Αρχιτεκτονική συστήματος πρακτόρων ασφαλισμένων με Numbat. Το Numbat δίνει έμφαση στον εντοπισμό πρώτα σε τοπικό επίπεδο και στην εγκληματολογία που είναι ανεξάρτητη από τον πράκτορα.

Αυτό το άρθρο ξεκινά με μια συζήτηση για τις προκλήσεις ασφάλειας που υποκινούν το Numbat. Στη συνέχεια, παρουσιάζουμε τον σχεδιασμό και την αρχιτεκτονική του Numbat, μαζί με τα μαθήματά μας από την ανάπτυξη του Numbat σε χιλιάδες από τα δικά της τελικά σημεία της Perplexity.

Το τοπίο των περιστατικών ασφάλειας πρακτόρων τεχνητής νοημοσύνης εξελίσσεται ραγδαία. Μεγάλο μέρος της υπάρχουσας βιβλιογραφίας ασφάλειας πρακτόρων επικεντρώνεται σε επιθέσεις έγχυσης, στις οποίες ένα κακόβουλο ωφέλιμο φορτίο εισάγεται στις προτροπές (prompts) ή στο πλαίσιο του μοντέλου για να μπερδέψει τους πράκτορες σε ακατάλληλη συμπεριφορά. Οι επιθέσεις έγχυσης και τα μέτρα προστασίας έχουν μελετηθεί εκτενώς, και οι προγραμματιστές πρακτόρων, συμπεριλαμβανομένης της Perplexity, έχουν επινοήσει όλο και πιο ισχυρές άμυνες κατά των επιθέσεων έγχυσης.

Αλλά ένας πράκτορας τεχνητής νοημοσύνης δεν χρειάζεται ένα κακόβουλο ωφέλιμο φορτίο για να δημιουργήσει ένα περιστατικό ασφάλειας. Στην πραγματικότητα, δεν χρειάζεται να υποθέσουμε την ύπαρξη ενός αντιπάλου καθόλου. Ένας έμπιστος πράκτορας, που λειτουργεί μέσα σε ένα έμπιστο περιβάλλον με εργαλεία εγκεκριμένα από τον διαχειριστή, μπορεί να προβεί σε επιβλαβείς ενέργειες απλώς και μόνο επειδή προσπαθεί υπερβολικά να ολοκληρώσει την εργασία του.

Οι ερευνητές περιγράφουν αυτή τη λειτουργία αποτυχίας ως «τυχαία τήξη» (accidental meltdown): επιβλαβής συμπεριφορά πράκτορα που πυροδοτείται όχι από adversarial είσοδο, αλλά από ένα συνηθισμένο περιβαλλοντικό σφάλμα. Ένα λείπον αρχείο, μια αποτυχημένη αίτηση API, ένα ληγμένο διαπιστευτήριο ή μια άρνηση άδειας μπορούν να στείλουν έναν πράκτορα σε αναζήτηση μιας λύσης παράκαμψης. Κατά την επιδίωξη του αρχικού στόχου που καθορίστηκε από τον χρήστη, ο πράκτορας μπορεί να διασχίσει τα όρια ασφάλειας μέσω μη εξουσιοδοτημένης αναγνώρισης, αλλαγών ελέγχου πρόσβασης, ανακάλυψης μυστικών ή εξαγωγής δεδομένων. Αντί ο πράκτορας να συνυπουργείται από έναν εισβολέα, ο ίδιος ο πράκτορας είναι ο εισβολέας. Επιπλέον, η επίθεση μπορεί να στοχεύσει εσωτερικά συστήματα, εξωτερικά συστήματα ή και τα δύο, χωρίς τρόπο να γνωρίζουμε μέχρις ότου η επίθεση είναι ήδη σε εξέλιξη.

Η πρώτη ευρέως αναφερόμενη τυχαία τήξη έφτασε αυτόν τον μήνα, με την αποκάλυψη της OpenAI μιας επίθεσης που ξεκίνησε από πράκτορα και παραβίασε την υποδομή παραγωγής του Hugging Face. Κατά τη διάρκεια αξιολογήσεων ενός προκυκλοφοριακού μοντέλου GPT, το μοντέλο βρέθηκε ανίκανο να σημειώσει πρόοδο στην αξιολόγηση με το παρεχόμενο πλαίσιο. Για να σπάσει αυτό το αδιέξοδο, το μοντέλο βρήκε έναν τρόπο να ξεφύγει από το περιβάλλον δοκιμών sandbox και να εξαγάγει τις απαντήσεις αξιολόγησης από το Hugging Face. Το μοντέλο αξιοποίησε το εργαλείο σύνδεσής του για να ξεφύγει από τους προβλεπόμενους περιορισμούς δικτύου, να κλιμακώσει τα προνόμια πέρα από τα όρια του sandbox, να αποκτήσει μυστικά και να αποκτήσει πρόσβαση σε ασφαλή συστήματα Hugging Face, όλα για να επιδιώξει τον στενό στόχο της επίλυσης της αξιολόγησης.

Οι τήξεις περιλαμβάνουν επίσης ακούσιες μεταλλάξεις και διαγραφές συστήματος. Αν και ίσως πιο πεζοδρομιακές από την παραβίαση ενός εξωτερικού συστήματος, αυτές οι εμφανίσεις είναι πιο συχνές και σημαντικές για οποιονδήποτε προηγμένο χρήστη πρακτόρων κωδικοποίησης. Η διαγραφή βάσεων δεδομένων παραγωγής ή καταλόγων σπιτιού είναι ο χειρότερος εφιάλτης οποιουδήποτε προγραμματιστή, και οι πράκτορες πρέπει να μπορούν να αποφεύγουν τέτοιες συμπεριφορές καθ' όλη τη διάρκεια της εκτέλεσής τους.

Οι ερευνητές τεχνητής νοημοσύνης εργάζονται για να μετριάσουν αυτές τις συμπεριφορές μέσα στα ίδια τα μοντέλα. Αν και αυτές οι προσπάθειες είναι σίγουρα πολύτιμες, πολλοί στην ερευνητική κοινότητα αντιλαμβάνονται μια θεμελιώδη ένταση μεταξύ της εκπαίδευσης μοντέλων για ισχυρές ιδιότητες ασφάλειας και της εκπαίδευσης των ίδιων μοντέλων για την εκτέλεση όλο και πιο σύνθετων εργασιών. Πιστεύουμε ότι είναι απίθανο οι άμυνες που επικεντρώνονται αποκλειψάντως στο επίπεδο του μοντέλου να μειώσουν τον κίνδυνο τήξης σε αποδεκτά επίπεδα.

Το συμπέρασμα είναι ότι η ασφάλεια των πρακτόρων δεν μπορεί να βασίζεται αποκλειστικά σε μέτρα προστασίας σε επίπεδο μοντέλου, χρήστη ή εργασίας. Αντίθετα, οι ομάδες ασφάλειας χρειάζονται ορατότητα σχετικά με το τι κάνουν πραγματικά οι πράκτορες στα τελικά σημεία των πελατών, συν ελέγχους που μπορούν να σταματήσουν επικίνδυνες ενέργειες πριν εκτελεστούν. Αυτοί είναι έλεγχοι σε επίπεδο συστήματος που πρέπει να είναι στενά ενσωματωμένοι με το εργαλείο σύνδεσης του πράκτορα.

Το Numbat παρέχει αυτά τα στοιχεία ελέγχου με τη μορφή ενός ελαφριού στατικού δυαδικού αρχείου Go που συνδέεται απρόσκοπτα με κορυφαίες υλοποιήσεις πρακτόρων στην πλευρά του πελάτη. Προσφέρει ζωντανή παρακολούθηση, επιβολή πολιτικών και εγκληματολογική ανακατασκευή σε υλοποιήσεις πρακτόρων και περιβάλλοντα εκτέλεσης.

Τα βασικά σημεία ενσωμάτωσης μεταξύ του Numbat και ενός harness πράκτορα είναι τα hooks, τα τεχνουργήματα συνεδρίας και η τηλεμετρία OTLP. Συζητάμε το καθένα στη συνέχεια.

Σχεδόν όλοι οι πράκτορες κωδικοποίησης διαθέτουν ένα υποσύστημα αγκίστρου (hook). Οι αγκίστρες επιτρέπουν στους πράκτορες να εκτελούν ντετερμινιστικά υποπρογράμματα σε προκαθορισμένα σημεία εντός του κύκλου ζωής εκτέλεσης του πράκτορα. Οι χρήστες πρακτόρων συνήθως διαμορφώνουν αγκίστρες για να παρέχουν στα μοντέλα πρόσθετο πλαίσιο με προβλέψιμους τρόπους, να εφαρμόζουν βρόχους δοκιμών και επαλήθευσης, και να κάνουν άλλες βελτιώσεις στις δυνατότητες των πρακτόρων.

Οι ίδιες οι ντετερμινιστικές ιδιότητες που κάνουν τις αγκίστρες ελκυστικές για αυτούς τους σκοπούς τις κάνουν επίσης ελκυστικές για την ανίχνευση και την απόκριση. Συνήθως δεν επαρκεί η σύλληψη των περισσότερων εμφανίσεων ενός δυνητικά ανησυχητικού συμβάντος. Αντίθετα, πρέπει κανείς να καλύψει όλες αυτές τις εμφανίσεις για ανίχνευση και απόκριση. Το Numbat διαμορφώνει πολλαπλούς τύπους αγκίστρων, επιτρέποντας στις ομάδες ασφάλειας και στους διαχειριστές IT να εφαρμόζουν πλούσια λογική ανίχνευσης.

Στους περισσότερους πράκτορες κωδικοποίησης, ορισμένοι τύποι αγκίστρων (που αποκαλούνται συνήθως αγκίστρες «pre-action») μπορούν επίσης να εμποδίσουν την εκτέλεση της επόμενης ενέργειας του πράκτορα. Χρησιμοποιώντας αυτές τις αγκίστρες pre-action, το Numbat είναι σε θέση να εφαρμόσει όχι μόνο λογική ανίχνευσης αλλά και προληπτικούς κανόνες ασφάλειας για να σταματήσει μια τήξη από το να συμβεί εξαρχής.

Οι αγκίστρες είναι ισχυρά μέσα εφαρμογής λογικής ανίχνευσης και πρόληψης σε πραγματικό χρόνο. Ωστόσο, αυτή η λογική πρέπει να είναι καθοριστήσιμη σε κώδικα. Συχνά, ένα περιστατικό ασφάλειας πράκτορα παίρνει μια μορφή που δεν θα μπορούσε να είχε προβλεφθεί εκ των προτέρων, πόσο μάλλον να μειωθεί σε πηγαίο κώδικα. Επομένως, το Numbat έχει επίσης τη δυνατότητα να έχει πρόσβαση και να αναλύει αντικείμενα συνεδρίας εκ των υστέρων.

Τα αντικείμενα συνεδρίας περιλαμβάνουν πολλούς τύπους αρχείων καταγραφής (logs) και διαγνωστικών. Ίσως ο πιο σημαντικός τύπος αρχείου καταγραφής είναι το αντίγραφο συνεδρίας (session transcript), το οποίο καταγράφει τις συνομιλίες LLM που υπαγορεύουν την ακολουθία ενεργειών του πράκτορα. Οι προηγμένοι χρήστες πρακτόρων κωδικοποίησης έχουν ήδη συνηθίσει να εξάγουν αντίγραφα συνεδρίας για περαιτέρω ανάλυση μέσω εντολών που παρέχονται από το εργαλείο σύνδεσης. Αλλά αυτές οι εξαγωγές είναι συνήθως σε μορφή απλού κειμένου, η οποία είναι ακατάλληλη για ομάδες ασφάλειας που απαιτούν αναγνώσιμα από μηχανή αρχεία καταγραφής με ένα συνεπές, προβλέψιμο σχήμα.

Έτσι, το Numbat ανακτά αντικείμενα συνεδρίας απευθείας από το ίδιο το σύστημα αρχείων. Επειδή τα περισσότερα εργαλεία σύνδεσης πρακτόρων από την πλευρά του πελάτη αποθηκεύουν πρωτότυπα αντικείμενα στο σύστημα αρχείων (συνήθως εντός ενός καταλόγου dot ειδικού για τον πράκτορα κάτω από το $HOME), η αξιοποίηση του συστήματος αρχείων παρέχει την πιο άμεση διαδρομή προς αυτά τα δεδομένα στην πιο χρησιμοποιήσιμη και παρθένα μορφή τους. Οι ομάδες ασφάλειας που χρησιμοποιούν το Numbat μπορούν να συλλέξουν αυτά τα αντικείμενα σε τυποποιημένη μορφή χρονολογίου NDJSON μέσω της εντολής numbat scan, είτε για τοπική επεξεργασία στο τελικό σημείο του πελάτη είτε για ασύγχρονη απομακρυσμένη ανάλυση. Επειδή τα αντικείμενα συνεδρίας είναι στατικά, αυτοτελή αρχεία, το Numbat είναι σε θέση να ανασυγκροτήσει αυτά τα χρονολόγια ακόμη και για συνεδρίες που πραγματοποιήθηκαν πολύ πριν εγκατασταθεί το Numbat.

Τα περισσότερα εργαλεία σύνδεσης πρακτόρων από την πλευρά του πελάτη προσφέρουν εκτεταμένη τηλεμετρία μέσω του πρωτοκόλλου OpenTelemetry (OTLP). Αυτή η τηλεμετρία παρέχει συνήθως πολλά σήματα πέρα από αυτά που είναι διαθέσιμα μέσω αγκίστρων ή αντικειμένων συνεδρίας.

Το Numbat μπορεί να λειτουργήσει ως δέκτης OTLP μέσω της εντολής numbat collect. Αυτή η εντολή ξεκινά έναν διακομιστή στον οποίο οι πράκτορες κωδικοποίησης στέλνουν τηλεμετρία OTLP για μεταγενέστερη ανάλυση. Σημαντικό είναι ότι αυτός ο διακομιστής είναι τοπικός και ακούει από προεπιλογή μόνο στο localhost, πράγμα που σημαίνει ότι όλη η τηλεμετρία παραμένει στη συσκευή από προεπιλογή. Οι διαχειριστές ασφαλείας μπορούν στη συνέχεια να αποφασίσουν τι θα κάνουν με την καταγεγραμμένη τηλεμετρία, είτε αυτό περιλαμβάνει την υλοποίηση ελαφριάς επεξεργασίας στη συσκευή, απομακρυσμένη επεξεργασία μέσω numbat ship, είτε πιο εμπεριστατωμένη ανάλυση σε πλατφόρμες αναλυτικών δεδομένων όπως το ClickHouse.

Εντός της Perplexity, χρησιμοποιούμε το Numbat για να ασφαλίσουμε τη χρήση από τους μηχανικούς μας πρακτόρων κωδικοποίησης από την πλευρά του πελάτη, συμπεριλαμβανομένων των Claude Code, Codex, OpenCode και Pi.

Τόσο οι προσπάθειες πρόληψης όσο και ανίχνευσης κάνουν εκτεταμένη χρήση κανόνων Numbat, οι οποίοι υλοποιούνται μέσω του υποσυστήματος αγκίστρου κάθε πράκτορα. Διαμορφώσαμε αρκετούς βασικούς κανόνες για τις δικές μας ανάγκες, πολλοί από τους οποίους αποστείλαμε ως μέρος των 52 ενσωματωμένων κανόνων του Numbat. Αυτοί οι κανόνες οργανώνονται σε 11 κατηγορίες συμπεριφοράς και ένα σύνολο ανιχνεύσεων ακολουθίας πολλαπλών βημάτων, όπως πρόσβαση σε μυστικά, εξαγωγή, κλιμάκωση προνομίων και πλευρική μετακίνηση. Οι κανόνες χρησιμοποιούν εκφράσεις CEL πάνω σε κανονικοποιημένα συμβάντα, και οι χειριστές μπορούν να προσθέσουν τους δικούς τους κανόνες και δοκιμές χωρίς να αλλάξουν τον κώδικα του Numbat.

Για παράδειγμα, ο ενσωματωμένος κανόνας privilege.sudoers_tamper εντοπίζει εγγραφές στην πολιτική sudoers, χρήση του visudo και προσπάθειες εγκατάστασης χορηγήσεων NOPASSWD. Αυτές είναι ενέργειες υψηλού σήματος που μπορούν να μετατρέψουν μια περιορισμένη διαδικασία πράκτορα σε μόνιμη πρόσβαση root.

yaml

# privilege.sudoers_tamper (simplified for readability)
id: privilege.sudoers_tamper
severity: high
expr: |
  (
    event.event_type == "file.write" &&
    event.file_path.matches("(^|/)etc/sudoers$|(^|/)etc/sudoers\\.d/[^/]+$")
  ) || (
    event.event_type == "command.exec" &&
    event.command.matches("\\bvisudo\\b|\\bNOPASSWD\\s*:")
  )

Οι μεμονωμένες εντολές δεν φαίνονται πάντα κακόβουλες από μόνες τους, επομένως το Numbat συσχετίζει επίσης ακολουθίες εντός μιας συνεδρίας πράκτορα. Ο ενσωματωμένος κανόνας chain.secret_manager_read_then_egress εντοπίζει πότε ένας πράκτορας διαβάζει μια τιμή από ένα κοινό εργαλείο διαχείρισης μυστικών και αργότερα επιχειρεί μια αίτηση curl ή wget που φέρει δεδομένα. Η ανάγνωση ενός μυστικού μπορεί να είναι θεμιτή. Μια εξερχόμενη αίτηση μπορεί να είναι θεμιτή. Εάν αλληλουχιθούν μαζί, απαιτούν έρευνα.

yaml

# chain.secret_manager_read_then_egress (simplified for readability)
id: chain.secret_manager_read_then_egress
severity: high
sequence:
  within_events: 64
  steps:
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("secretsmanager|get-secret|vault read")
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("curl.*(--data|--upload-file)|wget.*--post")

Όπως το Bumblebee, ο σαρωτής ανοιχτού κώδικα μας για έκθεση στην αλυσίδα εφοδιασμού σε τελικά σημεία προγραμματιστών, το Numbat αναπτύσσεται σε ολόκληρο τον στόλο μας μέσω MDM. Κάθε Numbat καταγράφει τη δραστηριότητα του πράκτορα τοπικά και στέλνει δο Sτομημένη τηλεμετρία στα κεντρικά μας συστήματα ασφάλειας.

Από εκεί, το Perplexity Computer εξετάζει τα πρόσφατα ευρήματα του Numbat και τα αρχεία καταγραφής ελέγχου σε επαναλαμβανόμενο πρόγραμμα για ύποπτη ή κακόβουλη συμπεριφορά. Διερευνά ανιχνεύσεις, ανασυγκροτεί σχετικές συνεδρίες πράκτορα και δίνει πρόσθετη προσοχή σε ενέργειες που το Numbat απέκλεισε.

Εσωτερικός αγωγός (pipeline) της Perplexity για την παρακολούθηση της τηλεμετρίας του Numbat. Μια προγραμματισμένη εργασία του Perplexity Computer εξετάζει ασύγχρονα νέα σήματα και ειδοποιεί την ομάδα ασφάλειας για επικίνδυνη δραστηριότητα.

Το Computer αναζητά επίσης κενά στην κάλυψή μας. Αναλύει νέα συμπεριφορά, προτείνει βελτιώσεις στις ανιχνεύσεις του Numbat, δοκιμάζει αυτές τις αλλαγές και ανοίγει pull requests για ανθρώπινη αξιολόγηση. Μόλις εγκριθούν και αναπτυχθούν, αυτοί οι κανόνες βελτιώνουν την παρακολούθηση σε όλο τον στόλο και παράγουν καλύτερα αποδεικτικά στοιχεία για την επόμενη διερεύνηση.

Αυτό δημιουργεί έναν αυτοβελτιούμενο κύκλο ασφάλειας: οι πράκτορες παράγουν δραστηριότητα, το Numbat μετατρέπει αυτή τη δραστηριότητα σε κανονικοποιημένα χρονοδιαγράμματα και τηλεμετρία, το Computer διερευνά και βελτιώνει τους κανόνες, και οι ενημερώσεις που έχουν ελεγχθεί από ανθρώπους ενισχύουν τα στοιχεία ελέγχου που προστατεύουν μελλοντικές συνεδρίες πρακτόρων.

Στην Perplexity, πιστεύουμε ότι οι πράκτορες AI θα εκτελούνται σε όλους τους τύπους περιβαλλόντων: τοπικά, στο cloud και υβριδικά. Κάθε συνδυασμός harness πράκτορα και περιβάλλοντος εκτέλεσης θέτει μοναδικές προκλήσεις ασφαλείας, με τη συνδυαστική πολυπλοκότητα να απειλεί να υπερκεράσει τις ομάδες ασφαλείας με περιορισμένο εύρος ζώνης. Οι εκτροχιασμοί πρακτόρων και άλλες νέες ευπάθειες περιπλέκουν ακόμη περισσότερο το τοπίο της ασφάλειας.

Οι άμυνες που κατοικούν μέσα στο ίδιο το σύστημα πρακτόρων μπορούν να βελτιώσουν τη στάση ασφάλειας ενός χρήστη, ανεξάρτητα από το πού εκτελείται ο πράκτορας. Αυτό ακριβώς προσφέρει το Numbat: στενά ενσωματωμένα μέτρα ασφάλειας για πράκτορες που επιτρέπουν στους αμυνόμενους να αποτρέπουν, να ανιχνεύουν και να ανταποκρίνονται σε ανησυχητική συμπεριφορά σε πραγματικό χρόνο. Ο συνδυασμός του Numbat με το Perplexity Computer δημιουργεί μια πανίσχυρη πλατφόρμα ασφάλειας πρακτόρων που δίνει τη δυνατότητα στους αμυνόμενους να παραμένουν μπροστά από την καμπύλη.

Το Numbat είναι διαθέσιμο σήμερα ως έργο ανοιχτού κώδικα για macOS, Linux και Windows. Τα δικά μας τελικά σημεία πελατών προστατεύονται από το Numbat, επιτρέποντας στα μέλη της ομάδας της Perplexity να χρησιμοποιούν με σιγουριά πράκτορες σε εργασίες ευρείας εμβέλειας και μακροπρόθεσμους ορίζοντες. Προσκαλούμε τις ομάδες ασφάλειας παντού να αξιοποιήσουν την προσέγγιση σε επίπεδο συστήματος του Numbat για την ασφάλεια και την προστασία των αναπτύξεων των πρακτόρων τους.

BibTeX

@online{perplexity2026SecuringAgentsAcrossPerplexitySClientEndpointsWithNumbat,
  author = {{Perplexity} and Adel Karimishiraz and Bex Brooker and Phi Hoang and Jerry Ma},
  title = {{Securing agents across Perplexity's client endpoints with Numbat}},
  date = {2026-07-29},
  url = {https://perplexity.coolkeypoint.com/hub/blog/securing-agents-across-perplexity-s-client-endpoints-with-numbat}
}

Εισαγωγή

Εντοπισμός του τοπίου ευπαθειών

Ασφάλεια πρακτόρων κωδικοποίησης μέσω εγγενών ενσωματώσεων εργαλείων σύνδεσης

Αγκίστρες

Αντικείμενα συνεδρίας

Τηλεμετρία OTLP

Ανάπτυξη του Numbat εντός της Perplexity

Διαχείριση και παρακολούθηση Numbats σε ολόκληρο τον στόλο

Συμπέρασμα

Παραπομπή