PII-TRACE: Ανίχνευση Προσωπικών Δεδομένων Πριν Φύγουν από τη Συσκευή
Ένα benchmark 13 γλωσσών για συνεπή ανίχνευση PII σε μακροχρόνιες συνομιλίες, συνδυασμένο με έναν συμπαγές ανιχνευτή 0,6B σχεδιασμένο να εκτελείται τοπικά.
Υβριδικός υπολογισμός σε Mac διαιρεί τις εργασίες του Perplexity Computer μεταξύ κορυφαίων μοντέλων στο cloud και ενός τοπικού μοντέλου στο Mac. Οι πράκτορες cloud χειρίζονται την έρευνα, τον συλλογισμό και τον σχεδιασμό, ενώ το τοπικό μοντέλο εργάζεται με ιδιωτικά αρχεία και ευαίσθητες πληροφορίες.
Αυτό το όριο εξαρτάται από την ανίχνευση προσωπικά ταυτοποιήσιμων πληροφοριών (PII) προτού φύγουν από τη συσκευή. Μια τοπική πύλη ιδιωτικότητας διατηρεί ευαίσθητο περιεχόμενο στο Mac, διαγράφει τις ανιχνευμένες ιδιωτικές πληροφορίες ή ζητά έγκριση πριν από την αποστολή τους στο cloud.
Η ανίχνευση γίνεται πιο δύσκολη σε μεγάλες, πολύγλωσσες συνομιλίες. Το ίδιο αναγνωριστικό μπορεί να εμφανίζεται αρκετές φορές σε διαφορετικές στροφές. Μία χαμένη αναφορά μπορεί να εκθέσει τις πληροφορίες που το σύστημα προορίζεται να προστατεύσει.
Εισαγωγή
Σήμερα, παρουσιάζουμε το PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), ένα νέο benchmark για την αξιολόγηση ανιχνευτών προσωπικά ταυτοποιήσιμων πληροφοριών (PII), και το PII-Tracer, ένα συμπαγές μοντέλο 0,6B για την ανίχνευση PII.
Οι πράκτορες πρώτου cloud (cloud-first) αναγκάζουν τους χρήστες να ισορροπούν μεταξύ πλαισίου, νοημοσύνης και ιδιωτικότητας. Περισσότερο προσωπικό πλαίσιο μπορεί να βοηθήσει έναν πράκτορα να κατανοήσει τον χρήστη και να παράγει καλύτερα αποτελέσματα. Αλλά η παροχή αυτού του πλαισίου συχνά σημαίνει αποστολή ιδιωτικών πληροφοριών σε μια απομακρυσμένη υπηρεσία και μπορεί να διαρρεύσει προσωπικές πληροφορίες. Οι πληροφορίες που καθιστούν έναν βοηθό χρήσιμο μπορεί να είναι ακριβώς αυτές που ο χρήστης θέλει περισσότερο να κρατήσει ιδιωτικές.
Η υβριδική AI διευκολύνει αυτή την ισορροπία διαιρώντας την εργασία μεταξύ της συσκευής του χρήστη και των μοντέλων cloud. Αλλά αυτό το όριο προστατεύει την ιδιωτικότητα μόνο εάν η συσκευή μπορεί να αναγνωρίσει PII προτού το κείμενο αποσταλεί σε ένα απομακρυσμένο μοντέλο. Οι χρήστες δεν θα έπρεπε να επιθεωρούν μόνοι τους κάθε μήνυμα. Η συσκευή χρειάζεται έναν τοπικό ανιχνευτή PII ως πύλη ιδιωτικότητάς της. Σε μεγάλες συνομιλίες, το ίδιο αναγνωριστικό μπορεί να επαναλαμβάνεται στις στροφές, και μία χαμένη αναφορά αρκεί για να περάσουν προσωπικές πληροφορίες.
Το Perplexity εισήγαγε έναν υβριδικό τοπικό ορχηστratή συμπερασμού διακομιστή που αποφασίζει ποια εργασία πρέπει να εκτελεστεί στη συσκευή και ποια πρέπει να μεταβεί σε πράκτορες στο cloud. Το μοντέλο, το πλαίσιο πρακτόρων, οι συνομιλίες και οι τροχιές εκτέλεσης βρίσκονται όλα στη μηχανή του χρήστη. Οι εργασίες που απαιτούν πρόσβαση στον έξω κόσμο καλούνται μόνο όταν είναι απαραίτητο και ελέγχονται από την άδεια του χρήστη. Ως αποτέλεσμα, μέχρι να εγκρίνει ο χρήστης, αυτό το περιεχόμενο παραμένει στη συσκευή.
Το PII-Tracer παρέχει ένα τοπικό σήμα ελέγχου για τη δρομολόγηση μοντέλων, επισημάνωντας τα διαστήματα που προβλέπεται ότι περιέχουν PII. Η εφαρμογή στη συνέχεια επιβάλλει την πολιτική δρομολόγησης. Διατηρεί τη σχετική είσοδο τοπική, διαγράφει τα ανιχνευμένα διαστήματα ή ζητά ρητή έγκ්රιση πριν από την κλιμάκωση σε ένα μοντέλο cloud. Αυτό κάνει τη δρομολόγηση πιο επιλεκτική. Το ανιχνευμένο PII παραμένει στη συσκευή, ενώ το εγκεκριμένο πλαίσιο εξακολουθεί να επωφεληθεί από τα κορυφαία μοντέλα cloud.
Η επιλεκτική δρομολόγηση εξαρτάται από τη συνεπή ανίχνευση σε ολόκληρη τη συνομιλία. Το ίδιο αναγνωριστικό μπορεί να επαναλαμβάνεται στις στροφές, και μια χαμένη αναφορά μπορεί ακόμη να μεταδοθεί.
Σε 12 ανιχνευτές, το PII-Tracer καταγράφει το υψηλότερο F1 χαρακτήρων και την υψηλότερη συνεπή κάλυψη επαναλαμβανόμενων αναγνωριστικών. Το benchmark εξηγεί γιατί και τα δύο αποτελέσματα έχουν σημασία: σε μια μακρά συνομιλία, η εύρεση των περισσότερων PII δεν είναι το ίδιο με την εύρεση κάθε αντιγράφου τους.
Η Ανίχνευση PII Αντιμετωπίζει Νέες Προκλήσεις στην Υβριδική AI
Η ανίχνευση PII είναι ένα μακροχρόνιο πρόβλημα ασφάλειας και υπάρχουν ήδη αρκετά benchmarks και ανιχνευτές. Ωστόσο, η ανίχνευση PII σε ρυθμίσεις υβριδικής AI εισάγει νέες προκλήσεις. Συγκεκριμένα, οι ανιχνευτές πρέπει να εντοπίζουν PII σε μεγάλες, πολυστroφικές συνομιλίες, όπου το συνομιλιακό πλαίσιο καθορίζει εάν μια συμβολοσειρά πρέπει να θεωρηθεί PII. Για παράδειγμα, ένα όνομα θα μπορούσε να ταυτοποιήσει τον χρήστη σε μια συνομιλία, να αναφέρεται σε δημόσιο πρόσωπο σε άλλη, ή απλώς να είναι ένα placeholder που δημιουργήθηκε από έναν βοηθό. Η επιφανειακή μορφή από μόνη της είναι ανεπαρκής για να προσδιορίσει εάν μια συμβολοσειρά πρέπει να επισημανθεί ως PII.
Οι υπάρχοντες ανιχνευτές και δείκτες αναφοράς (benchmarks) PII στοχεύουν κυρίως μεμονωμένα αρχεία. Διαπιστώνουμε ότι οι ανιχνευτές που έχουν σχεδιαστεί για την επεξεργασία ενός αρχείου τη φορά αποδίδουν φτωχά σε μεγάλες, σύνθετες συνομιλίες. Επίσης, τα υπάρχοντα benchmarks γενικά δεν αξιολογούν τη συνοχή μεταξύ των στροφών. Ως αποτέλεσμα, η ισχυρή απόδοση σε αυτά τα benchmarks δεν μεταφράζεται απαραίτητα σε αποτελεσματική ανίχνευση PII σε μεγάλες, πολυστroφικές συνομιλίες.
PII-TRACE: Ένα Benchmark για την Ανίχνευση PII Κρίσιμης Σημασίας για Ανάπτυξη
Σχεδιάσαμε το PII-TRACE γύρω από τρεις συμπεριφορές που έχουν σημασία όταν ένας ανιχνευτής PII χρησιμοποιείται σε συνομιλίες βοηθού. Η πρώτη είναι η συνεπής κάλυψη: όταν ένα αναγνωριστικό εμφανίζεται πολλές φορές ή διασχίζει στροφές χρήστη και βοηθού, ο ανιχνευτής πρέπει να βρει κάθε αναφορά. Η δεύτερη είναι η ανθεκτικότητα σε μεγάλο πλαίσιο: οι συνομιλίες κυμαίνονται από λιγότερους από 1.000 έως περισσότερους από 100.000 χαρακτήρες, καθιστώντας δυνατή τη μέτρηση του τι συμβαίνει καθώς το ιστορικό μεγαλώνει. Η τρίτη είναι ο χειρισμός πολλαπλών γλωσσών και περιεχομένου μικτής μορφής: μια συνομιλία μπορεί να αλλάζει γλώσσα και να συνδυάζει πεζογραφία με κώδικα, πίνακες ή δομημένα αρχεία. Το PII-TRACE διατηρεί αυτά τα πρότυπα αξιολογώντας κάθε πλήρη διάλογο αντί να τον χωρίζει σε απομονωμένα αρχεία.
Το benchmark μετρά την απόδοση σε δύο συμπληρωματικά επίπεδα. Σε επίπεδο αναγνωριστικού, η συνεπής ανίχνευση θέτει την αυστηρότερη ερώτηση: κάλυψε ο ανιχνευτής κάθε χαρακτήρα σε κάθε αναφορά του ίδιου αναγνωριστικού; Αναφέρουμε αυτή τη βαθμολογία χωριστά για αναγνωριστικά με πολλαπλές αναφορές και για αναγνωριστικά που επαναλαμβάνονται στις στροφές. Σε επίπεδο χαρακτήρων, η ακρίβεια μετρά πόσο από το κείμενο που επισημάνθηκε από έναν ανιχνευτή έχει επισημανθεί ως PII, η ανάκληση μετρά πόσο επισημασμένο PII βρίσκει, και το F1 εξισορροπεί τα δύο.
Το PII-TRACE περιέχει 13.148 συνθετικές συνομιλίες χρήστη-βοηθού σε 13 γλώσσες και 10 συστήματα γραφής, με 37.431 αναφορές αναγνωριστικών επισημασμένες σε επίπεδο χαρακτήρων σε εννέα τύπους PII. Συνολικά 41% των συνομιλιόών περιέχουν δομημένο περιεχόμενο. Μεταξύ των 5.645 συνομιλιών με επισημασμένο PII, το 63,8% περιλαμβάνει ένα αναγνωριστικό που εμφανίζεται περισσότερες από μία φορές, και το 28,7% περιλαμβάνει ένα αναγνωριστικό που εμφανίζεται σε πολλαπλές στροφές.
Κατασκευή ενός συνθετικού συνόλου δεδομένων από συνομιλίες παραγωγής
Το PII-TRACE διατηρεί τη δομή στροφών των συνομιλιόών πηγής χωρίς να δημοσιεύει τα πρωτότυπα. Η ροή εργασίας (pipeline) επανεγράφει κάθε στροφή και αντικαθιστά κάθε επισημασμένο αναγνωριστικό με μια συνθετική τιμή.
Πρώτον, πολλαπλά γλωσσικά μοντέλα επισημαίνουν εννέα τύπους PII σε συνομιλίες χρήστη-βοηθού παραγωγής. Ένα πέρασμα βασισμένο σε κανόνες ομαδοποιεί επαναλαμβανόμενα αναγνωριστικά του ίδιου τύπου κάτω από ένα αναγνωριστικό οντότητας. Κάθε επισημασμένη τιμή αντικαθιστάται στη συνέχεια από έναν τυπωμένο placeholder, αφήνοντας ένα πρότυπο που διατηρεί τη σειρά στροφών, τον τύπο PII και τους συνδέσμους μεταξύ των αναφορών, αλλά καμία από τις επισημασμένες αρχικές τιμές.
Το σύστημα παραφράζει κάθε στροφή διατηρώντας ανέπαφους αυτούς τους placeholders, στη συνέχεια εισάγει συνθετικές τιμές που ταιριάζουν με τον τύπο και τη μορφή του αναγνωριστικού. Οι επαναλαμβανόμενες αναφορές λαμβάνουν την ίδια τιμή εντός μιας συνομιλίας, ενώ διαφορετικές συνομιλίες χρησιμοποιούν ανεξάρτητα παραγόμενες τιμές. Το τελικό πέρασμα ευθυγράμμισης επανυπολογίζει κάθε μετατόπιση χαρακτήρα.
Τρεις αυτοματοποιημένες πύλες ελέγχουν ότι οι αντικatastάσεις ταιριάζουν με τα αποθηκευμένα διαστήματα, οι επαναλαμβανόμενες αναφορές χρησιμοποιούν την ίδια τιμή και οι επισημασμένες τιμές πηγής απουσιάζουν υπό την επανεξέταση Presidio και κανονικών εκφράσεων. Μια αποθηκευμένη μετατόπιση πρέπει επίσης να ανακτήσει την ακριβή συνθετική υποσυμβολοσειρά. Τα αρχεία που αποτυγχάνουν αναδημιουργούνται ή απορρίπτονται. Ένα δεύτερο γλωσSικό μοντέλο ελέγχει ένα δείγμα, και άνθρωποι επιθεωρούν ό,τι επισημαίνει ως PII.
PII-Tracer: Ένας Συμπαγής Ανιχνευτής για Τοπική Χρήση
Το PII-Tracer είναι ένας αμφίδρομος κωδικοποιητής 0,6B προσαρμοσμένος από έναν κορμό Qwen3. Η διαλογή ιδιωτικότητας είναι διαφορετική από τη δημιουργία κειμένου και απαιτεί την εύρεση σχετικών διαστημάτων PII και την επιστροφή των ορίων τους. Ως αποτέλεσμα, το PII-Tracer αντικαθιστά την αιτιώδη μάσκα του Qwen3 με αμφίδρομη προσοχή που γνωρίζει την πλήρωση (padding-aware), έτσι ώστε κάθε token να μπορεί να αντλεί τόσο από προηγούμενες όσο και από μεταγενέστερες στροφές εντός παραθύρου 4.096 tokens.
Για κάθε token, ο κωδικοποιητής παράγει μια αναπαράσταση 1.024 διαστάσεων. Μια γραμμική κεφαλή ετικετών παράγει βαθμολογίες για 37 πιθανές ετικέτες: μία ειδική ετικέτα (την οποία χρησιμοποιούμε το O για να υποδηλώσουμε) για κείμενο εκτός διαστήματος PII, συν τέσσερις ετικέτες θέσης διαστήματος για καθέναν από τους εννέα τύπους PII. Στο σχήμα BIOES για την Αναγνώριση Ονομαστικών Οντοτήτων, το B (Beginning), το I (Inside) και το E (End) σηματοδοτούν ένα διάστημα πολλαπλών tokens, ενώ το S (Single) σηματοδοτεί ένα διάστημα ενός token. Μια βοηθητική κεφαλή προβλέπει επίσης εάν η συνομιλία περιέχει ευαίσθητο υλικό, όπως πληροφορίες υγείας ή θρησκευτικές πληροφορίες.
Εκπαιδεύουμε το PII-Tracer για τρεις εποχές σε περίπου 714.000 δείγματα εκπαίδευσης, συνδυάζοντας πολύγλωσσες συνομιλίες βοηθού με παραδείγματα ενός αρχείου. Ο κοινός αμφίδρομος κωδικοποιητής διαθέτει δύο κεφαλές εκπαίδευσης: μια κεφαλή token BIOES 37 κλάσεων που ανιχνεύει και ταξινομεί διαστήματα PII, και μια δυαδική κεφαλή επιπέδου συνομιλίας που προβλέπει εάν η συνομιλία περιέχει ευαίσθητο υλικό. Εκπαιδεύουμε και τις δύο κεφαλές από κοινού χρησιμοποιώντας . Εδώ, το δίνει μεγαλύτερο βάρος στις σπάνιες ετικέτες PII ώστε η συχνή ετικέτα `O` να μην κυριαρχεί, ενώ το παρέχει το σήμα εκπαίδευσης επιπέδου συνομιλίας; οι συντελεστές 1,5 και 0,3 διατηρούν την ανίχνευση διαστημάτων ως κύρια εργασία. Αυτό το βοηθητικό σήμα ενισχύει την ευαισθητοποιημένη στο πλαίσιο ανίχνευση: το μοντέλο μαθαίνει να κρίνει ένα υποψήφιο διάστημα εντός της συνομιλίας αντί ως απομονωμένη συμβολοσειρά, βοηθώντας στη μείωση των ψευδώς θετικών με μόνο μια μικρή αντιστάθμιση στην ανάκληση.
Κατά το χρόνο συμπερασμού (inference time), ένας περιορισμένος αποκωδικοποιητής Viterbi αναζητά την έγκυρη ακολουθία BIOES με τη μεγαλύτερη βαθμολογία αντί να επισημαίνει κάθε token ανεξάρτητα. Για παράδειγμα, το B-private_person μπορεί να συνεχίσει με I-private_person ή να κλείσει με E-private_person, αλλά όχι να μεταπηδήσει σε I-private_email. Ο αποκωδικοποιητής αντιστοιχίζει το αποτέλεσμα πίσω σε ακριβή διαστήματα χαρακτήρων για αποκοπή ή τοπική δρομολόγηση.
Το PII-Tracer Ηγείται στο F1 Χαρακτήρων και στα Επαναλαμβανόμενα PII
Συγκρίваем τους ανιχνευτές τόσο σε επίπεδο χαρακτήρων όσο και σε επίπεδο διαστημάτων (spans). Το F1 χαρακτήρων αξιολογεί την ανίχνευση χαρακτήρα προς χαρακτήρα. Το F1 επικάλυψης διαστημάτων μετράει αν ο ανιχνευτής εντοπίζει οποιοδήποτε μέρος ενός στοιχείου PII, ενώ το F1 περιορισμού διαστημάτων μετράει αν συλλαμβάνει ολόκληρο το στοιχείο.
Το PII-Tracer πέτυχε το υψηλότερο F1 χαρακτήρων (0,629) μεταξύ των 12 συστημάτων που αξιολογήθηκαν, και το δεύτερο υψηλότερο F1 επικάλυψης διαστημάτων και F1 περιορισμού διαστημάτων. Τα κορυφαία μοντέλα, συγκεκριμένα τα GPT-5.6-sol και Claude Sonnet 5, πέτυχαν συγκρίσιμη συνολική απόδοση. Το GPT-5.6-sol απέκτησε υψηλότερες βαθμολογίες σε μετρήσεις F1 επιπέδου διαστήματος, αλλά χαμηλότερο F1 χαρακτήρων. Ωστόσο, αυτά τα κορυφαία μοντέλα έχουν εκατοντάδες δισεκατομμύρια ή και τρισεκατομμύρια παραμέτρους και είναι μοντέλα κλειστού κώδικα που φιλοξενούνται στο cloud. Ως αποτέλεσμα, είναι ακατάλληλα για την προστασία ευαίσθητων τοπικών δεδομένων σε ρυθμίσεις υβριδικής AI όπου το μη ελεγμένο κείμενο πρέπει να παραμένει τοπικό. Αντίθετα, το PII-Tracer προσφέρει ανίχνευση επιπέδου διαστήματος κοντά στα κορυφαία επίπεδα με μόλις 0,6B παραμέτρους και μπορεί να επεξεργάζεται μη ελεγμένο κείμενο εξ ολοκλήρου τοπικά. Άλλοι ανιχνευτές PII ανοιχτού κώδικα αποδίδουν ουσιαστικά χειρότερα από το PII-Tracer.
Εύρεση Κάθε Επαναλαμβανόμενης Αναφοράς
Το πείραμα συνοχής εφαρμόζει μια αυστηρότερη δοκιμή στις ίδιες προβλέψεις. Το σύνολο δοκιμής περιέχει 899 αναγνωριστικά που εμφανίζονται μία φορά και 959 που εμφανίζονται περισσότερες από μία φορές; 790 από τα επαναλαμβανόμενα αναγνωριστικά εκτείνονται σε πολλαπλές στροφές. Η εικόνα αναφέρει τέσσερα τμήματα αριθμού αναφορών (μία, δύο, τρεις έως πέντε, και έξι έως δέκα) και μετρά ένα αναγνωριστικό μόνο όταν βρίσκονται όλοι οι επισημασμένοι χαρακτήρες του. Απεικονίζει το PII-Tracer με τρεις επιλεγμένες γραμμές βάσης, ενώ ο συγκεντρωτικός πίνακας αναφέρει βαθμολογίες επαναλαμβανόμενων και πολλαπλών στροφών για και τα δώδεκα συστήματα.
Το PII-Tracer παραμένει μπροστά καθώς αυξάνεται η επανάληψη: η βαθμολογία του μετατοπίζεται από 0,917 για μία αναφορά σε 0,873 για δύο, 0,796 για τρεις έως πέντε, και 0,691 για έξι έως δέκα. Στο τελευταίο τμήμα, το GPT-5.6-sol φτάνει το 0,464, ενώ το GLiNER2-PII και το Claude Opus 4.8 φτάνουν το 0,073 και το 0,045. Σε ολόκληρη την αξιολόγηση, το PII-Tracer βρίσκει κάθε αναφορά του 79,4% των επαναλαμβανόμενων αναγνωριστικών και του 77,6% των αναγνωριστικών πολλαπλών στροφών (cross-turn); το GPT-5.6-sol φτάνει το 57,0% και το 55,1% στα ίδια δύο μέτρα.
Κάλυψη Μεγάλων Συνομιλιών
Πρώτα ομαδοποιούμε και τις 1.922 συνομιλίες δοκιμής κατά μήκος χαρακτήρων και αποκωδικοποιούμε το PII-Tracer με το παράθυρο 4.096 tokens. Οι ομάδες περιέχουν 167 συνομιλίες κάτω των 1.000 χαρακτήρων, 1.292 από 1.000 έως 10.000, και 463 στα 10.000 ή περισσότερα.
Η ανάκληση ενός παραθύρου είναι 0,975 κάτω από 1.000 χαρακτήρες και 0,955 από 1.000 έως 10.000, αλλά πέφτει στο 0,687 για συνομιλίες σε ή πάνω από 10.000 χαρακτήρες. Η ακρίβεια παραμένει κοντά στο 0,51 στις δύο μεγαλύτερες ομάδες, δείχνοντας την κάλυψη εισόδου ως το κύριο ζήτημα.
Για να μελετήσουμε την επίδραση του χειρισμού εισόδου, αξιολογούμε το ίδιο checkpoint με αποκωδικοποίηση κινούμενου παραθύρου (sliding-window) με επικάλυψη 50%. Αυτό αυξάνει τη συνολική ανάκληση χαρακτήρων από 0,830 σε 0,965 και τη συνεπή ανίχνευση πολλαπλών αναφορών από 0,794 σε 0,954, χωρίς επανεκπαίδευση.
Συνεπές σε Όλες τις Γλώσσες
Το PII-TRACE καλύπτει 13 γλώσσες; το πείραμα γλώσσας αναφέρει ένα τμήμα έξι γλωσσών που εκτείνεται στα λατινικά, κυριillικά και χανγκούλ γραφήματα: Αγγλικά, Γερμανικά, Γαλλικά, Ιταλικά, Ρωσικά και Κορεατικά. Εκτελούμε τους ίδιους 12 ανιχνευτές σε όλες τις συνομιλίες δοκιμής σε κάθε γλώσσα. Εντός κάθε γλώσσας, συγκεντρώνουμε τους προβλεπόμενους και χρυσούς χαρακτήρες και υπολογίζουμε το F1 χαρακτήρων.
Το PII-Tracer ηγείται στο F1 χαρακτήρων σε τέσσερις από τις έξι γλώσσες, Γερμανικά (0,735), Γαλλικά (0,633), Ιταλικά (0,676) και Ρωσικά (0,651), και βρίσκεται εντός 0,016 και 0,036 από τα καλύτερα αποτελέσματα στα Αγγλικά και Κορεατικά. Στην παράλληλη ανάλυση, οδηγεί σε συνεπή ανίχνευση και στα έξι γλωσσικά υποσύνολα, σημειώνοντας 0,80–0,93. Η προβολή ανά γλώσσα δείχνει κέρδη πέρα από τα Αγγλικά.
Υψηλότερο F1 Χαρακτήρων από το Φίλτρο Ιδιωτικότητας σε Πέντε Πρότυπα Benchmarks
Το τελικό πείραμα μετακινείται εκτός του PII-TRACE. Εκτελούμε το PII-Tracer και το OpenAI Privacy Filter στο διαχωρισμό επικύρωσης ai4privacy (47.728 έγγραφα), στο διαχωρισμό δοκιμής Nemotron-PII (100.000), σε ένα σταθερό σύνολο σπόρων SPY (8.688), στο διαχωρισμό δοκιμής Gretel PII (5.000) και στο διαχωρισμό δοκιμής TAB ECHR (127).
Το PII-Tracer έχει υψηλότερο F1 χαρακτήρων σε κάθε σύνολο δεδομένων: 0,950 έναντι 0,907 στο ai4privacy, 0,847 έναντι 0,709 στο Nemotron-PII, 0,585 έναντι 0,543 στο SPY, 0,952 έναντι 0,895 στο Gretel PII, και 0,594 έναντι 0,350 στο TAB. Το TAB είναι το μόνο benchmark σε αυτή την ομάδα που κατασκευάστηκε από πραγματικό, επισημασμένο από ανθρώπους κείμενο. Εκεί, το PII-Tracer φτάνει σε ακρίβεια 0,986 έναντι 0,982 και ανάκληση 0,425 έναντι 0,213 — διπλάσια ανάκληση σχεδόν με την ίδια ακρίβεια (λεπτομέρειες στην εργασία). Συνεπώς, το υψηλότερο F1 μεταφέρεται από τις συνομιλίες PII-TRACE και στα πέντε συμβατικά benchmarks ενός αρχείου σε αυτή τη σύγκριση.
Συμπέρασμα
Η υβριδική τεχνητή νοημοσύνη ενσωματώνει τη συσκευή του χρήστη στη στοίβα συμπερασμού, προσφέροντας ισχυρότερη ιδιωτικότητα και χαμηλότερο κόστος. Τα κορυφαία μοντέλα στο cloud μπορούν να διαχειριστούν έρευνα, συλλογισμό και σχεδιασμό, ενώ τα τοπικά μοντέλα εργάζονται με αρχεία και προσωπικά δεδομένα που πρέπει να παραμείνουν στη συσκευή. Αυτός ο διαχωρισμός εξαρτάται από την αναγνώριση ευαίσθητων πληροφοριών προτού τυχόν ευαίσθητα δεδομένα πάνε στο cloud.
Το PII-Tracer είναι ένα συμπαγές μοντέλο για την ανίχνευση PII σε πολυστroφικές συνομιλίες, ενώ το PII-TRACE αξιολογεί αν οι ανιχνευτές μπορούν να εντοπίζουν με συνέπεια επαναλαμβανόμενα PII σε όλη τη διάρκεια μιας συνομιλίας.
Μαζί, το PII-TRACE και το PII-Tracer παρέχουν ένα benchmark και ένα μοντέλο αναφοράς για την προώθηση της ανίχνευσης PII σε πολυστroφικές συνομιλίες και άλλα περιβάλλοντα μεγάλου πλαισίου.
Οι πράκτορες αναλαμβάνουν μεγαλύτερες εργασίες και εργάζονται με περισσότερο προσωπικό πλαίσιο. Ως αποτέλεσμα, οι έλεγχοι ιδιωτικότητας θα πρέπει να ισχύουν σε ολόκληρη τη συνομιλία, όχι μόνο στην αρχική είσοδο. Η υβριδική AI εξαρτάται από αξιόπιστη τοπική ανίχνευση για να διατηρεί το ευαίσθητο πλαίσιο στη συσκευή.
Διαβάστε την εργασία arXiv για λεπτομέρειες σχετικά με το benchmark PII-TRACE, το μοντέλο PII-Tracer και την αξιολόγησή μας. Σκοπεύουμε να κυκλοφορήσουμε σύντομα τόσο το PII-TRACE όσο και το PII-Tracer.