PII-TRACE: rilevamento di dati personali prima che lascino il dispositivo
Un benchmark in 13 lingue per il rilevamento coerente di PII in conversazioni di lunga durata, abbinato a un rilevatore compatto da 0,6B progettato per essere eseguito in locale.
L'elaborazione ibrida su Mac divide le attività di Perplexity Computer tra i modelli di frontiera nel cloud e un modello locale sul Mac. Gli agenti cloud gestiscono la ricerca, il ragionamento e la pianificazione, mentre il modello locale lavora con file privati e informazioni sensibili.
Questo confine dipende dal rilevamento di informazioni di identificazione personale (PII) prima che escano dal dispositivo. Un filtro per la privacy locale mantiene i contenuti sensibili sul Mac, oscura le informazioni private rilevate o richiede l'approvazione prima di inviarle al cloud.
Il rilevamento diventa più difficile nelle conversazioni lunghe e multilingue. Lo stesso identificatore può comparire più volte in turni diversi. Una singola menzione mancata può esporre le informazioni che il sistema è destinato a proteggere.
Introduzione
Oggi presentiamo PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), un nuovo benchmark per la valutazione dei rilevatori di informazioni di identificazione personale (PII) e PII-Tracer, un modello compatto da 0,6B per il rilevamento di PII.
Gli agenti incentrati sul cloud costringano gli utenti a bilanciare contesto, intelligenza e privacy. Più contesto personale può aiutare un agente a comprendere l'utente e a produrre risultati migliori. Ma fornire questo contesto spesso significa inviare informazioni private a un servizio remoto e può causare la fuga di informazioni personali. Le informazioni che rendono utile un assistente potrebbero essere esattamente quelle che un utente desidera maggiormente mantenere private.
L'IA ibrida allevia questo compromesso dividendo il lavoro tra il dispositivo dell'utente e i modelli cloud. Ma quel confine protegge la privacy solo se il dispositivo è in grado di riconoscere le PII prima che il testo venga inviato a un modello remoto. Gli utenti non dovrebbero dover ispezionare ogni singolo messaggio da soli. Il dispositivo ha bisogno di un rilevatore di PII locale come filtro per la privacy. Nelle conversazioni lunghe, lo stesso identificatore può ripetersi tra i turni e una menzione mancata è sufficiente affinché le informazioni personali vengano trasmesse.
Perplexity ha introdotto un orchestratore di inferenza ibrido locale-server che decide quale lavoro debba essere eseguito sul dispositivo e quale debba essere inviato agli agenti sul cloud. Il modello, l'infrastruttura degli agenti, le conversazioni e le traiettorie di esecuzione risiedono tutti sulla macchina dell'utente. Le attività che richiedono l'accesso al mondo esterno vengono richiamate solo quando necessario e sono subordinate all'autorizzazione dell'utente. Di conseguenza, fino all'approvazione dell'utente, tale contenuto rimane sul dispositivo.
PII-Tracer fornisce un segnale di controllo locale per l'instradamento del modello segnalando gli span previsti contenenti PII. L'applicazione applica quindi la politica di instruttamento. Mantiene l'input rilevante in locale, oscura gli span rilevati o richiede un'approvazione esplicita prima di passare a un modello cloud. Ciò rende l'instradamento più selettivo. Le PII rilevate rimangono sul dispositivo, mentre il contesto approvato continua a beneficiare dei modelli cloud di frontiera.
L'instradamento selettivo dipende da un rilevamento coerente nell'intera conversazione. Lo stesso identificatore può ripetersi tra i turni e una menzione mancata potrebbe comunque essere trasmessa.
Tra 12 rilevatori, PII-Tracer registra l'F1 dei caratteri più elevato e la più alta copertura coerente degli identificatori ricorrenti. Il benchmark spiega perché entrambi i risultati sono importanti: in una conversazione lunga, trovare la maggior parte delle PII non equivale a trovare ogni sua copia.
Il rilevamento di PII affronta nuove sfide nell'IA ibrida
Il rilevamento di PII è un problema di sicurezza di lunga data ed esistono già diversi benchmark e rilevatori. Tuttavia, il rilevamento di PII in contesti di IA ibrida introduce nuove sfide. In particolare, i rilevatori devono identificare le PII in conversazioni lunghe e multi-turno, in cui il contesto conversazionale determina se una stringa debba essere considerata una PII. Ad esempio, un nome potrebbe identificare l'utente in una conversazione, fare riferimento a un personaggio pubblico in un'altra o essere semplicemente un segnaposto generato da un assistente. La sola forma superficiale è insufficiente per determinare se una stringa debba essere contrassegnata come PII.
I rilevatori e i benchmark di PII esistenti prendono principalmente di mira i record individuali. Rileviamo che i rilevatori progettati per elaborare un record alla volta offrono scarse prestazioni su conversazioni lunghe e complesse. Inoltre, i benchmark esistenti generalmente non valutano la coerenza tra i turni. Di conseguenza, prestazioni elevate su questi benchmark non si traducono necessariamente in un efficace rilevamento di PII in conversazioni lunghe e multi-turno.
PII-TRACE: un benchmark per il rilevamento di PII critico per il deployment
Abbiamo progettato PII-TRACE attorno a tre comportamenti importanti quando un rilevatore di PII viene utilizzato nelle conversazioni con gli assistenti. Il primo è la copertura coerente: quando un identificatore compare più volte o attraversa i turni dell'utente e dell'assistente, il rilevatore deve trovare ogni menzione. Il secondo è la robustezza al contesto lungo: le conversazioni variano da meno di 1.000 a più di 100.000 caratteri, consentendo di misurare cosa accade man mano che la cronologia cresce. Il terzo è la gestione di lingue multiple e contenuti in formato misto: una conversazione può cambiare lingua e combinare prosa con codice, tabelle o record strutturati. PII-TRACE preserva questi modelli valutando ciascun dialogo completo anziché dividerlo in record isolati.
Il benchmark misura le prestazioni a due livelli complementari. A livello di identificatore, il rilevamento coerente pone la domanda più rigorosa: il rilevatore ha coperto ogni carattere in ogni menzione dello stesso identificatore? Riportiamo questo punteggio separatamente per gli identificatori con menzioni multiple e per gli identificatori che si ripetono tra i turni. A livello di carattere, la precisione misura quanta parte del testo contrassegnato da un rilevatore è etichettata come PII, il richiamo misura quanta PII etichettata trova e l'F1 bilancia i due.
PII-TRACE contiene 13.148 conversazioni sintetiche tra utente e assistente in 13 lingue e 10 sistemi di scrittura, con 37.431 menzioni di identificatori etichettate a livello di carattere in nove tipi di PII. Il 41% in totale delle conversazioni contiene contenuti strutturati. Tra le 5.645 conversazioni con PII etichettate, il 63,8% include un identificatore che compare più di una volta e il 28,7% include un identificatore che compare in più turni.
Creazione di un dataset sintetico da conversazioni di produzione
PII-TRACE preserva la struttura dei turni delle conversazioni di origine senza pubblicare gli originali. La pipeline riscrive ciascun turno e sostituisce ogni identificatore etichettato con un valore sintetico.
Innanzitutto, molteplici modelli linguistici contrassegnano nove tipi di PII nelle conversazioni di produzione tra utente e assistente. Un passaggio basato su regole raggruppa gli identificatori ripetuti dello stesso tipo sotto un ID di entità. Ciascun valore contrassegnato viene quindi sostituito da un segnaposto tipizzato, lasciando un template che conserva l'ordine dei turni, il tipo di PII e i collegamenti tra le menzioni ma nessuno dei valori originali contrassegnati.
Il sistema parafrasa ogni turno mantenendo intatti tali segnaposto, quindi inserisce valori sintetici che corrispondono al tipo e al formato dell'identificatore. Le menzioni ripetute ricevono lo stesso valore all'interno di una conversazione, mentre conversazioni diverse utilizzano valori generati in modo indipendente. Il passaggio di allineamento finale ricalcola ogni offset di carattere.
Tre controlli automatizzati verificano che le sostituzioni corrispondano agli span memorizzati, che le menzioni ripetute utilizzino lo stesso valore e che i valori di origine contrassegnati siano assenti sotto una nuova scansione con Presidio ed espressioni regolari. Un offset memorizzato deve anche recuperare l'esatta sottostringa sintetica. I record che falliscono vengono rigenerati o scartati. Un secondo modello linguistico controlla un campione e gli umani esaminano tutto ciò che viene segnalato come PII.
PII-Tracer: un rilevatore compatto per uso locale
PII-Tracer è un encoder bidirezionale da 0,6B adattato da una dorsale Qwen3. Lo screening della privacy è diverso dalla generazione di testo e richiede di trovare gli span di PII pertinenti e restituire i loro confini. Di conseguenza, PII-Tracer sostituisce la maschera causale di Qwen3 con un'attenzione bidirezionale consapevole del padding, in modo che ogni token possa attingere sia ai turni precedenti che a quelli successivi all'interno di una finestra di 4.096 token.
Per ciascun token, l'encoder produce una rappresentazione a 1.024 dimensioni. Una testa di tagging lineare produce punteggi per 37 possibili etichette: un'etichetta speciale (che usiamo O per denotare) per il testo al di fuori di uno span di PII, più quattro etichette di posizione dello span per ciascuno dei nove tipi di PII. Nello schema BIOES per il Named Entity Recognition, B (Inizio), I (Interno) e E (Fine) contrassegnano uno span a più token, mentre S (Singolo) contrassegna uno span a un singolo token. Una testa ausiliaria prevede anche se la conversazione contiene materiale sensibile, come informazioni sulla salute o religiose.
Addestriamo PII-Tracer per tre epoche su circa 714.000 campioni di addestramento, combinando conversazioni di assistenti multilingue con esempi a record singolo. L'encoder bidirezionale condiviso ha due teste di addestramento: una testa di token BIOES a 37 classi che rileva e classifica gli span di PII e una testa binaria a livello di conversazione che prevede se la conversazione contiene materiale sensibile. Addestriamo entrambe le teste congiuntamente utilizzando . Qui, assegna maggiore peso alle etichette di PII rare in modo che la frequente etichetta `O` non prevalga, mentre fornisce il segnale di addestramento a livello di conversazione; i coefficienti 1,5 e 0,3 mantengono il rilevamento degli span come attività principale. Questo segnale ausiliario rafforza il rilevamento consapevole del contesto: il modello impara a giudicare uno span candidato all'interno della conversazione anziché come una stringa isolata, contribuendo a ridurre i falsi positivi con solo un piccolo compromesso nel richiamo.
In fase di inferenza, un decodificatore di Viterbi vincolato cerca la sequenza BIOES valida con il punteggio più alto anziché etichettare ciascun token in modo indipendente. Ad esempio, B-private_person può continuare con I-private_person o chiudersi con E-private_person, ma non passare a I-private_email. Il decodificatore mappa nuovamente il risultato su span di caratteri esatti per la redazione o l'instradamento locale.
PII-Tracer è leader nell'F1 dei caratteri e nelle PII ricorrenti
Conariamo i rilevatori sia a livello di carattere che di span. L'F1 dei caratteri valuta il rilevamento carattere per carattere. L'F1 di sovrapposizione degli span misura se il rilevatore identifica qualsiasi parte di un elemento PII, mentre l'F1 di contenimento degli span misura se cattura l'intero elemento.
PII-Tracer ha ottenuto il più alto F1 dei caratteri (0,629) tra i 12 sistemi valutati e il secondo più alto F1 di sovrapposizione e contenimento degli span. I modelli di frontiera, in particolare GPT-5.6-sol e Claude Sonnet 5, hanno ottenuto prestazioni generali comparabili. GPT-5.6-sol ha ottenuto punteggi più elevati su entrambe le metriche F1 a livello di span, ma un F1 dei caratteri inferiore. Tuttavia, questi modelli di frontiera hanno centinaia di miliardi o addirittura trilioni di parametri e sono modelli open-core ospitati nel cloud. Di conseguenza, sono inadatti a proteggere dati locali sensibili in contesti di IA ibrida in cui il testo non filtrato deve rimanere locale. Al contrario, PII-Tracer offre un rilevamento a livello di span quasi di frontiera con soli 0,6B di parametri e può elaborare testo non filtrato interamente in locale. Altri rilevatori di PII open-source offrono prestazioni notevolmente inferiori rispetto a PII-Tracer.
Trovare ogni menzione ricorrente
L'esperimento di coerenza applica un test più rigoroso alle stesse previsioni. Il set di test contiene 899 identificatori che compaiono una sola volta e 959 che compaiono più di una volta; 790 degli identificatori ricorrenti si estendono su più turni. La figura riporta quattro gruppi in base al numero di menzioni (uno, due, da tre a cinque e da sei a dieci) e conta un identificatore solo quando tutti i suoi caratteri etichettati vengono trovati. Mostra PII-Tracer con tre baseline selezionate, mentre la tabella aggregata riporta i punteggi ricorrenti e multi-turno per tutti e dodici i sistemi.
PII-Tracer si mantiene in vantaggio all'aumentare delle ripetizioni: il suo punteggio passa da 0,917 per una menzione a 0,873 per due, 0,873 per tre o cinque, e 0,691 per sei o dieci. Nell'ultimo gruppo, GPT-5.6-sol raggiunge 0,464, mentre GLiNER2-PII e Claude Opus 4.8 raggiungono 0,073 e 0,045. Nell'intera valutazione, PII-Tracer trova ogni menzione del 79,4% degli identificatori ricorrenti e del 77,6% degli identificatori tra turni diversi; GPT-5.6-sol raggiunge il 57,0% e il 55,1% sulle stesse due misure.
Copertura di conversazioni lunghe
Per prima cosa raggruppiamo tutte le 1.922 conversazioni di test per lunghezza in caratteri ed eseguiamo la decodifica di PII-Tracer con la finestra di 4.096 token. I gruppi contengono 167 conversazioni sotto i 1.000 caratteri, 1.292 da 1.000 a 10.000 e 463 da 10.000 o più.
Il richiamo a finestra singola è 0,975 sotto i 1.000 caratteri e 0,955 da 1.000 a 10.000, ma scende a 0,687 per le conversazioni pari o superiori a 10.000 caratteri. La precisione rimane vicina a 0,51 nei due gruppi più lunghi, indicando che la copertura dell'input è il problema principale.
Per studiare l'effetto della gestione dell'input, valutiamo lo stesso checkpoint con una decodifica a finestra scorrevole con sovrapposizione del 50%. Ciò aumenta il richiamo generale dei caratteri da 0,830 a 0,965 e il rilevamento coerente multi-menzione da 0,794 a 0,954, senza riaddestramento.
Coerente tra le lingue
PII-TRACE copre 13 lingue; l'esperimento sulla lingua riporta una fetta di sei lingue che abbraccia gli alfabeti latino, cirillico e hangul: inglese, tedesco, francese, italiano, russo e coreano. Eseguiamo gli stessi 12 rilevatori su tutte le conversazioni di test in ciascuna lingua. All'interno di ciascuna lingua, uniamo i caratteri previsti e quelli di riferimento e calcoliamo l'F1 dei caratteri.
PII-Tracer guida l'F1 dei caratteri in quattro lingue su sei, tedesco (0,735), francese (0,633), italiano (0,676) e russo (0,651), ed è entro 0,016 e 0,036 dai migliori risultati in inglese e coreano. Nell'analisi di accompagnamento, porta a un rilevamento coerente in tutti e sei i subset linguistici, con un punteggio di 0,80–0,93. La vista per lingua mostra miglioramenti oltre l'inglese.
F1 dei caratteri superiore al filtro per la privacy su cinque benchmark standard
L'esperimento finale si sposta al di fuori di PII-TRACE. Eseguiamo PII-Tracer e il filtro per la privacy di OpenAI sul set di validazione di ai4privacy (47.728 documenti), sul set di test di Nemotron-PII (100.000), su un set SPY con seed fisso (8.688), sul set di test di Gretel PII (5.000) e sul set di test TAB ECHR (127).
PII-Tracer ha un F1 dei caratteri superiore su ogni dataset: 0,950 contro 0,907 su ai4privacy, 0,847 contro 0,709 su Nemotron-PII, 0,585 contro 0,543 su SPY, 0,952 contro 0,895 su Gretel PII e 0,594 contro 0,350 su TAB. TAB è l'unico benchmark in questo gruppo costruito da testo reale etichettato da umani. In quel caso, PII-Tracer raggiunge 0,986 contro 0,982 di precisione e 0,425 contro 0,213 di richiamo, ovvero il doppio del richiamo a parità essenziale di precisione (dettagli nel documento). Il maggiore F1 si trasferisce quindi dalle conversazioni di PII-TRACE a tutti e cinque i benchmark convenzionali a record singolo in questo confronto.
Conclusione
L'IA ibrida integra il dispositivo dell'utente nello stack di inferenza, offrendo una maggiore privacy e costi inferiori. I modelli di frontiera nel cloud possono gestire la ricerca, il ragionamento e la pianificazione, mentre i modelli locali lavorano con file e dati personali che dovrebbero rimanere sul dispositivo. Questa divisione dipende dal riconoscimento delle informazioni sensibili prima che qualsiasi dato sensibile venga inviato al cloud.
PII-Tracer è un modello compatto per il rilevamento di PII in conversazioni multi-turno, mentre PII-TRACE valuta se i rilevatori riescono a identificare in modo coerente le PII ricorrenti durante una conversazione.
Insieme, PII-TRACE e PII-Tracer forniscono un benchmark e un modello di riferimento per far progredire il rilevamento di PII nelle conversazioni multi-turno e in altri contesti a lungo contesto.
Gli agenti si stanno assumendo attività più lunghe e stanno lavorando con un contesto più personale. Di conseguenza, i controlli sulla privacy dovrebbero valere per l'intera conversazione, non solo per l'input iniziale. L'IA ibrida dipende da un rilevamento locale affidabile per mantenere il contesto sensibile sul dispositivo.
Leggi l'articolo su arXiv per i dettagli sul benchmark PII-TRACE, sul modello PII-Tracer e sulla nostra valutazione. Prevediamo di rilasciare presto sia PII-TRACE che PII-Tracer.