PII-TRACE: Detectarea datelor personale înainte ca acestea să părăsească dispozitivul

Calculul hibrid pe Mac împarte sarcinile Perplexity Computer între modelele de frontieră din cloud și un model local pe Mac. Agenții din cloud se ocupă de cercetare, raționament și planificare, în timp ce modelul local lucrează cu fișiere private și informații sensibile.

Această delimitare depinde de detectarea informațiilor de identificare personală (PII) înainte ca acestea să părăsească dispozitivul. Un filtru de confidențialitate local păstrează conținutul sensibil pe Mac, redactează informațiile private detectate sau solicită aprobarea înainte de a le trimite în cloud.

Detecția devine mai dificilă în conversațiile lungi și multilingve. Același identificator poate apărea de mai multe ori în cadrul unor schimburi diferite. O singură mențiune ratată poate expune informațiile pe care sistemul are rolul să le protejeze.

Introducere

Astăzi introducem PII-TRACE (Tracing Recurring PII Across Conversational Exchanges – urmărirea PII recurente în schimburile conversaționale), un nou benchmark pentru evaluarea detectoarelor de informații de identificare personală (PII), și PII-Tracer, un model compact de 0,6B pentru detecția PII.

Agenții orientați spre cloud obligă utilizatorii să echilibreze contextul, inteligența și confidențialitatea. Un context personal mai bogat poate ajuta un agent să înțeleagă utilizatorul și să obțină rezultate mai bune. Însă furnizarea acestui context înseamnă adesea trimiterea de informații private către un serviciu la distanță și poate duce la scurgeri de date personale. Informațiile care fac un asistent util pot fi exact cele pe care un utilizator dorește cel mai mult să le păstreze private.

Inteligența artificială hibridă atenuează acest compromis împărțind munca între dispozitivul utilizatorului și modelele din cloud. Dar această limită protejează confidențialitatea doar dacă dispozitivul poate recunoaște PII înainte ca textul să fie trimis către un model la distanță. Utilizatorii nu ar trebui să fie nevoiți să inspecteze singuri fiecare mesaj. Dispozitivul are nevoie de un detector PII local ca filtru de confidențialitate. În conversațiile lungi, același identificator se poate repeta de-a lungul schimburilor, iar o mențiune ratată este suficientă pentru ca informațiile personale să treacă mai departe.

Perplexity a introdus un orchestrator de inferență hibrid local-server care decide ce sarcini trebuie rulate pe dispozitiv și ce sarcini trebuie trimise agenților din cloud. Modelul, mediul de rulare pentru agenți, conversațiile și traiectoriile de execuție se află toate pe mașina utilizatorului. Sarcinile care necesită acces la lumea exterioară sunt apelate numai atunci când este necesar și sunt controlate prin permisiunea utilizatorului. Prin urmare, până când utilizatorul aprobă, acest conținut rămâne pe dispozitiv.

PII-Tracer oferă un semnal de control local pentru rutarea modelelor, semnalizând intervalele prezise ca fiind PII. Aplicația aplică apoi politica de rutare. Aceasta menține intrarea relevantă local, redactează intervalele detectate sau solicită aprobarea explicită înainte de a o trimite către un model din cloud. Acest lucru face ca rutarea să fie mai selectivă. PII-ul detectat rămâne pe dispozitiv, în timp ce contextul aprobat beneficiază în continuare de modelele cloud de frontieră.

Rutarea selectivă depinde de o detecție consistentă în întreaga conversație. Același identificator se poate repeta de-a lungul schimburilor, iar o mențiune ratată poate fi totuși transmisă.

Din 12 detectoare, PII-Tracer înregistrează cel mai mare F1 pe caractere și cea mai mare acoperire consistentă a identificatorilor recurenți. Benchmark-ul explică de ce ambele rezultate contează: într-o conversație lungă, găsirea celei mai mari părți din PII nu este același lucru cu găsirea fiecărei copii a acestuia.

Detectarea PII se confruntă cu noi provocări în AI hibrid

Detectarea PII este o problemă de securitate de lungă durată, existând deja mai multe benchmark-uri și detectoare. Cu toate acestea, detectarea PII în medii AI hibride introduce noi provocări. În special, detectoarele trebuie să identifice PII în conversații lungi, cu mai multe schimburi, unde contextul conversațional determină dacă un șir de caractere ar trebui considerat PII. De exemplu, un nume ar putea identifica utilizatorul într-o conversație, s-ar putea referi la o persoană publică în alta sau ar putea fi pur și simplu un substituent generat de un asistent. Doar forma de suprafață este insuficientă pentru a stabili dacă un șir de caractere trebuie semnalat ca PII.

Detectoarele și benchmark-urile PII existente vizează în principal înregistrările individuale. Constatăm că detectoarele concepute pentru a procesa o singură înregistrare pe rând au performanțe slabe în conversațiile lungi și complexe. De asemenea, benchmark-urile existente nu evaluează, în general, consistența între schimburile de replici. Drept urmare, o performanță ridicată pe aceste benchmark-uri nu se traduce neapărat printr-o detecție eficientă a PII în conversații lungi, cu mai multe schimburi de replici.

PII-TRACE: Un benchmark pentru detectarea PII critică în faza de implementare

Am conceput PII-TRACE în jurul a trei comportamente care contează atunci când un detector PII este utilizat în conversații cu asistenți. Primul este acoperirea consistentă: atunci când un identificator apare de mai multe ori sau traversează schimburile dintre utilizator și asistent, detectorul trebuie să găsească fiecare mențiune. Al doilea este robusteța la contextul lung: conversațiile variaza de la mai puțin de 1.000 la mai mult de 100.000 de caractere, făcând posibilă măsurarea a ceea ce se întâmplă pe măsură ce istoricul crește. Al treilea este gestionarea mai multor limbi și a conținutului cu format mixt: o conversație poate schimba limbile și poate combina proza cu codul, tabelele sau înregistrările structurate. PII-TRACE păstrează aceste modele evaluând fiecare dialog complet în loc să îl împartă în înregistrări izolate.

Benchmark-ul măsoară performanța la două niveluri complementare. La nivel de identificator, detecția consistentă pune întrebarea mai strictă: a acoperit detectorul fiecare caracter din fiecare mențiune a aceluiași identificator? Raportăm acest scor separat pentru identificatorii cu mențiuni multiple și pentru cei care se repetă în diferite schimburi. La nivel de caracter, precizia măsoară cât din textul marcat de un detector este etichetat PII, acuratețea măsoară cât PII etichetat găsește acesta, iar F1 le echilibrează pe cele două.

PII-TRACE conține 13.148 de conversații sintetice între utilizator și asistent în 13 limbi și 10 sisteme de scriere, cu 37.431 de mențiuni de identificatori etichetate la nivel de caracter pe parcursul a nouă tipuri de PII. Un total de 41% dintre conversații conțin conținut structurat. Dintre cele 5.645 de conversații cu PII etichetat, 63,8% includ un identificator care apare de mai multe ori, iar 28,7% includ un identificator care apare în mai multe schimburi de replici.

Construirea unui set de date sintetic din conversații de producție

PII-TRACE păstrează structura schimburilor din conversațiile sursă fără a publica originalele. Țeava (pipeline-ul) rescrie fiecare schimb și înlocuiește fiecare identificator etichetat cu o valoare sintetică.

În primul rând, mai multe modele lingvistice marchează nouă tipuri de PII în conversațiile de producție dintre utilizator și asistent. Un proces bazat pe reguli grupează identificatorii repetați de același tip sub un singur ID de entitate. Fiecare valoare marcată este apoi înlocuită cu un substituent tipizat, lăsând un șablon care păstrează ordinea schimburilor, tipul de PII și legăturile dintre mențiuni, dar niciuna dintre valorile originale marcate.

Sistemul parafrazează fiecare schimb, menținând acei substituenți intacți, apoi inserează valori sintetice care se potrivesc cu tipul și formatul identificatorului. Mențiunile repetate primesc aceeași valoare în cadrul unei conversații, în timp ce diferite conversații folosesc valori generate independent. Pasul final de aliniere recalculează fiecare offset de caracter.

Trei filtre automate verifică dacă înlocuirile se potrivesc cu intervalele stocate, dacă mențiunile repetate folosesc aceeași valoare și dacă valorile sursă marcate lipsesc în urma unei rescanări cu Presidio și expresii regulate. Un offset stocat trebuie, de asemenea, să recupereze exact subșirul sintetic. Înregistrările care eșuează sunt regenerate sau eliminate. Un al doilea model lingvistic auditează un eșantion, iar oamenii revizuiesc orice semnalează acesta ca fiind PII.

PII-Tracer: Un detector compact pentru uz local

PII-Tracer este un codificator bidirecțional de 0,6B adaptat dintr-o bază Qwen3. Screeningul confidențialității este diferit de generarea de text și presupune găsirea intervalelor PII relevante și returnarea limitelor acestora. Drept urmare, PII-Tracer înlocuiește masca cauzală a Qwen3 cu o atenție bidirecțională conștientă de umplere (padding), astfel încât fiecare token să poată utiliza atât schimburile anterioare, cât și pe cele ulterioare dintr-o fereastră de 4.096 de tokeni.

Pentru fiecare token, codificatorul produce o reprezentare cu 1.024 dimensiuni. Un capăt de etichetare liniar produce scoruri pentru 37 de etichete posibile: o etichetă specială (pe care o denotăm folosind O) pentru textul din afara unui interval PII, plus patru etichete de poziție de interval pentru fiecare dintre cele nouă tipuri de PII. În schema BIOES pentru recunoașterea entităților numite (NER), B (Început - Beginning), I (În interior - Inside) și E (Sfârșit - End) marchează un interval cu mai multe tokeni, în timp ce S (Singur - Single) marchează un interval cu un singur token. Un capăt auxiliar prezice, de asemenea, dacă conversația conține material sensibil, cum ar fi informații de sănătate sau religioase.

Antrenăm PII-Tracer timp de trei epoci pe aproximativ 714.000 de eșantioane de antrenament, combinând conversații multilingve cu asistenți cu exemple de înregistrări individuale. Codificatorul bidirecțional partajat are două capete de antrenament: un capăt de token BIOES cu 37 de clase care detectează și clasifică intervalele PII, și un capăt binar la nivel de conversație care prezice dacă aceasta conține material sensibil. Antrenăm ambele capete în mod comun folosind $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Aici, $\mathcal{L}_{\mathrm{tag}}$ acordă o greutate mai mare etichetelor PII rare, astfel încât eticheta frecventă `O` să nu domine, în timp ce $\mathcal{L}_{\mathrm{sens}}$ furnizează semnalul de antrenament la nivel de conversație; coeficienții 1,5 și 0,3 mențin detectarea intervalelor ca sarcină principală. Acest semnal auxiliar consolidează detecția conștientă de context: modelul învață să evalueze un interval candidat în cadrul conversației, mai degrabă decât ca pe un șir izolat, ajutând la reducerea falselor pozitive cu un compromis redus în ceea ce privește acuratețea.

În faza de inferență, un decodor Viterbi constrâns caută secvența BIOES validă cu cel mai mare scor, în loc să eticheteze fiecare token în mod independent. De exemplu, B-private_person poate continua cu I-private_person sau se poate încheia cu E-private_person, dar nu poate trece la I-private_email. Decodorul mapează rezultatul înapoi la intervale exacte de caractere pentru redactare sau rutare locală.

PII-Tracer este lider în F1 pe caractere și PII recurent

Comparăm detectoarele atât la nivel de caracter, cât și la nivel de interval. F1 pe caractere evaluează detecția caracter cu caracter. F1 pentru suprapunerea intervalelor măsoară dacă detectorul identifică vreo parte dintr-un element PII, în timp ce F1 pentru conținerea intervalelor măsoară dacă acesta capturează întregul element.

PII-Tracer a obținut cel mai mare scor F1 pe caractere (0,629) dintre cele 12 sisteme evaluate, și al doilea cel mai mare scor F1 pentru suprapunerea intervalelor și conținerea intervalelor. Modelele de frontieră, și anume GPT-5.6-sol și Claude Sonnet 5, au obținut performanțe generale comparabile. GPT-5.6-sol a obținut scoruri mai mari la ambele metrici F1 la nivel de interval, dar un F1 pe caractere mai mic. Cu toate acestea, aceste modele de frontieră au sute de miliarde sau chiar trilioane de parametri și sunt modele sursă închisă găzduite în cloud. Drept urmare, ele sunt nepotrivite pentru protejarea datelor locale sensibile în medii AI hibride unde textul neverificat trebuie să rămână local. În schimb, PII-Tracer oferă o detecție la nivel de interval apropiată de cea de frontieră cu doar 0,6B parametri și poate procesa textul neverificat complet local. Alte detectoare PII open-source au performanțe substanțial mai slabe decât PII-Tracer.

Găsirea fiecărei mențiuni recurente

Experimentul de consistență aplică un test mai strict asupra acelorași predicții. Setul de testare conține 899 de identificatori care apar o singură dată și 959 care apar de mai multe ori; 790 dintre identificatorii recurenți se întind pe mai multe schimburi de replici. Figura raportează patru intervale în funcție de numărul de mențiuni (una, două, între trei și cinci, și între șase și zece) și contorizează un identificator doar atunci când toate caracterele sale etichetate sunt găsite. Aceasta reprezintă grafic PII-Tracer cu trei linii de bază selectate, în timp ce tabelul agregat raportează scorurile recurente și inter-schimb pentru toate cele douăsprezece sisteme.

PII-Tracer își menține avansul pe măsură ce repetiția crește: scorul său trece de la 0,917 pentru o singură mențiune la 0,873 pentru două, la 0,796 pentru trei până la cinci și la 0,691 pentru șase până la zece. În ultimul segment, GPT-5.6-sol ajunge la 0,464, în timp ce GLiNER2-PII și Claude Opus 4.8 ajung la 0,073 și 0,045. În cadrul evaluării complete, PII-Tracer găsește fiecare mențiune a 79,4% dintre identificatorii care se repetă și 77,6% dintre identificatorii care apar în mai multe schimburi de replici; GPT-5.6-sol ajunge la 57,0% și 55,1% la aceleași două metrici.

Acoperirea conversațiilor lungi

Mai întâi, grupăm toate cele 1.922 de conversații de testare după lungimea în caractere și decodăm PII-Tracer cu fereastra de 4.096 de tokeni. Grupurile conțin 167 de conversații sub 1.000 de caractere, 1.292 de la 1.000 la 10.000 și 463 de 10.000 sau mai multe.

Acuratețea pe o singură fereastră este de 0,975 sub 1.000 de caractere și de 0,955 de la 1.000 la 10.000, dar scade la 0,687 pentru conversațiile de sau peste 10.000 de caractere. Precizia rămâne aproape de 0,51 în cele două grupe mai lungi, indicând acoperirea intrării ca fiind problema principală.

Pentru a studia efectul manipulării intrărilor, evaluăm același punct de control (checkpoint) cu decodare cu fereastră glisantă cu suprapunere de 50%. Acest lucru crește acuratețea generală a caracterelor de la 0,830 la 0,965 și detecția consistentă a mențiunilor multiple de la 0,794 la 0,954, fără reantrenare.

Consistență între limbi

PII-TRACE acoperă 13 limbi; experimentul lingvistic raportează un segment de șase limbi care cuprinde scrierile latină, chirilică și hangul: engleză, germană, franceză, italiană, rusă și coreeană. Rulăm aceleași 12 detectoare pentru toate conversațiile de testare din fiecare limbă. În cadrul fiecărei limbi, combinăm caracterele prezise și cele reale (gold) și calculăm F1 pe caractere.

PII-Tracer este lider în ceea ce privește scorul F1 pe caractere în patru din șase limbi: germană (0,735), franceză (0,633), italiană (0,676) și rusă (0,651), aflându-se la o diferență de 0,016 și 0,036 față de cele mai bune rezultate în engleză și coreeană. În analiza complementară, acesta conduce la o detecție consistentă în toate cele șase submulțimi lingvistice, obținând scoruri de 0,80–0,93. Vizualizarea pe limbi arată câștiguri dincolo de limba engleză.

F1 pe caractere mai mare decât al filtrului de confidențialitate pe cinci benchmark-uri standard

Ultimul experiment se mută în afara PII-TRACE. Rulăm PII-Tracer și filtrul de confidențialitate OpenAI pe eșantionul de validare ai4privacy (47.728 de documente), eșantionul de testare Nemotron-PII (100.000), un set SPY cu sămânță fixă (8.688), eșantionul de testare Gretel PII (5.000) și eșantionul de testare TAB ECHR (127).

PII-Tracer obține un F1 pe caractere mai mare pe fiecare set de date: 0,950 față de 0,907 pe ai4privacy, 0,847 față de 0,709 pe Nemotron-PII, 0,585 față de 0,543 pe SPY, 0,952 față de 0,895 pe Gretel PII și 0,594 față de 0,350 pe TAB. TAB este singurul benchmark din acest grup construit din text real, etichetat de oameni. Acolo, PII-Tracer ajunge la 0,986 față de 0,982 precizie și 0,425 față de 0,213 acuratețe – dublul acurateței la practic aceeași precizie (detalii în lucrare). Prin urmare, scorul F1 mai ridicat se transferă de la conversațiile PII-TRACE la toate cele cinci benchmark-uri convenționale cu o singură înregistrare din această comparație.

Concluzie

Inteligența artificială hibridă integrează dispozitivul utilizatorului în stiva de inferență, oferind o confidențialitate sporită și un cost mai redus. Modelele de frontieră din cloud pot gestiona cercetarea, raționamentul și planificarea, în timp ce modelele locale lucrează cu fișiere și date personale care ar trebui să rămână pe dispozitiv. Această diviziune depinde de recunoașterea informațiilor sensibile înainte ca orice date sensibile să fie trimise în cloud.

PII-Tracer este un model compact pentru detectarea PII în conversații cu mai multe schimburi de replici, în timp ce PII-TRACE evaluează dacă detectoarele pot identifica în mod consistent PII-ul recurent de-a lungul unei conversații.

Împreună, PII-TRACE și PII-Tracer oferă un benchmark și un model de referință pentru avansarea detectării PII în conversații cu mai multe schimburi de replici și în alte scenarii cu context lung.

Agenții preiau sarcini mai lungi și lucrează cu mai mult context personal. Drept urmare, controalele de confidențialitate ar trebui să se mențină pe parcursul întregii conversații, nu doar la intrarea inițială. AI-ul hibrid depinde de o detecție locală fiabilă pentru a păstra contextul sensibil pe dispozitiv.

Citiți lucrarea arXiv pentru detalii despre benchmark-ul PII-TRACE, modelul PII-Tracer și evaluarea noastră. Intenționăm să lansăm în curând atât PII-TRACE, cât și PII-Tracer.