PII-TRACE: Detecció de dades personals abans que abandonin el dispositiu
Una referència de 13 idiomes per a la detecció consistent de PII en converses de llarga durada, combinada amb un detector compacte de 0,6B dissenyat per executar-se localment.
El còmput híbrid al Mac divideix les tasques de Perplexity Computer entre els models de frontera al núvol i un model local al Mac. Els agents al núvol s'encarreguen de la recerca, el raonament i la planificació, mentre que el model local treballa amb fitxers privats i informació sensible.
Aquest límit depèn de detectar informació d'identificació personal (PII) abans que surti del dispositiu. Una porta de privadesa local manté el contingut sensible al Mac, redacta la informació privada detectada o sol·licita aprovació abans d'enviar-la al núvol.
La detecció es torna més difícil en converses llargues i multilingües. El mateix identificador pot aparèixer diverses vegades en diferents torns. Una sola menció omesa pot exposar la informació que el sistema ha de protegir.
Introducció
Avui presentem PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), una nova referència per avaluar detectors d'informació d'identificació personal (PII), i PII-Tracer, un model compacte de 0,6 B per a la detecció de PII.
Els agents prioritaris del núvol obliguen els usuaris a equilibrar el context, la intel·ligència i la privadesa. Més context personal pot ajudar un agent a entendre l'usuari i a produir millors resultats. Però proporcionar aquest context sovint significa enviar informació privada a un servei remot i pot filtrar informació personal. La informació que fa que un assistent sigui útil pot ser exactament allò que un usuari vol mantenir més privat.
La IA híbrida facilita aquest compromís dividint la feina entre el dispositiu de l'usuari i els models al núvol. Però aquest límit només protegeix la privadesa si el dispositiu pot reconèixer la PII abans que el text s'enviï a un model remot. Els usuaris no haurien d'haver d'inspeccionar cada missatge ells mateixos. El dispositiu necessita un detector de PII local com a porta de privadesa. En converses llargues, el mateix identificador pot recórrer els torns, i una menció omesa és suficient perquè la informació personal passi.
Perplexity ha introduït un orquestrador d'inferència híbrid entre dispositiu i servidor que decideix quina feina s'ha d'executar al dispositiu i quina ha d'anar als agents al núvol. El model, el sistema d'agents, les converses i les trajectòries d'execució resideixen a la màquina de l'usuari. Les tasques que requereixen accés al món exterior només s'invoquen quan cal i estan controlades pel permís de l'usuari. Com a resultat, fins que l'usuari ho aprova, aquest contingut es queda al dispositiu.
PII-Tracer proporciona un senyal de control local per a l'encaminament de models mitjançant el marcatge d'intervals predits per contenir PII. A continuació, l'aplicació aplica la política d'encaminament. Manté l'entrada rellevant de manera local, redacta els intervals detectats o sol·licita l'aprovació explícita abans d'escalar a un model al núvol. Això fa que l'encaminament sigui més selectiu. La PII detectada roman al dispositiu mentre que el context aprovat continua beneficiant-se dels models al núvol de frontera.
L'encaminament selectiu depèn d'una detecció consistent a tota la conversa. El mateix identificador pot recórrer els torns i es pot transmetre una menció omesa.
Entre 12 detectors, PII-Tracer registra l'F1 de caràcters més alt i la cobertura consistent més alta d'identificadors recurrents. La referència explica per què ambdós resultats importen: en una conversa llarga, trobar la majoria de PII no és el mateix que trobar-ne cada còpia.
La detecció de PII s'enfronta a nous reptes en la IA híbrida
La detecció de PII és un problema de seguretat de llarga data i ja existeixen diversos referències i detectors. Tanmateix, la detecció de PII en entorns d'IA híbrida introdueix nous reptes. En particular, els detectors han d'identificar PII en converses llargues i de diversos torns, on el context conversacional determina si una cadena s'ha de considerar PII. Per exemple, un nom podria identificar l'usuari en una conversa, referir-se a una figura pública en una altra o simplement ser un marcadors de posició generat per un assistent. La forma de la superfície per si sola és insuficient per determinar si una cadena s'ha de marcar com a PII.
Els detectors i referències de PII existents s'orienten principalment a registres individuals. Trobem que els detectors dissenyats per processar un registre a la vegada funcionen malament en converses llargues i complexes. A més, les referències existents generalment no avaluen la consistència entre torns. Com a resultat, un alt rendiment en aquestes referències no es tradueix necessàriament en una detecció eficaç de PII en converses llargues i de diversos torns.
PII-TRACE: una referència per a la detecció de PII crítica per al desplegament
Hem dissenyat PII-TRACE al voltant de tres comportaments que importen quan s'utilitza un detector de PII en converses d'assistents. El primer és la cobertura consistent: quan un identificador apareix diverses vegades o creua els torns d'usuari i d'assistent, el detector ha de trobar cada menció. El segon és la robustesa a un context llarg: les converses oscil·len entre menys de 1.000 i més de 100.000 caràcters, fent possible mesurar què passa a mesura que creix l'historial. El tercer és gestionar diversos idiomes i contingut de format mixt: una conversa pot canviar d'idioma i combinar prosa amb codi, taules o registres estructurats. PII-TRACE conserva aquests patrons avaluant cada diàleg complet en lloc de dividir-lo en registres aïllats.
La referència mesura el rendiment a dos nivells complementaris. A nivell d'identificador, la detecció consistent planteja la pregunta més estricta: el detector ha cobert tots els caràcters de totes les mencions del mateix identificador? Informem d'aquesta puntuació per separat per als identificadors amb múltiples mencions i per als identificadors que es repeteixen entre torns. A nivell de caràcter, la precisió mesura quant del text marcat per un detector està etiquetat com a PII, la recuperació mesura quanta PII etiquetada troba i l'F1 equilibra totes dues.
PII-TRACE conté 13.148 converses sintètiques d'usuari i assistent en 13 idiomes i 10 sistemes d'escriptura, amb 37.431 mencions d'identificadors etiquetades a nivell de caràcter en nou tipus de PII. Un total del 41% de les converses conté contingut estructurat. Entre les 5.645 converses amb PII etiquetada, el 63,8% inclou un identificador que apareix més d' una vegada, i el 28,7% inclou un identificador que apareix en diversos torns.
Construcció d'un conjunt de dades sintètic a partir de converses de producció
PII-TRACE preserva l'estructura de torns de les converses d'origen sense publicar els originals. El pipeline reescriu cada torn i substitueix cada identificador etiquetat per un valor sintètic.
Primer, diversos models lingüístics marquen nou tipus de PII en converses de producció d'usuari i assistent. Un pas basat en regles agrupa els identificadors repetits del mateix tipus sota un identificador d'entitat. A continuació, cada valor marcat es substitueix per un marcador de posició tipificat, deixant una plantilla que conserva l'ordre dels torns, el tipus de PII i els enllaços entre mencions, però cap dels valors originals marcats.
El sistema parafraseja cada torn mantenint intactes aquests marcadors de posició i, a continuació, insereix valors sintètics que coincideixen amb el tipus i el format de l'identificador. Les mencions repetides reben el mateix valor dins d'una conversa, mentre que les diferents converses utilitzen valors generats de manera independent. El pas d'alineació final recalcula cada desplaçament de caràcter.
Tres portes automatitzades comproven que les substitucions coincideixen amb els intervals emmagatzemats, les mencions repetides utilitzen el mateix valor i els valors d'origen marcats estan absents sota un reescaneig de Presidio i expressions regulars. Un desplaçament emmagatzemat també ha de recuperar la subcadena sintètica exacta. Els registres que fallen es regenereixen o s'eliminen. Un segon model lingüístic audita una mostra i els humans revisen tot allò que marca com a PII.
PII-Tracer: Un detector compacte per a ús local
PII-Tracer és un codificador bidireccional de 0,6 B adaptat d'una columna vertebral Qwen3. El cribratge de privadesa és diferent de la generació de text i requereix trobar intervals de PII rellevants i retornar els seus límits. Com a resultat, PII-Tracer substitueix la màscara causal de Qwen3 per una atenció bidireccional conscient del farciment, de manera que cada token pot aprofitar tant els torns anteriors com els posteriors dins d'una finestra de 4.096 tokens.
Per a cada token, el codificador produeix una representació de 1.024 dimensions. Un cap d'etiquetatge lineal produeix puntuacions per a 37 etiquetes possibles: una etiqueta especial (que utilitzem O per denotar) per al text fora d'un interval de PII, més quatre etiquetes de posició d'interval per a cadascun dels nou tipus de PII. En l'esquema BIOES per al reconeixement d'entitats anomenades, B (inici), I (dins) i E (final) marquen un interval de diversos tokens, mentre que S (únic) marca un interval d'un sol token. Un cap auxiliar també prediu si la conversa conté material sensible, com ara informació de salut o religiosa.
Entrenem PII-Tracer durant tres èpoques amb aproximadament 714.000 mostres d'entrenament, combinant converses multilingües d'assistents amb exemples de registre únic. El codificador bidireccional compartit té dos caps d'entrenament: un cap de tokens BIOES de 37 classes que detecta i tipifica intervals de PII, i un cap binari a nivell de conversa que prediu si la conversa conté material sensible. Entrenem tots dos caps conjuntament mitjançant . Aquí, dóna més pes a les etiquetes de PII rares perquè l'etiqueta freqüent `O` no domini, mentre que subministra el senyal d'entrenament a nivell de conversa; els coeficients 1,5 i 0,3 mantenen la detecció d'intervals com a tasca principal. Aquest senyal auxiliar reforça la detecció conscient del context: el model aprèn a jutjar un interval candidat dins de la conversa en lloc de com a cadena aïllada, ajudant a reduir els falsos positius amb només un petit compromís en la recuperació.
En el moment de la inferència, un descodificador de Viterbi restringit cerca la seqüència BIOES vàlida amb la puntuació més alta en lloc d'etiquetar cada token de manera independent. Per exemple, B-private_person pot continuar amb I-private_person o tancar amb E-private_person, però no canviar a I-private_email. El descodificador mapeja el resultat de nou a intervals de caràcters exactes per a la redacció o l'encaminament local.
PII-Tracer lidera en l'F1 de caràcters i PII recurrent
Comparem els detectors tant a nivell de caràcter com d'interval. L'F1 de caràcters avalua la detecció caràcter per caràcter. L'F1 de superposició d'intervals mesura si el detector identifica qualsevol part d'un element de PII, mentre que l'F1 de contenció d'intervals mesura si captura l'element sencer.
PII-Tracer va aconseguir l'F1 de caràcters més alt (0,629) entre els 12 sistemes avaluats, i el segon F1 de superposició d'intervals i F1 de contenció d'intervals més alt. Els models de frontera, concretament GPT-5.6-sol i Claude Sonnet 5, van aconseguir un rendiment general comparable. GPT-5.6-sol va obtenir puntuacions més altes en les dues mètriques d'F1 a nivell d'interval, però un F1 de caràcters més baix. Tanmateix, aquests models de frontera tenen centenars de milers de milions o fins i tot bilions de paràmetres i són models de codi tancat allotjats al núvol. Com a resultat, no són adequats per protegir dades locals sensibles en entorns d'IA híbrida on el text no examinat s'ha de mantenir local. En canvi, PII-Tracer ofereix una detecció a nivell d'interval pròxima a la de frontera amb només 0,6B de paràmetres i pot processar text no examinat de manera totalment local. Altres detectors de PII de codi obert funcionen sensiblement pitjor que PII-Tracer.
Trobar totes les mencions recurrents
L'experiment de consistència aplica una prova més estricta a les mateixes prediccions. El conjunt de proves conté 899 identificadors que apareixen una vegada i 959 que apareixen més d'una vegada; 790 dels identificadors recurrents abasten diversos torns. La figura informa de quatre cubs de recompte de mencions (una, dues, de tres a cinc i de sis a deu) i compta un identificador només quan es troben tots els seus caràcters etiquetats. Dibuixa PII-Tracer amb tres línies de base seleccionades, mentre que la taula agregada informa de les puntuacions recurrents i entre torns per als dotze sistemes.
PII-Tracer es manté al capdavant a mesura que augmenta la repetició: la seva puntuació passa de 0,917 per a una menció a 0,873 per a dues, 0,796 de tres a cinc i 0,691 de sis a deu. A l'últim grup, GPT-5.6-sol arriba a 0,464, mentre que GLiNER2-PII i Claude Opus 4.8 arriben a 0,073 i 0,045. En l'avaluació completa, PII-Tracer troba totes les mencions del 79,4% dels identificadors recurrents i del 77,6% dels identificadors entre torns; GPT-5.6-sol arriba al 57,0% i al 55,1% en aquestes mateixes dues mesures.
Cobrir converses llargues
Primer agrupem totes les 1.922 converses de prova per longitud de caràcters i descodifiquem PII-Tracer amb la finestra de 4.096 tokens. Els grups contenen 167 converses per sota de 1.000 caràcters, 1.292 de 1.000 a 10.000 i 463 de 10.000 o més.
La recuperació d'una sola finestra és de 0,975 per sota de 1.000 caràcters i de 0,955 de 1.000 a 10.000, però baixa a 0,687 per a converses de 10.000 caràcters o més. La precisió es manté al voltant de 0,51 en els dos grups més llargs, la qual cosa apunta a la cobertura d'entrada com el problema principal.
Per estudiar l'efecte de la gestió d'entrades, avaluem el mateix punt de control amb una descodificació de finestra lliscant amb un 50% de superposició. Això eleva la recuperació global de caràcters de 0,830 a 0,965 i la detecció consistent de múltiples mencions de 0,794 a 0,954, sense reentrenament.
Consistent en tots els idiomes
PII-TRACE cobreix 13 idiomes; l'experiment lingüístic informa d'un segment de sis idiomes que abasta escriptures llatines, ciríl·liques i hangul: anglès, alemany, francès, italià, rus i coreà. Executem els mateixos 12 detectors en totes les converses de prova de cada idioma. Dins de cada idioma, agrupem els caràcters predits i d'or i calculem l'F1 de caràcters.
PII-Tracer lidera l'F1 de caràcters en quatre de sis idiomes: alemany (0,735), francès (0,633), italià (0,676) i rus (0,651), i es troba a menys de 0,016 i 0,036 dels millors resultats en anglès i coreà. En l'anàlisi complementària, porta a una detecció consistent en els sis subconjunts d'idiomes, amb una puntuació de 0,80–0,93. La vista per idioma mostra guanys més enllà de l'anglès.
F1 de caràcters superior al del filtre de privadesa en cinc referències estàndard
L'experiment final es mou fora de PII-TRACE. Executem PII-Tracer i el filtre de privadesa d'OpenAI al conjunt de validació d'ai4privacy (47.728 documents), al conjunt de proves de Nemotron-PII (100.000), a un conjunt SPY de llavor fixa (8.688), al conjunt de proves de Gretel PII (5.000) i al conjunt de proves de TAB ECHR (127).
PII-Tracer té un F1 de caràcters més alt en tots els conjunts de dades: 0,950 enfront de 0,907 a ai4privacy, 0,847 enfront de 0,709 a Nemotron-PII, 0,585 enfront de 0,543 a SPY, 0,952 enfront de 0,895 a Gretel PII i 0,594 enfront de 0,350 a TAB. TAB és l'única referència d'aquest grup construïda a partir de text real etiquetat per humans. Allà, PII-Tracer arriba a 0,986 enfront de 0,982 de precisió i 0,425 enfront de 0,213 de recuperació —el doble de recuperació pràcticament amb la mateixa precisió (detalls a l'article). Per tant, l'F1 més alt es trasllada de les converses de PII-TRACE als cinc conjunts de dades de registre únic convencionals d'aquesta comparació.
Conclusió
La IA híbrida integra el dispositiu de l'usuari a la pila d'inferència, oferint una privadesa més sòlida i un cost menor. Els models de frontera al núvol poden gestionar la recerca, el raonament i la planificació, mentre que els models locals treballen amb fitxers i dades personals que s'han de quedar al dispositiu. Aquesta divisió depèn de reconèixer informació sensible abans que cap dada sensible vagi al núvol.
PII-Tracer és un model compacte per detectar PII en converses de diversos torns, mentre que PII-TRACE avalua si els detectors poden identificar de manera consistent la PII recurrent al llarg d'una conversa.
Junts, PII-TRACE i PII-Tracer proporcionen una referència i un model de referència per avançar en la detecció de PII en converses de diversos torns i altres entorns de context llarg.
Els agents assumeixen tasques més llargues i treballen amb més context personal. Com a resultat, els controls de privadesa s'han de mantenir al llarg de tota la conversa, no només a l'entrada inicial. La IA híbrida depèn d'una detecció local fiable per mantenir el context sensible al dispositiu.
Llegiu l'article d'arXiv per obtenir detalls sobre la referència PII-TRACE, el model PII-Tracer i la nostra avaluació. Tenim previst llançar aviat tant PII-TRACE com PII-Tracer.