PII-TRACE: Detektion af personlige data, før de forlader enheden

Hybrid beregning på Mac opdelere Perplexity Computer-opgaver mellem avancerede modeller i skyen og en lokal model på Mac'en. Cloud-agenter håndterer forskning, ræsonnement og planlægning, mens den lokale model arbejder med private filer og følsomme oplysninger.

Denne grænse afhænger af at detektere personhenførbare oplysninger (PII), før de forlader enheden. En lokal privatlivsport holder følsomt indhold på Mac'en, slører detekterede private oplysninger eller anmoder om godkendelse, før det sendes til skyen.

Detektion bliver sværere i lange, flersprogede samtaler. Den samme identifikator kan optræde flere gange på tværs af forskellige runder. Én overset omtale kan afsløre de oplysninger, som systemet er beregnet til at beskytte.

Introduktion

I dag introducerer vi PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), et nyt benchmark til evaluering af detektorer af personhenførbare oplysninger (PII) og PII-Tracer, en kompakt 0,6B-model til PII-detektion.

Cloud-første-agenter tvinger brugere til at balancere kontekst, intelligens og privatliv. Mere personkenlig kontekst kan hjælpe en agent med at forstå brugeren og levere bedre resultater. Men at levere denne kontekst betyder ofte, at man sender private oplysninger til en fjern tjeneste, og det kan lække personlige oplysninger. De oplysninger, der gør en assistent nyttig, kan være præcis det, en bruger helst vil holde privat.

Hybrid AI letter dette kompromis ved at opdele arbejdet mellem brugerens enhed og cloud-modeller. Men den grænse beskytter kun privatlivet, hvis enheden kan genkende PII, før teksten sendes til en fjern model. Brugere burde ikke selv behøve at inspicere hver eneste besked. Enheden har brug for en lokal PII-detektor som sin privatlivsport. I lange samtaler kan den samme identifikator optræde igen på tværs af runder, og én overset omtale er nok til, at personlige oplysninger slipper igennem.

Perplexity har introduceret en hybrid lokal-server-inferensorkestrator, der beslutter, hvilken arbejdsbyrde der skal køre på enheden, og hvilken der skal sendes til agenter i skyen. Modellen, agent-rammen, samtalerne og udførelsestrajektorierne befinder sig alle på brugerens maskine. Opgaver, der kræver adgang til omverdenen, udføres kun, når det er nødvendigt, og er underlagt brugertilladelse. Indtil brugeren godkender det, forbliver dette indhold derfor på enheden.

PII-Tracer leverer ét lokalt kontrolsignal til modelrouting ved at markere spans, der forudsiges at indeholde PII. Applikationen håndhæver derefter routing-politikken. Den holder det relevante input lokalt, slører detragede spans eller anmoder om udtrykkelig godkendelse, før den eskalerer til en cloud-model. Dette gør routing mere selektiv. Detekteret PII forbliver på enheden, mens godkendt kontekst stadig drager fordel af avancerede cloud-modeller.

Selektiv routing afhænger af konsekvent detektion på tværs af hele samtalen. Den samme identifikator kan optræde igen på tværs af runder, og en overset omtale kan stadig blive transmitteret.

På tværs af 12 detektorer registrerer PII-Tracer den højeste karakter-F1 og den højeste konsekvente dækning af tilbagevendende identifikatorer. Benchmarken forklarer, hvorfor begge resultater er vigtige: I en lang samtale er det at finde det meste af PII'en ikke det samme som at finde hver eneste kopi af den.

PII-detektion står over for nye udfordringer i hybrid AI

PII-detektion er et langvarigt sikkerhedsproblem, og der findes allerede flere benchmarks og detektorer. PII-detektion i hybrid AI-miljøer introducerer dog nye udfordringer. Navnlig skal detektorer identificere PII i lange samtaler med flere runder, hvor samtalekonteksten afgør, om en streng skal betragtes som PII. For eksempel kan et navn identificere brugeren i én samtale, henvise til en offentlig person i en anden eller blot være en pladsholder genereret af en assistent. Overfladeformen alene er utilstrækkelig til at afgøre, om en streng skal markeres som PII.

Eksisterende PII-detektorer og benchmarks retter sig primært mod individuelle poster. Vi konstaterer, at detektorer, der er designet til at behandle én post ad gangen, presterer dårligt på lange, komplekse samtaler. Desuden evaluerer eksisterende benchmarks generelt ikke konsistens på tværs af runder. Som følge heraf omsætter stærk ydeevne på disse benchmarks sig ikke nødvendigvis til effektiv PII-detektion i lange samtaler med flere runder.

PII-TRACE: Et benchmark til implementeringskritisk PII-detektion

Vi designede PII-TRACE omkring tre adfærdstyper, der er vigtige, når en PII-detektor bruges på assistantsamtaler. Den første er konsekvent dækning: når en identifikator optræder flere gange eller krydser bruger- og assistentrunder, skal detektoren finde hver eneste omtale. Den anden er robusthed over for lang kontekst: samtaler spænder fra færre end 1.000 til mere end 100.000 karakterer, hvilket gør det muligt at måle, hvad der sker, når historikken vokser. Den tredje er håndtering af flere sprog og indhold i blandet format: en samtale kan skifte sprog og kombinere prosa med kode, tabeller eller strukturerede poster. PII-TRACE bevarer disse mønstre ved at evaluere hver fuld dialog i stedet for at opdele den i isolerede poster.

Benchmarken måler ydeevnen på to komplementære niveauer. På identifikatorniveau stiller konsekvent detektion det strengere spørgsmål: dækkede detektoren hver karakter i hver omtale af den samme identifikator? Vi rapporterer denne score separat for identifikatorer med flere omtaler og for identifikatorer, der gentager sig på tværs af runder. På karakterniveau måler præcision, hvor meget af den tekst, der er markeret af en detektor, der er mærket som PII, genkaldelse måler, hvor meget mærket PII den finder, og F1 afbalancerer de to.

PII-TRACE indeholder 13.148 syntetiske bruger-assistent-samtaleforløb på tværs af 13 sprog og 10 skriftsystemer med 37.431 identifikatoromtaler mærket på karakterniveau på tværs af ni PII-typer. I alt 41 % af samtalerne indeholder struktureret indhold. Blandt de 5.645 samtaler med mærket PII indeholder 63,8 % en identifikator, der optræder mere end én gang, og 28,7 % indeholder en identifikator, der optræder på tværs af flere runder.

Opbygning af et syntetisk datasæt ud fra produktionssamtaler

PII-TRACE bevarer runderstrukturen i kildesamtalerne uden at offentliggøre originalerne. Pipelinen omskriver hver runde og erstatter hver mærket identifikator med en syntetisk værdi.

For det første markerer flere sprogmodeller ni typer PII i produktionssamtaler mellem bruger og assistent. Et regelbaseret trin grupperer gentagne identifikatorer af samme type under ét entitets-id. Hver markeret værdi erstattes derefter af en typet pladsholder, hvilket efterlader en skabelon, der bevarer runderækkefølgen, PII-typen og forbindelserne mellem omtaler, men intet af de markerede originale værdier.

Systemet omskriver hver runde, mens pladsholderne holdes intakte, og indsætter derefter syntetiske værdier, der matcher identifikatorens type og format. Gentagne omtaler modtager den samme værdi inden for en samtale, mens forskellige samtaler bruger uafhængigt genererede værdier. Det endelige justeringstrin genberegner hver karakterforskydning.

Tre automatiserede kontroltrin tjekker, at erstatninger matcher de gemte spans, at gentagne omtaler bruger den samme værdi, og at markerede kildeværdier ikke findes under en Presidio- og regulære-udtryk-genscanning. En gemt forskydning skal også kunne gendanne den nøjagtige syntetiske delstreng. Poster, der fejler, genskabes eller kasseres. En anden sprogmodel reviderer et udvalg, og mennesker Gennemgår alt, hvad den markerer som PII.

PII-Tracer: En kompakt detektor til lokal brug

PII-Tracer er en 0,6B bidirektionel encoder tilpasset fra en Qwen3-rygrad. Privatlivsscreening er anderledes end tekstdannelse og kræver, at man finder relevante PII-spans og returnerer deres grænser. Som følge heraf erstatter PII-Tracer Qwen3's kausale maske med padding-bevidst bidirektionel opmærksomhed, så hvert token kan trække på både tidligere og senere runder inden for et vindue på 4.096 token.

For hvert token producerer encoderen en 1.024-dimensionel repræsentation. Et lineært mærkningshoved producerer scores for 37 mulige mærkater: én særlig mærkat (som vi bruger O til at betegne) for tekst uden for et PII-span samt fire span-positionsmærkater for hver af de ni PII-typer. I BIOES-skemaet til genkendelse af navngivne enheder markerer B (Beginning), I (Inside) og E (End) et multi-token-span, mens S (Single) markerer et ét-tokens-span. Et ekstra hoved forudsiger også, om samtalen indeholder følsomt materiale, såsom sundheds- eller religiøse oplysninger.

Vi træner PII-Tracer i tre epoker på ca. 714.000 træningsprøver ved at kombinere flersprogede assistantsamtaler med eksempler med én enkelt post. Den delte bidirektionelle encoder har to træningshoveder: et 37-klasses BIOES-tokenhoved, der detekterer og klassificerer PII-spans, og et binært samtale-niveau-hoved, der forudsiger, om samtalen indeholder følsomt materiale. Vi træner begge hoveder i fællesskab ved hjælp af $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Her giver $\mathcal{L}_{\mathrm{tag}}$ sjældne PII-mærkater mere vægt, så den hyppige `O`-mærkat ikke dominerer, mens $\mathcal{L}_{\mathrm{sens}}$ leverer træningssignalet på samtale-niveau; koefficienterne på 1,5 og 0,3 holder spandetektion som hovedopgaven. Dette ekstra signal forstærker kontekstbevidst detektion: modellen lærer at vurdere et kandidatspan inden for samtalen i stedet for som en isoleret streng, hvilket hjælper med at reducere falske positive med kun et lille tab i genkaldelse.

Ved inferenstid søger en begrænset Viterbi-dekoder efter den gyldige BIOES-sekvens med den højeste score i stedet for at mærke hvert token uafhængigt. For eksempel kan B-private_person fortsætte med I-private_person eller afslutte med E-private_person, men ikke skifte til I-private_email. Dekoderen mapper resultatet tilbage til nøjagtige karakter-spans til sløring eller lokal routing.

PII-Tracer fører an på karakter-F1 og tilbagevendende PII

Vi sammenligner detektorerne på både karakter- og span-niveau. Karakter-F1 evaluerer detektion karakter for karakter. Span-overlap-F1 måler, om detektoren identificerer en del af et PII-element, mens span-containment-F1 måler, om den indfanger hele elementet.

PII-Tracer opnåede den højeste karakter-F1 (0,629) blandt de 12 evaluerede systemer samt den næsthøjeste span-overlap-F1 og span-containment-F1. Avancerede modeller, nærmere bestemt GPT-5.6-sol og Claude Sonnet 5, opnåede en sammenlignelig samlet ydeevne. GPT-5.6-sol opnåede højere scores på begge span-niveau-F1-målinger, men en lavere karakter-F1. Disse avancerede modeller har dog hundredvis af milliarder eller endda billioner af parametre og er open-source-modeller hostet i skyen. Som følge heraf er de uegnede til at beskytte følsomme lokale data i hybrid AI-miljøer, hvor uscreenet tekst skal forblive lokal. Til gengæld leverer PII-Tracer detektion på span-niveau nær de avancerede modeller med kun 0,6B parametre og kan behandle uscreenet tekst fuldstændigt lokalt. Andre open-source PII-detektorer presterer væsentligt dårligere end PII-Tracer.

Find hver eneste tilbagevendende omtale

Konsistenseksperimentet anvender en strengere test på de samme forudsigelser. Testsættet indeholder 899 identifikatorer, der optræder én gang, og 959, der optræder mere end én gang; 790 af de tilbagevendende identifikatorer spænder over flere runder. Figuren rapporterer fire spandata for antal omtaler (én, to, tre til fem og seks til ti) og tæller kun en identifikator med, når alle dens mærkede karakterer findes. Den afbilder PII-Tracer med tre udvalgte baselines, mens den aggregerede tabel rapporterer scores for tilbagevendende og på-tværs-af-runder for alle tolv systemer.

PII-Tracer forbliver foran, efterhånden som gentagelserne stiger: dens score bevæger sig fra 0,917 for én omtale til 0,873 for to, 0,796 for tre til fem og 0,691 for seks til ti. I den sidste gruppe når GPT-5.6-sol op på 0,464, mens GLiNER2-PII og Claude Opus 4.8 når henholdsvis 0,073 og 0,045. Gennem hele evalueringen finder PII-Tracer hver eneste omtale af 79,4 % af de tilbagevendende identifikatorer og 77,6 % af identifikatorerne på tværs af samtalerunder; GPT-5.6-sol når 57,0 % og 55,1 % på de samme to målinger.

Dækning af lange samtaler

Vi grupperer først alle 1.922 testsamtaler efter karakterlængde og dekoder PII-Tracer med 4.096-token-vinduet. Grupperne indeholder 167 samtaler under 1.000 karakterer, 1.292 fra 1.000 til 10.000 og 463 på 10.000 eller længere.

Genkaldelse for enkeltvindue er 0,975 under 1.000 karakterer og 0,955 fra 1.000 til 10.000, men falder til 0,687 for samtaler på eller over 10.000 karakterer. Præcisionen forbliver tæt på 0,51 i de to længere grupper, hvilket peger på inputdækning som hovedproblemet.

For at studere effekten af inputhåndtering evaluerer vi det samme tjekpunkt med glidende vindue-dekodning med 50 % overlap. Dette øger den samlede karaktergenkaldelse fra 0,830 til 0,965 og konsekvent detektion af flere omtaler fra 0,794 til 0,954 uden genoplæring.

Konsistent på tværs af sprog

PII-TRACE dækker 13 sprog; sprogseksproduktionen rapporterer et udvalg på seks sprog, der spænder over latinske, kyrilliske og hangul-skrifter: engelsk, tysk, fransk, italiensk, russisk og koreansk. Vi kører de samme 12 detektorer på alle testsamtaler på hvert sprog. Inden for hvert sprog slår vi forudsagte og guldkarakterer sammen og beregner karakter-F1.

PII-Tracer fører an i karakter-F1 i fire af seks sprog: tysk (0,735), fransk (0,633), italiensk (0,676) og russisk (0,651), og er inden for 0,016 og 0,036 fra de bedste resultater på engelsk og koreansk. I den ledsagende analyse fører det til konsekvent detektion i alle seks sprogundergrupper med en score på 0,80–0,93. Visningen pr. sprog viser forbedringer ud over engelsk.

Højere karakter-F1 end privatlivsfilteret på fem standardbenchmarks

Det afsluttende eksperiment flytter sig uden for PII-TRACE. Vi kører PII-Tracer og OpenAI Privacy Filter på ai4privacy-valideringsopdelingen (47.728 dokumenter), Nemotron-PII-testopdelingen (100.000), et fast seed SPY-sæt (8.688), Gretel PII-testopdelingen (5.000) og TAB ECHR-testopdelingen (127).

PII-Tracer har højere karakter-F1 på alle datasæt: 0,550 versus 0,907 på ai4privacy, 0,847 versus 0,709 på Nemotron-PII, 0,585 versus 0,543 på SPY, 0,952 versus 0,895 på Gretel PII og 0,594 versus 0,350 på TAB. TAB er det eneste benchmark i denne gruppe, der er bygget på rigtig, menneskemærket tekst. Her når PII-Tracer op på 0,986 versus 0,982 i præcision og 0,425 versus 0,213 i genkaldelse – dobbelt så høj genkaldelse ved stort set samme præcision (detaljer i artiklen). Den højere F1-score overføres derfor fra PII-TRACE-samtaler til alle fem konventionelle enkeltpost-benchmarks i denne sammenligning.

Konklusion

Hybrid AI integrerer brugerens enhed i inferensstackken, hvilket giver stærkere privatliv og lavere omkostninger. Avancerede modeller i skyen kan håndtere forskning, ræsonnement og planlægning, mens lokale modeller arbejder med filer og personlige data, der bør forblive på enheden. Denne opdeling afhænger af at genkende følsomme oplysninger, før følsomme data sendes til skyen.

PII-Tracer er en kompakt model til detektion af PII i samtaler med flere runder, mens PII-TRACE evaluerer, om detektorer konsekvent kan identificere tilbagevendende PII igennem en samtale.

Sammen leverer PII-TRACE og PII-Tracer et benchmark og en referencemodel til fremme af PII-detektion i samtaler med flere runder og andre sammenhænge med lang kontekst.

Agenter påtager sig længere opgaver og arbejder med mere personlig kontekst. Som følge heraf bør privatlivskontroller gælde for hele samtalen og ikke kun for det første input. Hybrid AI afhænger af pålidelig lokal detektion for at holde følsom kontekst på enheden.

Læs arXiv-artiklen for at få flere oplysninger om PII-TRACE-benchmarken, PII-Tracer-modellen og vores evaluering. Vi forventer at udgive både PII-TRACE og PII-Tracer snart.