PII-TRACE: Oppdage personlige data før de forlater enheten

Hybridbergning på Mac deler Perplexity Computer-oppgaver mellom grensemodeller i skyen og en lokal modell på Macen. Skyagenter håndterer forskning, resonnement og planlegging, mens den lokale modellen arbeider med private filer og sensitiv informasjon.

Denne grensen avhenger av å oppdage personlig identifiserbar informasjon (PII) før den forlater enheten. En lokal personvernport holder sensitivt innhold på Macen, redigerer oppdaget privat informasjon eller ber om godkjenning før den sendes til skyen.

Deteksjon blir vanskeligere i lange, flerspråklige samtaler. Den samme identifikatoren kan dukke opp flere ganger i løpet av ulike turer. Én oversett omtale kan avsløre informasjonen systemet er ment å beskytte.

Innledning

I dag introduserer vi PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), en ny referansetest for evaluering av personlig identifiserbar informasjon (PII)-detektorer, og PII-Tracer, en kompakt 0,6B-modell for PII-deteksjon.

Skyfokuserte agenter tvinger brukere til å balansere kontekst, intelligens og personvern. Mer personlig kontekst kan hjelpe en agent å forstå brukeren og produsere bedre resultater. Men å tilby denne konteksten betyr ofte å sende privat informasjon til en ekstern tjeneste og kan lekke personlig informasjon. Informasjonen som gjør en assistent nyttig, kan være akkurat det en bruker mest vil holde privat.

Hybrid KI letter dette kompromisset ved å dele opp arbeidet mellom brukerens enhet og skymodeller. Men den grensen beskytter bare personvernet hvis enheten kan gjenkjenne PII før tekst sendes til en ekstern modell. Brukere bør ikke trenge å inspisere hver melding selv. Enheten trenger en lokal PII-detektor som sin personvernport. I lange samtaler kan den samme identifikatoren gå igjen på tvers av turer, og én tapt omtale er nok til at personlig informasjon slipper igjennom.

Perplexity har introdusert en hybrid inferensorkestrering for lokal server som avgjør hvilket arbeid som skal kjøre på enheten, og hvilket arbeid som skal gå til agenter i skyen. Modellen, agentrammeverket, samtalene og utførelsessporene ligger alle på brukerens maskin. Oppgaver som krever tilgang til omverdenen, startes bare når det er nødvendig, og er betinget av brukertillatelse. Derfor forblir dette innholdet på enheten til brukeren godkjenner det.

PII-Tracer gir ett lokalt kontrollsignal for modellruting ved å flagge spenn som forutsies å inneholde PII. Applikasjonen håndhever deretter rutingreglene. Den holder den relevante inngangen lokal, masker oppdagede spenn eller ber om uttrykkelig godkjenning før den eskalerer til en skylagret modell. Dette gjør rutingen mer selektiv. Oppdaget PII forblir på enheten, mens godkjent kontekst fremdeles drar nytte av skylagrede grensemodeller.

Selektiv ruting avhenger av konsekvent deteksjon i hele samtalen. Den samme identifikatoren kan gå igjen i turer, og en tapt omtale kan fortsatt bli overført.

På tvers av 12 detektorer registrerer PII-Tracer den høyeste tegn-F1-verdien og den høyeste konsekvente dekningen av gjentatte identifikatorer. Referansetesten forklarer hvorfor begge resultatene betyr noe: i en lang samtale er det å finne mest PII ikke det samme som å finne hver eneste kopier av den.

PII-deteksjon møter nye utfordringer i hybrid KI

PII-deteksjon er et langvarig sikkerhetsproblem, og det finnes allerede flere referansetester og detektorer. PII-deteksjon i hybrid KI-miljøer introduserer imidlertid nye utfordringer. Spesielt må detektorer identifisere PII i lange samtaler med flere turer, der konversasjonskontekst avgjør om en streng skal anses som PII. For eksempel kan et navn identifisere brukeren i én samtale, referere til en offentlig person i en annen, eller ganske enkelt være en plassholder generert av en assistent. Overflateformen alene er utilstrekkelig til å avgjøre om en streng skal flagges som PII.

Eksisterende PII-detektorer og referansetester retter seg først og fremst mot individuelle poster. Vi finner at detektorer som er utformet for å behandle én post om gangen, presterer svakt på lange, komplekse samtaler. Eksisterende referansetester evaluerer heller ikke konsekvens på tvers av turer generelt. Som et resultat fører ikke sterk ytelse på disse referansetestene nødvendigvis til effektiv PII-deteksjon i lange samtaler med flere turer.

PII-TRACE: En referansetest for distribusjonskritisk PII-deteksjon

Vi designet PII-TRACE rundt tre atferder som betyr noe når en PII-detektor brukes på assistantsamtaler. Den første er konsekvent dekning: når en identifikator vises flere ganger eller krysser bruker- og assistentturer, må detektoren finne hver omtale. Den andre er robusthet mot lang kontekst: samtaler varierer fra færre enn 1 000 til mer enn 100 000 tegn, noe som gjør det mulig å måle hva som skjer når historikken vokser. Den tredje er håndtering av flere språk og blandet formatinnhold: en samtalen kan bytte språk og kombinere prosa med kode, tabeller eller strukturerte poster. PII-TRACE bevarer disse mønstrene ved å evaluere hver enkelt dialog i stedet for å dele den opp i isolerte poster.

Referansetesten måler ytelse på to utfyllende nivåer. På identifikatornivå stiller konsekvent deteksjon det strengere spørsmålet: Dekket detektoren hvert tegn i hver omtale av den samme identifikatoren? Vi rapporterer denne poengsummen separat for identifikatorer med flere omtaler og for identifikatorer som gjentas på tvers av turer. På tegnnivå måler presisjon hvor mye av teksten som er merket av en detektor, er merket PII, gjenkalling måler hvor mye merket PII den finner, og F1 balanserer de to.

PII-TRACE inneholder 13 148 syntetiske bruker-assistent-samtaler på 13 språk og 10 skriftsystemer, med 37 431 identifikatormomtale merket på tegnnivå på tvers av ni PII-typer. Totalt 41 % av samtalene inneholder strukturert innhold. Blant de 5 645 samtalene med merket PII, inkluderer 63,8 % en identifikator som vises mer enn én gang, og 28,7 % inkluderer en identifikator som vises på tvers av flere turer.

Bygge et syntetisk datasett fra produksjonssamtaler

PII-TRACE bevarer turoppbyggingen til kildesamtaler uten å publisere originalene. Rørledningen omskriver hver tur og erstatter hver merket identifikator med en syntetisk verdi.

Først merker flere språkmodeller ni typer PII i produksjonsbruker-assistent-samtaler. En regelbasert passering grupperer gjentatte identifikatorer av samme type under én enhets-ID. Hver merkede verdi erstattes deretter med en typet plassholder, slik at det etterlates en mal som beholder turopprettholdelsen, PII-typen og koblingene mellom omtaler, men ingen av de merkede originalverdiene.

Systemet omskriver hver sving samtidig som plassholderne beholdes intakte, og setter deretter inn syntetiske verdier som samsvarer med identifikatortypen og -formatet. Gjentatte omtaler mottar den samme verdien i en samtale, mens forskjellige samtaler bruker uavhengig genererte verdier. Den endelige justeringspasseringen beregner på nytt hver tegnforskyvning.

Tre automatiserte porter sjekker at erstatterne samsvarer med de lagrede spennene, at gjentatte omtaler bruker den samme verdien, og at markerte kildeverdier fraværende under en Presidio- og regulær uttrykk-skanning. En lagret forskyvning må også gjenopprette den nøyaktige syntetiske delstrengen. Poster som mislykkes, regenereres eller fjernes. En andre språkmodell reviderer et utvalg, og mennesker gjennomgår alt den flagger som PII.

PII-Tracer: En kompakt detektor for lokal bruk

PII-Tracer er en torettet enkoder på 0,6B tilpasset fra en Qwen3-ryggrad. Personvernscreening er annerledes enn tekstdannelse og krever å finne relevante PII-spenn og returnere grensene deres. Som et resultat erstatter PII-Tracer Qwen3s kausale maske med utfyllingsklar torettet oppmerksomhet, slik at hver token kan trekke på både tidligere og senere turer innenfor et vindu på 4 096 tokens.

For hver token produserer enkoderen en 1 024-dimensjonal representasjon. Et lineært taggingshode produserer poengsummer for 37 mulige etiketter: én spesiell etikett (som vi bruker O til å betegne) for tekst utenfor et PII-spenn, pluss fire spennposisjonsetiketter for hver av de ni PII-typene. I BIOES-oppsettet for Navngitt enhetsgjenkjenning markerer B (Begynnelsen), I (Inne) og E (Slutt) et flertokensspenn, mens S (Enkelt) markerer et éntokensspenn. Et ekstra hode forutsier også om samtalen inneholder sensitivt materiale, for eksempel helse- eller religiøs informasjon.

Vi trener PII-Tracer i tre epoker på omtrent 714 000 treningsprøver, og kombinerer flerspråklige assistantsamtaler med enkeltposteksempler. Den delte torettede enkoderen har to treningshoder: et 37-klasses BIOES-tokenhode som oppdager og angir PII-spenn, og et binært samtalenivåhode som forutsier om samtalen inneholder sensitivt materiale. Vi trener begge hodene i fellesskap ved hjelp av $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Her gir $\mathcal{L}_{\mathrm{tag}}$ sjeldne PII-etiketter mer vekt slik at den hyppige `O`-etiketten ikke dominerer, mens $\mathcal{L}_{\mathrm{sens}}$ leverer treningssignalet på samtalenivå; 1,5- og 0,3-koeffisientene holder spenndeteksjon som hovedoppgaven. Dette ekstra signalet forsterker kontekstbevisst deteksjon: modellen lærer å vurdere et kandidatspenn i samtalen i stedet for som en isolert streng, og bidrar til å redusere falske positive med bare et lite kompromiss i gjenkalling.

Ved inferenstid søker en begrenset Viterbi-dekoder etter den gyldige BIOES-sekvensen med høyest poengsum i stedet for å merke hver token uavhengig. For eksempel kan B-private_person fortsette med I-private_person eller lukkes med E-private_person, men ikke bytte til I-private_email. Dekoderen tilordner resultatet tilbake til nøyaktige tegnspenn for maskering eller lokal ruting.

PII-Tracer leder an på tegn-F1 og gjentatt PII

Vi sammenligner detektorene på både tegn- og spennnivå. Tegn-F1 evaluerer deteksjon tegn for tegn. Spenn-overlapp-F1 måler om detektoren identifiserer en del av et PII-element, mens spenn-omfang-F1 måler om den fanger opp hele elementet.

PII-Tracer oppnådde den høyeste tegn-F1-verdien (0,629) blant de 12 evaluerte systemene, og den nest høyeste spennoverlapp-F1 og spennomfang-F1. Grensemodeller, nemlig GPT-5.6-sol og Claude Sonnet 5, oppnådde sammenlignbar generell ytelse. GPT-5.6-sol oppnådde høyere poengsummer på begge spennnivå-F1-målingene, men en lavere tegn-F1. Imidlertid har disse grensemodellene hundrevis av milliarder eller til og med billioner av parametere og er lukkede kildemodeller som hostes i skyen. Som et resultat er de uegnet til å beskytte sensitive lokale data i hybrid KI-miljøer der uscreenet tekst må forbli lokal. I kontrast leverer PII-Tracer nesten grensenivå-spenndeteksjon med bare 0,6B parametere og kan behandle uscreenet tekst helt lokalt. Andre åpen kildekode-PII-detektorer presterer vesentlig dårligere enn PII-Tracer.

Finne hver gjentatt omtale

Konsistenseksperimentet bruker en strengere test på de samme spådommene. Testsettet inneholder 899 identifikatorer som vises én gang, og 959 som vises mer enn én gang; 790 av de gjentatte identifikatorene spenner over flere turer. Figurene rapporterer fire bøtter med omtaletelling (én, to, tre til fem, og seks til ti) og teller bare en identifikator når alle de merkede tegnene er funnet. Den plottet PII-Tracer med tre utvalgte baselinjer, mens den aggregerte tabellen rapporterer gjentatte poengsummer og poengsummer på tvers av turer for alle tolv systemene.

PII-Tracer holder seg i tet etter hvert som repetisjonen øker: poengsummen går fra 0,917 for én omtale til 0,873 for to, 0,796 for tre til fem, og 0,691 for seks til ti. I den siste gruppen når GPT-5.6-sol 0,464, mens GLiNER2-PII og Claude Opus 4.8 når henholdsvis 0,073 og 0,045. Gjennom hele evalueringen finner PII-Tracer hver omtale av 79,4 % av gjentatte identifikatorer og 77,6 % av identifikatorer på tvers av turer; GPT-5.6-sol når 57,0 % og 55,1 % på de samme to målene.

Dekker lange samtaler

Vi grupperer først alle 1 922 testsamtaler etter tegnlengde og dekoder PII-Tracer med vinduet på 4 096 tokens. Gruppene inneholder 167 samtaler under 1 000 tegn, 1 292 fra 1 000 til 10 000, og 463 på 10 000 eller mer.

Enkeltvindu-gjenkalling er 0,975 under 1 000 tegn og 0,955 fra 1 000 til 10 000, men faller til 0,687 for samtaler på eller over 10 000 tegn. Presisjonen forblir nær 0,51 i de to lengre gruppene, noe som peker på inngangsdekning som hovedproblemet.

For å studere effekten av inndatahåndtering evaluerer vi det samme sjekkpunktet med 50 % overlappende glidende vindu-dekoding. Dette øker den generelle tegngjenkallingen fra 0,830 til 0,965 og konsekvent deteksjon av flere omtaler fra 0,794 til 0,954, uten omskolering.

Konsekvent på tvers av språk

PII-TRACE dekker 13 språk; språkeksperimentet rapporterer en seks språk lang del av latinske, kyrilliske og hangul-skrifter: engelsk, tysk, fransk, italiensk, russisk og koreansk. Vi kjører de samme 12 detektorene på alle testsamtaler på hvert språk. Innenfor hvert språk samler vi predikerte og gulltegn og beregner tegn-F1.

PII-Tracer leder an på tegn-F1 i fire av seks språk: tysk (0,735), fransk (0,633), italiensk (0,676) og russisk (0,651), og er innenfor 0,016 og 0,036 fra de beste resultatene på engelsk og koreansk. I den tilhørende analysen fører den til konsistent deteksjon i alle de seks språkdelsettene, med en poengsum på 0,80–0,93. Visningen per språk viser gevinster utover engelsk.

Høyere tegn-F1 enn personvernfilteret på fem standardreferansetester

Det siste eksperimentet beveger seg utenfor PII-TRACE. Vi kjører PII-Tracer og OpenAI Privacy Filter på ai4privacy-valideringsdelingen (47 728 dokumenter), Nemotron-PII-testdelingen (100 000), et fast frø-SPY-sett (8 688), Gretel PII-testdelingen (5 000) og TAB ECHR-testdelingen (127).

PII-Tracer har høyere tegn-F1 på hvert datasett: 0,950 mot 0,907 på ai4privacy, 0,847 mot 0,709 på Nemotron-PII, 0,585 mot 0,543 på SPY, 0,952 mot 0,895 på Gretel PII, og 0,594 mot 0,350 på TAB. TAB er den eneste referansetesten i denne gruppen som er bygget fra ekte, menneskemerker tekst. Der oppnår PII-Tracer 0,986 mot 0,982 i presisjon og 0,425 mot 0,213 i gjenkalling – dobbelt så høy gjenkalling ved i all vesentlighet samme presisjon (detaljer i artikkelen). Den høyere F1-verdien overføres derfor fra PII-TRACE-samtaler til alle de fem konvensjonelle enkeltdatasettene i denne sammenligningen.

Konklusjon

Hybrid KI integrerer brukerens enhet i inferensstabelen, og tilbyr sterkere personvern og lavere kostnad. Grensemodeller i skyen kan håndtere forskning, resonnement og planlegging, mens lokale modeller arbeider med filer og personlige data som bør forbli på enheten. Denne delingen avhenger av å gjenkjenne sensitiv informasjon før sensitive data går til skyen.

PII-Tracer er en kompakt modell for å oppdage PII i samtaler med flere turer, mens PII-TRACE evaluerer om detektorer konsekvent kan identifisere gjentatt PII gjennom en samtale.

Sammen gir PII-TRACE og PII-Tracer en referansetest og referansemodell for å fremme PII-deteksjon i samtaler med flere turer og andre innstillinger med lang kontekst.

Agenter tar på seg lengre oppgaver og arbeider med mer personlig kontekst. Som et resultat bør personvernkontroller gjelde for hele samtalen, ikke bare den første inngangen. Hybrid KI avhenger av pålitelig lokal deteksjon for å holde sensitiv kontekst på enheten.

Les arXiv-artikkelen for detaljer om PII-TRACE-referansetesten, PII-Tracer-modellen og vår evaluering. Vi planlegger å gi ut både PII-TRACE og PII-Tracer snart.