PII-TRACE: Persoonlijke gegevens detecteren voordat ze het apparaat verlaten
Een benchmark in 13 talen voor consistente PII-detectie in langlopende gesprekken, gecombineerd met een compacte 0,6B-detector die is ontworpen om lokaal te draaien.
Hybride berekening op Mac verdeelt Perplexity Computer-taken tussen geavanceerde modellen in de cloud en een lokaal model op de Mac. Cloudagents verwerken onderzoek, redenering en planning, terwijl het lokale model werkt met privébestanden en gevoelige informatie.
Deze grens hangt af van het detecteren van persoonlijk identificeerbare informatie (PII) voordat deze het apparaat verlaat. Een lokale privacypoort houdt gevoelige inhoud op de Mac, redacteert gedetecteerde privé-informatie, of vraagt om goedkeuring voordat deze naar de cloud wordt verzonden.
Detectie wordt moeilijker in lange, meertalige gesprekken. Dezelfde identificator kan meerdere keren verschijnen in verschillende beurten. Eén gemiste vermelding kan de informatie onthullen die het systeem hoort te beschermen.
Inleiding
Vandaag introduceren we PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), een nieuwe benchmark voor het evalueren van detectoren voor persoonlijk identificeerbare informatie (PII), en PII-Tracer, een compact model van 0,6B voor PII-detectie.
Cloud-first agents dwingen gebruikers om een balans te vinden tussen context, intelligentie en privacy. Meer persoonlijke context kan een agent helpen de gebruiker te begrijpen en betere resultaten te produceren. Maar het verstrekken van deze context betekent vaak dat privé-informatie naar een externe service wordt verzonden en kan persoonlijke informatie lekken. De informatie die een assistent nuttig maakt, kan precies datgene zijn wat een gebruiker het liefst privé wil houden.
Hybride AI verzacht deze afweging door het werk te verdelen tussen het apparaat van de gebruiker en cloudmodellen. Maar die grens beschermt de privacy alleen als het apparaat PII kan herkennen voordat tekst naar een extern model wordt verzonden. Gebruikers zouden niet elk bericht zelf hoeven te inspecteren. Het apparaat heeft een lokale PII-detector nodig als zijn privacypoort. In lange gesprekken kan dezelfde identificator terugkeren over beurten heen, en één gemiste vermelding is genoeg om persoonlijke informatie door te laten.
Perplexity heeft een hybride lokaal-server-inferentie-orkestrator geïntroduceerd die beslist welk werk op het apparaat moet worden uitgevoerd en welk werk naar agents in de cloud moet gaan. Het model, de agent-harnas, gesprekken en executietrajecten bevinden zich allemaal op de machine van de gebruiker. Taken die toegang tot de buitenwereld vereisen, worden alleen aangeroepen wanneer dat nodig is en worden afgeschermd door gebruikerstoestemming. Als gevolg hiervan blijft die inhoud op het apparaat totdat de gebruiker goedkeuring geeft.
PII-Tracer biedt één lokaal controlesignaal voor modelroutering door spans te markeren waarvan wordt voorspeld dat ze PII bevatten. De applicatie handhaaft vervolgens het routeringsbeleid. Het houdt de relevante invoer lokaal, redacteert gedetecteerde spans, of vraagt om expliciete goedkeuring voordat het wordt geëscaleerd naar een cloudmodel. Dit maakt routering selectiever. Gedetecteerde PII blijft op het apparaat staan, terwijl goedgekeurde context nog steeds profiteert van geavanceerde cloudmodellen.
Selectieve routering hangt af van consistente detectie over het hele gesprek. Dezelfde identificator kan terugkeren over beurten heen, en een gemiste vermelding kan nog steeds worden verzonden.
Van de 12 detectoren noteert PII-Tracer de hoogste teken-F1 en de hoogste consistente dekkingsgraad van terugkerende identificatoren. De benchmark legt uit waarom beide resultaten er toe doen: bij een lang gesprek is het vinden van de meeste PII niet hetzelfde als het vinden van elk exemplaar daarvan.
PII-detectie staat voor nieuwe uitdagingen in hybride AI
PII-detectie is een lang bestaand beveiligingsprobleem, en er bestaan al verschillende benchmarks en detectoren. PII-detectie in hybride AI-omgevingen brengt echter nieuwe uitdagingen met zich mee. Met name moeten detectoren PII identificeren in lange gesprekken met meerdere beurten, waar de gesprekscontext bepaalt of een tekenreeks als PII moet worden beschouwd. Een naam kan bijvoorbeeld de gebruiker identificeren in het ene gesprek, verwijzen naar een publiek persoon in een ander gesprek, of simpelweg een tijdelijke aanduiding zijn die door een assistent is gegenereerd. De oppervlaktetelvorm alleen is onvoldoende om te bepalen of een tekenreeks als PII moet worden gemarkeerd.
Bestaande PII-detectoren en benchmarks richten zich primair op individuele records. We merken dat detectoren die ontworpen zijn om één record tegelijk te verwerken slecht presteren op lange, complexe gesprekken. Ook evalueren bestaande benchmarks over het algemeen de consistentie tussen beurten niet. Daardoor vertaalt sterke prestatie op deze benchmarks zich niet noodzakelijkerwijs naar effectieve PII-detectie in lange gesprekken met meerdere beurten.
PII-TRACE: Een benchmark voor implementatiekritieke PII-detectie
We hebben PII-TRACE ontworpen rond drie gedragingen die ertoe doen wanneer een PII-detector wordt gebruikt bij assistentgesprekken. De eerste is consistente dekkingsgraad: wanneer een identificator meerdere keren verschijnt of beurten van gebruiker en assistent overbrugt, moet de detector elke vermelding vinden. De tweede is robuustheid voor lange context: gesprekken variëren van minder dan 1.000 tot meer dan 100.000 tekens, wat het mogelijk maakt om te meten wat er gebeurt naarmate de geschiedenis groeit. De derde is het verwerken van meerdere talen en inhoud met gemengde indeling: een gesprek kan van taal wisselen en proza combineren met code, tabellen of gestructureerde records. PII-TRACE behoudt deze patronen door elke volledige dialoog te evalueren in plaats deze op te splitsen in geïsoleerde records.
De benchmark meet de prestaties op twee complementaire niveaus. Op het niveau van de identificator stelt consistente detectie de strengere vraag: heeft de detector elk teken gedekt in elke vermelding van dezelfde identificator? We rapporteren deze score apart voor identificatoren met meerdere vermeldingen en voor identificatoren die over beurten heen herhalen. Op tekenniveau meet precisie hoeveel van de tekst gemarkeerd door een detector is gelabeld als PII, meet recall hoeveel gelabelde PII deze vindt, en brengt F1 de twee in balans.
PII-TRACE bevat 13.148 synthetische gebruikers-assistent-gesprekken in 13 talen en 10 schrijfsystemen, met 37.431 gelabelde vermeldingen van identificatoren op tekaenniveau over negen PII-typen. In totaal bevat 41% van de gesprekken gestructureerde inhoud. Van de 5.645 gesprekken met gelabelde PII bevat 63,8% een identificator die vaker dan eens verschijnt, en bevat 28,7% een identificator die over meerdere beurten verschijnt.
Een synthetische dataset bouwen op basis van productiegesprekken
PII-TRACE behoudt de beurtstructuur van brongesprekken zonder de originelen te publiceren. De pijplijn herschrijft elke beurt en vervangt elke gelabelde identificator door een synthetische waarde.
Ten eerste markeren meerdere taalmodellen negen typen PII in productiegesprekken tussen gebruiker en assistent. Een op regels gebaseerde pass groepeert herhaalde identificatoren van hetzelfde type onder één entiteit-ID. Elke gemarkeerde waarde wordt vervolgens vervangen door een getypeerde tijdelijke aanduiding, waardoor een sjabloon achterblijft die de beurtvolgorde, het PII-type en koppelingen tussen vermeldingen behoudt, maar geen van de gemarkeerde originele waarden.
Het systeem parafraseert elke beurt terwijl die tijdelijke aanduidingen intact blijven, en voegt vervolgens synthetische waarden in die overeenkomen met het type en formaat van de identificator. Herhaalde vermeldingen krijgen dezelfde waarde binnen een gesprek, terwijl verschillende gesprekken onafhankelijk gegenereerde waarden gebruiken. De uiteindelijke uitlijnpass hererekent elke tekenoffset.
Drie geautomatiseerde poorten controleren of vervangingen overeenkomen met de opgeslagen spans, herhaalde vermeldingen dezelfde waarde gebruiken, en gemarkeerde bronwaarden afwezig zijn onder een Presidio- en reguliere-expressie-rescan. Een opgeslagen offset moet ook de exacte synthetische subtekenreeks herstellen. Records die falen worden opnieuw gegenereerd of verwijderd. Een tweede taalmodel auditeert een steekproef en mensen beoordelen alles wat dit model als PII markeert.
PII-Tracer: Een compacte detector voor lokaal gebruik
PII-Tracer is een bidirectionele encoder van 0,6B, aangepast van een Qwen3-backbone. Privacyfiltering verschilt van tekstgeneratie en vereist het vinden van relevante PII-spans en het retourneren van hun grenzen. Als gevolg hiervan vervangt PII-Tracer het causale masker van Qwen3 door padding-bewuste bidirectionele aandacht, zodat elk token kan putten uit zowel eerdere als latere beurten binnen een venster van 4.096 tokens.
Voor elk token produceert de encoder een 1024-dimensionale representatie. Een lineaire tagkop produceert scores voor 37 mogelijke labels: één speciaal label (dat we aanduiden met O) voor tekst buiten een PII-span, plus vier span-positielabels voor elk van de negen PII-typen. In het BIOES-schema voor Named Entity Recognition markeren B (Beginning), I (Inside) en E (End) een span met meerdere tokens, terwijl S (Single) een span met één token markeert. Een hulpkop voorspelt ook of het gesprek gevoelige informatie bevat, zoals gezondheids- of religieuze informatie.
We trainen PII-Tracer gedurende drie epochs op ongeveer 714.000 trainingsvoorbeelden, waarbij meertalige assistentgesprekken worden gecombineerd met voorbeelden met één record. De gedeelde bidirectionele encoder heeft twee trainingskoppen: een BIOES-tokenkop met 37 klassen die PII-spans detecteert en typeert, en een binaire kop op gespreksniveau die voorspelt of het gesprek gevoelig materiaal bevat. We trainen beide koppen gezamenlijk met behulp van . Hier geeft zeldzame PII-labels meer gewicht zodat het frequente `O`-label niet overheerst, terwijl het trainingssignaal op gespreksniveau levert; de coëfficiënten 1,5 en 0,3 houden spansdetectie als de hoofdtaak. Dit hulpsignaal versterkt contextbewuste detectie: het model leert een kandidaatspan binnen het gesprek te beoordelen in plaats van als een geïsoleerde tekenreeks, wat helpt om valse positieven te verminderen met slechts een kleine concessie in recall.
Tijdens inferentie zoekt een beperkte Viterbi-decoder naar de geldige BIOES-reeks met de hoogste score in plaats van elk token onafhankelijk te labelen. Bijvoorbeeld, B-private_person kan doorgaan met I-private_person of sluiten met E-private_person, maar kan niet overschakelen naar I-private_email. De decoder mapt het resultaat terug naar exacte teken-spans voor redactie of lokale routering.
PII-Tracer loopt voorop op teken-F1 en terugkerende PII
We vergelijken de detectoren op zowel teken- als span-niveau. De teken-F1 evalueert de detectie teken voor teken. De span-overlap-F1 meet of de detector enig deel van een PII-item identificeert, terwijl de span-inkapseling-F1 meet of het het hele item vastlegt.
PII-Tracer behaalde de hoogste teken-F1 (0,629) van de 12 geëvalueerde systemen, en de een-na-hoogste span-overlap-F1 en span-inkapseling-F1. Geavanceerde modellen, te weten GPT-5.6-sol en Claude Sonnet 5, behaalden vergelijkbare algemene prestaties. GPT-5.6-sol behaalde hogere scores op beide F1-metrieken op span-niveau, maar een lagere teken-F1. Deze geavanceerde modellen hebben echter honderden miljarden of zelfs biljoenen parameters en zijn gesloten-bronmodellen die in de cloud worden gehost. Hierdoor zijn ze ongeschikt voor het beschermen van gevoelige lokale gegevens in hybride AI-omgevingen waar niet-gescreende tekst lokaal moet blijven. Daarentegen levert PII-Tracer detectie op span-niveau die dicht bij geavanceerde modellen ligt met slechts 0,6B parameters en kan niet-gescreende tekst volledig lokaal verwerken. Andere open-source PII-detectoren presteren aanzienlijk slechter dan PII-Tracer.
Elke terugkerende vermelding vinden
Het consistentie-experiment past een strengere test toe op dezelfde voorspellingen. De testset bevat 899 identificatoren die eenmaal verschijnen en 959 die vaker dan eens verschijnen; 790 van de terugkerende identificatoren bestrijken meerdere beurten. De figuur rapporteert vier vermeldingstelling-categorieën (één, twee, drie tot vijf, en zes tot tien) en telt een identificator alleen wanneer al zijn gelabelde tekens worden gevonden. Het zet PII-Tracer uit tegen drie geselecteerde baselines, terwijl de geaggregeerde tabel scores voor terugkerende en cross-turn identificatoren rapporteert voor alle twaalf systemen.
PII-Tracer blijft voorop lopen naarmate de herhaling toeneemt: de score gaat van 0,917 voor één vermelding naar 0,873 voor twee, 0,796 voor drie tot vijf, en 0,691 voor zes tot tien. In de laatste categorie bereikt GPT-5.6-sol 0,464, terwijl GLiNER2-PII en Claude Opus 4.8 respectievelijk 0,073 en 0,045 bereiken. Over de volledige evaluatie vindt PII-Tracer elke vermelding van 79,4% van de terugkerende identificatoren en 77,6% van de identificatoren die over beurten heen verschijnen; GPT-5.6-sol bereikt 57,0% en 55,1% op dezelfde twee maatstaven.
Lange gesprekken dekken
We groeperen eerst alle 1.922 testgesprekken op tekenlengte en decoderen PII-Tracer met het venster van 4.096 tokens. De groepen bevatten 167 gesprekken onder de 1.000 tekens, 1.292 van 1.000 tot 10.000, en 463 van 10.000 of langer.
De recall met één venster is 0,975 onder de 1.000 tekens en 0,955 van 1.000 tot 10.000, maar daalt tot 0,687 voor gesprekken van 10.000 tekens of meer. De precisie blijft rond de 0,51 in de twee langere groepen, wat aangeeft dat invoerdekking het belangrijkste probleem is.
Om het effect van invoerverwerking te bestuderen, evalueren we hetzelfde controlepunt met decoderen via een schuifvenster met 50% overlap. Dit verhoogt de algemene teken-recall van 0,830 tot 0,965 en de consistente detectie van meerdere vermeldingen van 0,794 tot 0,954, zonder hertraining.
Consistent in alle talen
PII-TRACE omvat 13 talen; het taalexperiment rapporteert een deelverzameling van zes talen die Latijnse, Cyrillische en Hangul-scripts beslaan: Engels, Duits, Frans, Italiaans, Russisch en Koreaans. We voeren dezelfde 12 detectoren uit op alle testgesprekken in elke taal. Binnen elke taal groeperen we voorspelde en gouden tekens en berekenen we de teken-F1.
PII-Tracer leidt de teken-F1 in vier van de zes talen: Duits (0,735), Frans (0,633), Italiaans (0,676) en Russisch (0,651), en zit binnen 0,016 en 0,036 van de beste resultaten in het Engels en Koreaans. In de bijbehorende analyse leidt dit tot consistente detectie in alle zes de taaldeelverzamelingen, met een score van 0,80–0,93. De weergave per taal toont winst die verder gaat dan het Engels.
Hogere teken-F1 dan het privacyfilter op vijf standaardbenchmarks
Het uiteindelijke experiment verplaatst zich buiten PII-TRACE. We voeren PII-Tracer en het OpenAI Privacy Filter uit op de validatiesplit van ai4privacy (47.728 documenten), de testsplit van Nemotron-PII (100.000), een vaste-seed SPY-set (8.688), de Gretel PII-testsplit (5.000) en de TAB ECHR-testsplit (127).
PII-Tracer heeft een hogere teken-F1 op elke dataset: 0,950 versus 0,907 op ai4privacy, 0,847 versus 0,709 op Nemotron-PII, 0,585 versus 0,543 op SPY, 0,952 versus 0,895 op Gretel PII, en 0,594 versus 0,350 op TAB. TAB is de enige benchmark in deze groep die is gebouwd op echte, door mensen gelabelde tekst. Daar bereikt PII-Tracer 0,986 versus 0,982 precisie en 0,425 versus 0,213 recall—dubbele recall bij in essentie dezelfde precisie (details in de paper). De hogere F1 draagt daarom over van PII-TRACE-gesprekken naar alle vijf conventionele benchmarks met enkelvoudige records in deze vergelijking.
Conclusie
Hybride AI integreert het apparaat van de gebruiker in de inferentiestack, wat zorgt voor sterkere privacy en lagere kosten. Geavanceerde modellen in de cloud kunnen onderzoek, redenering en planning aan, terwijl lokale modellen werken met bestanden en persoonlijke gegevens die op het apparaat moeten blijven. Deze verdeling hangt af van het herkennen van gevoelige informatie voordat gevoelige gegevens naar de cloud gaan.
PII-Tracer is een compact model voor het detecteren van PII in gesprekken met meerdere beurten, terwijl PII-TRACE evalueert of detectoren consistent terugkerende PII gedurende een gesprek kunnen identificeren.
Samen bieden PII-TRACE en PII-Tracer een benchmark en referentiemodel voor het bevorderen van PII-detectie in gesprekken met meerdere beurten en andere instellingen met een lange context.
Agents nemen langere taken op zich en werken met meer persoonlijke context. Hierdoor moeten privacycontroles standhouden over het hele gesprek, en niet alleen bij de initiële invoer. Hybride AI hangt af van betrouwbare lokale detectie om gevoelige context op het apparaat te houden.
Lees de arXiv-paper voor details over de PII-TRACE-benchmark, het PII-Tracer-model en onze evaluatie. We zijn van plan om zowel PII-TRACE als PII-Tracer binnenkort uit te brengen.