PII-TRACE: Detekcia osobných údajov predtým, ako opustia zariadenie

Hybridný výpočet v Macu rozdeľuje úlohy Perplexity Computer medzi špičkové modely v cloude a lokálny model v Macu. Cloudoví agenti zvládajú výskum, uvažovanie a plánovanie, zatiaľ čo lokálny model pracuje so súkromnými súbormi a citlivými informáciami.

Táto hranica závisí od detekcie osobných údajov (PII) predtým, ako opustia zariadenie. Lokálna brána ochrany osobných údajov ponecháva citlivý obsah v Macu, rediguje zistené súkromné informácie alebo vyžaduje schválenie pred ich odoslaním do cloudu.

Detekcia je v dlhých, viacjazyčných konverzáciách náročnejšia. Rovnaký identifikátor sa môže objaviť viackrát v rôznych výmenách. Jedna prehliadnutá zmienka môže odhaliť informáciu, ktorú má systém chrániť.

Úvod

Dnes predstavujeme PII-TRACE (Tracing Recurring PII Across Conversational Exchanges – sledovanie opakujúcich sa PII v konverzačných výmenách), nový porovnávací test na hodnotenie detektorov osobných údajov (PII) a PII-Tracer, kompaktný model s veľkosťou 0,6B na detekciu PII.

Agenti uprednostňujúci cloud nútia používateľov vyvažovať kontext, inteligenciu a súkromie. Viac osobného kontextu môže agentovi pomôcť porozumieť používateľovi a priniesť lepšie výsledky. Poskytnutie tohto kontextu však často znamená odoslanie súkromných informácií do vzdialenej služby a môže viesť k úniku osobných údajov. Informácie, vďaka ktorým je asistent užitočný, môžu byť presne tými, ktoré chce používateľ najviac udržiavať v súkromí.

Hybridná AI tento kompromis uľahčuje rozdelením práce medzi zariadenie používateľa a cloudové modely. Toto rozhranie však chráni súkromie iba vtedy, ak zariadenie dokáže rozpoznat PII predtým, ako sa text odošle do vzdialeného modelu. Používatelia by nemali musieť sami kontrolovať každú správu. Zariadenie potrebuje lokálny detektor PII ako bránu ochrany osobných údajov. V dlhých konverzáciách sa rovnaký identifikátor môže opakovať naprieč výmenami a jedna prehliadnutá zmienka stačí na to, aby osobné informácie prešli ďalej.

Spoločnosť Perplexity uviedla hybridný lokálno-serverový inferenčný orchester, ktorý rozhoduje o tom, aká práca sa má vykonávať v zariadení a aká sa má odoslať agentom v cloude. Model, prostredie agenta, konverzácie a priebehy spúšťania sídlia v zariadení používateľa. Úlohy, ktoré vyžadujú prístup k vonkajšiemu svetu, sa vyvolávajú iba v prípade potreby a podliehajú povoleniu používateľa. V dôsledku toho tento obsah zostáva v zariadení, kým ho používateľ neschváli.

PII-Tracer poskytuje jeden lokálny riadiaci signál na smerovanie modelov označením úsekov, u ktorých sa predpokladá prítomnosť PII. Aplikácia následne presadzuje pravidlá smerovania. Relevantný vstup udržiava lokálne, rediguje zistené úseky alebo vyžaduje výslovné schválenie pred eskaláciou do cloudového modelu. Vďaka tomu je smerovanie selektívnejšie. Zistené PII zostáva v zariadení, zatiaľ čo schválený kontext stále využíva výhody špičkových cloudových modelov.

Selektívne smerovanie závisí od konzistentnej detekcie v celej konverzácii. Rovnaký identifikátor sa môže opakovať naprieč výmenami a prehliadnutá zmienka môže byť stále prenesená.

Naprieč 12 detektormi zaznamenáva PII-Tracer najvyššiu hodnotu F1 na úrovni znakov a najvyššie konzistentné pokrytie opakujúcich sa identifikátorov. Porovnávací test vysvetľuje, prečo sú oba výsledky dôležité: v dlhej konverzácii sa nájdenie väčšiny PII nerovná nájdeniu každej jej kópie.

Detekcia PII čelí v hybridnej AI novým výzvam

Detekcia PII je dlhodobým problémom zabezpečenia a už existuje niekoľko porovnávacích testov a detektorov. Detekcia PII v prostrediach hybridnej AI však prináša nové výzvy. Detektory musia identifikovať PII najmä v dlhých konverzáciách s viacerými výmenami, kde konverzačný kontext určuje, či by sa reťazec mal považovať za PII. Napríklad meno môže v jednej konverzácii identifikovať používateľa, v inej odkazovať na verejne známu osobnosť alebo byť jednoducho zástupným symbolom vygenerovaným asistentom. Samotný povrchový tvar nestačí na určením toho, či by sa reťazec mal označiť ako PII.

Existujúce detektory a porovnávacie testy PII sa zameriavajú predovšetkým na jednotlivé záznamy. Zisťujeme, že detektory navrhnuté na spracovanie jedného záznamu naraz dosahujú v dlhých, komplexných konverzáciách slabé výsledky. Súčasné porovnávacie testy navyše vo všeobecnosti nevyhodnocujú konzistenciu naprieč výmenami. V dôsledku toho silný výkon v týchto testoch nutne neznamená efektivitu detekcie PII v dlhých konverzáciách s viacerými výmenami.

PII-TRACE: Porovnávací test pre detekciu PII kritickú pre nasadenie

Navrhli sme PII-TRACE okolo troch správaní, na ktorých záleží pri použití detektora PII v konverzáciách s asistentom. Prvým je konzistentné pokrytie: keď sa identifikátor objaví viackrát alebo prechádza medzi výmenami používateľa a asistenta, detektor musí nájsť každú zmienku. Druhým je odolnosť voči dlhému kontextu: konverzácie sa pohybujú od menej ako 1 000 do viac ako 100 000 znakov, čo umožňuje merať, čo sa deje s narastajúcou históriou. Tretím je práca s viacerými jazykmi a obsahom zmiešaného formátu: konverzácia môže striedať jazyky a kombinovať prózu s kódom, tabuľkami alebo štruktúrovanými záznamami. PII-TRACE zachováva tieto vzorce vyhodnocovaním každého úplného dialógu namiesto jeho rozdelenia na izolované záznamy.

Porovnávací test meria výkon na dvoch doplňujúcich sa úrovniach. Na úrovni identifikátorov vyžaduje konzistentná detekcia odpoveď na prísnejšiu otázku: pokryl detektor každý znak v každej zmienke rovnakého identifikátora? Toto skóre uvádzame osobitne pre identifikátory s viacerými zmienkami a pre identifikátory, ktoré sa opakujú naprieč výmenami. Na úrovni znakov presnosť meria, aká veľká časť textu označeného detektorom je označená ako PII, úspešnosť (recall) meria, koľko označených PII detektor nájde, and F1 vyvažuje oboje.

PII-TRACE obsahuje 13 148 syntetických konverzácií medzi používateľom a asistentom v 13 jazykoch a 10 písmami, pričom 37 431 zmienok identifikátorov je označených na úrovni znakov v rámci deviatich typov PII. Celkovo 41 % konverzácií obsahuje štruktúrovaný obsah. Medzi 5 645 konverzáciami s označenými PII zahŕňa 63,8 % identifikátor, ktorý sa objavuje viac ako raz, a 28,7 % zahŕňa identifikátor, ktorý sa objavuje vo viacerých výmenách.

Budovanie syntetickej množiny údajov z produkčných konverzácií

PII-TRACE zachováva štruktúru výmen zdrojových konverzácií bez zverejnenia originálov. Rúra prepisuje každú výmenu a nahrádza každý označený identifikátor syntetickou hodnotou.

Po prvé, viaceré jazykové modely označujú deväť typov PII v produkčných konverzáciách medzi používateľom a asistentom. Prechod založený na pravidlách zoskupuje opakované identifikátory rovnakého typu pod jedno ID entity. Každá označená hodnota sa potom nahradí typovým zástupným symbolom, čím vznikne šablóna, ktorá zachováva poradia výmen, typ PII a prepojenia medzi zmienkami, ale žiadnu z označených pôvodných hodnôt.

Systém parafrázuje každú výmenu, pričom tieto zástupné symboly ponecháva nedotknuté, a potom vkladá syntetické hodnoty zodpovedajúce typu a formátu identifikátora. Opakované zmienky dostávajú rovnakú hodnotu v rámci jednej konverzácie, zatiaľ čo rôzne konverzácie používajú nezávisle vygenerované hodnoty. Záverečný krok zarovnania prepočíta každý posun znakov.

Tri automatizované brány kontrolujú, či náhrady zodpovedajú uloženým úsekom, či opakované zmienky používajú rovnakú hodnotu a či označené zdrojové hodnoty chýbajú pri opätovnom skenovaní nástrojom Presidio a pomocou regulárnych výrazov. Uložený posun musí tiež obnoviť presný syntetický podreťazec. Zlyhané záznamy sa regenerujú alebo zahodia. Druhý jazykový model audituje vzorku a ľudia kontrolujú všetko, čo označí ako PII.

PII-Tracer: Kompaktný detektor na lokálne použitie

PII-Tracer je obojsmerný encoder s veľkosťou 0,6B prispôsobený zo základu Qwen3. Skríning ochrany osobných údajov sa líši od generovania textu a vyžaduje vyhľadanie relevantných úsekov PII a vrátenie ich hraníc. V dôsledku toho PII-Tracer nahrádza kauzálnu masku Qwen3 obojsmernou pozornosťou s ohľadom na zarovnávanie (padding), takže každý token môže čerpať z predchádzajúcich aj nasledujúcich výmen v rámci okna 4 096 tokenov.

Pre každý token produkuje encoder 1 024-dimenzionálnu reprezentáciu. Lineárna hlava na označovanie vytvára skóre pre 37 možných štítkov: jeden špeciálny štítok (ktorý označujeme pomocou O) pre text mimo úseku PII plus štyri štítky pozície úseku pre každý z deviatich typov PII. V schéme BIOES pre rozpoznávanie pomenovaných entít označujú B (začiatok), I (vnútri) a E (koniec) viacokenový úsek, zatiaľ čo S (samostatný) označuje jednotokenový úsek. Pomocná hlava tiež predikuje, či konverzácia obsahuje citlivý materiál, napríklad informácie o zdraví alebo náboženstve.

PII-Tracer trénujeme tri epochy na približne 714 000 trénovacích vzorkách, pričom kombinujeme viacjazyčné konverzácie asistenta s príkladmi s jedným záznamom. Zdieľaný obojsmerný encoder má dve trénovacie hlavy: 37-triednu tokenovú hlavu BIOES, ktorá detekuje a určuje typy úsekov PII, a binárnu hlavu na úrovni konverzácie, ktorá predikuje, či konverzácia obsahuje citlivý materiál. Obidve hlavy trénujeme spoločne pomocou $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Tu $\mathcal{L}_{\mathrm{tag}}$ dodáva vzácnym štítkom PII väčšiu váhu, takže častý štítok `O` nedominuje, zatiaľ čo $\mathcal{L}_{\mathrm{sens}}$ poskytuje trénovací signál na úrovni konverzácie; koeficienty 1,5 a 0.3 zachovávajú detekciu úsekov ako hlavnú úlohu. Tento pomocný signál posilňuje kontextovo senzitívnu detekciu: model sa učí posudzovať kandidátsky úsek v rámci konverzácii namiesto izolovaného reťazca, čím pomáha redukovať falošne pozitívne výsledky len s malým kompromisom v úspešnosti (recall).

V čase inferencie hľadá obmedzený Viterbiho dekodér platnú sekvenciu BIOES s najvyšším skóre namiesto nezávislého označovania každého tokenu. Napríklad B-private_person môže pokračovať I-private_person alebo sa uzatvoriť E-private_person, ale nemôže sa prepnúť na I-private_email. Dekodér mapuje výsledok späť na presné úseky znakov na účely redakcie alebo lokálneho smerovania.

PII-Tracer vedie v ukazovateli F1 na úrovni znakov a v opakujúcich sa PII

Detektory porovnávame na úrovni znakov aj úsekov (span). F1 na úrovni znakov vyhodnocuje detekciu znak po znaku. F1 s prekrývaním úsekov meria, či detektor identifikuje akúkoľvek časť položky PII, zatiaľ čo F1 s obsiahnutím úsekov meria, či zachytí celú položku.

PII-Tracer dosiahol najvyššiu hodnotu F1 na úrovni znakov (0,629) medzi 12 hodnotenými systémami a druhú najvyššiu hodnotu F1 s prekrývaním úsekov a F1 s obsiahnutím úsekov. Špičkové modely, konkrétne GPT-5.6-sol a Claude Sonnet 5, dosiahli porovnateľný celkový výkon. Model GPT-5.6-sol získal vyššie skóre v oboch metrikách F1 na úrovni úsekov, ale nižšiu hodnotu F1 na úrovni znakov. Tieto špičkové modely však majú stovky miliárd alebo dokonca bilióny parametrov a sú to modely s uzavretým zdrojovým kódom hostované v cloude. V dôsledku toho sú nevhodné na ochranu citlivých lokálnych údajov v prostrediach hybridnej AI, kde neskontrolovaný text musí zostať lokálny. Naproti tomu PII-Tracer poskytuje detekciu na úrovni úsekov blízku špičkovým modelom s iba 0,6B parametrami a dokáže spracovať neskontrolovaný text úplne lokálne. Ostatné open-source detektory PII fungujú podstatne horšie ako PII-Tracer.

Nájdenie každej opakovanej zmienky

Experiment s konzistenciou aplikuje na rovnaké predikcie prísnejší test. Testovacia množina obsahuje 899 identifikátorov, ktoré sa objavia raz, a 959, ktoré sa objavia viac ako raz; 790 opakujúcich sa identifikátorov zahŕňa viacero výmen. Graf uvádza štyri kategórie počtu zmienok (jedna, dve, tri až päť a šesť až desať) a identifikátor započítava iba vtedy, keď sa nájdu všetky jeho označené znaky. Zobrazuje PII-Tracer s tromi vybranými referenčnými modelmi, zatiaľ čo súhrnná tabuľka uvádza skóre opakujúcich sa identifikátorov a identifikátorov naprieč výmenami pre všetkých dvanásť systémov.

Nástroj PII-Tracer si udržiava náskok pri narastajúcej opakovateľnosti: jeho skóre sa posúva z 0,917 pre jednu zmienku na 0,873 pre dve, 0,796 pre tri až päť a 0,691 pre šesť až desať. V poslednej kategórii dosahuje GPT-5.6-sol hodnotu 0,464, zatiaľ čo GLiNER2-PII a Claude Opus 4.8 dosahujú 0,073 a 0,045. V celkovom vyhodnotení nachádza PII-Tracer každú zmienku 79,4 % opakujúcich sa identifikátorov a 77,6 % identifikátorov naprieč výmenami; GPT-5.6-sol dosahuje 57,0 % a 55,1 % v tých istých dvoch meraniach.

Pokrytie dlhých konverzácií

Najprv zoskupíme všetkých 1 922 testovacích konverzácií podľa dĺžky znakov a dekódujeme PII-Tracer s oknom 4 096 tokenov. Skupiny obsahujú 167 konverzácií pod 1 000 znakov, 1 292 konverzácií od 1 000 do 10 000 a 463 konverzácií s dĺžkou 10 000 alebo viac.

Úspešnosť (recall) v jednom okne je 0,975 pod 1 000 znakov a 0,955 od 1 000 do 10 000, ale klesá na 0,687 pri konverzáciách s dĺžkou 10 000 znakov alebo viac. Presnosť zostáva blízko 0,51 v dvoch dlhších skupinách, čo poukazuje na pokrytie vstupov ako na hlavný problém.

Aby sme študovali vplyv spracovania vstupov, hodnotíme rovnaký kontrolný bod (checkpoint) s dekódovaním pomocou posuvného okna s 50 % prekrývaním. To zvyšuje celkovú úspešnosť znakov z 0,830 na 0,965 a konzistentnú detekciu viacerých zmienok z 0,794 na 0,954 bez pretrénovania.

Konzistentné naprieč jazykmi

PII-TRACE pokrýva 13 jazykov; jazykový experiment uvádza šesťjazyčný výsek zahŕňajúci latinku, cyriliku a písmo hangul: angličtinu, nemčinu, francúzštinu, taliančinu, ruštinu a kórejčinu. Rovnakých 12 detektorov spúšťame vo všetkých testovacích konverzáciách v každom jazyku. V rámci každého jazyka zlúčime predikované a zlaté znaky a vypočítame F1 na úrovni znakov.

PII-Tracer vedie v ukazovateli F1 na úrovni znakov v štyroch zo šiestich jazykov: v nemčine (0,735), francúzštine (0,633), taliančine (0,676) a ruštine (0,651), pričom v angličtine a kórejčine zaostáva za najlepšími výsledkami o 0,016 a 0,036. V sprievodnej analýze vedie k konzistentnej detekcii vo všetkých šiestich jazykových podskupinách so skóre 0,80–0,93. Jazykový pohľad ukazuje prínosy presahujúce angličtinu.

Vyššia hodnota F1 na úrovni znakov ako filter ochrany osobných údajov v piatich štandardných porovnávacích testoch

Záverečný experiment sa presúva mimo PII-TRACE. Spúšťame PII-Tracer a filter ochrany osobných údajov OpenAI na validačnej množine ai4privacy (47 728 dokumentov), testovacej množine Nemotron-PII (100 000), pevnej vzore SPY (8 688), testovacej množine Gretel PII (5 000) a testovacej množine TAB ECHR (127).

PII-Tracer dosahuje vyššiu hodnotu F1 na úrovni znakov v každej množine údajov: 0,950 oproti 0,907 v ai4privacy, 0,847 oproti 0,709 v Nemotron-PII, 0,585 oproti 0,543 v SPY, 0,952 oproti 0,895 v Gretel PII a 0,594 oproti 0,350 v TAB. TAB je jediný porovnávací test v tejto skupine vytvorený zo skutočného textu označeného ľuďmi. V ňom PII-Tracer dosahuje presnosť 0,986 oproti 0,982 a úspešnosť (recall) 0,425 oproti 0,213 – dvojnásobnú úspešnosť pri v podstate rovnakej presnosti (podrobnosti sú uvedené v dokumente). Vyššia hodnota F1 sa preto prenáša z konverzácií PII-TRACE do všetkých piatich konvenčných porovnávacích testov s jedným záznamom v tomto porovnaní.

Záver

Hybridná AI integruje zariadenie používateľa do inferenčného zásobníka a ponúka silnejšie súkromie a nižšie náklady. Špičkové modely v cloude zvládnu výskum, uvažovanie a plánovanie, zatiaľ čo lokálne modely pracujú so súbormi a osobnými údajmi, ktoré by mali zostať v zariadení. Toto delenie závisí od rozpoznania citlivých informácií predtým, ako akékoľvek citlivé údaje odídu do cloudu.

PII-Tracer je kompaktný model na detekciu PII v konverzáciách s viacerými výmenami, zatiaľ čo PII-TRACE vyhodnocuje, či detektory dokážu konzistentne identifikovať opakujúce sa PII v celej konverzácii.

Spoločne poskytujú PII-TRACE a PII-Tracer porovnávací test a referenčný model na napredovanie detekcie PII v konverzáciách s viacerými výmenami a v iných prostrediach s dlhým kontextom.

Agenti preberajú dlhšie úlohy a pracujú s viacerými osobnými kontextmi. V dôsledku toho by sa kontroly súkromia mali udržiavať v celej konverzácii, nielen pri počiatočnom vstupe. Hybridná AI závisí od spoľahlivej lokálnej detekcie, aby sa citlivý kontext zachoval v zariadení.

Prečítajte si príspevok arXiv, kde nájdete podrobnosti o porovnávacom teste PII-TRACE, modele PII-Tracer a našom vyhodnotení. PII-TRACE aj PII-Tracer plánujeme čoskoro vydať.