PII-TRACE: Detekce osobních údajů předtím, než opustí zařízení

Hybridní výpočetní výkon na Macu rozděluje úlohy Perplexity Computer mezi špičkové modely v cloudu a lokální model v Macu. Cloudoví agenti obstarávají výzkum, uvažování a plánování, zatímco lokální model pracuje se soukromými soubory a citlivými informacemi.

Tato hranice závisí na detekci osobních údajů (PII) předtím, než opustí zařízení. Lokální brána soukromí uchovává citlivý obsah v Macu, rediguje detekované soukromé informace nebo před odesláním do cloudu vyžaduje schválení.

Detekce je v dlouhých, vícejazyčných konverzacích obtížnější. Stejný identifikátor se může objevit několikrát v průběhu různých výměn. Jedna zmeškaná zmínka může odhalit informace, které má systém chránit.

Úvod

Dnes představujeme PII-TRACE (Tracing Recurring PII Across Conversational Exchanges – sledování opakujících se PII napříč konverzačními výměnami), nový srovnávací test pro vyhodnocování detektorů osobních údajů (PII), a PII-Tracer, kompaktní model s 0,6 miliardy parametrů pro detekci PII.

Agenti upřednostňující cloud nutí uživatele vyvažovat kontext, inteligenci a soukromí. Více osobního kontextu může agentovi pomoci porozumět uživateli a přinést lepší výsledky. Poskytnutí tohoto kontextu však často znamená odeslání soukromých informací vzdálené službě a může dojít k úniku osobních údajů. Informace, díky nimž je asistent užitečný, mohou být přesně tím, co chce uživatel udržet v soukromí.

Hybridní AI tento kompromis zmírňuje rozdělením práce mezi zařízení uživatele a cloudové modely. Tato hranice však chrání soukromí pouze tehdy, když zařízení dokáže rozpoznat PII předtím, než je text odeslán do vzdáleného modelu. Uživatelé by neměli muset kontrolovat každou zprávu sami. Zařízení potřebuje lokální detektor PII jako svou bránu soukromí. V dlouhých konverzacích se stejný identifikátor může opakovat napříč výměnami a jedna zmeškaná zmínka stačí k tomu, aby osobní údaje prošly.

Perplexity představila hybridní orchestrátor inferencí pro lokální servery a servery v cloudu, který rozhoduje, jaká práce poběží na zařízení a jaká bude odeslána agentům v cloudu. Model, sada nástrojů pro agenty, konverzace a trajektorie spouštění – to vše sídlí na uživatelském stroji. Úkoly vyžadující přístup do vnějšího světa jsou vyvolány pouze v případě potřeby a jsou podřízeny uživatelskému oprávnění. V důsledku toho, dokud to uživatel neschválí, zůstává tento obsah v zařízení.

PII-Tracer poskytuje jeden lokální řídicí signál pro směrování modelů tím, že označuje rozsahy, u nichž se předpokládá obsah PII. Aplikace poté vynucuje zásady směrování. Ponechává relevantní vstup lokálně, rediguje detekované rozsahy nebo před eskalací do cloudového modelu vyžaduje výslovné schválení. Díky tomu je směrování selektivnější. Detekované PII zůstává v zařízení, zatímco schválený kontext nadále využívá špičkové cloudové modely.

Selektivní směrování závisí na konzistentní detekci v rámci celé konverzace. Stejný identifikátor se může opakovat napříč výměnami a zmeškaná zmínka může být stále přenesena.

Napříč 12 detektory zaznamenává PII-Tracer nejvyšší F1 pro znaky a nejvyšší konzistentní pokrytí opakujících se identifikátorů. Srovnávací test vysvětluje, proč na obou výsledcích záleží: v dlouhé konverzaci není nalezení většiny PII totéž co nalezení každé její kopie.

Detekce PII čelí v hybridní AI novým výzvám

Detekce PII je dlouhodobým bezpečnostním problémem a již existuje několik srovnávacích testů a detektorů. Detekce PII v prostředích hybridní AI však přináší nové výzvy. Detektory musí zejména identifikovat PII v dlouhých konverzacích o více výměnách, kde konverzační kontext určuje, zda by řetězec měl být považován za PII. Například jméno může v jedné konverzaci identifikovat uživatele, v jiné odkazovat na veřejně známu osobu nebo být jednoduše zástupným symbolem vygenerovaným asistentem. Samotná povrchová forma nestačí k určení, zda by řetězec měl být označen jako PII.

Stávající detektory a srovnávací testy PII cílí primárně na jednotlivé záznamy. Zjišťujeme, že detektory navržené pro zpracování jednoho záznamu v daném okamžiku si v dlouhých a složitých konverzacích vedou špatně. Stávající srovnávací testy také obecně nevyhodnocují konzistenci napříč výměnami. V důsledku toho silný výkon v těchto srovnávacích testech nutně neznamená efektivní detekci PII v dlouhých konverzacích o více výměnách.

PII-TRACE: Srovnávací test pro detekci PII kritickou pro nasazení

Navrhli jsme PII-TRACE s ohledem na tři chování, která jsou důležitá, když se detektor PII používá na konverzace s asistentem. Prvním je konzistentní pokrytí: když se identifikátor objeví několikrát nebo překračuje výměny uživatele a asistenta, detektor musí najít každou zmínku. Druhým je robustnost vůči dlouhému kontextu: konverzace sahají od méně než 1 000 do více než 100 000 znaků, což umožňuje změřit, co se stane s narůstající historií. Třetím je zpracování více jazyků a obsahu smíšeného formátu: konverzace může přepínat jazyky a kombinuje prózu s kódem, tabulkami nebo strukturovanými záznamy. PII-TRACE zachovává tyto vzorce tím, že vyhodnocuje každý úplný dialog namísto jeho rozdělení na izolované záznamy.

Srovnávací test měří výkon na dvou vzájemně se doplňujících úrovních. Na úrovni identifikátorů klade konzistentní detekce přísnější otázku: pokryl detektor každý znak v každé zmínce stejného identifikátoru? Toto skóre uvádíme zvlášť pro identifikátory s více zmínkami a pro identifikátory, které se opakují napříč výměnami. Na úrovni znaků měří přesnost, jaká část textu označeného detektorem je označena jako PII, úplnost měří, kolik označeného PII detektor nalezne, a F1 tyto dvě hodnoty vyvažuje.

PII-TRACE obsahuje 13 148 syntetických konverzací uživatele s asistentem napříč 13 jazyky a 10 systémy písma, přičemž 37 431 zmínek identifikátorů je označeno na úrovni znaků v devíti typech PII. Celkem 41 % konverzací obsahuje strukturovaný obsah. Mezi 5 645 konverzacemi s označeným PII obsahuje 63,8 % identifikátor, který se objevuje více než jednou, a 28,7 % obsahuje identifikátor, který se objevuje vícero výměnách.

Vytvoření syntetické datové sady z produkčních konverzací

PII-TRACE zachovává strukturu výměn zdrojových konverzací bez publikování originálů. Kanál přepisuje každou výměnu a nahrazuje každý označený identifikátor syntetickou hodnotou.

Nejprve několik jazykových modelů označuje devět typů PII v produkčních konverzacích uživatele s asistentem. Pravidlový průchod seskupuje opakované identifikátory stejného typu pod jedno ID entity. Každá označená hodnota je poté nahrazena typovým zástupným symbolem, čímž vznikne šablona, která zachovává pořadí výměn, typ PII a vazby mezi zmínkami, ale žádnou z označených původních hodnot.

Systém parafrázuje každou výměnu, přičemž tyto zástupné symboly zachovává netknuté, a poté vkládá syntetické hodnoty odpovídající typu a formátu identifikátoru. Opakované zmínky obdrží v rámci konverzace stejnou hodnotu, zatímco různé konverzace používají nezávisle generované hodnoty. Finální zarovnávací průchod přepočítává každý posun znaků.

Tři automatizované brány kontrolují, že náhrady odpovídají uloženým rozsahům, opakované zmínky používají stejnou hodnotu a označené zdrojové hodnoty chybí při nové kontrole pomocí Presidia a regulárních výrazů. Uložený posun musí rovněž umožnit obnovení přesného syntetického podřetězce. Záznamy, které neuspějí, jsou regenerovány nebo zahozeny. Vzorek audituje druhý jazykový model a lidé provádějí revizi čehokoli, co tento model označí jako PII.

PII-Tracer: Kompaktní detektor pro lokální použití

PII-Tracer je obousměrný encoder s 0,6 miliardy parametrů přizpůsobený z páteřního modelu Qwen3. Screening soukromí se liší od generování textu a vyžaduje nalezení relevantních rozsahů PII a vrácení jejich hranic. V důsledku toho PII-Tracer nahrazuje kauzální masku Qwen3 obousměrnou pozorností zohledňující výplně, takže každý token může čerpat z dřívějších i pozdějších výměn v okno o velikosti 4 096 tokenů.

Pro každý token vytváří encoder reprezentaci o 1 024 dimenzích. Lineární tagovací hlava vytváří skóre pro 37 možných štítků: jeden speciální štítek (k jehož označení používáme O) pro text mimo rozsah PII a čtyři štítky pozice v rozsahu pro každý z devíti typů PII. Ve schématu BIOES pro rozpoznávání pojmenovaných entit označují B (začátek), I (uvnitř) a E (konec) vícetokenový rozsah, zatímco S (jeden) označuje jednotokenový rozsah. Pomocná hlava rovněž předpovídá, zda konverzace obsahuje citlivý materiál, jako jsou informace o zdraví nebo náboženství.

Trénujeme PII-Tracer po dobu tří epoch na přibližně 714 000 tréninkových vzorcích, čímž kombinujeme vícejazyčné konverzace s asistentem a příklady s jedním záznamem. Sdílený obousměrný encoder má dvě tréninkové hlavy: 37třídní tokenovou hlavu BIOES, která detekuje a určuje typy rozsahů PII, a binární hlavu na úrovni konverzace, která předpovídá, zda konverzace obsahuje citlivý materiál. Obě hlavy trénujeme společně pomocí $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Zde $\mathcal{L}_{\mathrm{tag}}$ dává vzácným štítkům PII větší váhu, takže častý štítek `O` nedominuje, zatímco $\mathcal{L}_{\mathrm{sens}}$ dodává tréninkový signál na úrovni konverzace; koeficienty 1,5 a 0,3 udržují detekci rozsahů jako hlavní úkol. Tento pomocný signál posiluje detekci zohledňující kontext: model se učí posuzovat kandidátský rozsah v rámci konverzace, nikoli jako izlovaný řetězec, což pomáhá snižovat falešně pozitivní výsledky pouze s malým kompromisem v úplnosti.

V čase inferencí vyhledává omezený Viterbiho dekodér platnou BIOES sekvenci s nejvyšším skóre namísto nezávislého označování každého tokenu. Například B-private_person může pokračovat pomocí I-private_person nebo skončit pomocí E-private_person, ale nemůže se přepnout na I-private_email. Dekodér mapuje výsledek zpět na přesné rozsahy znaků pro redakci nebo lokální směrování.

PII-Tracer vede v F1 pro znaky a opakujících se PII

Detektory porovnáváme na úrovni znaků i rozsahů. F1 pro znaky vyhodnocuje detekci znak po znaku. F1 překryvu rozsahů měří, zda detektor identifikuje libovolnou část položky PII, zatímco F1 obsažení rozsahů měří, zda zachytí celou položku.

PII-Tracer dosáhl nejvyššího F1 pro znaky (0,629) mezi 12 hodnocenými systémy a druhého nejvyššího F1 překryvu rozsahů a F1 obsažení rozsahů. Špičkové modely, konkrétně GPT-5.6-sol a Claude Sonnet 5, dosáhly srovnatelného celkového výkonu. GPT-5.6-sol získal vyšší skóre v obou metrikách F1 na úrovni rozsahů, ale nižší F1 pro znaky. Tyto špičkové modely však mají stovky miliard nebo dokonce biliony parametrů a jedná se o modely s uzavřeným zdrojovým kódem hostované v cloudu. V důsledku toho jsou nevhodné pro ochranu citlivých lokálních dat v prostředích hybridní AI, kde nekontrolovaný text musí zůstat lokální. Naproti tomu PII-Tracer poskytuje detekci na úrovni rozsahů blížící se špičkovým modelům s pouhými 0,6 miliardy parametrů a dokáže zpracovávat nekontrolovaný text zcela lokálně. Ostatní open-source detektory PII fungují podstatně hůře než PII-Tracer.

Nalezení každé opakující se zmínky

Experiment s konzistencí aplikuje na stejné predikce přísnější test. Testovací sada obsahuje 899 identifikátorů, které se objevují jednou, a 959, které se objevují více než jednou; 790 opakujících se identifikátorů zasahuje do více výměn. Obrázek uvádí čtyři kategorie podle počtu zmínek (jedna, dvě, tři až pět a šest až deset) a započítává identifikátor pouze tehdy, když jsou nalezeny všechny jeho označené znaky. Vykresluje PII-Tracer se třemi vybranými referenčními hodnotami, zatímco souhrnná tabulka uvádí skóre pro opakující se identifikátory a identifikátory napříč výměnami pro všech dvanáct systémů.

PII-Tracer si drží náskok s rostoucím počtem opakování: jeho skóre se posouvá z 0,917 pro jednu zmínku na 0,873 pro dvě, 0,796 pro tři až pět a 0,691 pro šest až deset. V poslední kategorii dosahuje GPT-5.6-sol 0,464, zatímco GLiNER2-PII a Claude Opus 4.8 dosahují 0,073 a 0,045. V rámci celkového vyhodnocení nalézá PII-Tracer každou zmínku u 79,4 % opakujících se identifikátorů a 77,6 % identifikátorů napříč výměnami; GPT-5.6-sol dosahuje 57,0 % a 55,1 % u těchto dvou měření.

Pokrytí dlouhých konverzací

Nejprve seskupíme všech 1 922 testovacích konverzací podle délky v znacích a dekódujeme PII-Tracer s oknem o velikosti 4 096 tokenů. Skupiny obsahují 167 konverzací pod 1 000 znaků, 1 292 konverzací od 1 000 do 10 000 a 463 konverzací s délkou 10 000 nebo více.

Úplnost pro jedno okno je 0,975 pod 1 000 znaků a 0,955 od 1 000 do 10 000, ale klesá na 0,687 u konverzací s délkou 10 000 znaků a více. Přesnost zůstává blízko 0,51 ve dvou delších skupinách, což poukazuje na pokrytí vstupu jako hlavní problém.

Abychom prozkoumali vliv zpracování vstupů, vyhodnocujeme stejný kontrolní bod s dekódováním posuvného okna s 50% překryvem. To zvyšuje celkovou úplnost znaků z 0,830 na 0,965 a konzistentní detekci s více zmínkami z 0,794 na 0,954 bez nutnosti přetrénování.

Konzistentní napříč jazyky

PII-TRACE pokrývá 13 jazyků; jazykový experiment uvádí šestijazyčný výsek zahrnující latinku, cyrilici a hangul: angličtinu, němčinu, francouzštinu, italštinu, ruštinu a korejštinu. Spouštíme stejných 12 detektorů na všech testovacích konverzacích v každém jazyce. V rámci každého jazyka seskupíme predikované a zlaté znaky a spočítáme F1 pro znaky.

PII-Tracer vede v metrice F1 pro znaky ve čtyřech ze šesti jazyků – v němčině (0,735), francouzštině (0,633), italštině (0,676) a ruštině (0,651) – a v angličtině a korejštině se nachází do 0,016 a 0,036 od nejlepších výsledků. V doprovodné analýze vede ke konzistentní detekci ve všech šesti jazykových podskupinách se skóre 0,80–0,93. Zobrazení po jednotlivých jazycích ukazuje zisky nad rámec angličtiny.

Vyšší F1 pro znaky než filtr soukromí na pěti standardních srovnávacích testech

Závěrečný experiment se přesouvá mimo PII-TRACE. Spouštíme PII-Tracer a filtr soukromí OpenAI na validační rozdělení ai4privacy (47 728 dokumentů), testovací rozdělení Nemotron-PII (100 000), fixní sadu seed SPY (8 688), testovací rozdělení Gretel PII (5 000) a testovací rozdělení TAB ECHR (127).

PII-Tracer má vyšší F1 pro znaky u každé datové sady: 0,950 oproti 0,907 na ai4privacy, 0,847 oproti 0,709 na Nemotron-PII, 0,585 oproti 0,543 na SPY, 0,952 oproti 0,895 na Gretel PII a 0,594 oproti 0,350 na TAB. TAB je jediný srovnávací test v této skupině vytvořený z reálného textu označeného lidmi. Tam PII-Tracer dosahuje přesnosti 0,986 oproti 0,982 a úplnosti 0,425 oproti 0,213 – dvojnásobné úplnosti při v podstatě stejné přesnosti (podrobnosti jsou uvedeny v článku). Vyšší F1 se tak přenáší z konverzací PII-TRACE na všech pět konvenčních srovnávacích testů s jedním záznamem v tomto srovnání.

Závěr

Hybridní AI integruje zařízení uživatele do zásobníku inferencí a nabízí silnější soukromí a nižší náklady. Špičkové modely v cloudu mohou zvládat výzkum, uvažování a plánování, zatímco lokální modely pracují se soubory a osobními daty, která by měla zůstat v zařízení. Toto rozdělení závisí na rozpoznání citlivých informací předtím, než jakákoli citlivá data odejdou do cloudu.

PII-Tracer je kompaktní model pro detekci PII v konverzacích o více výměnách, zatímco PII-TRACE vyhodnocuje, zda detektory dokážou konzistentně identifikovat opakující se PII v průběhu celé konverzace.

Společně poskytují PII-TRACE a PII-Tracer srovnávací test a referenční model pro posun detekce PII v konverzacích o více výměnách a v dalších prostředích s dlouhým kontextem.

Agenti přebírají delší úkoly a pracují s větším osobním kontextem. V důsledku toho by ovládací prvky soukromí měly platit v průběhu celé konverzace, nejen u počátečního vstupu. Hybridní AI závisí na spolehlivé lokální detekci, která udržuje citlivý kontext v zařízení.

Přečtěte si článek na arXiv, kde najdete podrobnosti o srovnávacím testu PII-TRACE, modelu PII-Tracer a našem hodnocení. PII-TRACE i PII-Tracer plánujeme brzy vydat.