PII-TRACE: personas datu noteikšana pirms tie pamet ierīci

Hibrīda skaitļošana Mac datorā sadala Perplexity Computer uzdevumus starp uzlabotajiem modeļiem mākonī un lokālu modeli Mac datorā. Mākoņa aģenti veic izpēti, argumentāciju un plānošanu, savukārt lokālais modelis strādā ar privātiem failiem un sensitīvu informāciju.

Šī robeža ir atkarīga no personu identificējamas informācijas (PII) noteikšanas pirms tā pamet ierīci. Lokālie privātuma vārti saglabā sensitīvu saturu Mac datorā, aizkrāso atklāto privāto informāciju vai pieprasa apstiprinājumu pirms tās nosūtīšanas uz mākoni.

Noteikšana kļūst sarežģītāka garās, daudzvalodu sarunās. Tas pats identifikators var parādīties vairākas reizes dažādās sarunas kārtās. Viena noklusēta pieminēšanas reize var atklāt informāciju, kuru sistēmai paredzēts aizsargāt.

Ievads

Šodien mēs ieviešam PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), jaunu etalonu personu identificējamas informācijas (PII) detektoru novērtēšanai, un PII-Tracer, kompaktu 0,6B modeli PII noteikšanai.

Uz mākoni vērsti aģenti spiež lietotājus līdzsvarot kontekstu, inteliģenci un privātumu. Plašāks personīgais konteksts var palīdzēt aģentam saprast lietotāju un sasniegt labākus rezultātus. Taču šāda konteksta nodrošināšana bieži nozīmē privātas informācijas nosūtīšanu uz attālinātu pakalpojumu un var izraisīt personas informācijas noplūdi. Informācija, kas padara asistentu noderīgu, var būt tieši tā, ko lietotājs visvairāk vēlas saglabāt privātu.

Hibrīda MI atvieglo šo kompromisu, sadalot darbu starp lietotāja ierīci un mākoņa modeļiem. Taču šī robeža aizsargā privātumu tikai tad, ja ierīce var atpazīt PII pirms teksta nosūtīšanas uz attālinātu modeli. Lietotājiem nevajadzētu pašiem pārbaudīt katru ziņojumu. Ierīcei ir nepieciešams lokāls PII detektors kā tās privātuma vārti. Garās sarunās tas pats identifikators var atkārtoties starp kārtām, un ar vienu noklusētu pieminēšanas reizi pietiek, lai personas informācija izkļūtu cauri.

Perplexity ieviesa hibrīdu lokālā servera secināšanas orķestrētāju, kas izlemj, kuram darbam jānotiek ierīcē un kurš darbs jāsūta aģentiem mākonī. Modelis, aģenta rīki, sarunas un izpildes trajektorijas atrodas lietotāja datorā. Uzdevumi, kam nepieciešama piekļuve ārējai pasaulei, tiek izsaukti tikai tad, ja tas ir nepieciešams, un tos ierobežo lietotāja atļauja. Rezultātā, kamēr lietotājs to neapstiprina, šis saturs paliek ierīcē.

PII-Tracer nodrošina vienu lokālās vadības signālu modelim maršrutēšanai, atzīmējot intervālus, kas, kā prognozēts, satur PII. Pēc tam lietojumprogramma īsteno maršrutēšanas politiku. Tā saglabā attiecīgo ievadi lokāli, aizkrāso atklātos intervālus vai pieprasa nepārprotamu apstiprināšanu pirms eskalēšanas uz mākoņa modeli. Tas padara maršrutēšanu selektīvāku. Atklātais PII paliek ierīcē, savukārt apstiprinātais konteksts joprojām gūst labumu no modernajiem mākoņa modeļiem.

Selektīvā maršrutēšana ir atkarīga no konsekventas noteikšanas visā sarunas gaitā. Tas pats identifikators var atkārtoties dažādās sarunas kārtās, un palaista garām pieminēšanas reize joprojām var tikt pārsūtīta.

Starp 12 detektoriem PII-Tracer reģistrē augstāko rakstzīmju F1 un augstāko konsekvento atkārtoto identifikatoru pārklājumu. Etalons paskaidro, kāpēc abi rezultāti ir svarīgi: garā sarunā lielākās daļas PII atrašana nav tas pats, kas katras tā kopijas atrašana.

PII noteikšana saskaras ar jauniem izaicinājumiem hibrīda MI vidē

PII noteikšana ir ilgstoša drošības problēma, un jau pastāv vairāki etaloni un detektori. Tomēr PII noteikšana hibrīda MI iestatījumos rada jaunus izaicinājumus. Jo īpaši detektoriem ir jāidentificē PII garās, daudzpakāpju sarunās, kur sarunas konteksts nosaka, vai virkne būtu jāuzskata par PII. Piemēram, vārds var identificēt lietotāju vienā sarunā, atsaukties uz publisku personu citā vai vienkārši būt asistenta ģenerēts vietturis. Ar virsmas formu vien nepietiek, lai noteiktu, vai virkne būtu jāatzīmē kā PII.

Esošie PII detektori un etaloni galvenokārt ir vērsti uz individuāliem ierakstiem. Mēs konstatējam, ka detektori, kas paredzēti viena ieraksta apstrādei vienlaikus, uzrāda vājus rezultātus garās, sarežģītās sarunās. Turklāt esošie etaloni parasti nevērtē konsekvenci starp sarunas kārtām. Rezultātā spēcīga veiktspēja šajos etalonos ne vienmēr nozīmē efektīvu PII noteikšanu garās, daudzpakāpju sarunās.

PII-TRACE: ieviešanai kritiski svarīgas PII noteikšanas etalons

Mēs izstrādājām PII-TRACE ap trīs uzvedībām, kurām ir nozīme, kad PII detektors tiek izmantots asistenta sarunās. Pirmā ir konsekvents pārklājums: kad identifikators parādās vairākas reizes vai šķērso lietotāja un asistenta kārtas, detektoram ir jāatrod katra pieminēšanas reize. Otrā ir noturība pret garu kontekstu: sarunu garums svārstās no mazāk nekā 1000 līdz vairāk nekā 100 000 rakstzīmju, ļaujot izmērīt, kas notiek, vēsturei augot. Trešā ir vairāku valodu un jauktā formāta satura apstrāde: saruna var mainīt valodas un apvienot prozu ar kodu, tabulām vai strukturētiem ierakstiem. PII-TRACE saglabā šos modeļus, novērtējot katru pilno dialogu, nevis sadalot to izolētos ierakstos.

Etalons mēra veiktspēju divos papildinošos līmeņos. Identifikatora līmenī konsekventa noteikšana uzdod stingrāku jautājumu: vai detektors aptvēra katru rakstzīmi katrā tā paša identifikatora pieminēšanas reizē? Mēs ziņojam par šo rādītāju atsevišķi identifikatoriem ar vairākām pieminēšanas reizēm un identifikatoriem, kas atkārtojas starp kārtām. Rakstzīmju līmenī precizitāte mēra, cik daudz detektora atzīmētā teksta ir marķēts kā PII, atsaukums mēra, cik daudz marķētā PII tas atrod, un F1 līdzsvaro abus.

PII-TRACE ietver 13 148 sintētiskas lietotāja un asistenta sarunas 13 valodās un 10 rakstības sistēmās, ar 37 431 identifikatora pieminējumu, kas marķēts rakstzīmju līmenī deviņos PII veidos. Kopumā 41% sarunu satur strukturētu saturu. Starp 5 645 sarunām ar marķētu PII 63,8% ietver identifikatoru, kas parādās vairāk nekā vienu reizi, un 28,7% ietver identifikatoru, kas parādās vairākās sarunas kārtās.

Sintētiskas datu kopas izveide no ražošanas sarunām

PII-TRACE saglabā avota sarunu kārtas struktūru, nepublicējot oriģinālus. Caurule pārraksta katru kārtu un aizstāj katru marķēto identifikatoru ar sintētisku vērtību.

Vispirms vairāki valodu modeļi atzīmē deviņus PII veidus ražošanas lietotāja un asistenta sarunās. Uz likumiem balstīta darbība sagrupē viena veida atkārtotus identifikatorus zem viena entitātes ID. Katra atzīmētā vērtība pēc tam tiek aizstāta ar tipizētu vietturi, atstājot sagatavi, kas saglabā kārtas secību, PII veidu un saites starp pieminēšanas reizēm, bet nevienu no atzīmētajām oriģinālajām vērtībām.

Sistēma pārfrāzē katru kārtu, saglabājot šos vietturus neskartus, un pēc tam ievieto sintētiskas vērtības, kas atbilst identifikatora veidam un formātam. Atkārtotas pieminēšanas reizes saņem to pašu vērtību vienas sarunas ietvaros, savukārt dažādās sarunās tiek izmantotas neatkarīgi ģenerētas vērtības. Galīgā līdzināšanas kārta pārrēķina katru rakstzīmes nobīdi.

Trīs automatizēti vārti pārbauda, vai aizstājumi atbilst saglabātajiem intervāliem, vai atkārtotajās pieminēšanas reizēs tiek izmantota tā pati vērtība un vai atzīmētās avota vērtības nav sastopamas saskaņā ar Presidio un regulāro izteiksmju atkārtotas skenēšanas rīku. Saglabātai nobīdei ir arī jāatjauno precīza sintētiskā apakšvirkne. Ieraksti, kas neiztur pārbaudi, tiek ģenerēti no jauna vai atmesti. Otrs valodas modelis veic parauga auditu, un cilvēki pārskata visu, ko tas atzīmē kā PII.

PII-Tracer: kompakts detektors lokālai lietošanai

PII-Tracer ir 0,6B divvirzienu kodētājs, kas pielāgots no Qwen3 bāzes. Privātuma pārbaude atšķiras no teksta ģenerēšanas un prasa atrast attiecīgos PII intervālus un atgriezt to robežas. Rezultātā PII-Tracer aizstāj Qwen3 cēloņsakarību masku ar polsterējumu apzinātu divvirzienu uzmanību, lai katrs žetons varētu izmantot gan agrākas, gan vēlākas kārtas 4096 žetonu logā.

Katram žetonam kodētājs ģenerē 1024 dimensiju attēlojumu. Lineāra marķēšanas galviņa ģenerē punktu skaitu 37 iespējamiem marķējumiem: vienu īpašu marķējumu (kura apzīmēšanai mēs izmantojam O) tekstam ārpus PII intervāla, kā arī četrus intervāla pozīcijas marķējumus katram no deviņiem PII veidiem. Nosauktu entitāšu atpazīšanas BIOES shēmā B (sākums), I (iekšpusē) un E (beigas) apzīmē vairāku žetonu intervālu, savukārt S (viens) apzīmē viena žetona intervālu. Papildu galviņa arī prognozē, vai saruna satur sensitīvu materiālu, piemēram, veselības vai reliģisko informāciju.

Mēs apmācām PII-Tracer trīs ēras aptuveni 714 000 mācību paraugu, apvienojot daudzvalodu asistenta sarunas ar viena ieraksta piemēriem. Kopīgajam divvirzienu kodētājam ir divas apmācības galviņas: 37 klašu BIOES žetonu galviņa, kas nosaka un klasificē PII intervālus, un bināra sarunu līmeņa galviņa, kas prognozē, vai saruna satur sensitīvu materiālu. Mēs apmācām abas galviņas kopīgi, izmantojot $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Šeit $\mathcal{L}_{\mathrm{tag}}$ piešķir retiem PII marķējumiem lielāku svaru, lai biežais `O` marķējums nedominētu, savukārt $\mathcal{L}_{\mathrm{sens}}$ nodrošina sarunu līmeņa mācību signālu; 1,5 un 0,3 koeficienti saglabā intervālu noteikšanu kā galveno uzdevumu. Šis papildu signāls pastiprina kontekstam apzinīgu noteikšanu: modelis iemācās novērtēt kandidāta intervālu sarunas ietvaros, nevis kā izolētu virkni, palīdzot samazināt viltus trauksmes ar nelielu kompromisu atsaukuma ziņā.

Secināšanas laikā ierobežots Viterbi dekoders meklē augstāko punktu skaitu ieguvušo derīgo BIOES secību, nevis marķē katru žetonu neatkarīgi. Piemēram, B-private_person var turpināties ar I-private_person vai noslēgties ar E-private_person, bet nepārslēgties uz I-private_email. Dekoders kartē rezultātu atpakaļ uz precīziem rakstzīmju intervāliem dzēšanai vai vietējai maršrutēšanai.

PII-Tracer ieņem vadošo pozīciju rakstzīmju F1 un atkārtota PII rādītājos

Mēs salīdzinām detektorus gan rakstzīmju, gan intervālu līmenī. Rakstzīmju F1 novērtē noteikšanu rakstzīmi pa rakstzīmei. Intervālu pārklāšanās F1 mēra, vai detektors identificē jebkuru PII vienuma daļu, savukārt intervālu ietveršanas F1 mēra, vai tas tver visu vienumu.

PII-Tracer sasniedza augstāko rakstzīmju F1 rādītāju (0,629) starp 12 novērtētajām sistēmām, kā arī otro augstāko intervāla pārklāšanās F1 un intervāla ietveršanas F1 rādītāju. Uzlabotie modeļi, proti, GPT-5.6-sol un Claude Sonnet 5, sasniedza salīdzināmu kopējo veiktspēju. GPT-5.6-sol ieguva augstākus rādītājus abos intervāla līmeņa F1 metrikās, bet zemāku rakstzīmju F1. Tomēr šiem uzlabotajiem modeļiem ir simtiem miljardu vai pat triljoni parametru, un tie ir slēgtā koda modeļi, kas mitināti mākonī. Rezultātā tie nav piemēroti sensitīvu lokālo datu aizsardzībai hibrīda MI iestatījumos, kur nefiltrētam tekstam ir jāpaliek lokāli. Turpretī PII-Tracer nodrošina gandrīz uzlabotā līmeņa intervālu noteikšanu ar tikai 0,6B parametriem un var apstrādāt nefiltrētu tekstu pilnībā lokāli. Citi atklātā koda PII detektori uzrāda ievērojami sliktākus rezultātus nekā PII-Tracer.

Katra atkārtotā pieminējuma atrašana

Konsekvences eksperimentā uz tām pašām prognozēm attiecas stingrāks pārbaudījums. Testēšanas kopa satur 899 identifikatorus, kas parādās vienu reizi, un 959, kas parādās vairāk nekā vienu reizi; 790 no atkārtotajiem identifikatoriem aptver vairākas kārtas. Diagrammā ziņots par četrām pieminēšanas reižu grupām (viena, divas, trīs līdz piecas un sešas līdz desmit), un identifikators tiek skaitīts tikai tad, ja ir atrastas visas tā marķētās rakstzīmes. Tajā attēlots PII-Tracer ar trim atlasītajām bāzes līnijām, savukārt kopējā tabulā sniegti atkārtotu un starpmainīgu gadījumu rezultāti visām divpadsmit sistēmām.

PII-Tracer saglabā pārsvaru, pieaugot atkārtojumiem: tā rādītājs mainās no 0,917 vienai pieminēšanas reizei līdz 0,873 divām, 0,796 no trim līdz piecām un 0,691 no sešām līdz desmit. Pēdējā grupā GPT-5.6-sol sasniedz 0,464, savukārt GLiNER2-PII un Claude Opus 4.8 sasniedz attiecīgi 0,073 un 0,045. Visā novērtējumā PII-Tracer atrod katru pieminēšanas reizi 79,4% atkārtotu identifikatoru un 77,6% starpmainīgu identifikatoru; GPT-5.6-sol sasniedz 57,0% un 55,1% šajos pašos divos rādītājos.

Garu sarunu aptveršana

Mēs vispirms sagrupējam visas 1 922 testa sarunas pēc rakstzīmju garuma un dekodējam PII-Tracer ar 4096 žetonu logu. Grupās ir 167 sarunas, kuru apjoms nesasniedz 1000 rakstzīmju, 1292 sarunas no 1000 līdz 10 000 un 463 sarunas ar 10 000 vai vairāk rakstzīmēm.

Viena loga atsaukums ir 0,975 zem 1000 rakstzīmēm un 0,955 no 1000 līdz 10 000, bet sarunām, kuru garums sasniedz vai pārsniedz 10 000 rakstzīmju, tas nokrītas līdz 0,687. Precizitāte abās garākajās grupās saglabājas tuvu 0,51, norādot uz ievades pārklājumu kā galveno problēmu.

Lai izpētītu ievades apstrādes ietekmi, mēs novērtējam to pašu kontrolpunktu ar 50% pārklāšanās slīdošā loga dekodēšanu. Tas paaugstina kopējo rakstzīmju atsaukumu no 0,830 līdz 0,965 un vairāku pieminēšanas reižu konsekventu noteikšanu no 0,794 līdz 0,954 bez atkārtotas apmācības.

Konsekvents visās valodās

PII-TRACE aptver 13 valodas; valodas eksperimentā tiek ziņots par sešu valodu daļu, kas aptver latīņu, kirilicas un hangila rakstību: angļu, vācu, franču, itāļu, krievu un korejiešu. Mēs palaižam tos pašus 12 detektorus visās testa sarunās katrā valodā. Katrā valodā mēs apvienojam prognozētās un zelta standarta rakstzīmes un aprēķinām rakstzīmju F1.

PII-Tracer ieņem pirmo vietu rakstzīmju F1 rādītājā četrās no sešām valodām: vācu (0,735), franču (0,633), itāļu (0,676) un krievu (0,651), un ir 0,016 un 0,036 robežās no labākajiem rezultātiem angļu un korejiešu valodā. Papildu analīzē tas nodrošina konsekventu noteikšanu visās sešās valodu apakškopās, sasniedzot 0,80–0,93 punktus. Skats pa valodām uzrāda ieguvumus, kas sniedzas tālāk par angļu valodu.

Augstāks rakstzīmju F1 nekā privātuma filtram piecos standarta etalonos

Galīgais eksperiments norisinās ārpus PII-TRACE. Mēs palaižam PII-Tracer un OpenAI Privacy Filter ai4privacy validācijas izgriezumā (47 728 dokumenti), Nemotron-PII testa izgriezumā (100 000), fiksētas sēklas SPY kopā (8 688), Gretel PII testa izgriezumā (5 000) un TAB ECHR testa izgriezumā (127).

PII-Tracer ir augstāks rakstzīmju F1 rādītājs katrā datu kopā: 0,950 pret 0,907 ai4privacy, 0,847 pret 0,709 Nemotron-PII, 0,585 pret 0,543 SPY, 0,952 pret 0,895 Gretel PII un 0,594 pret 0,350 TAB. TAB ir vienīgais etalons šajā grupā, kas izveidots no reāla, cilvēka marķēta teksta. Tajā PII-Tracer sasniedz 0,986 pret 0,982 precizitāti un 0,425 pret 0,213 atsaukumu — divreiz lielāks atsaukums pie būtībā tādas pašas precizitātes (sīkāka informācija sniegta rakstā). Tāpēc augstākais F1 rādītājs pāriet no PII-TRACE sarunām uz visām piecām parastajām viena ieraksta etalonkopām šajā salīdzinājumā.

Secinājums

Hibrīda mākslīgais intelekts integrē lietotāja ierīci secināšanas steks, piedāvājot spēcīgāku privātumu un zemākas izmaksas. Uzlabotie modeļi mākonī var veikt izpēti, argumentāciju un plānošanu, savukārt vietējie modeļi strādā ar failiem un personas datiem, kuriem vajadzētu palikt ierīcē. Šis sadalījums ir atkarīgs no sensitīvas informācijas atpazīšanas pirms jebkādi sensitīvi dati nonāk mākonī.

PII-Tracer ir kompakts modelis PII noteikšanai daudzpakāpju sarunās, savukārt PII-TRACE novērtē, vai detektori spēj konsekventi identificēt atkārtotu PII visā sarunas gaitā.

Kopā PII-TRACE un PII-Tracer nodrošina etalonu un references modeli PII noteikšanas uzlabošanai daudzpakāpju sarunās un citos garā konteksta apstākļos.

Aģenti uzņemas garākus uzdevumus un strādā ar plašāku personīgo kontekstu. Rezultātā privātuma kontrolei ir jādarbojas visā sarunas gaitā, nevis tikai sākotnējā ievadē. Hibrīda MI ir atkarīgs no uzticamas lokālās noteikšanas, lai saglabātu sensitīvu kontekstu ierīcē.

Izlasiet arXiv rakstu, lai uzzinātu sīkāku informāciju par PII-TRACE etalonu, PII-Tracer modeli un mūsu veikto novērtējumu. Mēs plānojam drīzumā izlaist gan PII-TRACE, gan PII-Tracer.