PII-TRACE: Személyes adatok detektálása mielőtt elhagynák az eszközt

A Macen végzett hibrid számítás megosztja a Perplexity Computer feladatait a felhőben lévő csúcsmodellek és a Macen lévő helyi modell között. A felhőalapú ügynökök kezelik a kutatást, a következtetést és a tervezést, míg a helyi modell a magánjellegű fájlokkal és az érzékeny információkkal dolgozik.

Ez a határ attól függ, hogy a személyazonosításra alkalmas adatokat (PII) még azelőtt detektáljuk, hogy azok elhagynák az eszközt. A helyi adatvédelmi kapu a Macen tartja az érzékeny tartalmat, kitakarja a detektált magánjellegű információkat, vagy jóváhagyást kér, mielőtt elküldené a felhőbe.

A detektálás nehezebbé válik a hosszú, többnyelvű beszélgetésekben. Ugyanaz az azonosító többször is megjelenhet különböző hozzászólásokban. Egyetlen kihagyott említés is felfedheti azt az információt, amelyet a rendszer hivatott védeni.

Bevezetés

Ma bemutatjuk a PII-TRACE-et (Tracing Recurring PII Across Conversational Exchanges – Ismétlődő PII nyomon követése beszélgetési váltásokon át), egy új referenciát a személyazonosításra alkalmas adatok (PII) detektorainak kiértékelésére, valamint a PII-Tracert, egy kompakt, 0,6B méretű modellt a PII detektálásához.

A felhőalapú ügynökök arra kényszerítik a felhasználókat, hogy egyensúlyt teremtsenek a kontextus, az intelligencia és a magánélet védelme között. Több személyes kontextus segíthet az ügynöknek megérteni a felhasználót és jobb eredményeket produkálni. Ennek a kontextusnak a biztosítása azonban gyakran magánjellegű információk távoli szolgáltatásba történő elküldését jelenti, és személyes adatok kiszivárgásához vezethet. Az az információ, amely egy assziszstent hasznossá tesz, pontosan az lehet, amit a felhasználó a legjobban szeretne magánhasználatban tartani.

A hibrid mesterséges intelligencia megkönnyíti ezt a kompromisszumot azáltal, hogy megosztja a munkát a felhasználó eszköze és a felhőmodellek között. De ez a határ csak akkor védi a magánéletet, ha az eszköz képes felismerni a PII-t, mielőtt a szöveget elküldönék egy távoli modellnek. A felhasználóknak nem kellene minden egyes üzenetet saját maguknak átvizsgálniuk. Az eszköznek helyi PII-detektorra van szüksége adatvédelmi kapuként. A hosszú beszélgetések során ugyanaz az azonosító ismétlődhet a fordulók során, és egyetlen kihagyott említés is elegendő ahhoz, hogy a személyes adatok átszivárogjanak.

A Perplexity egy hibrid helyi-kiszolgálói következtetési orkesztrátort vezetett be, amely eldönti, hogy a munka mely része fusson az eszközön, és melyik kerüljön a felhőben lévő ügynökökhöz. A modell, az ügynökkeret, a beszélgetések és a végrehajtási útvonalak mind a felhasználó gépén találhatók. A külső világ elérését igénylő feladatok csak szükség esetén kerülnek meghívásra, és a felhasználó engedélyéhez vannak kötve. Ennek eredményeként az adott tartalom az eszközön marad, amíg a felhasználó azt jóvá nem hagyja.

A PII-Tracer egy helyi vezérlőjelet biztosít a modell útvonalválasztásához azáltal, hogy megjelöli a PII-t tartalmazónak becsült intervallumokat. Az alkalmazás ezután érvényesíti az útvonalválasztási házirendet. Helyben tartja a releváns bemenetet, kitakarja a detektált intervallumokat, vagy kifejezett jóváhagyást kér, mielőtt a felhőmodellhez eszkalálna. Ez szelektívebbé teszi az útvonalválasztást. A detektált PII az eszközön marad, míg a jóváhagyott kontextus továbbra is élvezi a határok nélküli felhőmodellek előnyeit.

A szelektív útvonalválasztás a teljes beszélgetésen átívelő konzisztens detektálástól függ. Ugyanaz az azonosító ismétlődhet a fordulók során, és egy kihagyott említés továbbra is továbbításra kerülhet.

A 12 detektor közül a PII-Tracer rögzíti a legmagasabb karakteralapú F1-mutatót és az ismétlődő azonosítók legmagasabb szintű konzisztens lefedettségét. A referencia elmagyarázza, hogy miért fontos mindkét eredmény: egy hosszú beszélgetés során a PII nagy részének megtalálása nem ugyanaz, mint annak minden egyes másolatának megtalálása.

A PII-detektálás új kihívásokkal szembesül a hibrid mesterséges intelligenciában

A PII-detektálás régóta fennálló biztonsági probléma, és már számos referencia és detektor létezik. A PII-detektálás a hibrid mesterséges intelligencia környezetben azonban új kihívásokat hoz magával. A detektoroknak különösen a hosszú, többfordulós beszélgetésekben kell azonosítaniuk a PII-t, ahol a beszélgetési kontextus határozza meg, hogy egy karakterláncot PII-nek kell-e tekinteni. Például egy név azonosíthatja a felhasználót az egyik beszélgetésben, utalhat egy közszereplőre a másikban, vagy egyszerűen egy asszisztens által generált helyőrző lehet. Maga a felületi forma önmagában nem elegendő annak eldöntéséhez, hogy egy karakterláncot PII-ként kell-e megjelölni.

A meglévő PII-detektorok és -teljesítménymutatók elsősorban az egyedi rekordokat célozzák. Azt tapasztaljuk, hogy az egyszerre egy rekord feldolgozására tervezett detektorok gyengén teljesítenek a hosszú, összetett beszélgetésekben. Emellett a meglévő referenciák általában nem értékelik a hozzászólások közötti konzisztenciát. Ennek következtében a megcélzott méréseken elért erős teljesítmény nem feltétlenül jelent hatékony PII-detektálást a hosszú, többfordulós beszélgetésekben.

PII-TRACE: Referencia a telepítés szempontjából kritikus PII-detektáláshoz

A PII-TRACE-et három olyan viselkedés köré terveztük, amelyek akkor fontosak, amikor egy PII-detektort asszisztensbeszélgetéseken használnak. Az első a konzisztens lefedettség: amikor egy azonosító többször is megjelenik, vagy átível a felhasználói és asszisztensi fordulókon, a detektornak minden említést meg kell találnia. A második a hosszú kontextussal szembeni robusztusság: a beszélgetések kevesebb mint 1000-től több mint 100 000 karakterig terjednek, ami lehetővé teszi annak mérését, hogy mi történik az előzmények növekedésével. A harmadik a több nyelv és a vegyes formátumú tartalom kezelése: egy beszélgetés válthat nyelvet, és egyesítheti a prózát kóddal, táblázatokkal vagy strukturált rekordokkal. A PII-TRACE megőrzi ezeket a mintákat azáltal, hogy minden teljes párbeszédet értékel ahelyett, hogy elszigetelt rekordokra bontaná.

A referencia két kiegészítő szinten méri a teljesítményt. Az azonosító szintjén a konzisztenes detektálás a szigorúbb kérdést teszi fel: a detektor lefedte-e az azonosító minden egyes említésének minden karakterét? Ezt a pontszámot külön jelentjük a többszörös említéssel rendelkező azonosítókra és a fordulókon át ismétlődő azonosítókra. Karakterszinten a pontosság azt méri, hogy a detektor által megjelölt szöveg mekkora része PII-ként címkézett, a visszahívási arány azt méri, hogy a címkézett PII mekkora részét találja meg, az F1 pedig egyensúlyt teremt a kettő között.

A PII-TRACE 13 148 szintetikus felhasználó–asszisztens beszélgetést tartalmaz 13 nyelven és 10 írásrendszerben, kilenc PII-típus mentén karakter szinten megjelölt 37 431 azonosító-említéssel. A beszélgetések 41%-a tartalmaz strukturált tartalmat. A megjelölt PII-t tartalmazó 5645 beszélgetés közül 33,8% tartalmaz egynél többször szereplő azonosítót, és 28.7%-uk tartalmaz több fordulón átívelő azonosítót.

Szintetikus adathalmaz építése éles beszélgetésekből

A PII-TRACE megőrzi a forrásbeszélgetések fordulós szerkezetét anélkül, hogy közzétenné az eredeti változatokat. A folyamat átír minden egyes fordulót, és minden címkézett azonosítót egy szintetikus értékkel helyettesít.

Először több nyelvi modell kilenc PII-típust jelöl meg az éles felhasználó–asszisztens beszélgetésekben. Egy szabályalapú folyamat egy entitásazonosító alá csoportosítja az azonos típusú, ismétlődő azonosítókat. Minden megjelölt érték ezután egy tipizált helyőrzővel lesz helyettesítve, így egy olyan sablon marad hátra, amely megőrzi a fordulók sorrendjét, a PII-típust és az említések közötti kapcsolatokat, de a megjelölt eredeti értékek egyikét sem.

A rendszer átfogalmazza az egyes fordulókat, miközben ezeket a helyőrzőket érintetlenül hagyja, majd az azonosító típusának és formátumának megfelelő szintetikus értékeket szúr be. Az ismétlődő említések ugyanazt az értéket kapják egy beszélgetésen belül, míg a különböző beszélgetések függetlenül generált értékeket használnak. A végső illesztési fázis újraszámolja az összes karaktereltolást.

Három automatizált kapu ellenőrzi, hogy a cserék illeszkednek-e a tárolt intervallumokhoz, az ismétlődő említések ugyanazt az értéket használják, és a megjelölt forrásértékek hiányoznak egy Presidio és reguláris kifejezéseken alapuló újraszkannálás során. A tárolt eltolásnak is vissza kell állítania a pontos szintetikus részkarakterláncot. A hibás rekordokat újragenerálják vagy elvetik. Egy második nyelvi modell auditál egy mintát, és az emberek felülvizsgálnak mindent, amit az PII-ként jelöl meg.

PII-Tracer: Kompakt detektor helyi használatra

A PII-Tracer egy 0,6B méretű kétirányú kódoló, amelyet egy Qwen3 alapmodellből alakítottak ki. A magánélet védelmére szolgáló szűrés különbözik a szövegalkotástól, és megköveteli a releváns PII-intervallumok megtalálását és határainak visszaküldését. Ennek eredményeként a PII-Tracer felváltja a Qwen3 kauzális maszkját padding-tudatos kétirányú figyelemmel, így minden token meríthet a korábbi és későbbi fordulókból is egy 4096 tokenes ablakon belül.

Minden egyes tokenhez a kódoló egy 1024 dimenziós reprezentációt állít elő. Egy lineáris címkézőfej 37 lehetséges címkéhöz hoz létre pontszámokat: egy speciális címkét (jelölésére a O-t használjuk) a PII-intervallumokon kívüli szövegekhez, valamint négy intervallum-pozíció címkét a kilenc PII-típus mindegyikéhez. A Named Entity Recognition (Névfelismerés) során használt BIOES-séma szerint a B (Kezdet), a I (Belső) és a E (Vége) jelöli a többtokenes intervallumot, míg az S (Egyes) az egytokenes intervallumot jelöli. Egy kiegészítő fej azt is megjósolja, hogy a beszélgetés tartalmaz-e érzékeny anyagot, például egészségügyi vagy vallási információkat.

A PII-Tracert három epochon keresztül tanítjuk körülbelül 714 000 tanítási mintán, ötvözve a többnyelvű asszisztensbeszélgetéseket az egyrekordos példákkal. A megosztott kétirányú kódolónak két tanítási feje van: egy 37 osztályos BIOES tokenfej, amely detektálja és típusra bontja a PII-intervallumokat, valamint egy bináris beszélgetés szintű fej, amely azt jósolja meg, hogy a beszélgetés tartalmaz-e érzékeny anyagot. Mindkét fejet $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$ használatával közösen tanítjuk. Itt az $\mathcal{L}_{\mathrm{tag}}$ nagyobb súlyt ad a ritka PII-címkéknek, így a gyakori `O` címke nem dominál, míg az $\mathcal{L}_{\mathrm{sens}}$ biztosítja a beszélgetés szintű tanítási jelet; az 1,5-ös és 0,3-as együtthatók az intervallumdetektálást tartják meg fő feladatként. Ez a kiegészítő jel erősíti a kontextustudatos detektálást: a modell megtanulja megítélni a jelölt intervallumot a beszélgetésen belül, ahelyett, hogy elszigetelt karakterláncként kezelné, ami segít csökkenteni a téves pozitív találatokat a visszahívás terén hozott csekély áldozat árán.

A következtetési fázisban egy korlátozott Viterbi-dekóder keresi a legmagasabb pontszámú érvényes BIOES-sorozatot ahelyett, hogy minden tokent függetlenül címkézne fel. Például a B-private_person folytatódhat I-private_person elemmel vagy lezárható a E-private_person elemmel, de nem válthat át I-private_email címkére. A dekóder az eredményt visszalépteti a pontos karakterintervallumokra a kitakarás vagy a helyi útvonalválasztás érdekében.

A PII-Tracer élen jár a karakteralapú F1-mutató és az ismétlődő PII terén

A detektorokat karakter- és intervallumszinten is összehasonlítjuk. A karakteralapú F1-mutató karakterenként értékeli a detektálást. Az intervallum-átfedéses F1 azt méri, hogy a detektor azonosítja-e a PII-elem bármely részét, míg az intervallum-tartalmazási F1 azt, hogy rögzíti-e a teljes elemet.

A PII-Tracer érte el a legmagasabb karakteralapú F1-mutatót (0,629) a kiértékelt 12 rendszer közül, valamint a második legmagasabb intervallum-átfedéses és intervallum-tartalmazási F1-mutatót. A legkorszerűbb modellek, nevezetesen a GPT-5.6-sol és a Claude Sonnet 5, összehasonlítható általános teljesítményt értek el. A GPT-5.6-sol magasabb pontszámokat kapott mindkét intervallumszintű F1-mutatón, de alacsonyabb karakteralapú F1-mutatót ért el. Ezeknek a csúcsmodelleknek azonban több százmilliárd vagy akár billiónyi paraméterük van, és a felhőben üzemeltetett zárt forráskódú modellek. Ennek következtében alkalmatlanok az érzékeny helyi adatok védelmére a hibrid AI-beállításokban, ahol a szűretlen szövegnek helyben kell maradnia. Ezzel szemben a PII-Tracer a csúcsmodelleket megközelítő intervallumszintű detektálást nyújt mindössze 0,6B paraméterrel, és képes teljesen helyben feldolgozni a szűretlen szöveget. Más nyílt forráskódú PII-detektorok lényegesen rosszabbul teljesítenek, mint a PII-Tracer.

Minden ismétlődő említés megtalálása

A konzisztencia-kísérlet szigorúbb tesztnek veti alá ugyanazokat a előrejelzéseket. A tesztkészlet 899 egyszer szereplő és 959 egynél többször szereplő azonosítót tartalmaz; az ismétlődő azonosítók közül 790 több fordulót ölel fel. Az ábra négy említésszám-kategóriát (egy, kettő, három-öt, valamint hat-tíz) mutat be, és csak akkor számol be egy azonosítóról, ha annak minden címkézett karaktere megtalálható. A PII-Tracert három kiválasztott alapvonallal ábrázolja, míg az összesített táblázat mind a tizenkét rendszer ismétlődő és fordulókon átívelő pontszámait mutatja.

Az ismétlődések növekedésével a PII-Tracer az élen marad: pontszáma egy említés esetén 0,917-ről kettőnél 0,873-ra, három és öt között 0,796-ra, hat és tíz között pedig 0,691-re változik. Az utolsó kategóriában a GPT-5.6-sol eléri a 0,464-et, míg a GLiNER2-PII és a Claude Opus 4.8 a 0,073-at és a 0,045-öt. A teljes kiértékelés során a PII-Tracer az ismétlődő azonosítók 79,4%-ának és a váltásokon átívelő azonosítók 77,6%-ának minden említését megtalálja; a GPT-5.6-sol ugyanezen két mutatón 57,0%-ot és 55,1%-ot ér el.

Hosszú beszélgetések lefedése

Először az összes 1922 tesztbeszélgetést karakternyomtatási hossz szerint csoportosítjuk, és a PII-Tracert a 4096 tokenes ablakkal dekódoljuk. A csoportok 167 1000 karakternél alacsonyabb, 1292 1000 és 10 000 közötti, valamint 463 10 000 vagy ennél hosszabb beszélgetést tartalmaznak.

Az egyablakos visszahívási arány 0,975 1000 karakter alatt és 0,955 1000 és 10 000 között, de 0,687-re esik vissza a 10 000 karakteres vagy annál hosszabb beszélgetések esetében. A pontosság 0,51 közelében marad a két hosszabb csoportban, ami a bemeneti lefedettséget jelöli meg fő problémaként.

A bemeneti kezelés hatásának vizsgálatához ugyanezt a csekkpontot értékeltük ki 50%-os átfedéses csúszóablakos dekódolással. Ez megemeli az általános karakterszintű visszahívást 0,830-ról 0,965-re, és a többszörös említésű konzisztens detektálást 0,794-ről 0,954-re, újratanítás nélkül.

Konzisztens a nyelvek között

A PII-TRACE 13 nyelvet fed le; a nyelvi kísérlet egy hatnyelvű szeletet mutat be, amely a latin, cirill és hangul írásrendszereket öleli fel: angol, német, francia, olasz, orosz és koreai nyelven. Ugyanezt a 12 detektort futtatjuk minden tesztbeszélgetésen az egyes nyelveken. Az egyes nyelveken belül egyesítjük a prediktált és az arany standard karaktereket, majd kiszámítjuk a karakteralapú F1-mutatót.

A PII-Tracer vezeti a karakteralapú F1-mutatót a hat nyelvből a négyben: német (0,735), francia (0,633), olasz (0,676) és orosz (0,651), angol és koreai nyelven pedig 0,016, illetve 0,036-ra megközelíti a legjobb eredményeket. A kísérő elemzésben mind a hat nyelvi részhalmazban konzisztens detektálást eredményez, 0,80–0,93 közötti pontszámmal. A nyelvenkénti nézet az angolon túli fejlődést mutatja.

Magasabb karakteralapú F1-mutató, mint a magánélet-szűrőé öt standard referencia alapján

A végső kísérlet kilép a PII-TRACE keretein kívülre. A PII-Tracert és az OpenAI Privacy Filtet futtatjuk az ai4privacy validációs részhalmazán (47 728 dokumentum), a Nemotron-PII tesztrészhalmazán (100 000), egy rögzített seeddel ellátott SPY-készleten (8688), a Gretel PII tesztrészhalmazán (5000), valamint a TAB ECHR tesztrészhalmazán (127).

A PII-Tracer magasabb karakteralapú F1-mutatóval rendelkezik minden adathalmazon: 0,950 szemben a 0,907-tel az ai4privacy esetében, 0,847 szemben a 0,709-cel a Nemotron-PII-nél, 0,585 szemben a 0,543-mal a SPY-nál, 0,952 szemben a 0,895-tel a Gretel PII-nél, és 0,594 szemben a 0,350-nel a TAB-nál. A TAB az egyetlen olyan referencia ebben a csoportban, amely valódi, ember által címkézett szövegből épült fel. Ott a PII-Tracer 0,986-os pontosságot ér el a 0,982-vel szemben, és 0,425-ös visszahívást a 0,213-mal szemben – ami kétszeres visszahívás lényegében azonos pontosság mellett (a részletek a tanulmányban). A magasabb F1-mutató ezért átkerül a PII-TRACE beszélgetésekből mind az öt hagyományos egyrekordos referenciára ebben az összehasonlításban.

Összegzés

A hibrid mesterséges intelligencia integrálja a felhasználó eszközét a következtetési verembe, nagyobb magánélet védelmet és alacsonyabb költségeket kínálva. A felhőben lévő legkorszerűbb modellek képesek kezelni a kutatást, a következtetést és a tervezést, míg a helyi modellek azokkal a fájlokkal és személyes adatokkal dolgoznak, amelyeknek az eszközön kell maradniuk. Ez a felosztás az érzékeny információk felismerésén alapul, mielőtt bármilyen érzékeny adat a felhőbe kerülne.

A PII-Tracer egy kompakt modell a többfordulós beszélgetésekben található PII detektálására, míg a PII-TRACE azt értékeli, hogy a detektorok képesek-e konzisztensen azonosítani az ismétlődő PII-t egy beszélgetés során.

A PII-TRACE és a PII-Tracer együtt egy referenciát és egy referenciamodellt biztosít a többfordulós beszélgetésekben és más hosszú kontextusú beállításokban történő PII-detektálás előmozdításához.

Az ügynökök egyre hosszabb feladatokat vállalnak magukra, és több személyes kontextust használnak. Ennek eredményeként az adatvédelmi vezérlőknek a teljes beszélgetés során érvényesülniük kell, nemcsak a kezdeti bemeneten. A hibrid mesterséges intelligencia a megbízható helyi detektálásra támaszkodik, hogy az érzékeny kontextust az eszközön tartsa.

Olvassa el az arXiv tanulmányt a PII-TRACE referenciáról, a PII-Tracer modellről és a kiértékelésünkről szóló részletekért. Hamarosan mind a PII-TRACE-et, mind a PII-Tracert kiadjuk.