PII-TRACE: Жеке деректерді құрылғыдан шықпай тұрып анықтау

Mac жүйесіндегі гибридті есептеулер Perplexity Computer тапсырмаларын бұлттағы шекаралық модельдер мен Mac жүйесіндегі жергілікті модель арасында бөледі. Бұлттық агенттер зерттеуді, пайымдауды және жоспарлауды басқарады, ал жергілікті модель жеке файлдармен және сезімтал ақпаратпен жұмыс істейді.

Бұл шекара құрылғыдан шықпай тұрып жеке басты анықтайтын ақпаратты (PII) анықтауға байланысты. Жергілікті құпиялылық шлюзі сезімтал мазмұнды Mac компьютерінде сақтайды, анықталған жеке ақпаратты редакциялайды немесе оны бұлтқа жібермес бұрын мақұлдауды сұрайды.

Ұзақ, көптілді әңгімелерде анықтау қиындай түседі. Бірдей идентификатор әртүрлі кезектерде бірнеше рет пайда болуы мүмкін. Жіберіп алған бір атап өту жүйе қорғауға тиіс ақпаратты әшкерелеуі мүмкін.

Кіріспе

Бүгін біз PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), жеке басты анықтайтын ақпарат (PII) детекторларын бағалауға арналған жаңа бенчмаркты және PII анықтауға арналған ықшам 0.6B модель PII-Tracer ұсынып жатырмыз.

Бұлтты бірінші орынға қоятын агенттер пайдаланушыларды контексті, интеллектіні және құпиялылықты теңестіруге мәжбүр етеді. Көбірек жеке контекст агентке пайдаланушыны түсінуге және жақсырақ нәтижелер шығаруға көмектеседі. Бірақ бұл контекстті қамтамасыз ету жиі жеке ақпаратты қашықтағы қызметке жіберуді білдіреді және жеке ақпараттың таралып кетуіне әкелуі мүмкін. Көмекшіні пайдалы ететін ақпарат дәл пайдаланушы құпия ұстағысы келетін нәрсе болуы мүмкін.

Гибридті AI жұмысты пайдаланушы құрылғысы мен бұлттық модельдер арасында бөлу арқылы бұл ымыраны жеңілдетеді. Бірақ бұл шекара мәтін қашықтағы модельге жіберілмес бұрын құрылғы PII-ді тани алған жағдайда ғана құпиялылықты қорғайды. Пайдаланушылар әр хабарламаны өздері тексеріп шығуы тиіс емес. Құрылғыға өзінің құпиялылық шлюзі ретінде жергілікті PII детектору қажет. Ұзақ әңгімелерде бірдей идентификатор кезектер арқылы қайталана алады және жеке ақпараттың өтіп кетуі үшін жіберіп алған бір атап өту жеткілікті.

Perplexity гибридті жергілікті серверлік инференс оркестрлеушісін ұсынды, ол қандай жұмыс құрылғыда орындалуы керек және қандай жұмыс бұлттағы агенттерге жіберілуі керектігін шешеді. Модель, агент құрылымы, әңгімелер және орындау траекториялары пайдаланушының компьютерінде орналасады. Сыртқы әлемге қолжетімділікті қажет ететін тапсырмалар қажет болған жағдайда ғана шақырылады және пайдаланушы рұқсатымен реттеледі. Нәтижесінде, пайдаланушы мақұлдағанға дейін бұл мазмұн құрылғыда қалады.

PII-Tracer PII бар деп болжанған ауқымдарды белгілеу арқылы модельді бағыттау үшін бір жергілікті бақылау сигналын қамтамасыз етеді. Содан кейін қолданба бағыттау саясатын қолданады. Ол тиісті кірісті жергілікті күйде сақтайды, анықталған ауқымдарды редакциялайды немесе бұлттық модельге ауыстырмас бұрын нақты мақұлдауды сұрайды. Бұл бағыттауды таңдамалы етеді. Анықталған PII құрылғыда қалады, ал бекітілген контекст шекаралық бұлттық модельдердің артықшылығын пайдалана береді.

Таңдамалы бағыттау бүкіл әңгіме барысында тұрақты анықтауға байланысты. Бірдей идентификатор кезектер арқылы қайталануы мүмкін және жіберіп алған атап өту әлі де берілуі мүмкін.

12 детектордың ішінде PII-Tracer ең жоғары таңба F1 көрсеткішін және қайталанатын идентификаторлардың ең жоғары дәйекті қамтылуын тіркейді. Бенчмарк неге екі нәтиженің де маңызды екенін түсіндіреді: ұзақ әңгімеде PII-дің көп бөлігін табу оның әрбір көшірмесін табумен бірдей емес.

Гибридті AI жүйесінде PII анықтау жаңа қиындықтарға тап болады

PII анықтау — бұл көне қауіпсіздік мәселесі және бірнеше бенчмарктер мен детекторлар қазірдің өзінде бар. Дегенмен, гибридті AI параметрлерінде PII анықтау жаңа қиындықтарды тудырады. Атап айтқанда, детекторлар ұзақ, көп кезектегі әңгімелерде PII анықтауы керек, мұнда әңгіме контексті жолдың PII ретінде қарастырылуы тиіс екенін анықтайды. Мысалы, аты бір әңгімеде пайдаланушыны анықтауы мүмкін, екіншісінде қоғам қайраткерін білдіруі мүмкін немесе жай ғана көмекші жасаған орынсурет болуы мүмкін. Жолдың сыртқы түрінің өзі жолдың PII ретінде белгіленуі тиіс екенін анықтау үшін жеткіліксіз.

Бұрыннан бар PII детекторлары мен бенчмарктары негізінен жеке жазбаларды нысанаға алады. Бір уақытта бір жазбаны өңдеуге арналған детекторлардың ұзақ, күрделі әңгімелерде нашар жұмыс істейтінін анықтадық. Сондай-ақ, қолданыстағы бенчмарктар әдетте кезектер арасындағы дәйектілікті бағаламайды. Нәтижесінде, бұл бенчмарктардағы жоғары өнімділік ұзақ, көп кезектегі әңгімелерде тиімді PII анықтауға міндетті түрде айналмайды.

PII-TRACE: Жұмыс үшін маңызды PII анықтауға арналған бенчмарк

Біз PII-TRACE бенчмаркысын көмекші әңгімелерінде PII детектору қолданылған кезде маңызды болатын үш әрекет төңірегінде жобаладық. Біріншісі — дәйекті қамту: идентификатор бірнеше рет пайда болғанда немесе пайдаланушы мен көмекші кезектерін кесіп өткенде, детекторы әрбір атап өтуді табуы керек. Екіншісі — ұзақ контекстке төзімділік: әңгімелер 1,000 таңбадан азырақтан 100,000 таңбадан асатындарға дейін өзгереді, бұл тарих өскен сайын не болатынын өлшеуге мүмкіндік береді. Үшіншісі — көп тілдер мен аралас пішімді мазмұнды өңдеу: әңгіме тілдерді ауыстырып, прозаны кодпен, кестелермен немесе құрылымдық жазбалармен біріктіруі мүмкін. PII-TRACE бұл үлгілерді оқшауланған жазбаларға бөлмей, әрбір толық диалогты бағалау арқылы сақтайды.

Бенчмарк өнімділікті екі өзара толықтыратын деңгейде өлшейді. Идентификатор деңгейінде дәйекті анықтау қатаң сұрақ қояды: детекторы бірдей идентификатордың әр атап өтуіндегі әрбір таңбаны қамтыды ма? Біз бұл ұпайды бірнеше атап өтуі бар идентификаторлар үшін және кезектер арасында қайталанатын идентификаторлар үшін бөлек хабарлаймыз. Таңба деңгейінде дәлдік детекторы белгілеген мәтіннің қанша бөлігі PII деп белгіленгенін өлшейді, еске түсіру оның қанша белгіленген PII табатынын өлшейді, ал F1 екеуін теңестіреді.

PII-TRACE 13 тіл мен 10 жазу жүйесін қамтитын 13 148 синтетикалық пайдаланушы-көмекші әңгімесін қамтиды, оларда тоғыз PII түрі бойынша таңба деңгейінде белгіленген 37 431 идентификатор атауы бар. Әңгімелердің жалпы 41%-ы құрылымдық мазмұнды қамтиды. Белгіленген PII бар 5 645 әңгіменің арасында 63.8%-ы бір реттен артық пайда болатын идентификаторды қамтиды, ал 28.7%-ы бірнеше кезекте пайда болатын идентификаторды қамтиды.

Өндірістік әңгімелерден синтетикалық деректер жиынын құру

PII-TRACE түпнұсқаларын жарияламай-ақ бастапқы әңгімелердің кезек құрылымын сақтайды. Пайплайн әр кезек қайта жазады және белгіленген әрбір идентификаторды синтетикалық мәнмен алмастырады.

Біріншіден, бірнеше тілдік модельдер өндірістік пайдаланушы-көмекші әңгімелерінде PII тоғыз түрін белгілейді. Ережеге негізделген өту бірдей түрдегі қайталанатын идентификаторларды бір нысан идентификаторы астында топтастырады. Содан кейін әрбір белгіленген мән түрі бар орынсуретпен ауыстырылады, бұл кезек ретін, PII түрін және атап өтулер арасындағы сілтемелерді сақтайтын, бірақ белгіленген түпнұсқа мәндердің ешқайсысын қалдырмайтын үлгіні қалдырады.

Жүйе бұл орынсуреттерді сақтай отырып, әр кезекті парафраз жасайды, содан кейін идентификатордың түрі мен пішіміне сәйкес келетін синтетикалық мәндерді енгізеді. Қайталанатын атап өтулер әңгіме ішінде бірдей мәнді алады, ал әртүрлі әңгімелер дербес жасалған мәндерді пайдаланады. Соңғы үйлестіру өтуі әр таңба ығысуын қайта есептейді.

Үш автоматтандырылған шлюз ауыстырулар сақталған ауқымдарға сәйкес келетінін, қайталанатын атап өтулердің бірдей мәнді пайдаланатынын және белгіленген бастапқы мәндердің Presidio және тұрақты өрнекті қайта сканерлеу кезінде жоқ екенін тексереді. Сақталған ығысу дәл синтетикалық ішкі жолды да қалпына келтіруі тиіс. Сәтсіз аяқталған жазбалар қайта жасалады немесе жойылады. Екінші тіл моделі үлгіні тексереді, ал адамдар ол PII ретінде белгілеген кез келген нәрсені қарап шығады.

PII-Tracer: Жергілікті қолдануға арналған ықшам детекторы

PII-Tracer — Qwen3 арқауынан бейімделген 0,6B екі бағытты кодтаушы. Құпиялылықты тексеру мәтінді генерациялаудан ерекшеленеді және тиісті PII ауқымдарын тауып, олардың шекараларын қайтаруды талап етеді. Нәтижесінде, PII-Tracer Qwen3 себептік маскасын толықтыруды ескеретін екі бағытты назар аударумен алмастырады, сондықтан әрбір токен 4096 токендік терезе ішіндегі ертеректегі және кейінгі кезектерге де сүйене алады.

Әрбір токен үшін кодтаушы 1024 өлшемді көрсетілім шығарады. Сызықтық таңбалау басы 37 мүмкін белгі үшін ұпайлар шығарады: PII ауқымынан тыс мәтін үшін бір арнайы белгі (оны белгілеу үшін O қолданамыз), сондай-ақ тоғыз PII түрінің әрқайсысы үшін төрт ауқым-позиция белгісі. Атаулы нысандарды танудағы BIOES схемасында B (Басы), I (Іші) және E (Соңы) көп токенді ауқымды белгілейді, ал S (Жалғыз) бір токенді ауқымды белгілейді. Қосалқы бас сонымен қатар әңгімеде денсаулық немесе діни ақпарат сияқты сезімтал материалдың бар-жоғын болжайды.

Біз PII-Tracer моделін көптілді көмекші әңгімелерін бір жазбалы мысалдармен біріктіре отырып, шамамен 714 000 оқыту үлгісінде үш эпоха бойы оқытамыз. Ортақ екі бағытты кодтаушының екі оқыту басы бар: PII ауқымдарын анықтайтын және түрлерін анықтайтын 37 класты BIOES токен басы және әңгімеде сезімтал материалдың бар-жоғын болжайтын бинарлық әңгіме деңгейіндегі бас. Біз екі бастарын да $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$ көмегімен бірлесіп оқытамыз. Мұнда $\mathcal{L}_{\mathrm{tag}}$ жиі кездесетін `O` белгісі үстемдік етпеуі үшін сирек PII белгілеріне көбірек салмақ береді, ал $\mathcal{L}_{\mathrm{sens}}$ әңгіме деңгейіндегі оқыту сигналын береді; 1.5 және 0.3 коэффициенттері ауқымды анықтауды негізгі тапсырма ретінде сақтайды. Бұл қосалқы сигнал контексті ескеретін анықтауды күшейтеді: модель кандидат ауқымын оқшауланған жол ретінде емес, әңгіме ішінде бағалауды үйренеді, бұл еске түсірудің аз ғана ымырасымен жалған оң нәтижелерді азайтуға көмектеседі.

Инференс кезінде шектелген Viterbi декодері әр токенді тәуелсіз таңбалаудың орнына, ең жоғары ұпай жинаған жарамды BIOES тізбегін іздейді. Мысалы, B-private_person I-private_person арқылы жалғасуы немесе E-private_person арқылы жабылуы мүмкін, бірақ I-private_email мәніне ауыса алмайды. Декодер нәтижені редакциялау немесе жергілікті бағыттау үшін нақты таңба ауқымдарына қайта картаға түсіреді.

PII-Tracer таңба F1 және қайталанатын PII бойынша көш бастап тұр

Біз детекторларды таңба (character) және ауқым (span) деңгейінде салыстырамыз. Character F1 көрсеткіші анықтауды таңба-таңба арқылы бағалайды. Span-overlap F1 детектор PII нысанының кез келген бөлігін анықтайтынын өлшейді, ал span-containment F1 оның бүкіл нысанды қамтитынын өлшейді.

PII-Tracer бағаланған 12 жүйенің арасында ең жоғары таңба F1 (0.629) көрсеткішіне қол жеткізді және екінші ең жоғары ауқымның қиылысуы F1 мен ауқымның қамтылуы F1 көрсеткіштеріне ие болды. Шекаралық модельдер, атап айтқанда GPT-5.6-sol мен Claude Sonnet 5, салыстырмалы жалпы өнімділікке қол жеткізді. GPT-5.6-sol екі ауқым деңгейіндегі F1 метрикалары бойынша жоғарырақ ұпайлар алды, бірақ таңба F1 көрсеткіші төмен болды. Дегенмен, бұл шекаралық модельдердің жүздеген миллиард немесе тіпті триллиондаған параметрлері бар және бұлтта орналасқан жабық бастапқы кодты модельдер болып табылады. Нәтижесінде, олар тексерілмеген мәтін жергілікті күйде қалуы тиіс гибридті AI параметрлерінде сезімтал жергілікті деректерді қорғау үшін жарамсыз. Керісінше, PII-Tracer тек 0.6B параметрімен шекараға жақын ауқым деңгейіндегі анықтауды жеткізеді және тексерілмеген мәтінді толығымен жергілікті түрде өңдей алады. Басқа ашық бастапқы кодты PII детекторлары PII-Tracer қарағанда айтарлықтай нашар жұмыс істейді.

Әрбір қайталанатын атап өтуді табу

Дәйектілік эксперименті бірдей болжамдарға қатаң сынақ қолданады. Сынақ жиынтығында бір рет пайда болатын 899 идентификатор және бір реттен артық пайда болатын 959 идентификатор бар; қайталанатын идентификаторлардың 790-ы бірнеше кезектерді қамтиды. Суретте төрт атап өту санының санаттары (бір, екі, үшеуден беске дейін және алтыдан онға дейін) берілген және идентификатор оның белгіленген барлық таңбалары табылған кезде ғана есепке алынады. Ол PII-Tracer моделін таңдалған үш негізгі көрсеткішпен көрсетеді, ал жиынтық кесте барлық он екі жүйе үшін қайталанатын және кезектер арасындағы ұпайларды хабарлайды.

Қайталау көбейген сайын PII-Tracer алда келеді: оның ұпайы бір атап өту үшін 0,917-ден екі рет атап өту үшін 0,873-ке, үшеуден беске дейін 0,796-ға, ал алтыдан онға дейін 0,691-ге ауысады. Соңғы санатта GPT-5.6-sol 0,464-ке жетеді, ал GLiNER2-PII мен Claude Opus 4.8 сәйкесінше 0,073 және 0,045-ке жетеді. Толық бағалау барысында PII-Tracer қайталанатын идентификаторлардың 79,4%-ының және кезектер арасындағы идентификаторлардың 77,6%-ының әрбір атап өтілуін табады; GPT-5.6-sol осы екі өлшем бойынша 57,0% және 55,1%-ға жетеді.

Ұзақ әңгімелерді қамту

Біз алдымен барлық 1,922 сынақ әңгімесін таңба ұзындығы бойынша топтаймыз және PII-Tracer декодын 4096 токендік тереземен орындаймыз. Топтарда 1,000 таңбадан төмен 167 әңгіме, 1,000-нан 10,000-ға дейінгі 1,292 әңгіме және 10,000 немесе одан ұзын 463 әңгіме бар.

Бір терезелік еске түсіру 1,000 таңбадан төмен 0.975 және 1,000-нан 10,000-ға дейін 0.955 құрайды, бірақ 10,000 таңба немесе одан жоғары әңгімелер үшін 0.687-ге дейін төмендейді. Дәлдік ұзағырақ екі топта 0.51 шамасында қалады, бұл кірісті қамтуды негізгі мәселе ретінде көрсетеді.

Кірісті өңдеудің әсерін зерттеу үшін біз 50% қабаттасумен жылжымалы терезе арқылы декодтау көмегімен бірдей бақылау нүктесін бағалаймыз. Бұл қайта оқытусыз-ақ жалпы таңба еске түсіруін 0.830-дан 0.965-ке дейін және көп рет атап өтілетін дәйекті анықтауды 0.794-тен 0.954-ке дейін арттырады.

Тілдер бойынша дәйекті

PII-TRACE 13 тілді қамтиды; тіл эксперименті латын, кириллица және хангыл жазуларын қамтитын алты тілдік бөлікті хабарлайды: ағылшын, неміс, француз, итальян, орыс және корей. Біз барлық сынақ әңгімелерінде әр тілде бірдей 12 детекторын іске қосамыз. Әр тіл шеңберінде біз болжанған және алтын таңбаларды біріктіріп, таңба F1 есептейміз.

PII-Tracer алты тілдің төртеуінде, яғни неміс (0.735), француз (0.633), итальян (0.676) және орыс (0.651) тілдерінде таңбалы F1 бойынша көш бастап тұр, ал ағылшын және корей тілдерінде ең жақсы нәтижелерден 0.016 және 0.036 шегінде. Ілеспе талдауда ол 0.80–0.93 ұпай жинап, барлық алты тілдік ішкі жиынды тұрақты анықтауға әкеледі. Тіл бойынша көрініс ағылшын тілінен басқа да жетістіктерді көрсетеді.

Бес стандартты бенчмарктағы құпиялылық сүзгісінен жоғарырақ таңба F1 көрсеткіші

Соңғы эксперимент PII-TRACE шеңберінен тыс шығады. Біз ai4privacy валидациялық бөлігінде (47 728 құжат), Nemotron-PII сынақ бөлігінде (100 000), бекітілген тұқымдық SPY жиынтығында (8 688), Gretel PII сынақ бөлігінде (5 000) және TAB ECHR сынақ бөлігінде (127) PII-Tracer пен OpenAI Privacy Filter іске қосамыз.

PII-Tracer әрбір деректер жиынында жоғарырақ таңба F1 көрсеткішіне ие: ai4privacy деректерінде 0,907 орнына 0,950, Nemotron-PII деректерінде 0,709 орнына 0,847, SPY деректерінде 0,543 орнына 0,585, Gretel PII деректерінде 0,895 орнына 0,952 және TAB деректерінде 0,350 орнына 0,594. TAB — бұл топтағы нақты, адам белгілеген мәтіннен жасалған жалғыз бенчмарк. Онда PII-Tracer 0,982 орнына 0,986 дәлдікке және 0,213 орнына 0,425 еске түсіруге қол жеткізеді — дәлдігі шамамен бірдей бола тұра, еске түсіру көрсеткіші екі есе жоғары (мәліметтер мақалада). Сондықтан жоғарырақ F1 көрсеткіші PII-TRACE әңгімелерінен осы салыстырудағы барлық бес кәдерекгі бір жазбалы бенчмарктарға ауысады.

Қорытынды

Гибридті AI пайдаланушы құрылғысын инференс стекіне біріктіріп, жоғарырақ құпиялылық пен төмен құнды ұсынады. Бұлттағы шекаралық модельдер зерттеуді, пайымдауды және жоспарлауды басқара алады, ал жергілікті модельдер құрылғыда қалуы тиіс файлдармен және жеке деректермен жұмыс істейді. Бұл бөлініс кез келген сезімтал деректер бұлтқа кетпес бұрын сезімтал ақпаратты тануға байланысты.

PII-Tracer — көп кезектегі әңгімелерде PII анықтауға арналған ықшам модель, ал PII-TRACE детекторлардың әңгіме барысында қайталанатын PII-ді жүйелі түрде анықтай алатынын бағалайды.

Біріктірілген PII-TRACE пен PII-Tracer көп кезектегі әңгімелерде және басқа да ұзақ контекстті параметрлерде PII анықтауды ілгерілету үшін бенчмарк пен анықтамалық модельді қамтамасыз етеді.

Агенттер ұзағырақ тапсырмаларды орындап, көбірек жеке контекстпен жұмыс істеп жатыр. Нәтижесінде, құпиялылықты басқару элементтері тек бастапқы кірісте ғана емес, бүкіл әңгіме барысында сақталуы тиіс. Гибридті AI сезімтал контекстті құрылғыда сақтау үшін сенімді жергілікті анықтауға сүйенеді.

PII-TRACE бенчмаркы, PII-Tracer моделі және біздің бағалауымыз туралы мәліметтер үшін arXiv мақаласын оқыңыз. Біз жақын арада PII-TRACE пен PII-Tracer екеуін де шығаруды жоспарлап отырмыз.