PII-TRACE: डिव्हाइस सोडण्यापूर्वी वैयक्तिक डेटा शोधत आहे

मॅकवरील हायब्रिड संगणना (Hybrid compute on Mac) क्लाउडमधील फ्रंटियर मॉडेल्स आणि मॅकवरील स्थानिक मॉडेल यांच्यात परप्लेक्सिटी कॉम्प्युटर कार्ये विभागतो. क्लाउड एजंट संशोधन, तर्क आणि नियोजन हाताळतात, तर स्थानिक मॉडेल खाजगी फायली आणि संवेदनशील माहितीसह कार्य करते.

ही सीमा डिव्हाइस सोडण्यापूर्वी वैयक्तिकरित्या ओळखण्यायोग्य माहिती (PII) शोधण्यावर अवलंबून असते. स्थानिक प्रायव्हसी गेट संवेदनशील सामग्री मॅकवर ठेवते, शोधलेली खाजगी माहिती रिडक्ट करते, किंवा क्लाउडवर पाठवण्यापूर्वी मंजुरीची विनंती करते.

लांब, बहुभाषिक संभाषणांमध्ये डिटेक्शन अधिक कठीण होते. समान आयडेंटिफायर वेगवेगळ्या टर्नमध्ये अनेकदा दिसू शकतो. एक सुटलेला उल्लेख सिस्टीम ज्याची रक्षण करण्यासाठी बनवली आहे ती माहिती उघड करू शकतो.

परिचय

आज, आम्ही PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), वैयक्तिकरित्या ओळखण्यायोग्य माहिती (PII) डिटेक्टरचे मूल्यांकन करण्यासाठी एक नवीन बेंचमार्क, आणि PII शोधण्यासाठी एक कॉम्पॅक्ट 0.6B मॉडेल, PII-Tracer सादर करत आहोत.

क्लाउड-फर्स्ट एजंट्स वापरकर्त्यांना संदर्भ, बुद्धिमत्ता आणि गोपनीयता संतुलित करण्यास भाग पाडतात. अधिक वैयक्तिक संदर्भ एजंटला वापरकर्त्यास समजण्यास आणि चांगले परिणाम तयार करण्यास मदत करू शकतो. परंतु हा संदर्भ प्रदान करण्याचा अर्थ सहसा रिमोट सेवेला खाजगी माहिती पाठवणे असा होतो आणि वैयक्तिक माहिती गळती होऊ शकते. सहाय्यकाला उपयुक्त बनवणारी माहिती ही तंतोतंत अशी असू शकते जी वापरकर्त्याला सर्वात जास्त खाजगी ठेवण्याची इच्छा असते.

हायब्रिड AI युजरच्या डिव्हाइस आणि क्लाउड मॉडेल्समध्ये कार्य विभाजित करून हा ट्रेड-ऑफ सुलभ करतो. परंतु ती मर्यादा केवळ तेव्हाच गोपनीयतेचे संरक्षण करते जर डिव्हाइस रिमोट मॉडेलला मजकूर पाठवण्यापूर्वी PII ओळखू शकेल. वापरकर्त्यांनी प्रत्येक संदेश स्वतः तपासण्याची गरज नाही. डिव्हाइसला त्याच्या गोपनीयता गेट म्हणून स्थानिक PII डिटेक्टरची आवश्यकता आहे. लांब संभाषणांमध्ये, समान आयडेंटिफायर टर्नमध्ये पुनरावृत्ती करू शकतो, आणि वैयक्तिक माहिती पार होण्यासाठी एक सुटलेला उल्लेख पुरेसा आहे.

परप्लेक्सिटीने हायब्रिड लोकल-सर्वहर इन्फरन्स ऑर्क्रेस्ट्रेटर सादर केला जो ठरवतो की कोणते कार्य डिव्हाइसवर चालले पाहिजे आणि कोणते कार्य क्लाउडमधील एजंट्सकडे गेले पाहिजे. मॉडेल, एजंट हार्नेस, संभाषणे आणि अंमलबजावणी ट्रॅजेक्टरीज सर्व युजरच्या मशीनवर असतात. बाह्य जगामध्ये प्रवेश आवश्यक असणारी कार्ये केवळ आवश्यक असेल तेव्हाच कॉल केली जातात आणि युजरच्या परवानगीद्वारे नियंत्रित केली जातात. परिणामी, युजर मंजूर करेपर्यंत, ती सामग्री डिव्हाइसवरच राहते.

PII समाविष्ट असल्याचा अंदाज असलेल्या स्पॅन्सना फ्लॅग करून PII-Tracer मॉडेल रुटिंगसाठी एक स्थानिक नियंत्रण सिग्नल प्रदान करतो. ॲप्लिकेशन नंतर रुटिंग धोरण लागू करते. हे संबंधित इनपुट स्थानिक ठेवते, शोधलेले स्पॅन्स रिडक्ट करते, किंवा क्लाउड मॉडेलवर पाठवण्यापूर्वी स्पष्ट मंजुरीची विनंती करते. यामुळे रुटिंग अधिक निवडक बनते. शोधलेले PII डिव्हाइसवरच राहते तर मंजूर केलेले संदर्भ अजूनही फ्रंटियर क्लाउड मॉडेल्सचा लाभ घेतात.

निवडक रुटिंग संपूर्ण संभाषणात सुसंगत डिटेक्शनवर अवलंबून असते. समान आयडेंटिफायर टर्नमध्ये पुनरावृत्ती करू शकतो, आणि सुटलेला उल्लेख अजूनही प्रसारित केला जाऊ शकतो.

12 डिटेक्टरमध्ये, PII-Tracer ने सर्वोच्च वर्ण F1 आणि पुनरावृत्ती होणाऱ्या आयडेंटिफायर्सचे सर्वोच्च सुसंगत कव्हरेज रेकॉर्ड केले. बेंचमार्क स्पष्ट करतो की दोन्ही परिणाम का महत्त्वाचे आहेत: लांब संभाषणावर, बहुतेक PII शोधणे म्हणजे त्याच्या प्रत्येक प्रती शोधणे नव्हे.

हायब्रिड AI मध्ये PII डिटेक्शन समोर नवीन आव्हाने

PII डिटेक्शन ही एक जुनी सुरक्षा समस्या आहे, आणि अनेक बेंचमार्क आणि डिटेक्टर आधीपासून अस्तित्वात आहेत. तथापि, हायब्रिड AI सेटिंग्जमधील PII डिटेक्शन नवीन आव्हाने आणते. विशेषतः, डिटेक्टरने लांब, बहु-टर्न संभाषणांमध्ये PII ओळखणे आवश्यक आहे, जिथे संभाषणाचा संदर्भ हे ठरवतो की एखादी स्ट्रिंग PII मानली जावी की नाही. उदाहरणार्थ, एखादे नाव एका संभाषणात वापरकर्त्याला ओळखू शकते, दुसर्यात सार्वजनिक व्यक्तीचा संदर्भ घेऊ शकते, किंवा सहाय्यकाने तयार केलेले प्लेसहोल्डर असू शकते. स्ट्रिंग PII म्हणून फ्लॅग केली जावी की नाही हे ठरवण्यासाठी केवळ पृष्ठभागाचे स्वरूप अपुरे आहे.

विद्यमान PII डिटेक्टर आणि बेंचमार्क प्रामुख्याने वैयक्तिक रेकॉर्ड्सना लक्ष्य करतात. आम्हाला आढळले की एका वेळी एक रेकॉर्ड प्रक्रिया करण्यासाठी डिझाइन केलेले डिटेक्टर लांब, गुंतागुंतीच्या संभाषणांवर खराब कामगिरी करतात. तसेच, विद्यमान बेंचमार्क सामान्यत: टर्नमधील सुसंगततेचे मूल्यांकन करत नाहीत. परिणामी, या बेंचमार्कवर मजबूत कामगिरी म्हणजे लांब, बहु-टर्न संभाषणांमध्ये प्रभावी PII डिटेक्शन असा होत नाही.

PII-TRACE: उपयोजन-धोरणात्मक PII डिटेक्शनसाठी एक बेंचमार्क

जेव्हा सहाय्यक संभाषणांवर PII डिटेक्टर वापरला जातो तेव्हा महत्त्वाच्या असलेल्या तीन वर्तनांभोवती आम्ही PII-TRACE डिझाइन केले. पहिले म्हणजे सुसंगत कव्हरेज (consistent coverage): जेव्हा एखादा आयडेंटिफायर अनेक वेळा दिसतो किंवा वापरकर्ता आणि सहाय्यक टर्न ओलांडतो, तेव्हा डिटेक्टरला प्रत्येक उल्लेख शोधणे आवश्यक आहे. दुसरे म्हणजे लांब संदर्भासाठी मजबूतपणा (robustness to long context): संभाषणे 1,000 पेक्षा कमी ते 100,000 पेक्षा जास्त वर्णांपर्यंत असतात, ज्यामुळे इतिहास वाढल्याने काय होते हे मोजणे शक्य होते. तिसरे म्हणजे अनेक भाषा आणि मिश्र-स्वरूप सामग्री (multiple languages and mixed-format content) हाताळणे: संभाषण भाषा बदलू शकते आणि गद्य (prose) ला कोड, टेबल किंवा संरचित रेकॉर्ड्ससह एकत्र करू शकते. PII-TRACE प्रत्येक संभाषणाला स्वतंत्र रेकॉर्डमध्ये विभाजित करण्याऐवजी प्रत्येक संपूर्ण संवादाचे मूल्यांकन करून हे नमुने संरक्षित करते.

बेंचमार्क दोन पूरक स्तरांवर कामगिरी मोजतो. आयडेंटिफायर स्तरावर, सुसंगत डिटेक्शन (consistent detection) अधिक कठोर प्रश्न विचारते: डिटेक्टरने समान आयडेंटिफायरच्या प्रत्येक उल्लूखातील प्रत्येक वर्ण कव्हर केला का? आम्ही बहुविध उल्लेख असलेल्या आयडेंटिफायर्ससाठी आणि टर्नमध्ये पुनरावृत्ती होणाऱ्या आयडेंटिफायर्ससाठी हा स्कोअर स्वतंत्रपणे अहवाल देतो. वर्ण स्तरावर, अचूकता (precision) मोजते की डिटेक्टरद्वारे चिन्हांकित केलेल्या मजकुरापैकी किती PII म्हणून लेबल केले गेले आहे, रिकॉल मोजते की ते किती लेबल केलेले PII शोधते, आणि F1 या दोन्हीचे संतुलन राखते.

PII-TRACE मध्ये 13 भाषा आणि 10 लेखन प्रणालींमध्ये 13,148 कृत्रिम वापरकर्ता-सहाय्यक संभाषणे समाविष्ट आहेत, ज्यामध्ये नऊ PII प्रकारांमध्ये वर्ण स्तरावर 37,431 आयडेंटिफायर उल्लेख लेबल केलेले आहेत. एकूण 41% संभाषणांमध्ये संरचित सामग्री आहे. लेबल केलेल्या PII सह 5,645 संभाषणांपैकी, 63.8% मध्ये एकापेक्षा जास्त वेळा दिसणारा आयडेंटिफायर समाविष्ट आहे, आणि 28.7% मध्ये एकाधिक टर्नमध्ये दिसणारा आयडेंटिफायर समाविष्ट आहे.

उत्पादन संभाषणांमधून कृत्रिम डेटासेट तयार करणे

PII-TRACE मूळ संभाषणे प्रकाशित न करता त्यांच्या टर्नची रचना संरक्षित करते. पाइपलाइन प्रत्येक टर्न पुनर्लेखन करते आणि प्रत्येक लेबल केलेल्या आयडेंटिफायरला कृत्रिम मूल्यासह बदलते.

प्रथम, अनेक भाषा मॉडेल्स उत्पादन वापरकर्ता-सहाय्यक संभाषणांमध्ये नऊ प्रकारचे PII चिन्हांकित करतात. नियम-आधारित पास एका एंटिटी आयडी अंतर्गत समान प्रकारच्या पुनरावृत्ती झालेल्या आयडेंटिफायर्सना गटबद्ध करतो. त्यानंतर प्रत्येक चिन्हांकित मूल्य टाइप केलेल्या प्लेसहोल्डरने बदलले जाते, ज्यामुळे एक टेम्प्लेट राहतो जो टर्न ऑर्डर, PII प्रकार आणि उल्लेखांमधील दुवे राखतो परंतु चिन्हांकित मूळ मूल्यांपैकी कोणतेही ठेवत नाही.

सिस्टम त्या प्लेसहोल्डरना अखंड ठेवून प्रत्येक टर्नचे पॅराफ्रेझ करते, नंतर आयडेंटिफायरच्या प्रकार आणि स्वरूपाशी जुळणारी कृत्रिम मूल्ये घाणते. संभाषणात पुनरावृत्ती होणाऱ्या उल्लेखांना समान मूल्य प्राप्त होते, तर भिन्न संभाषणे स्वतंत्रपणे तयार केलेली मूल्ये वापरतात. अंतिम संरेखन पास प्रत्येक वर्ण ऑफसेटची पुनर्गणना करतो.

तीन स्वयंचलित गेट्स तपासतात की बदल साठवलेल्या स्पॅन्सशी जुळतात, पुनरावृत्ती केलेले उल्लेख समान मूल्य वापरतात, आणि चिन्हांकित स्रोत मूल्ये Presidio आणि रेग्युलर-एक्प्रेशन रीस्कॅन अंतर्गत अनुपस्थित आहेत. साठवलेले ऑफसेट अचूक कृत्रिम सबस्ट्रिंग पुनर्प्राप्त करणे देखील आवश्यक आहे. ज्या रेकॉर्ड्सना अपयश येते ते पुनरुत्पादित किंवा काढून टाकले जातात. दुसरे भाषा मॉडेल एका नमुन्याचे ऑडिट करते, आणि ते PII म्हणून फ्लॅग केलेल्या कोणत्याही गोष्टीची मानवा marfat समीक्षा केली जाते.

PII-Tracer: स्थानिक वापरासाठी एक कॉम्पॅक्ट डिटेक्टर

PII-Tracer हे Qwen3 बॅकबोन्वरून अनुकूल केलेले 0.6B द्वि-दिशात्मक (bidirectional) एन्कोडर आहे. प्रायव्हसी स्क्रीनिंग हे मजकूर जनरेशनपेक्षा वेगळे आहे आणि त्यासाठी संबंधित PII स्पॅन्स शोधणे आणि त्यांच्या मर्यादा परत करणे आवश्यक आहे. परिणामी, PII-Tracer Qwen3 चे कॉजल मास्क पॅडिंग-जागरूक द्वि-दिशात्मक लक्ष (bidirectional attention) सह बदलतो, जेणेकरून प्रत्येक टोकन 4,096-टोकन विंडोमधील आधीच्या आणि नंतरच्या दोन्ही टर्नचा वापर करू शकेल.

प्रत्येक टोकनसाठी, एन्कोडर 1,024-मितीय प्रतिनिधित्व तयार करतो. एक रेखीय टॅगिंग हेड 37 शक्य लेबल्ससाठी स्कोअर तयार करतो: एक विशेष लेबल (जे दर्शवण्यासाठी आम्ही O वापरतो) PII स्पॅनच्या बाहेरील मजकुरासाठी, तसेच नऊ PII प्रकारांपैकी प्रत्येकासाठी चार स्पॅन-पोझिशन लेबल्स. नामित एंटिटी रेकग्निशनमधील BIOES योजनेमध्ये, B (सुरुवात), I (आत), आणि E (शेवट) बहु-टोकन स्पॅन चिन्हांकित करतात, तर S (एकल) एक-टोकन स्पॅन चिन्हांकित करते. आरोग्य किंवा धार्मिक माहिती यासारखी संवेदनशील सामग्री संभाषणामध्ये आहे की नाही याचा अंदाज एक सहाय्यक हेड देखील लावतो.

आम्ही बहुभाषिक सहाय्यक संभाषणांना एकल-रेकॉर्ड उदाहरणांसह एकत्र करून अंदाजे 714,000 प्रशिक्षण नमुन्यांवर तीन इपॉक्ससाठी PII-Tracer चे प्रशिक्षण देतो. सामायिक द्वि-दिशात्मक एन्कोडरमध्ये दोन प्रशिक्षण हेड आहेत: 37-वर्ग BIOES टोकन हेड जे PII स्पॅन्स शोधते आणि टाईप करते, आणि एक बायनरी संभाषण-स्तरीय हेड जे संभाषणामध्ये संवेदनशील सामग्री आहे की नाही याचा अंदाज लावते. आम्ही $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$ वापरून दोन्ही हेड संयुक्तपणे प्रशिक्षित करतो. येथे, $\mathcal{L}_{\mathrm{tag}}$ दुर्मिळ PII लेबल्सना अधिक वजन देते जेणेकरून वारंवार येणारे `O` लेबल वर्चस्व गाजवू नये, तर $\mathcal{L}_{\mathrm{sens}}$ संभाषण-स्तरीय प्रशिक्षण सिग्नल पुरवतो; 1.5 आणि 0.3 गुणांक स्पॅन डिटेक्शन मुख्य कार्य म्हणून ठेवतात. हा सहाय्यक सिग्नल संदर्भ-जागरूक (context-aware) डिटेक्शनला बळकट करतो: मॉडेल एकाकी स्ट्रिंगऐवजी संभाषandhi मधील उमेदवार स्पॅन न्याय करायला शिकतो, ज्यामुळे रिकॉलमध्ये केवळ एका लहान ट्रेडऑफसह फॉल्स पॉझिटिव्ह कमी होण्यास मदत होते.

इन्फरन्सच्या वेळी, एक प्रतिबंधित विटर्बी डिकोडर (Viterbi decoder) प्रत्येक टोकन स्वतंत्रपणे लेबल करण्याऐवजी सर्वोच्च-स्कोअरिंग वैध BIOES अनुक्रम शोधतो. उदाहरणार्थ, B-private_person हे I-private_person सह सुरू ठेवू शकते किंवा E-private_person सह बंद करू शकते, परंतु I-private_email वर स्विच करू शकत नाही. डिकोडर रिडाक्शन किंवा स्थानिक रुटिंगसाठी परिणामांना अचूक वर्ण स्पॅन्सवर मॅप करतो.

वर्ण F1 आणि पुनरावृत्ती होणाऱ्या PII वर PII-Tracer आघाडीवर आहे

आम्ही वर्ण (character) आणि स्पॅन (span) या दोन्ही स्तरांवर डिटेक्टरची तुलना करतो. वर्ण F1 हे वर्ण-दर-वर्ण डिटेक्शनचे मूल्यांकन करते. स्पॅन-ओव्हरलॅप F1 हे मोजते की डिटेक्टर PII आइटमचा कोणताही भाग ओळखतो का, तर स्पॅन-कंटेन्मेंट F1 हे मोजते की तो संपूर्ण आइटम कॅप्चर करतो का.

मूल्यांकन केलेल्या 12 सिस्टम्समध्ये PII-Tracer ने सर्वोच्च वर्ण F1 (0.629) प्राप्त केला, आणि दुसरा-सर्वोच्च स्पॅन-ओव्हरलॅप F1 आणि स्पॅन-कंटेन्मेंट F1 प्राप्त केला. फ्रंटियर मॉडेल्स, म्हणजेच GPT-5.6-sol आणि Claude Sonnet 5, यांनी तुलनेची एकूण कामगिरी प्राप्त केली. GPT-5.6-sol ने दोन्ही स्पॅन-स्तरीय F1 मेट्रिक्सवर उच्च स्कोअर मिळवले, परंतु कमी वर्ण F1 मिळवला. तथापि, या फ्रंटियर मॉडेल्सकडे शेकडो अब्जावधी किंवा अगदी ट्रिलियन पॅरामीटर्स आहेत आणि ते क्लाउडवर होस्ट केलेले बंद-स्त्रोत (closed-source) मॉडेल्स आहेत. परिणामी, ते हायब्रिड AI सेटिंग्जमध्ये संवेदनशील स्थानिक डेटाचे संरक्षण करण्यासाठी अयोग्य आहेत जिथे अनस्क्रीनिड मजकूर स्थानिक राहिला पाहिजे. याउलट, PII-Tracer केवळ 0.6B पॅरामीटर्ससह जवळजवळ-फ्रंटियर स्पॅन-स्तरीय डिटेक्शन वितरीत करते आणि अनस्क्रीनिड मजकुरावर पूर्णपणे स्थानिक पातळीवर प्रक्रिया करू शकते. इतर ओपन-सोर्स PII डिटेक्टर PII-Tracer पेक्षा लक्षणीयरीत्या खराब कामगिरी करतात.

प्रत्येक पुनरावृत्ती झालेला उल्लेख शोधत आहे

सुसंगतता प्रयोग समान अंदाजांवर कठोर चाचणी लागू करतो. चाचणी संचामध्ये 899 आयडेंटिफायर्स समाविष्ट आहेत जे एकदा येतात आणि 959 जे एकापेक्षा जास्त वेळा येतात; पुनरावृत्ती होणाऱ्या आयडेंटिफायर्सपैकी 790 बहुविध टर्नमध्ये पसरलेले आहेत. ही आकृती चार उल्लेख-संख्या बकेट (एक, दोन, तीन ते पाच, आणि सहा ते दहा) अहवाल देते आणि जेव्हा आयडेंटिफायर्सचे सर्व लेबल केलेले वर्ण आढळतात तेव्हाच त्याची गणना करते. हे तीन निवडक बेसलाइन्ससह PII-Tracer प्लॉट करते, तर एकत्रित सारणी सर्व बारा सिस्टम्ससाठी पुनरावृत्ती आणि क्रॉस-टर्न स्कोअर अहवाल देते.

जशी पुनरावृत्ती वाढते, तशी PII-Tracer पुढे राहते: त्याचा स्कोअर एका उल्लेखासाठी 0.917 वरून दोन उल्लेखांसाठी 0.873, तीन ते पाचसाठी 0.796, आणि सहा ते दहांसाठी 0.691 होतो. शेवटच्या बकेटमध्ये, GPT-5.6-sol 0.464 पर्यंत पोहोचतो, तर GLiNER2-PII आणि Claude Opus 4.8 अनुक्रमे 0.073 आणि 0.045 पर्यंत पोहोचतात. संपूर्ण मूल्यांकनात, PII-Tracer 79.4% पुनरावृत्ती होणाऱ्या आयडेंटिफायर्स आणि 77.6% क्रॉस-टर्न आयडेंटिफायर्सचा प्रत्येक उल्लेख शोधतो; GPT-5.6-sol याच दोन मोजमापांवर 57.0% आणि 55.1% पर्यंत पोहोचतो.

लांब संभाषणांची व्याप्ती

आम्ही प्रथम सर्व 1,922 चाचणी संभाषणे वर्ण लांबीनुसार गटबद्ध करतो आणि 4,096-टोकन विंडोसह PII-Tracer डिकोड करतो. गटांमध्ये 1,000 वर्णांपेक्षा कमी 167 संभाषणे, 1,000 ते 10,000 दरम्यान 1,292, आणि 10,000 किंवा त्याहून अधिक लांब असलेली 463 संभाषणे आहेत.

सिंगल-विंडो रिकॉल 1,000 वर्णांच्या खाली 0.975 आहे आणि 1,000 ते 10,000 पर्यंत 0.955 आहे, परंतु 10,000 वर्ण किंवा त्याहून अधिक संभाषणांसाठी 0.687 पर्यंत घसरतो. दोन लांब गटांमध्ये अचूकता 0.51 च्या जवळ राहते, जी मुख्य समस्या म्हणून इनपुट कव्हरेजकडे निर्देश करते.

इनपुट हाताळणीच्या प्रभावाचा अभ्यास करण्यासाठी, आम्ही 50%-ओव्हरलॅप स्लाइडिंग-विंडो डिकोडिंगसह समान चेकपॉइंटचे मूल्यांकन करतो. हे पुनर्रचना न करता, एकूण वर्ण रिकॉल 0.830 वरून 0.965 पर्यंत आणि बहु-उल्लेख सुसंगत डिटेक्शन 0.794 वरून 0.954 पर्यंत वाढवते.

भाषांमध्ये सुसंगत

PII-TRACE मध्ये 13 भाषा समाविष्ट आहेत; भाषा प्रयोगात लॅटिन, सिरिलिक आणि हांगुल लिपियोंचा समावेश करणारा सहा-भाषांचा भाग अहवाल दिला जातो: इंग्रजी, जर्मन, फ्रेंच, इटालियन, रशियन आणि कोरियन. आम्ही प्रत्येक भाषेतील सर्व चाचणी संभाषणांवर समान 12 डिटेक्टर चालवतो. प्रत्येक भाषेत, आम्ही अंदाजित आणि सोन्याचे वर्ण एकत्र करतो आणि वर्ण F1 मोजतो.

PII-Tracer सहापैकी चार भाषांमध्ये—जर्मन (0.735), फ्रेंच (0.633), इटालियन (0.676) आणि रशियन (0.651)—वर्ण F1 मध्ये आघाडीवर आहे, आणि इंग्रजी आणि कोरियनमधील सर्वोत्तम निकालांच्या 0.016 आणि 0.036 च्या आत आहे. सहचर विश्लेषणामध्ये, हे सर्व सहा भाषिक उपसंचांमध्ये सुसंगत डिटेक्शनकडे नेते, ज्याचा स्कोअर 0.80–0.93 आहे. प्रति-भाषा दृश्य इंग्रजीच्या पलीकडे वाढ दर्शवते.

पाच मानक बेंचमार्कवर प्रायव्हसी फिल्टरपेक्षा उच्च वर्ण F1

अतिम अंतिम प्रयोग PII-TRACE च्या बाहेर हलतो. आम्ही ai4privacy व्हॅलिडेशन स्पिल्ट (47,728 दस्तऐवज), Nemotron-PII चाचणी स्पिल्ट (100,000), एक निश्चित बीज SPY संच (8,688), Gretel PII चाचणी स्पिल्ट (5,000), आणि TAB ECHR चाचणी स्पिल्ट (127) वर PII-Tracer आणि OpenAI प्रायव्हसी फिल्टर चालवतो.

प्रत्येक डेटासेटवर PII-Tracer चा वर्ण F1 जास्त आहे: ai4privacy वर 0.950 विरुद्ध 0.907, Nemotron-PII वर 0.847 विरुद्ध 0.709, SPY वर 0.585 विरुद्ध 0.543, Gretel PII वर 0.952 विरुद्ध 0.895, आणि TAB वर 0.594 विरुद्ध 0.350. या गटातील TAB हा एकमेव बेंचमार्क आहे जो वास्तविक, मानवी-लेबलग्रस्त मजकुरावरून तयार केला गेला आहे. तिथे, PII-Tracer 0.986 विरुद्ध 0.982 अचूकता आणि 0.425 विरुद्ध 0.425 रिकॉल गाठतो—मूलभूतपणे समान अचूकतेवर दुप्पट रिकॉल (पेपरमध्ये तपशील). त्यामुळे उच्च F1 हा PII-TRACE संभाषणांमधून या तुलनेतील सर्व पाच पारंपारिक सिंगल-रेकॉर्ड बेंचमार्कवर लागू होतो.

निष्कर्ष

हायब्रिड AI युजरचे डिव्हाइस इन्फरन्स स्टॅक मध्ये समाकलित करते, मजबूत प्रायव्हसी आणि कमी खर्च देते. क्लाउडमधील फ्रंटियर मॉडेल्स संशोधन, तर्क आणि नियोजन हाताळू शकतात, तर स्थानिक मॉडेल्स फायली आणि वैयक्तिक डेटासह कार्य करतात ज्या डिव्हाइसवरच राहिल्या पाहिजेत. हे विभाजन क्लाउडवर कोणताही संवेदनशील डेटा जाण्यापूर्वी संवेदनशील ओळखण्यावर अवलंबून असते.

PII-Tracer हे बहु-टर्न संभाषणांमध्ये PII शोधण्यासाठी एक कॉम्पॅक्ट मॉडेल आहे, तर PII-TRACE हे मूल्यांकन करते की डिटेक्टर संभाषणादरम्यान पुनरावृत्ती होणाऱ्या PII ला सुसंगतपणे ओळखू शकतात का.

एकत्रितपणे, PII-TRACE आणि PII-Tracer बहु-टर्न संभाषणे आणि इतर लांब-संदर्भ सेटिंग्जमध्ये PII शोधन प्रगत करण्यासाठी एक बेंचमार्क आणि संदर्भ मॉडेल प्रदान करतात.

एजंट्स लांब कार्ये स्वीकारत आहेत आणि अधिक वैयक्तिक संदर्भासह कार्य करत आहेत. परिणामी, गोपनीयता नियंत्रणे केवळ सुरुवातीच्या इनपुटवर नव्हे तर संपूर्ण संभाषणात टिकली पाहिजेत. संवेदनशील संदर्भ डिव्हाइसवर ठेवण्यासाठी हायब्रिड AI विश्वासार्ह स्थानिक डिटेक्शनवर अवलंबून असते.

PII-TRACE बेंचमार्क, PII-Tracer मॉडेल आणि आमच्या मूल्यांकनाबद्दल तपशीलांसाठी arXiv पेपर वाचा. आम्ही लवकरच PII-TRACE आणि PII-Tracer दोन्ही रिलीज करण्याची योजना आखत आहोत.