PII-TRACE: Kişisel Verileri Cihazdan Ayrılmadan Önce Tespit Etmek

Mac'te hibrit hesaplama, Perplexity Computer görevlerini buluttaki öncü modeller ile Mac'teki yerel bir model arasında böler. Bulut aracıları araştırma, akıl yürütme ve planlamayı yönetirken, yerel model özel dosyalar ve hassas bilgilerle çalışır.

Bu sınır, kişisel olarak tanımlanabilir bilgilerin (PII) cihazı terk etmeden önce tespit edilmesine bağlıdır. Yerel bir gizlilik geçiti hassas içeriği Mac'te tutar, tespit edilen özel bilgileri maskeler (redacts) veya buluta göndermeden önce onay ister.

Uzun ve çok dilli konuşmalarda tespit daha da zorlaşır. Aynı tanımlayıcı, farklı konuşma turlarında birkaç kez görünebilir. Kaçırılan tek bir anma, sistemin korumayı amaçladığı bilgileri açığa çıkarabilir.

Giriş

Bugün, kişisel olarak tanımlanabilir bilgi (PII) dedektörlerini değerlendirmek için yeni bir kıyaslama olan PII-TRACE'i (Tracing Recurring PII Across Conversational Exchanges - Konuşma Alışverişleri Boyunca Yinelenen PII'leri İzleme) ve PII tespiti için kompakt 0,6B'lik bir model olan PII-Tracer'ı tanıtıyoruz.

Bulut odaklı aracılar, kullanıcıları bağlam, zeka ve gizlilik arasında denge kurmaya zorlar. Daha fazla kişisel bağlam, bir aracının kullanıcıyı anlamasına ve daha iyi sonuçlar üremesine yardımcı olabilir. Ancak bu bağlamı sağlamak genellikle özel bilgilerin uzak bir servise gönderilmesi anlamına gelir ve kişisel bilgilerin sızmasına neden olabilir. Bir asistanı yararlı kılan bilgi, tam olarak kullanıcının gizli tutmak isteyebileceği şey olabilir.

Hibrit yapay zeka, işi kullanıcının cihazı ile bulut modelleri arasında bölerek bu ödünleşimi kolaylaştırır. Ancak bu sınır, yalnızca cihaz uzak bir modele metin gönderilmeden önce PII'yi tanıyabiliyorsa gizliliği korur. Kullanıcıların her mesajı kendilerinin incelemesi gerekmemelidir. Cihazın gizlilik geçiti olarak yerel bir PII dedektörüne ihtiyacı vardır. Uzun konuşmalarda, aynı tanımlayıcı turlar boyunca yinelenebilir ve kaçırılan tek bir anma, kişisel bilgilerin geçmesi için yeterlidir.

Perplexity, hibrit bir yerel sunucu çıkarım düzenleyicisi sundu; bu düzenleyici, hangi işin cihaz üzerinde çalışması gerektiğine ve hangi işin buluttaki aracı chiamato (agents) gitmesi gerektiğine karar verir. Model, aracı altyapısı (harness), konuşmalar ve yürütme yörüngelerinin tümü kullanıcının makinesinde bulunur. Dış dünyaya erişim gerektiren görevler yalnızca gerektiğinde çağrılır ve kullanıcı izniyle sınırlandırılır. Sonuç olarak, kullanıcı onay verene kadar bu içerik cihazda kalır.

PII-Tracer, PII içermesi öngörülen aralıkları işaretleyerek model yönlendirmesi için yerel bir kontrol sinyali sağlar. Uygulama daha sonra yönlendirme politikasını uygular. İlgili girdiyi yerel tutar, tespit edilen aralıkları maskeler (redacts) veya bir bulut modeline yönlendirmeden önce açık onay ister. Bu da yönlendirmeyi daha seçici hale getirir. Tespit edilen PII cihazda kalırken, onaylanan bağlam öncü bulut modellerinden yararlanmaya devam eder.

Seçici yönlendirme, konuşmanın tamamında tutarlı bir tespide bağlıdır. Aynı tanımlayıcı turlar boyunca yinelenebilir ve kaçırılan bir anma yine de iletilebilir.

12 dedektör arasında PII-Tracer, en yüksek karakter F1 değerini ve yinelenen tanımlayıcıların en yüksek tutarlı kapsamını kaydeder. Kıyaslama, her iki sonucun neden önemli olduğunu açıklar: uzun bir konuşmada, PII'nin çoğunu bulmak, her kopyasını bulmakla aynı şey değildir.

Hibrit Yapay Zekada PII Tespiti Yeni Zorluklarla Karşılaşıyor

PII tespiti uzun süredir devam eden bir güvenlik sorunudur ve halihazırda çeşitli kıyaslamalar ve dedektörler mevcuttur. Ancak hibrit yapay zeka ortamlarında PII tespiti yeni zorlukları beraberinde getirir. Özellikle dedektörler; konuşma bağlamının bir dizenin PII olarak kabul edilip edilmeyeceğini belirlediği, uzun ve çok turlu konuşmalarda PII'yi tanımlamak zorundadır. Örneğin, bir isim bir konuşmada kullanıcıyı tanımlayabilirken, başka bir konuşmada halka mal olmuş bir kişiye atıfta bulunabilir veya basitçe bir asistan tarafından oluşturulan bir yer tutucu olabilir. Yalnızca yüzey biçimi (surface form), bir dizenin PII olarak işaretlenip işaretlenmemesi gerektiğini belirlemek için tek başına yeterli değildir.

Mevcut PII dedektörleri ve kıyaslamaları öncelikle bireysel kayıtları hedef alır. Aynı anda tek bir kaydı işlemek üzere tasarlanmış dedektörlerin uzun ve karmaşık konuşmalarda zayıf performans gösterdiğini görüyoruz. Ayrıca mevcut kıyaslamalar genellikle turlar arası tutarlılığı değerlendirmez. Sonuç olarak, bu kıyaslamalardaki güçlü performans, uzun ve çok turlu konuşmalarda mutlaka etkili bir PII tespiti anlamına gelmez.

PII-TRACE: Dağıtım Açısından Kritik PII Tespiti İçin Bir Kıyaslama

PII-TRACE'i, bir PII dedektörü asistan konuşmalarında kullanıldığında önem taşıyan üç davranış etrafında tasarladık. Birincisi tutarlı kapsamdır: bir tanımlayıcı birkaç kez göründüğünde veya kullanıcı ile asistan turlarını aştığında, dedektörün her anıyı bulması gerekir. İkincisi uzun bağlama karşı dayanıklılıktır: konuşmalar 1.000'den az ile 100.000'den fazla karakter arasında değişir ve bu da geçmiş büyüdükçe ne olduğunu ölçmeyi mümkün kılar. Üçüncüsü ise birden fazla dili ve karışık biçimli içeriği işlemektir: bir konuşma diller arasında geçiş yapabilir ve düz metni (prose) kod, tablo veya yapılandırılmış kayıtlarla birleştirebilir. PII-TRACE, her diyaloğu yalıtılmış kayıtlara bölmek yerine bütünüyle değerlendirerek bu kalıpları korur.

Kıyaslama, performansı birbirini tamamlayan iki düzeyde ölçer. Tanımlayıcı düzeyinde, tutarlı tespit daha katı soruyu sorar: dedektör, aynı tanımlayıcının her anısındaki her karakteri kapsadı mı? Bu puanı birden fazla anması olan tanımlayıcılar ve turlar boyunca tekrarlanan tanımlayıcılar için ayrı ayrı bildiriyoruz. Karakter düzeyinde hassasiyet, bir dedektör tarafından işaretlenen metnin ne kadarının PII olarak etiketlendiğini ölçer; hatırlama (recall), etiketlenen PII'nin ne kadarını bulduğunu ölçer ve F1 ikisini dengeler.

PII-TRACE; 13 dil ve 10 yazım sistemini kapsayan, 13.148 sentetik kullanıcı-asistan konuşması içerir; dokuz PII türü genelinde karakter düzeyinde etiketlenmiş 37.431 tanımlayıcı anması barındırır. Konuşmaların toplamda %41'i yapılandırılmış içerik barındırmaktadır. Etiketlenmiş PII içeren 5.645 konuşma arasında, %63,8'i birden fazla kez görünen bir tanımlayıcı içerirken, %28,7'si birden çok tur boyunca görünen bir tanımlayıcı içermektedir.

Üretim konuşmalarından sentetik bir veri kümesi oluşturma

PII-TRACE, orijinallerini yayınlamadan kaynak konuşmaların tur yapısını korur. İşlem hattı (pipeline) her turu yeniden yazar ve etiketlenen her tanımlayıcıyı sentetik bir değerle değiştirir.

İlk olarak, birden fazla dil modeli üretim kullanıcı-asistan konuşmalarındaki dokuz PII türünü işaretler. Kural tabanlı bir geçiş, aynı türdeki yinelenen tanımlayıcıları tek bir varlık kimliği altında gruplandırır. İşaretlenen her değer daha sonra yazılmış bir yer tutucuyla (placeholder) değiştirilir; böylece tur sırasını, PII türünü ve anımlar arasındaki bağlantıları koruyan ancak işaretlenen orijinal değerlerin hiçbirini bırakmayan bir şablon kalır.

Sistem, bu yer tutucuları (placeholders) bozulmadan tutarak her turu başka sözcüklerle yeniden ifade eder (paraphrases), ardından tanımlayıcının türü ve biçimiyle eşleşen sentetik değerler ekler. Yinelenen anımlar bir konuşma içinde aynı değeri alırken, farklı konuşmalar bağımsız olarak oluşturulan değerler kullanır. Son hizalama geçişi her karakter uzaklığını (offset) yeniden hesaplar.

Üç otomatik geçit (gate), değiştirme işlemlerinin saklanan aralıklarla eşleşmesini, yinelenen anımların aynı değeri kullanmasını ve işaretlenen kaynak değerlerinin bir Presidio ve düzenli ifade yeniden taraması altında bulunmamasını kontrol eder. Saklanan bir uzaklık (offset) ayrıca tam sentetik alt dizeyi kurtarmalıdır. Başarısız olan kayıtlar yeniden oluşturulur veya atılır. İkinci bir dil modeli bir örneği denetler (audits) ve insanlar bunun PII olarak işaretlediği her şeyi inceler.

PII-Tracer: Yerel Kullanım İçin Kompakt Bir Dedektör

PII-Tracer, bir Qwen3 omurgasından uyarlanmış 0,6B'lik iki yönlü bir kodlayıcıdır (bidirectional encoder). Gizlilik taraması, metin üretiminden farklıdır; ilgili PII aralıklarının bulunmasını ve sınırlarının döndürülmesini gerektirir. Sonuç olarak PII-Tracer, Qwen3'ün nedensel maskesini (causal mask), dolgu farkındalığına sahip çift yönlü dikkatle (padding-aware bidirectional attention) değiştirir, böylece her belirteç 4.096 belirteçlik bir pencere içinde hem önceki hem de sonraki turlardan yararlanabilir.

Kodlayıcı, her belirteç için 1.024 boyutlu bir temsil üretir. Doğrusal bir etiketleme başlığı, 37 olası etiket için puanlar üretir: bir PII aralığının dışındaki metin için kullanılan (göstermek için O kullandığımız) bir özel etiket ve dokuz PII türünün her biri için dört aralık konumu etiketi. Adlandırılmış Varlık Tanıma (Named Entity Recognition) için BIOES şemasında; B (Başlangıç - Beginning), I (İçinde - Inside) ve E (Bitiş - End) çok belirteçli bir aralığı işaret ederken, S (Tek - Single) tek belirteçli bir aralığı işaret eder. Yardımcı bir başlık ayrıca konuşmanın sağlık veya din bilgisi gibi hassas materyal içerip içermediğini tahmin eder.

PII-Tracer'ı çok dilli asistan konuşmalarını tek kayıtlı örneklerle birleştirerek yaklaşık 714.000 eğitim örneği üzerinde üç epoch boyunca eğitiyoruz. Paylaşılan çift yönlü kodlayıcının iki eğitim başlığı vardır: PII aralıklarını tespit eden ve türünü belirleyen 37 sınıflı bir BIOES belirteç başlığı ve konuşmanın hassas materyal içerip içermediğini tahmin eden ikili (binary) bir konuşma düzeyi başlığı. Her iki başlığı da $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$ kullanarak ortaklaşa eğitiyoruz. Burada $\mathcal{L}_{\mathrm{tag}}$, sık kullanılan `O` etiketinin baskın olmaması için nadir PII etiketlerine daha fazla ağırlık verirken, $\mathcal{L}_{\mathrm{sens}}$ konuşma düzeyinde eğitim sinyali sağlar; 1,5 ve 0,3 katsayıları, aralık tespitini ana görev olarak tutar. Bu yardımcı sinyal, bağlam farkındalığına sahip tespiti güçlendirir: model, aday bir aralığı yalıtılmış bir dize olarak değil, konuşma bağlamı içinde değerlendirmeyi öğrenir; böylece hatırlamada yalnızca küçük bir ödünleşimle (tradeoff) yanlış pozitiflerin azaltılmasına yardımcı olur.

Çıkarım sırasında, kısıtlı bir Viterbi kod çözücü, her bir belirteci bağımsız olarak etiketlemek yerine en yüksek puanı alan geçerli BIOES dizisini arar. Örneğin, B-private_person, I-private_person ile devam edebilir veya E-private_person ile kapanabilir, ancak I-private_email konumuna geçemez. Kod çözücü, sonucu metin maskeleme (redaction) veya yerel yönlendirme için tam karakter aralıklarına geri eşler.

PII-Tracer, Karakter F1 ve Yinelenen PII Konusunda Liderdir

Dedektörleri hem karakter hem de aralık (span) düzeyinde karşılaştırıyoruz. Karakter F1, tespiti karakter karakter değerlendirirken; aralık örtüşmesi (span-overlap) F1, dedektörün bir PII öğesinin herhangi bir kısmını tanımlayıp tanımlamadığını, aralık kapsaması (span-containment) F1 ise öğenin tamamını yakalayıp yakalamadığını ölçer.

PII-Tracer, değerlendirilen 12 sistem arasında en yüksek karakter F1 değerini (0,629) ve en yüksek ikinci aralık örtüşmesi F1 ile aralık kapsaması F1 değerlerini elde etti. Öncü modeller (yani GPT-5.6-sol ve Claude Sonnet 5) benzer genel performans elde etti. GPT-5.6-sol her iki aralık düzeyi F1 metriğinde daha yüksek puanlar elde ederken, daha düşük bir karakter F1 elde etti. Ancak bu öncü modeller yüz milyarlarca hatta trilyonlarca parametreye sahiptir ve bulutta barındırılan kapalı kaynaklı modellerdir. Sonuç olarak, taranmamış metnin yerel kalması gereken hibrit yapay zeka ortamlarında hassas yerel verileri korumak için uygun değildirler. Buna karşılık PII-Tracer, yalnızca 0,6B parametreyle sınıra yakın aralık düzeyi tespiti sunar ve taranmamış metni tamamen yerel olarak işleyebilir. Diğer açık kaynaklı PII dedektörleri PII-Tracer'dan çok daha kötü performans göstermektedir.

Her Yinelenen Anıyı Bulma

Tutarlılık deneyi, aynı tahminlere daha katı bir test uygular. Test kümesi, bir kez görünen 899 tanımlayıcı ve birden fazla kez görünen 959 tanımlayıcı içerir; yinelenen tanımlayıcılardan 790'ı birden fazla turu kapsamaktadır. Şekil, dört anma sayısı grubunu (bir, iki, üç ila beş, altı ila on) bildirir ve bir tanımlayıcıyı yalnızca etiketlenen tüm karakterleri bulunduğunda sayar. PII-Tracer'ı seçilen üç taban çizgisiyle (baseline) birlikte çizerken, toplu tablo on iki sistemin tümü için yinelenen ve turlar arası puanları rapor eder.

Tekrarlama arttıkça PII-Tracer önde kalmaya devam ediyor: skoru, tek bir anma için 0,917'den iki anma için 0,873'e, üç ila beş anma için 0,796'ya ve altı ila on anma için 0,691'e geriliyor. Son grupta GPT-5.6-sol 0,464'e ulaşırken GLiNER2-PII ve Claude Opus 4.8 sırasıyla 0,073 ve 0,045'e ulaşıyor. Tam değerlendirme genelinde PII-Tracer, yinelenen tanımlayıcıların %79,4'ünün ve konuşmalar arası tanımlayıcıların %77,6'sının her bir anmasını buluyor; GPT-5.6-sol ise aynı iki ölçümde %57,0 ve %55,1'e ulaşıyor.

Uzun Konuşmaları Kapsamak

Öncelikle 1.922 test konuşmasının tümünü karakter uzunluğuna göre gruplandırıyoruz ve PII-Tracer'ı 4.096 belirteçlik pencereyle kod çözüyoruz. Gruplar; 1.000 karakterin altında 167, 1.000 ile 10.000 arasında 1.292 ve 10.000 veya daha uzun 463 konuşma içermektedir.

Tek pencere hatırlaması 1.000 karakterin altında 0,975 ve 1.000 ile 10.000 arasında 0,955'tir, ancak 10.000 karakter ve üzerindeki konuşmalar için 0,687'ye düşer. Hassasiyet, daha uzun olan iki grupta 0,51 civarında kalmakta ve temel sorun olarak girdi kapsamına işaret etmektedir.

Girdi işlemenin etkisini incelemek için, aynı kontrol noktasını %50 örtüşmeli kayan pencere (sliding-window) kod çözme ile değerlendiriyoruz. Bu, yeniden eğitim gerektirmeden genel karakter hatırlamasını 0,830'dan 0,965'e ve çoklu anma tutarlı tespitini 0,794'ten 0,954'e yükseltir.

Diller Arasında Tutarlı

PII-TRACE 13 dili kapsar; dil deneyi; Latin, Kiril ve Hangul betiklerini kapsayan altı dilden oluşan bir kesiti rapor eder: İngilizce, Almanca, Fransızca, İtalyanca, Rusça ve Korece. Aynı 12 dedektörü her dildeki tüm test konuşmalarında çalıştırıyoruz. Her dil içinde, tahmin edilen ve altın standart (gold) karakterleri birleştiriyor ve karakter F1 değerini hesaplıyoruz.

PII-Tracer; Almanca (0,735), Fransızca (0,633), İtalyanca (0,676) ve Rusça (0,651) olmak üzere altı dilden dördünde karakter F1 değerinde liderdir ve İngilizce ile Korencede en iyi sonuçların 0,016 ile 0,036 yakınındadır. Yan analizde, 0,80–0,93 puan alarak altı dil alt kümesinin tamamında tutarlı bir tespit sağlar. Diller bazındaki görünüm, İngilizcenin ötesindeki kazanımları göstermektedir.

Beş Standart Kıyaslamada Gizlilik Filtresinden Daha Yüksek Karakter F1 Değeri

Son deneme PII-TRACE dışına taşıyor. PII-Tracer ve OpenAI Gizlilik Filtresini ai4privacy doğrulama alt kümesinde (47.728 belge), Nemotron-PII test alt kümesinde (100.000), sabit tohumlu SPY kümesinde (8.688), Gretel PII test alt kümesinde (5.000) ve TAB ECHR test alt kümesinde (127) çalıştırıyoruz.

PII-Tracer her veri kümesinde daha yüksek karakter F1 değerine sahiptir: ai4privacy üzerinde 0,907'ye karşı 0,950, Nemotron-PII üzerinde 0,709'a karşı 0,847, SPY üzerinde 0,543'e karşı 0,585, Gretel PII üzerinde 0,895'e karşı 0,952 ve TAB üzerinde 0,350'ye karşı 0,594. TAB, bu gruptaki gerçek ve insan tarafından etiketlenmiş metinlerden oluşturulan tek kıyaslamadır. Orada PII-Tracer, 0,982 hassasiyete ve 0,213 hatırlamaya karşı 0,986 hassasiyet ve 0,425 hatırlamaya ulaşır; bu da neredeyse aynı hassasiyette iki kat hatırlama demektir (ayrıntılar makalededir). Dolayısıyla daha yüksek F1, PII-TRACE konuşmalarından bu karşılaştırmadaki beş geleneksel tek kayıtlı kıyaslamanın tümüne aktarılmaktadır.

Sonuç

Hibrit yapay zeka, kullanıcının cihazını çıkarım yığınına entegre ederek daha güçlü gizlilik ve daha düşük maliyet sunar. Buluttaki öncü modeller araştırma, akıl yürütme ve planlamayı yönetebilirken, yerel modeller cihazda kalması gereken dosyalar ve kişisel verilerle çalışır. Bu ayrım, herhangi bir hassas veri buluta gitmeden önce hassas bilgilerin tanınmasına bağlıdır.

PII-Tracer, çok turlu konuşmalarda PII tespiti için kompakt bir modeldir; PII-TRACE ise dedektörlerin bir konuşma boyunca yinelenen PII'leri sürekli olarak tanımlayıp tanımlayamadığını değerlendirir.

PII-TRACE ve PII-Tracer birlikte, çok turlu konuşmalarda ve diğer uzun bağlamlı ortamlarda PII tespitini ilerletmek için bir kıyaslama ve referans model sağlar.

Aracılar daha uzun görevleri üstleniyor ve daha fazla kişisel bağlamla çalışıyor. Sonuç olarak, gizlilik kontrolleri yalnızca ilk girdi için değil, tüm konuşma boyunca geçerli olmalıdır. Hibrit yapay zeka, hassas bağlamı cihazda tutmak için güvenilir yerel tespite güvenir.

PII-TRACE kıyaslaması, PII-Tracer modeli ve değerlendirmemiz hakkında ayrıntılar için arXiv makalesini okuyun. Hem PII-TRACE'i hem de PII-Tracer'ı yakında yayınlamayı planlıyoruz.