PII-TRACE: Erkennung persönlicher Daten, bevor sie das Gerät verlassen

Hybrides Compute auf dem Mac teilt Perplexity Computer-Aufgaben zwischen Spitzenmodellen in der Cloud und einem lokalen Modell auf dem Mac auf. Cloud-Agenten übernehmen Recherche, Reasoning und Planung, während das lokale Modell mit privaten Dateien und sensiblen Informationen arbeitet.

Diese Grenze hängt von der Erkennung personenbezogener Daten (PII) ab, bevor diese das Gerät verlassen. Ein lokales Datenschutz-Gate hält sensible Inhalte auf dem Mac, schwärzt erkannte private Informationen oder fordert eine Genehmigung an, bevor sie an die Cloud gesendet werden.

Die Erkennung wird in langen, mehrsprachigen Konversationen schwieriger. Derselbe Bezeichner kann über verschiedene Gesprächsrunden hinweg mehrfach auftreten. Eine einzige übersehene Erwähnung kann die Informationen preisgeben, die das System schützen soll.

Einleitung

Heute stellen wir PII-TRACE (Tracing Recurring PII Across Conversational Exchanges) vor, einen neuen Benchmark zur Evaluierung von Detektoren für personenbezogene Daten (PII), sowie PII-Tracer, ein kompaktes 0,6B-Modell zur PII-Erkennung.

Cloud-First-Agenten zwingen Nutzer dazu, zwischen Kontext, Intelligenz und Privatsphäre abzuwägen. Mehr persönlicher Kontext kann einem Agenten helfen, den Nutzer zu verstehen und bessere Ergebnisse zu erzielen. Die Bereitstellung dieses Kontextes bedeutet jedoch oft, private Informationen an einen Remotedienst zu senden, und kann persönliche Informationen preisgeben. Die Information, die einen Assistenten nützlich macht, ist möglicherweise genau das, was ein Nutzer am meisten privat halten möchte.

Hybride KI mildert diesen Kompromiss ab, indem sie die Arbeit zwischen dem Gerät des Nutzers und Cloud-Modellen aufteilt. Diese Grenze schützt die Privatsphäre jedoch nur, wenn das Gerät PII erkennen kann, bevor Text an ein Remote-Modell gesendet wird. Nutzer sollten nicht jede Nachricht selbst überprüfen müssen. Das Gerät benötigt einen lokalen PII-Detektor als Privacy Gate. In langen Konversationen kann derselbe Bezeichner über Runden hinweg wiederkehren, und eine übersehene Erwähnung reicht aus, damit persönliche Informationen durchsickern.

Perplexity hat einen hybriden Local-Server-Inferenz-Orchestrator eingeführt, der entscheidet, welche Arbeit auf dem Gerät ausgeführt werden sollte und welche an Agenten in der Cloud gehen soll. Das Modell, das Agenten-Harness, die Konversationen und die Ausführungstrajektorien verbleiben alle auf der Maschine des Nutzers. Aufgaben, die Zugriff auf die Außenwelt erfordern, werden nur bei Bedarf aufgerufen und durch Nutzerberechtigungen abgesichert. Infolgedessen verbleibt dieser Inhalt auf dem Gerät, bis der Nutzer zustimmt.

PII-Tracer stellt ein lokales Steuersignal für das Modell-Routing bereit, indem er Spans markiert, von denen vorhergesagt wird, dass sie PII enthalten. Die Anwendung setzt dann die Routing-Richtlinie durch. Sie hält die relevanten Eingaben lokal, schwärzt erkannte Spans oder fordert eine ausdrückliche Genehmigung an, bevor sie an ein Cloud-Modell eskaliert. Dies macht das Routing selektiver. Erkannte PII verbleibt auf dem Gerät, während genehmigter Kontext weiterhin von modernen Cloud-Modellen profitiert.

Das selektive Routing hängt von einer konsistenten Erkennung über die gesamte Konversation hinweg ab. Derselbe Bezeichner kann über Runden hinweg wiederkehren, und eine übersehene Erwähnung kann dennoch übertragen werden.

Unter 12 Detektoren verzeichnet PII-Tracer den höchsten Zeichen-F1-Wert und die höchste konsistente Abdeckung wiederkehrender Bezeichner. Der Benchmark erklärt, warum beide Ergebnisse wichtig sind: Bei einer langen Konversation ist das Finden der meisten PII nicht dasselbe wie das Finden jeder einzelnen Kopie davon.

PII-Erkennung steht vor neuen Herausforderungen in hybrider KI

Die PII-Erkennung ist ein seit Langem bestehendes Sicherheitsproblem, und es existieren bereits mehrere Benchmarks und Detektoren. Die PII-Erkennung in hybriden KI-Umgebungen bringt jedoch neue Herausforderungen mit sich. Insbesondere müssen Detektoren PII in langen, mehrrunden Konversationen identifizieren, bei denen der konversationelle Kontext bestimmt, ob ein String als PII betrachtet werden sollte. Beispielsweise könnte ein Name den Nutzer in einer Konversation identifizieren, sich in einer anderen auf eine öffentliche Persönlichkeit beziehen oder einfach ein von einem Assistenten generierter Platzhalter sein. Die reine Oberflächenform reicht nicht aus, um zu bestimmen, ob ein String als PII markiert werden soll.

Bestehende PII-Detektoren und -Benchmarks zielen in erster Linie auf einzelne Datensätze ab. Wir stellen fest, dass Detektoren, die darauf ausgelegt sind, jeweils einen Datensatz zu verarbeiten, bei langen, komplexen Konversationen eine schlechte Leistung zeigen. Zudem bewerten bestehende Benchmarks im Allgemeinen die Konsistenz über Gesprächsrunden hinweg nicht. Infolgedessen lässt sich eine starke Leistung bei diesen Benchmarks nicht zwangsläufig auf eine effektive PII-Erkennung in langen, mehrrunden Konversationen übertragen.

PII-TRACE: Ein Benchmark für einsatzkritische PII-Erkennung

Wir haben PII-TRACE um drei Verhaltensweisen herum konzipiert, die wichtig sind, wenn ein PII-Detektor bei Assistenten-Konversationen verwendet wird. Das erste ist die konsistente Abdeckung: Wenn ein Bezeichner mehrfach auftritt oder Benutzer- und Assistenten-Runden kreuzt, muss der Detektor jede Erwähnung finden. Das zweite ist die Robustheit gegenüber langem Kontext: Konversationen reichen von weniger als 1.000 bis zu mehr als 100.000 Zeichen, wodurch messbar wird, was passiert, wenn die Historie wächst. Das dritte ist die Handhabung von mehreren Sprachen und Inhalten in gemischten Formaten: Eine Konversation kann die Sprache wechseln und Prosatext mit Code, Tabellen oder strukturierten Datensätzen kombinieren. PII-TRACE bewahrt diese Muster, indem es jeden vollständigen Dialog evaluiert, anstatt ihn in isolierte Datensätze aufzuteilen.

Der Benchmark misst die Leistung auf zwei sich ergänzenden Ebenen. Auf der Bezeichnerebene stellt konistente Erkennung die strengere Frage: Hat der Detektor jedes Zeichen in jeder Erwähnung desselben Bezeichners erfasst? Wir geben diesen Score separat für Bezeichner mit mehreren Erwähnungen und für Bezeichner an, die über Runden hinweg wiederholt werden. Auf der Zeichenebene misst die Präzision, wie viel des von einem Detektor markierten Textes als PII gekennzeichnet ist, der Recall misst, wie viel gekennzeichnetes PII er findet, und F1 gleicht beides aus.

PII-TRACE enthält 13.148 synthetische Nutzer-Assistent-Konversationen in 13 Sprachen und 10 Schriftsystemen, mit 37.431 auf Zeichenebene gekennzeichneten Bezeichnererwähnungen über neun PII-Typen hinweg. Insgesamt enthalten 41 % der Konversationen strukturierte Inhalte. Unter den 5.645 Konversationen mit gekennzeichneten PII enthalten 63,8 % einen Bezeichner, der mehr als einmal vorkommt, und 28,7 % enthalten einen Bezeichner, der über mehrere Gesprächsrunden hinweg auftritt.

Erstellung eines synthetischen Datensatzes aus Produktionskonversationen

PII-TRACE bewahrt die Rundenstruktur von Quellkonversationen, ohne die Originale zu veröffentlichen. Die Pipeline schreibt jede Runde neu und ersetzt jeden gekennzeichneten Bezeichner durch einen synthetischen Wert.

Zunächst markieren mehrere Sprachmodell neun PII-Typen in Produktions-Nutzer-Assistent-Konversationen. Ein regelbasierter Durchlauf gruppiert wiederholte Bezeichner desselben Typs unter einer Entitäts-ID. Jeder markierte Wert wird dann durch einen typisierten Platzhalter ersetzt, wodurch eine Vorlage verbleibt, die die Rundenreihenfolge, den PII-Typ und Verknüpfungen zwischen Erwähnungen beibehält, jedoch keinen der markierten Originalwerte.

Das System paraphrasiert jede Runde, während diese Platzhalter intakt bleiben, und fügt dann synthetische Werte ein, die dem Typ und Format des Bezeichners entsprechen. Wiederholte Erwähnungen erhalten innerhalb einer Konversation denselben Wert, während verschiedene Konversationen unabhängig voneinander generierte Werte verwenden. Der finale Ausrichtungsschritt berechnet jeden Zeichen-Offset neu.

Drei automatisierte Gates prüfen, ob Ersetzungen den gespeicherten Spans entsprechen, wiederholte Erwähnungen denselben Wert verwenden und markierte Quellwerte unter einem Presidio- und regulären Ausdruck-Rescan nicht vorhanden sind. Ein gespeicherter Offset muss auch den exakten synthetischen Teilstring wiederherstellen. Datensätze, die fehlschlagen, werden neu generiert oder verworfen. Ein zweites Sprachmodell prüft eine Stichprobe, und Menschen überprüfen alles, was es als PII kennzeichnet.

PII-Tracer: Ein kompakter Detektor für die lokale Verwendung

PII-Tracer ist ein bidirektionaler 0,6B-Encoder, der von einem Qwen3-Backbone adaptiert wurde. Das Datenschutz-Screening unterscheidet sich von der Textgenerierung und erfordert das Finden relevanter PII-Spans und die Rückgabe ihrer Grenzen. Infolgedessen ersetzt PII-Tracer die kausale Maske von Qwen3 durch eine padding-bewusste bidirektionale Aufmerksamkeit, sodass jedes Token sowohl auf frühere als auch auf spätere Runden innerhalb eines Fensters von 4.096 Token zurückgreifen kann.

Für jedes Token erzeugt der Encoder eine 1.024-dimensionale Repräsentation. Ein linearer Tagging-Kopf erzeugt Scores für 37 mögliche Labels: ein spezielles Label (das wir zur Bezeichnung mit O angeben) für Text außerhalb eines PII-Spans sowie vier Span-Positions-Labels für jeden der neun PII-Typen. Im BIOES-Schema für Named Entity Recognition markieren B (Beginning), I (Inside) und E (End) einen mehrteiligen Token-Span, während S (Single) einen Ein-Token-Span markiert. Ein Hilfskopf sagt zudem voraus, ob die Konversation sensibles Material wie Gesundheits- oder Religionsinformationen enthält.

Wir trainieren PII-Tracer für drei Epochen mit ca. 714.000 Trainingsstücken und kombinieren mehrsprachige Assistenten-Konversationen mit Beispielen einzelner Datensätze. Der gemeinsame bidirektionale Encoder verfügt über zwei Trainingsköpfe: einen 37-Klassen-BIOES-Token-Kopf, der PII-Spans erkennt und typisiert, sowie einen binären konversationsweiten Kopf, der vorhersagt, ob die Konversation sensibles Material enthält. Wir trainieren beide Köpfe gemeinsam unter Verwendung von $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Hierbei gibt $\mathcal{L}_{\mathrm{tag}}$ seltenen PII-Labels mehr Gewicht, damit das häufige `O`-Label nicht dominiert, während $\mathcal{L}_{\mathrm{sens}}$ das konversationsweite Trainingssignal liefert; die Koeffizienten 1,5 und 0,3 behalten die Span-Erkennung als Hauptaufgabe bei. Dieses Hilfssignal verstärkt die kontextbewusste Erkennung: Das Modell lernt, einen Kandidaten-Span innerhalb der Konversation anstelle als isolierten String zu bewerten, was dazu beiträgt, Falsch-Positive bei nur einem geringen Kompromiss beim Recall zu reduzieren.

Zur Inferenzzeit sucht ein eingeschränkter Viterbi-Decoder nach der gültigen BIOES-Sequenz mit dem höchsten Score, anstatt jedes Token unabhängig zu kennzeichnen. Beispielsweise kann auf B-private_person I-private_person folgen oder der Eintrag mit E-private_person geschlossen werden, aber nicht zu I-private_email gewechselt werden. Der Decoder bildet das Ergebnis zur Schwärzung oder lokalen Weiterleitung auf exakte Zeichen-Spans ab.

PII-Tracer führt bei Zeichen-F1 und wiederkehrenden PII

Wir vergleichen die Detektoren sowohl auf Zeichen- als auch auf Span-Ebene. Der Zeichen-F1-Wert bewertet die Erkennung Zeichen für Zeichen. Der Span-Overlap-F1-Wert misst, ob der Detektor einen Teil eines PII-Elements identifiziert, während der Span-Containment-F1-Wert misst, ob er das gesamte Element erfasst.

PII-Tracer erzielte den höchsten Zeichen-F1-Wert (0,629) unter den 12 evaluierten Systemen sowie den zweithöchsten Span-Overlap-F1 und Span-Containment-F1. Spitzenmodelle, namentlich GPT-5.6-sol und Claude Sonnet 5, erzielten eine vergleichbare Gesamtleistung. GPT-5.6-sol erhielt höhere Scores bei beiden Metriken für den Span-F1, jedoch einen niedrigeren Zeichen-F1-Wert. Allerdings verfügen diese Spitzenmodelle über Hunderte von Milliarden oder sogar Billionen Parametern und sind in der Cloud gehostete Open-Source-Modelle bzw. geschlossene Modelle. Infolgedessen sind sie ungeeignet, um sensible lokale Daten in hybriden KI-Szenarien zu schützen, in denen ungesichteter Text lokal bleiben muss. Im Gegensatz dazu liefert PII-Tracer eine Erkennung auf Span-Ebene nahe am Spitzeniveau mit nur 0,6B Parametern und kann ungesichteten Text vollständig lokal verarbeiten. Andere Open-Source-PII-Detektoren schneiden wesentlich schlechter ab als PII-Tracer.

Finden jeder wiederkehrenden Erwähnung

Das Konsistenzexperiment wendet einen strengeren Test auf dieselben Vorhersagen an. Der Testset enthält 899 Bezeichner, die einmal vorkommen, und 959, die mehr als einmal vorkommen; 790 der wiederkehrenden Bezeichner erstrecken sich über mehrere Runden. Der Abbildung meldet vier Erwähnungsanzahl-Buckets (eins, zwei, drei bis fünf sowie sechs bis zehn) und zählt einen Bezeichner nur dann, wenn alle seine gekennzeichneten Zeichen gefunden werden. Es stellt PII-Tracer mit drei ausgewählten Baselines dar, während die aggregierte Tabelle wiederkehrende und rundenübergreifende Scores für alle zwölf Systeme ausgibt.

PII-Tracer bleibt bei zunehmender Wiederholung führend: Der Score bewegt sich von 0,917 bei einer Erwähnung zu 0,873 bei zwei, 0,807 bis 0,796 bei drei bis fünf und 0,691 bei sechs bis zehn. Im letzten Bucket erreicht GPT-5.6-sol 0,464, während GLiNER2-PII und Claude Opus 4.8 0,073 und 0,045 erreichen. Über die gesamte Evaluierung hinweg findet PII-Tracer jede Erwähnung von 79,4 % der wiederkehrenden Bezeichner und 77,6 % der beitragsübergreifenden Bezeichner; GPT-5.6-sol erreicht bei denselben beiden Messungen 57,0 % und 55,1 %.

Abdeckung langer Konversationen

Wir gruppieren zunächst alle 1.922 Testkonversationen nach Zeichenlänge und dekodieren PII-Tracer mit dem 4.096-Token-Fenster. Die Gruppen enthalten 167 Konversationen unter 1.000 Zeichen, 1.292 von 1.000 bis 10.000 und 463 ab 10.000 Zeichen.

Der Single-Window-Recall beträgt 0,975 unter 1.000 Zeichen und 0,955 von 1.000 bis 10.000, sinkt jedoch auf 0,687 für Konversationen mit 10.000 oder mehr Zeichen. Die Präzision verbleibt in den beiden längeren Gruppen nahe bei 0,51, was auf die Eingabeabdeckung als Hauptproblem hinweist.

Um die Auswirkung der Eingabeverarbeitung zu untersuchen, evaluieren wir denselben Checkpoint mit einem Gleitfenster-Dekodieren (Sliding-Window) mit 50 % Überlappung. Dies erhöht den Gesamtrecall von Zeichen von 0,830 auf 0,965 und die konsistente Erkennung bei mehreren Erwähnungen von 0,794 auf 0,954, ohne Neutraining.

Konsistent über Sprachen hinweg

PII-TRACE deckt 13 Sprachen ab; das Sprachexperiment berichtet über einen Sechs-Sprachen-Ausschnitt, der lateinische, kyrillische und Hangul-Schriften umfasst: Englisch, Deutsch, Französisch, Italienisch, Russisch und Koreanisch. Wir führen dieselben 12 Detektoren für alle Testkonversationen in jeder Sprache aus. Innerhalb jeder Sprache fassen wir vorhergesagte und Gold-Zeichen zusammen und berechnen den Zeichen-F1-Wert.

PII-Tracer führt den Zeichen-F1-Wert in vier von sechs Sprachen an – Deutsch (0,735), Französisch (0,633), Italienisch (0,676) und Russisch (0,651) –, und liegt bei Englisch und Koreanisch innerhalb von 0,016 und 0,036 der besten Ergebnisse. In der begleitenden Analyse führt dies zu einer konsistenten Erkennung in allen sechs Sprachuntergruppen mit Scores von 0,80–0,93. Die sprachspezifische Ansicht zeigt Gewinne über das Englische hinaus.

Höherer Zeichen-F1-Wert als der Privacy Filter bei fünf Standard-Benchmarks

Das letzte Experiment findet außerhalb von PII-TRACE statt. Wir führen PII-Tracer und den OpenAI Privacy Filter auf dem ai4privacy-Validierungssplit (47.728 Dokumente), dem Nemotron-PII-Testsplit (100.000), einem festgelegten Seed-SPY-Set (8.688), dem Gretel-PII-Testsplit (5.000) und dem TAB-ECHR-Testsplit (127) aus.

PII-Tracer weist bei jedem Datensatz einen höheren Zeichen-F1-Wert auf: 0,950 gegenüber 0,907 bei ai4privacy, 0,847 gegenüber 0,709 bei Nemotron-PII, 0,585 gegenüber 0,543 bei SPY, 0,952 gegenüber 0,895 bei Gretel PII und 0,594 gegenüber 0,350 bei TAB. TAB ist der einzige Benchmark in dieser Gruppe, der aus echtem, von Menschen gekennzeichnetem Text erstellt wurde. Dort erreicht PII-Tracer 0,986 gegenüber 0,982 Präzision und 0,425 gegenüber 0,421 oder 0,213 Recall – die doppelte Recall bei im Wesentlichen derselben Präzision (Details im Papier). Der höhere F1-Wert überträgt sich daher von PII-TRACE-Konversationen auf alle fünf herkömmlichen Single-Record-Benchmarks in diesem Vergleich.

Fazit

Hybride KI integriert das Gerät des Nutzers in den Inferenz-Stack und bietet stärkere Privatsphäre und geringere Kosten. Spitzenmodelle in der Cloud können Recherche, Reasoning und Planung übernehmen, während lokale Modelle mit Dateien und persönlichen Daten arbeiten, die auf dem Gerät verbleiben sollten. Diese Aufteilung hängt von der Erkennung sensibler Informationen ab, bevor sensible Daten an die Cloud übermittelt werden.

PII-Tracer ist ein kompaktes Modell zur Erkennung von PII in mehrrunden Konversationen, während PII-TRACE bewertet, ob Detektoren wiederkehrende PII während einer Konversation konsistent identifizieren können.

Zusammen bilden PII-TRACE und PII-Tracer einen Benchmark und ein Referenzmodell zur Förderung der PII-Erkennung in mehrrunden Konversationen und anderen Langkontext-Szenarien.

Agenten übernehmen längere Aufgaben und arbeiten mit mehr persönlichem Kontext. Infolgedessen sollten Datenschutzkontrollen über die gesamte Konversation hinweg gelten und nicht nur für die initiale Eingabe. Hybride KI hängt von einer zuverlässigen lokalen Erkennung ab, um sensiblen Kontext auf dem Gerät zu halten.

Lesen Sie das arXiv-Papier für Details zum PII-TRACE-Benchmark, dem PII-Tracer-Modell und unserer Evaluierung. Wir planen, sowohl PII-TRACE als auch PII-Tracer bald zu veröffentlichen.