PII-TRACE: detección de datos persoais antes de que abandonen o dispositivo

Cómputo híbrido en Mac divide as tarefas de Perplexity Computer entre modelos de vangarda na nube e un modelo local no Mac. Os axentes na nube xestionan a investigación, o razoamento e a planificación, mentres que o modelo local traballa con ficheiros privados e información sensible.

Este límite depende de detectar información de identificación persoal (PII) antes de que abandone o dispositivo. Unha porta de privacidade local mantén o contido sensible no Mac, redacta a información privada detectada ou solicita aprobación antes de enviala á nube.

A detección vólvese máis difícil en conversas longas e multilingües. O mesmo identificador pode aparecer varias veces en diferentes quendas. Unha mención omitida pode expoñer a información que o sistema debe protexer.

Introdución

Hoxe presentamos PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), un novo punto de referencia para avaliar detectores de información de identificación persoal (PII), e PII-Tracer, un modelo compacto de 0,6B para a detección de PII.

Os axentes centrados na nube forzan aos usuarios a equilibrar contexto, intelixencia e privacidade. Máis contexto persoal pode axudar a un axente a comprender ao usuario e producir mellores resultados. Pero proporcionar este contexto adoita significar enviar información privada a un servizo remoto e pode filtrar información persoal. A información que fai que un asistente sexa útil pode ser exactamente o que un usuario máis desexa manter en privado.

A IA híbrida facilita este compromiso dividindo o traballo entre o dispositivo do usuario e os modelos na nube. Pero ese límite só protexe a privacidade se o dispositivo pode recoñecer PII antes de que o texto se envíe a un modelo remoto. Os usuarios non deberían ter que inspeccionar cada mensaxe por si mesmos. O dispositivo necesita un detector de PII local como a súa porta de privacidade. en conversas longas, o mesmo identificador pode repetirse entre quendas, e unha mención omitida é suficiente para que a información persoal pase.

Perplexity introduciu un orquestrador de inferencia híbrida local-servidor que decide que traballo debe executarse no dispositivo e que traballo debe ir aos axentes na nube. O modelo, o marco de axentes, as conversas e as traxectorias de execución residen na máquina do usuario. As tarefas que requiren acceso ao mundo exterior invócanse só cando é necesario e están reguladas pola permisos do usuario. Como resultado, ata que o usuario o aproba, ese contido permanece no dispositivo.

PII-Tracer proporciona un sinal de control local para o enrutamento de modelos mediante a marcaxe de fragmentos previstos que se prediciu que contiden PII. A aplicación aplica entón a política de enrutamento. Mantén a entrada relevante local, redacta os fragmentos detectados ou solicita unha aprobación explícita antes de escalar a un modelo na nube. Isto fai que o enrutamento sexa máis selectivo. O PII detectado permanece no dispositivo mentres que o contexto aprobado aínda se beneficia dos modelos de nube de vangarda.

O enrutamento selectivo depende dunha detección consistente en toda a conversa. O mesmo identificador pode repetirse entre quendas, e unha mención omitida pode transmitirse aínda.

Entre 12 detectores, PII-Tracer rexistra o F1 de caracteres máis alto e a cobertura consistente máis alta de identificadores recurrentes. O punto de referencia explica por que importan ambos os resultados: nunha conversa longa, atopar a maior parte da PII non é o mesmo que atopar cada copia dela.

A detección de PII afronta novos retos na IA híbrida

A detección de PII é un problema de seguridade de longa data, e xa existen varios puntos de referencia e detectores. Non obstante, a detección de PII en configuracións de IA híbrida introduce novos retos. En particular, os detectores deben identificar PII en conversas longas e multi-quenda, onde o contexto conversacional determina se unha cadea debe considerarse PII. Por exemplo, un nome pode identificar ao usuario nunha conversa, referirse a unha figura pública noutra, ou simplemente ser un marcador de posición xerado por un asistente. A forma superficial por si sa non é suficiente para determinar se unha cadea debe marcarse como PII.

Os detectores e puntos de referencia de PII existentes céntranse principalmente en rexistros individuais. Atopamos que os detectores deseñados para procesar un rexistro á vez obteñen un rendemento baixo en conversas longas e complexas. Ademais, os puntos de referencia existentes xeralmente non avalían a consistencia entre quendas. Como resultado, un forte rendemento nestes puntos de referencia non se traduce necesariamente nunha detección eficaz de PII en conversas longas e multi-quenda.

PII-TRACE: un punto de referencia para a detección de PII crítica para a implementación

Deseñamos PII-TRACE arredor de tres comportamentos que importan cando se usa un detector de PII en conversas de asistentes. O primeiro é a cobertura consistente: cando un identificador aparece varias veces ou cruza quendas de usuario e asistente, o detector precisa atopar cada mención. O segundo é a robustez ante contextos longos: as conversas van desde menos de 1000 ata máis de 100 000 caracteres, o que permite medir o que ocorre a medida que medra o historial. O terceiro é o manexo de múltiples idiomas e contido de formato mixto: unha conversa pode cambiar de idioma e combinar prosa con código, táboas ou rexistros estruturados. PII-TRACE conserva estes patróns avaliando cada diálogo completo en lugar de dividilo en rexistros illados.

O punto de referencia mide o rendemento en dous niveis complementarios. A nivel de identificador, a detección consistente fai a pregunta máis estrita: cubriu o detector cada carácter en cada mención do mesmo identificador? Informamos desta puntuación por separado para identificadores con múltiples mencións e para identificadores que se repiten entre quendas. A nivel de carácter, a precisión mide canto do texto marcado por un detector está etiquetado como PII, a recuperación mide cantas PII etiquetadas atopa, e o F1 equilibra ambas.

PII-TRACE contén 13 148 conversas sintéticas entre usuario e asistente en 13 idiomas e 10 sistemas de escritura, con 37 431 mencións de identificadores etiquetadas a nivel de carácter en nove tipos de PII. Un total do 41 % das conversas contén contido estruturado. Entre as 5 645 conversas con PII etiquetada, o 63,8 % inclúe un identificador que aparece máis dunha vez, e o 28,7 % inclúe un identificador que aparece en varias quendas.

Construción dun conxunto de datos sintético a partir de conversas de produción

PII-TRACE conserva a estrutura de quendas das conversas de orixe sen publicar as orixinais. A tubaxe reescribe cada quenda e substitúe cada identificador etiquetado por un valor sintético.

Primeiro, múltiples modelos lingüísticos marcan nove tipos de PII en conversas de produción entre usuario e asistente. Unha pasada baseada en regras agrupa identificadores repetidos do mesmo tipo baixo un ID de entidade. Cada valor marcado é despois substituído por un marcador de posición tipado, deixando unha plantilla que conserva a orde de quendas, o tipo de PII e as ligazóns entre mencións pero ningún dos valores orixinais marcados.

O sistema parafrasea cada quenda mentres mantén intactos eses marcadores de posición, e despois insire valores sintéticos que coinciden co tipo e formato do identificador. As mencións repetidas reciben o mesmo valor dentro dunha conversa, mentres que diferentes conversas usan valores xerados de forma independente. A pasada de aliñamento final recalcula cada desprazamento de caracteres.

Tres portas automatizadas comproban que as substitucións coinciden cos fragmentos almacenados, que as mencións repetidas usan o mesmo valor e que os valores de orixe marcados están ausentes baixo unha nova exploración de Presidio e expresións regulares. Un desprazamento almacenado tamén debe recuperar a subcadea sintética exacta. Os rexistros que fallan son rexenerados ou descartados. Un segundo modelo linguístico audita unha mostra, e os humanos revisan calquera cousa que este marque como PII.

PII-Tracer: un detector compacto para uso local

PII-Tracer é un codificador bidireccional de 0,6B adaptado dunha base Qwen3. O cribado de privacidade é diferente da xeración de texto e require atopar fragmentos de PII relevantes e devolver os seus límites. Como resultado, PII-Tracer substitúe a máscara causal de Qwen3 por atención bidireccional consciente do recheo, de xeito que cada token pode basearse tanto en quendas anteriores como posteriores dentro dunha xanela de 4096 tokens.

Para cada token, o codificador produce unha representación de 1024 dimensións. Unha cabeza de etiquetaxe lineal produce puntuacións para 37 posibles etiquetas: unha etiqueta especial (que usamos O para denotar) para texto fóra dun fragmento de PII, máis catro etiquetas de posición de fragmento para cada un dos nove tipos de PII. No esquema BIOES para o recoñecemento de entidades nomeadas, B (Inicio), I (Dentro) e E (Fin) marcan un fragmento multítoken, mentres que S (Único) marca un fragmento dun só token. Unha cabeza auxiliar tamén predice se a conversa contén material sensible, como información de saúde ou relixiosa.

Adestramos PII-Tracer durante tres épocas en aproximadamente 714 000 mostras de adestramento, combinando conversas de asistentes multilingües con exemplos dun só rexistro. O codificador bidireccional compartido ten dúas cabezas de adestramento: unha cabeza de token BIOES de 37 clases que detecta e clasifica fragmentos de PII, e unha cabeza binaria a nivel de conversa que predice se a conversa contén material sensible. Adestramos ambas as cabezas conxuntamente usando $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Aquí, $\mathcal{L}_{\mathrm{tag}}$ dá máis peso ás etiquetas de PII raras para que a etiqueta frecuente `O` non domine, mentres que $\mathcal{L}_{\mathrm{sens}}$ fornece o sinal de adestramento a nivel de conversa; os coeficientes 1,5 e 0,3 manteñen a detección de fragmentos como a tarefa principal. Este sinal auxiliar reforza a detección sensible ao contexto: o modelo aprende a xulgar un fragmento candidato dentro da conversa en lugar de como unha cadea illada, o que axuda a reducir os falsos positivos cun pequeno compromiso na recuperación.

No momento da inferencia, un descodificador de Viterbi restrinxido busca a secuencia BIOES válida coa puntuación máis alta en lugar de etiquetar cada token de forma independente. Por exemplo, B-private_person pode continuar con I-private_person ou pechar con E-private_person, pero non cambiar a I-private_email. O descodificador mapea de novo o resultado en intervalos de caracteres exactos para a súa redacción ou enrutamento local.

PII-Tracer lidera en F1 de caracteres e PII recorrente

Comparamos os detectores tanto ao nivel de caracteres como de fragmentos. O F1 de caracteres avalia a detección carácter por carácter. O F1 de superposición de fragmentos mide se o detector identifica calquera parte dun elemento PII, mentres que o F1 de inclusión de fragmentos mide se capta o elemento completo.

PII-Tracer logrou o F1 de caracteres máis alto (0,629) entre os 12 sistemas avaliados, e o segundo F1 de superposición e inclusión de fragmentos máis alto. Os modelos de vangarda, concretamente GPT-5.6-sol e Claude Sonnet 5, lograron un rendemento global comparable. GPT-5.6-sol obtivo puntuacións máis altas en ambas as métricas de F1 a nivel de fragmento, pero un F1 de caracteres máis baixo. Non obstante, estes modelos de vangarda teñen centos de billóns ou mesmo trillóns de parámetros e son modelos de código pechado aloxados na nube. Como resultado, non son axeitados para protexer datos locais sensibles en configuracións de IA híbrida onde o texto non examinado debe permanecer local. Pola contra, PII-Tracer ofrece unha detección a nivel de fragmento preto da vangarda con só 0,6B de parámetros e pode procesar texto non examinado de forma totalmente local. Outros detectores de PII de código aberto teñen un rendemento substancialmente peor que PII-Tracer.

Atopando cada mención recorrente

O experimento de consistencia aplica unha proba máis estrita ás mesmas predicións. O conxunto de probas contén 899 identificadores que aparecen unha vez e 959 que aparecen máis dunha vez; 790 dos identificadores recorrentes abarcan varias quendas. A figura informa de catro grupos de rec konto de mencións (un, dous, de tres a cinco, e de seis a dez) e conta un identificador só cando se atopan todos os seus caracteres etiquetados. Traza PII-Tracer con tres liñas de base seleccionadas, mentres que a táboa agregada informa de puntuacións recurrentes e entre quendas para os doce sistemas.

PII-Tracer mantense á cabeza a medida que aumenta a repetición: a súa puntuación pasa de 0,917 para unha mención a 0,873 para dúas, 0,796 de tres a cinco, e 0,691 de seis a dez. No último grupo, GPT-5.6-sol acada o 0,464, mentres que GLiNER2-PII e Claude Opus 4.8 acadan o 0,073 e o 0,045. En toda a avaliación, PII-Tracer atopa todas as mencións do 79,4 % dos identificadores recurrentes e do 77,6 % dos identificadores entre quendas; GPT-5.6-sol acada o 57,0 % e o 55,1 % nas mesmas dúas medidas.

Abranguendo conversas longas

Primeiro agrupamos todas as 1,922 conversas de proba por lonxitude de caracteres e descodificamos PII-Tracer coa xanela de 4096 tokens. Os grupos contienen 167 conversas por debaixo de 1000 caracteres, 1292 de 1000 a 10 000, e 463 de 10 000 ou máis.

A recuperación dunha soa xanela é de 0,975 por debaixo de 1000 caracteres e de 0,955 de 1000 a 10 000, pero descende ao 0,687 para conversas de 10 000 caracteres ou máis. A precisión permanece preto de 0,51 nos dous grupos máis longos, o que apunta á cobertura de entrada como o principal problema.

Para estudar o efecto do manexo de entradas, evaluamos o mesmo punto de control cunha descodificación de ventá deslizante de superposición do 50 %. Isto eleva a recuperación global de caracteres de 0,830 a 0,965 e a detección consistente de múltiples mencións de 0,794 a 0,954, sen re-adestramento.

Consistente entre idiomas

PII-TRACE abrangue 13 idiomas; o experimento lingüístico informa dunha sección de seis idiomas que abrangue guións latinos, cirílicos e hangul: inglés, alemán, francés, italiano, ruso e coreano. Executamos os mesmos 12 detectores en todas as conversas de proba en cada idioma. Dentro de cada idioma, agrupamos os caracteres previstos e de ouro e calculamos o F1 de caracteres.

PII-Tracer lidera o F1 de caracteres en catro dos seis idiomas, alemán (0,735), francés (0,633), italiano (0,676) e ruso (0,651), e está a 0,016 e 0,036 dos mellores resultados en inglés e coreano. Na análise complementaria, leva a unha detección consistente nos seis subconxuntos de idiomas, cunha puntuación de 0,80–0,93. A vista por idioma mostra ganancias máis aló do inglés.

F1 de caracteres superior ao do filtro de privacidade en cinco puntos de referencia estándar

O experimento final móvese fóra de PII-TRACE. Executamos PII-Tracer e o filtro de privacidade de OpenAI na división de validación de ai4privacy (47 728 documentos), a división de proba de Nemotron-PII (100 000), un conxunto SPY de semente fixa (8 688), a división de proba de Gretel PII (5 000) e a división de proba TAB ECHR (127).

PII-Tracer ten un F1 de caracteres máis alto en todos os conxuntos de datos: 0,950 fronte a 0,907 en ai4privacy, 0,847 fronte a 0,709 en Nemotron-PII, 0,585 fronte a 0,543 en SPY, 0,952 fronte a 0,895 en Gretel PII e 0,594 fronte a 0,350 en TAB. TAB é o único punto de referencia deste grupo construído a partir de texto real etiquetado por humanos. Alí, PII-Tracer alcanza 0,986 fronte a 0,982 de precisión e 0,425 fronte a 0,213 de recuperación—o doble de recuperación esencialmente coa mesma precisión (detalles no artigo). Polo tanto, o F1 máis alto trasládese das conversas de PII-TRACE aos cinco conxuntos de datos de referencia dun só rexistro convencionais nesta comparación.

Conclusión

A IA híbrida integra o dispositivo do usuario na pila de inferencia, ofrecendo maior privacidade e menor custo. Os modelos de vangarda na nube poden xestionar a investigación, o razoamento e a planificación, mentres que os modelos locais traballan con ficheiros e datos persoais que deben permanecer no dispositivo. Esta división depende de recoñecer información sensible antes de que calquera dato sensible vaia á nube.

PII-Tracer é un modelo compacto para detectar PII en conversas multi-quenda, mentres que PII-TRACE avalía se os detectores poden identificar de forma consistente PII recorrente ao longo dunha conversa.

Xuntos, PII-TRACE e PII-Tracer proporcionan un punto de referencia e un modelo de referencia para avanzar na detección de PII en conversas multi-quenda e outros escenarios de contexto longo.

Os axentes están asumindo tarefas máis longas e traballando con máis contexto persoal. Como resultado, os controis de privacidade deberían mantenerse en toda a conversa, non só na entrada inicial. A IA híbrida depende dunha detección local fiable para manter o contexto sensible no dispositivo.

Lea o artigo de arXiv para obter detalles sobre o punto de referencia PII-TRACE, o modelo PII-Tracer e a nosa avaliación. Temos previsto lanzar tanto PII-TRACE como PII-Tracer en breve.