PII-TRACE: Detección de datos personales antes de que salgan del dispositivo

El cómputo híbrido en Mac divide las tareas de Perplexity Computer entre los modelos de vanguardia en la nube y un modelo local en la Mac. Los agentes en la nube se encargan de la investigación, el razonamiento y la planificación, mientras que el modelo local trabaja con archivos privados e información confidencial.

Este límite depende de detectar información de identificación personal (PII) antes de que salga del dispositivo. Un filtro de privacidad local mantiene el contenido confidencial en la Mac, redacta la información privada detectada o solicita aprobación antes de enviarla a la nube.

La detección se vuelve más difícil en conversaciones largas y multilingües. El mismo identificador puede aparecer varias veces en diferentes turnos. Una mención omitida puede exponer la información que el sistema debe proteger.

Introducción

Hoy presentamos PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), un nuevo punto de referencia para evaluar detectores de información de identificación personal (PII), y PII-Tracer, un modelo compacto de 0.6B para la detección de PII.

Los agentes centrados en la nube obligan a los usuarios a equilibrar el contexto, la inteligencia y la privacidad. Un mayor contexto personal puede ayudar a un agente a comprender al usuario y producir mejores resultados. Pero proporcionar este contexto a menudo significa enviar información privada a un servicio remoto y puede filtrar información personal. La información que hace que un asistente sea útil puede ser exactamente lo que el usuario más desea mantener en privado.

La IA híbrida facilita este equilibrio al dividir el trabajo entre el dispositivo del usuario y los modelos en la nube. Pero ese límite solo protege la privacidad si el dispositivo puede reconocer la PII antes de que el texto se envíe a un modelo remoto. Los usuarios no deberían tener que inspeccionar cada mensaje por sí mismos. El dispositivo necesita un detector de PII local como su compuerta de privacidad. En conversaciones largas, el mismo identificador puede repetirse en varios turnos, y una sola mención omitida es suficiente para que la información personal pase desapercibida.

Perplexity introdujo un orquestador de inferencia híbrido entre servidor local y remoto que decide qué trabajo debe ejecutarse en el dispositivo y qué trabajo debe enviarse a los agentes en la nube. El modelo, el entorno de agentes, las conversaciones y las trayectorias de ejecución residen en la máquina del usuario. Las tareas que requieren acceso al mundo exterior se invocan solo cuando es necesario y están controladas por el permiso del usuario. Como resultado, hasta que el usuario lo aprueba, ese contenido permanece en el dispositivo.

PII-Tracer proporciona una señal de control local para el enrutamiento de modelos al marcar los segmentos predichos que contienen PII. A continuación, la aplicación aplica la política de enrutamiento. Mantiene la entrada relevante de manera local, redacta los segmentos detectados o solicita una aprobación explícita antes de escalar a un modelo en la nube. Esto hace que el enrutamiento sea más selectivo. La PII detectada permanece en el dispositivo mientras que el contexto aprobado sigue beneficiándose de los modelos en la nube de vanguardia.

El enrutamiento selectivo depende de una detección consistente en toda la conversación. El mismo identificador puede repetirse en varios turnos, y una mención omitida aún puede transmitirse.

Entre 12 detectores, PII-Tracer registra el valor F1 de caracteres más alto y la cobertura consistente más alta de identificadores recurrentes. El punto de referencia explica por qué ambos resultados son importantes: en una conversación larga, encontrar la mayor parte de la PII no es lo mismo que encontrar cada copia de esta.

La detección de PII se enfrenta a nuevos desafíos en la IA híbrida

La detección de PII es un problema de seguridad de larga data, y ya existen varios puntos de referencia y detectores. Sin embargo, la detección de PII en entornos de IA híbrida introduce nuevos desafíos. En particular, los detectores deben identificar PII en conversaciones largas y de múltiples turnos, donde el contexto conversacional determina si una cadena debe considerarse PII. Por ejemplo, un nombre podría identificar al usuario en una conversación, referirse a una figura pública en otra, o ser simplemente un marcador de posición generado por un asistente. La forma superficial por sí sola es insuficiente para determinar si una cadena debe marcarse como PII.

Los detectores y puntos de referencia de PII existentes se centran principalmente en registros individuales. Encontramos que los detectores diseñados para procesar un registro a la vez tienen un rendimiento deficiente en conversaciones largas y complejas. Asimismo, los puntos de referencia existentes generalmente no evalúan la coherencia entre turnos. Como resultado, un rendimiento sólido en estos puntos de referencia no se traduce necesariamente en una detección eficaz de PII en conversaciones largas y de múltiples turnos.

PII-TRACE: un punto de referencia para la detección de PII crítica para el despliegue

Diseñamos PII-TRACE en torno a tres comportamientos que importan cuando se utiliza un detector de PII en conversaciones de asistentes. El primero es la cobertura consistente: cuando un identificador aparece varias veces o cruza turnos de usuario y asistente, el detector debe encontrar cada mención. El segundo es la robustez ante contextos largos: las conversaciones van desde menos de 1,000 hasta más de 100,000 caracteres, lo que permite medir qué sucede a medida que crece el historial. El tercero es el manejo de múltiples idiomas y contenido de formato mixto: una conversación puede cambiar de idioma y combinar prosa con código, tablas o registros estructurados. PII-TRACE preserva estos patrones al evaluar cada diálogo completo en lugar de dividirlo en registros aislados.

El punto de referencia mide el rendimiento en dos niveles complementarios. A nivel de identificador, la detección consistente plantea la pregunta más estricta: ¿cubrió el detector cada carácter en cada mención del mismo identificador? Informamos esta puntuación por separado para los identificadores con múltiples menciones y para los identificadores que se repiten en los turnos. A nivel de carácter, la precisión mide qué parte del texto marcado por un detector está etiquetada como PII, la recuperación mide cuánta PII etiquetada encuentra, y el valor F1 equilibra ambos aspectos.

PII-TRACE contiene 13,148 conversaciones sintéticas de usuario-asistente en 13 idiomas y 10 sistemas de escritura, con 37,431 menciones de identificadores etiquetadas a nivel de carácter en nueve tipos de PII. Un total del 41% de las conversaciones contienen contenido estructurado. Entre las 5,645 conversaciones con PII etiquetada, el 63.8% incluye un identificador que aparece más de una vez, y el 28.7% incluye un identificador que aparece en múltiples turnos.

Creación de un conjunto de datos sintético a partir de conversaciones de producción

PII-TRACE preserva la estructura de turnos de las conversaciones de origen sin publicar los originales. La canalización reescribe cada turno y reemplaza cada identificador etiquetado con un valor sintético.

Primero, múltiples modelos de lenguaje marcan nueve tipos de PII en conversaciones de producción entre usuario y asistente. Una pasada basada en reglas agrupa los identificadores repetidos del mismo tipo bajo un ID de entidad. Cada valor marcado es reemplazado luego por un marcador de posición tipado, lo que deja una plantilla que conserva el orden de los turnos, el tipo de PII y los vínculos entre menciones, pero ninguno de los valores originales marcados.

El sistema parafrasea cada turno mientras mantiene esos marcadores de posición intactos, y luego inserta valores sintéticos que coinciden con el tipo y formato del identificador. Las menciones repetidas reciben el mismo valor dentro de una conversación, mientras que las diferentes conversaciones utilizan valores generados de forma independiente. La pasada de alineación final vuelve a calcular cada desplazamiento de caracteres.

Tres mecanismos automatizados verifican que los reemplazos coincidan con los segmentos almacenados, que las menciones repetidas utilicen el mismo valor y que los valores de origen marcados estén ausentes bajo un nuevo análisis con expresiones regulares y Presidio. Un desplazamiento almacenado también debe recuperar la subcadena sintética exacta. Los registros que fallan se regeneran o se descartan. Un segundo modelo de lenguaje audita una muestra, y los humanos revisan cualquier elemento que marque como PII.

PII-Tracer: un detector compacto para uso local

PII-Tracer es un codificador bidireccional de 0.6B adaptado a partir de una estructura base de Qwen3. El filtrado de privacidad es diferente de la generación de texto y requiere encontrar los segmentos de PII relevantes y devolver sus límites. Como resultado, PII-Tracer reemplaza la máscara causal de Qwen3 con atención bidireccional consciente del relleno, de modo que cada token puede aprovechar tanto los turnos anteriores como los posteriores dentro de una ventana de 4,096 tokens.

Para cada token, el codificador produce una representación de 1,024 dimensiones. Un cabezal de etiquetado lineal produce puntuaciones para 37 etiquetas posibles: una etiqueta especial (que utilizamos O para denotar) para texto fuera de un segmento de PII, más cuatro etiquetas de posición de segmento para cada uno de los nueve tipos de PII. En el esquema BIOES para el reconocimiento de entidades nombradas, B (Beginning/Inicio), I (Inside/Dentro) y E (End/Fin) marcan un segmento de múltiples tokens, mientras que S (Single/Único) marca un segmento de un solo token. Un cabezal auxiliar también predice si la conversación contiene material sensible, como información de salud o religiosa.

Entrenamos PII-Tracer durante tres épocas en aproximadamente 714,000 muestras de entrenamiento, combinando conversaciones multilingües de asistentes con ejemplos de un solo registro. El codificador bidireccional compartido tiene dos cabezales de entrenamiento: un cabezal de tokens BIOES de 37 clases que detecta y clasifica los segmentos de PII, y un cabezal binario a nivel de conversación que predice si la conversación contiene material confidencial. Entrenamos ambos cabezales conjuntamente utilizando $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Aquí, $\mathcal{L}_{\mathrm{tag}}$ otorga más peso a las etiquetas de PII poco frecuentes para que la etiqueta frecuente `O` no domine, mientras que $\mathcal{L}_{\mathrm{sens}}$ proporciona la señal de entrenamiento a nivel de conversación; los coeficientes 1.5 y 0.3 mantienen la detección de segmentos como la tarea principal. Esta señal auxiliar refuerza la detección sensible al contexto: el modelo aprende a evaluar un segmento candidato dentro de la conversación en lugar de como una cadena aislada, lo que ayuda a reducir los falsos positivos con solo una pequeña pérdida en la recuperación.

En el momento de la inferencia, un decodificador de Viterbi restringido busca la secuencia BIOES válida con la puntuación más alta en lugar de etiquetar cada token de forma independiente. Por ejemplo, B-private_person puede continuar con I-private_person o cerrarse con E-private_person, pero no cambiar a I-private_email. El decodificador mapea el resultado de vuelta a los segmentos exactos de caracteres para su redacción o enrutamiento local.

PII-Tracer lidera en el valor F1 de caracteres y PII recurrente

Comparamos los detectores a nivel de carácter y de segmento. El valor F1 de caracteres evalúa la detección carácter por carácter. El valor F1 de superposición de segmentos mide si el detector identifica cualquier parte de un elemento de PII, mientras que el valor F1 de contención de segmentos mide si captura el elemento completo.

PII-Tracer logró el valor F1 de caracteres más alto (0.629) entre los 12 sistemas evaluados, y el segundo valor F1 más alto en superposición y contención de segmentos. Los modelos de vanguardia, a saber, GPT-5.6-sol y Claude Sonnet 5, lograron un rendimiento general comparable. GPT-5.6-sol obtuvo puntuaciones más altas en ambas métricas de valor F1 a nivel de segmento, pero un valor F1 de caracteres menor. Sin embargo, estos modelos de vanguardia tienen cientos de miles de millones o incluso billones de parámetros y son modelos de código cerrado alojados en la nube. Como resultado, no son adecuados para proteger datos locales sensibles en entornos de IA híbrida donde el texto no filtrado debe permanecer de forma local. En contraste, PII-Tracer ofrece una detección a nivel de segmento cercana a la de vanguardia con solo 0.6B de parámetros y puede procesar texto no filtrado de manera completamente local. Otros detectores de PII de código abierto tienen un rendimiento sustancialmente peor que PII-Tracer.

Cómo encontrar cada mención recurrente

El experimento de consistencia aplica una prueba más estricta a las mismas predicciones. El conjunto de prueba contiene 899 identificadores que aparecen una vez y 959 que aparecen más de una vez; 790 de los identificadores recurrentes abarcan múltiples turnos. La figura informa sobre cuatro grupos según el recuento de menciones (uno, dos, de tres a cinco, y de seis a ten) y cuenta un identificador solo cuando se encuentran todos sus caracteres etiquetados. Mapea PII-Tracer con tres líneas base seleccionadas, mientras que la tabla agregada informa las puntuaciones recurrentes y entre turnos para los doce sistemas.

PII-Tracer se mantiene a la vanguardia a medida que aumenta la repetición: su puntuación pasa de 0.917 para una mención a 0.873 para dos, de 0.796 para tres a cinco, y de 0.691 para seis a diez. En el último grupo, GPT-5.6-sol alcanza 0.464, mientras que GLiNER2-PII y Claude Opus 4.8 alcanzan 0.073 y 0.045. En toda la evaluación, PII-Tracer encuentra cada mención del 79.4% de los identificadores recurrentes y del 77.6% de los identificadores entre turnos; GPT-5.6-sol alcanza el 57.0% y el 55.1% en las mismas dos medidas.

Cobertura de conversaciones largas

Primero agrupamos las 1,922 conversaciones de prueba por longitud de caracteres y decodificamos PII-Tracer con la ventana de 4,096 tokens. Los grupos contienen 167 conversaciones por debajo de los 1,000 caracteres, 1,292 de 1,000 a 10,000, y 463 de 10,000 o más.

La recuperación en ventana única es de 0.975 por debajo de los 1,000 caracteres y de 0.955 de 1,000 a 10,000, pero cae a 0.687 en conversaciones de 1,000 caracteres o más. La precisión se mantiene cercana a 0.51 en los dos grupos más largos, lo que señala que la cobertura de entrada es el problema principal.

Para estudiar el efecto del manejo de entradas, evaluamos el mismo punto de control con una decodificación de ventana deslizante con un 50% de solapamiento. Esto eleva la recuperación general de caracteres de 0.830 a 0.965 y la detección consistente de múltiples menciones de 0.794 a 0.954, sin necesidad de reentrenamiento.

Consistencia entre idiomas

PII-TRACE abarca 13 idiomas; el experimento de idiomas informa sobre un segmento de seis idiomas que abarca los sistemas de escritura latino, cirílico y hangul: inglés, alemán, francés, italiano, ruso y coreano. Ejecutamos los mismos 12 detectores en todas las conversaciones de prueba en cada idioma. Dentro de cada idioma, agrupamos los caracteres predichos y de referencia (gold) y calculamos el valor F1 de caracteres.

PII-Tracer lidera el valor F1 de caracteres en cuatro de los seis idiomas: alemán (0.735), francés (0.633), italiano (0.676) y ruso (0.651), y se encuentra a 0.016 y 0.036 de los mejores resultados en inglés y coreano. En el análisis complementario, genera una detección consistente en los seis subconjuntos de idiomas, con puntuaciones de 0.80 a 0.93. La perspectiva por idioma muestra mejoras más allá del inglés.

Valor F1 de caracteres superior al del filtro de privacidad en cinco puntos de referencia estándar

El experimento final se traslada fuera de PII-TRACE. Ejecutamos PII-Tracer y el filtro de privacidad de OpenAI en la división de validación de ai4privacy (47,728 documentos), la división de prueba de Nemotron-PII (100,000), un conjunto SPY con semilla fija (8,688), la división de prueba de Gretel PII (5,000) y la división de prueba TAB ECHR (127).

PII-Tracer tiene un valor F1 de caracteres más alto en todos los conjuntos de datos: 0.950 frente a 0.907 en ai4privacy, 0.847 frente a 0.709 en Nemotron-PII, 0.585 frente a 0.543 en SPY, 0.952 frente a 0.895 en Gretel PII, y 0.594 frente a 0.350 en TAB. TAB es el único punto de referencia de este grupo construido a partir de texto real etiquetado por humanos. En este, PII-Tracer alcanza 0.986 frente a 0.982 de precisión y 0.425 frente a 0.213 de recuperación; el doble de recuperación con esencialmente la misma precisión (detalles en el documento). Por lo tanto, el valor F1 más alto se transfiere de las conversaciones de PII-TRACE a los cinco puntos de referencia convencionales de registro único en esta comparación.

Conclusión

La IA híbrida integra el dispositivo del usuario en la pila de inferencia, lo que ofrece una mayor privacidad y un menor costo. Los modelos de vanguardia en la nube pueden encargarse de la investigación, el razonamiento y la planificación, mientras que los modelos locales trabajan con archivos y datos personales que deben permanecer en el dispositivo. Esta división depende de reconocer la información confidencial antes de que cualquier dato sensible vaya a la nube.

PII-Tracer es un modelo compacto para la detección de PII en conversaciones de múltiples turnos, mientras que PII-TRACE evalúa si los detectores pueden identificar de manera consistente la PII recurrente a lo largo de una conversación.

Juntos, PII-TRACE y PII-Tracer proporcionan un punto de referencia y un modelo de referencia para hacer avanzar la detección de PII en conversaciones de múltiples turnos y otros entornos de contexto largo.

Los agentes asumen tareas más largas y trabajan con un contexto personal más amplio. Como resultado, los controles de privacidad deben mantenerse en toda la conversación, no solo en la entrada inicial. La IA híbrida depende de una detección local confiable para mantener el contexto confidencial en el dispositivo.

Lea el documento de arXiv para obtener detalles sobre el punto de referencia PII-TRACE, el modelo PII-Tracer y nuestra evaluación. Planeamos lanzar tanto PII-TRACE como PII-Tracer próximamente.