PII-TRACE: 기기를 떠나기 전에 개인 데이터 탐지하기

Mac에서의 하이브리드 연산은 Perplexity Computer 작업을 클라우드의 프론티어 모델과 Mac의 로컬 모델 간에 분할합니다. 클라우드 에이전트는 연구, 추론, 계획을 처리하는 반면, 로컬 모델은 개인 파일과 민감한 정보를 처리합니다.

이 경계는 기기를 떠나기 전에 개인 식별 정보(PII)를 탐지하는 데 달려 있습니다. 로컬 개인정보 보호 게이트는 민감한 콘텐츠를 Mac에 유지하고, 감지된 개인 정보를 편집하며, 클라우드로 보내기 전에 승인을 요청합니다.

길고 다국어인 대화 전반에서 탐지가 더 어려워집니다. 동일한 식별자가 서로 다른 턴에 걸쳐 여러 번 나타날 수 있습니다. 누락된 언급 하나로 시스템이 보호하도록 의도된 정보가 노출될 수 있습니다.

소개

오늘 저희는 개인 식별 정보(PII) 탐지기를 평가하기 위한 새로운 벤치마크인 PII-TRACE (Tracing Recurring PII Across Conversational Exchanges)과 PII 탐지를 위한 소형 0.6B 모델인 PII-Tracer를 소개합니다.

클라우드 우선 에이전트는 사용자가 컨텍스트, 지능, 개인정보 보호 사이에서 균형을 맞추도록 강제합니다. 더 많은 개인 컨텍스트는 에이전트가 사용자를 이해하고 더 나은 결과를 생성하는 데 도움이 될 수 있습니다. 그러나 이 컨텍스트를 제공하는 것은 종종 원격 서비스로 개인 정보를 전송하는 것을 의미하며 개인 정보가 유출될 수 있습니다. 어시스턴트를 유용하게 만드는 정보는 정확히 사용자가 가장 비공개로 유지하고 싶어하는 것일 수 있습니다.

하이브리드 AI는 사용자의 기기와 클라우드 모델 간에 작업을 분할하여 이 트레이드오프를 완화합니다. 그러나 해당 경계는 텍스트가 원격 모델로 전송되기 전에 기기가 PII를 인식할 수 있는 경우에만 개인정보를 보호합니다. 사용자가 모든 메시지를 직접 검사할 필요는 없습니다. 기기에는 개인정보 보호 게이트로서 로컬 PII 탐지기가 필요합니다. 긴 대화에서는 동일한 식별자가 턴에 걸쳐 반복될 수 있으며, 누락된 언급 하나만으로도 개인 정보가 통과하기에 충분합니다.

Perplexity는 하이브리드 로컬-서버 추론 오케스트레이터를 도입했습니다. 이는 기기에서 실행해야 하는 작업과 클라우드의 에이전트로 보내야 하는 작업을 결정합니다. 모델, 에이전트 하네스, 대화 및 실행 궤적은 모두 사용자의 컴퓨터에 상주합니다. 외부 세계에 대한 액세스가 필요한 작업은 필요할 때만 호출되며 사용자 권한에 의해 제어됩니다. 결과적으로 사용자가 승인할 때까지 해당 콘텐츠는 기기에 유지됩니다.

PII-Tracer는 PII를 포함할 것으로 예측되는 스팬에 플래그를 지정하여 모델 라우팅을 위한 하나의 로컬 제어 신호를 제공합니다. 그런 다음 응용 프로그램이 라우팅 정책을 시행합니다. 관련 입력을 로컬에 유지하고, 감지된 스팬을 편집하거나, 클라우드 모델로 에스컬레이션하기 전에 명시적인 승인을 요청합니다. 이를 통해 라우팅이 더 선택적으로 이루어집니다. 감지된 PII는 기기에 유지되는 한편, 승인된 컨텍스트는 여전히 프론티어 클라우드 모델의 이점을 누립니다.

선택적 라우팅은 전체 대화에 걸쳐 일관된 탐지에 의존합니다. 동일한 식별자가 턴에 걸쳐 반복될 수 있으며, 누락된 언급이 여전히 전송될 수 있습니다.

12개의 탐지기 중 PII-Tracer는 가장 높은 문자 F1과 반복 식별자의 가장 높은 일관된 커버리지를 기록합니다. 벤치마크는 두 결과가 모두 중요한 이유를 설명합니다. 긴 대화에서 대부분의 PII를 찾는 것은 모든 복사본을 찾는 것과 같지 않습니다.

하이브리드 AI에서 새로운 과제에 직면한 PII 탐지

PII 탐지는 오랜 보안 문제이며, 여러 벤치마크와 탐지기가 이미 존재합니다. 그러나 하이브리드 AI 설정에서의 PII 탐지는 새로운 과제를 제시합니다. 특히 탐지기는 문자열이 PII로 간주되어야 하는지 여부를 대화 컨텍스트가 결정하는 길고 멀티 턴인 대화에서 PII를 식별해야 합니다. 예를 들어 이름은 한 대화에서는 사용자를 식별하고, 다른 대화에서는 공인(public figure)을 지칭하거나, 단순히 어시스턴트가 생성한 플레이스홀더일 수 있습니다. 표면 형태만으로는 문자열이 PII로 플래그 지정되어야 하는지 판단하기에 부족합니다.

기존 PII 탐지기 및 벤치마크는 주로 개별 레코드를 대상으로 합니다. 한 번에 하나의 레코드를 처리하도록 설계된 탐지기는 길고 복잡한 대화에서 성능이 저하되는 것으로 나타났습니다. 또한 기존 벤치마크는 일반적으로 턴 간의 일관성을 평가하지 않습니다. 결과적으로 이러한 벤치마크에서의 강력한 성능이 길고 멀티 턴인 대화에서의 효과적인 PII 탐지로 반드시 이어지지는 않습니다.

PII-TRACE: 배포가 중요한 PII 탐지를 위한 벤치마크

당사는 어시스턴트 대화에서 PII 탐지기가 사용될 때 중요한 세 가지 동작을 중심으로 PII-TRACE를 설계했습니다. 첫 번째는 일관된 커버리지입니다. 식별자가 여러 번 나타나거나 사용자 및 어시스턴트 턴을 교차할 때 탐지기는 모든 언급을 찾아야 합니다. 두 번째는 긴 컨텍스트에 대한 견고성입니다. 대화는 1,000자 미만에서 100,000자 이상에 이르며 기록이 늘어남에 따라 무슨 일이 일어나는지 측정할 수 있게 해줍니다. 세 번째는 다국어 및 혼합 형식 콘텐츠 처리입니다. 대화는 언어를 전환하고 산문을 코드, 테이블 또는 구조화된 레코드와 결합할 수 있습니다. PII-TRACE는 격리된 레코드로 분할하는 대신 전체 대화를 각각 평가하여 이러한 패턴을 보존합니다.

이 벤치마크는 두 가지 상보적인 수준에서 성능을 측정합니다. 식별자 수준에서 일관된 탐지는 더 엄격한 질문을 던집니다. 탐지기가 동일한 식별자의 모든 언급에 있는 모든 문장을 커버했습니까? 이 점수는 여러 번 언급된 식별자와 턴에 걸쳐 반복되는 식별자에 대해 별도로 보고됩니다. 문자 수준에서 정밀도는 탐지기에 의해 표시된 텍스트 중 PII로 라벨이 지정된 비율을 측정하고, 재현율은 찾아낸 라벨 지정 PII의 비율을 측정하며, F1은 이 둘의 균형을 맞춥니다.

PII-TRACE는 13개 언어 및 10개 문자 체계에 걸쳐 13,148개의 합성 사용자-어시스턴트 대화를 포함하며, 9가지 PII 유형에 걸쳐 문자 수준에서 라벨이 지정된 37,431개의 식별자 언급이 있습니다. 대화의 총 41%에 구조화된 콘텐츠가 포함되어 있습니다. 라벨이 지정된 PII가 있는 5,645개의 대화 중 63.8%에는 두 번 이상 나타나는 식별자가 포함되어 있고, 28.7%에는 여러 턴에 걸쳐 나타나는 식별자가 포함되어 있습니다.

프로덕션 대화에서 합성 데이터셋 빌드하기

PII-TRACE는 원본을 게시하지 않고 소스 대화의 턴 구조를 보존합니다. 파이프라인은 각 턴을 다시 작성하고 라벨이 지정된 모든 식별자를 합성 값으로 대체합니다.

먼저 여러 언어 모델이 프로덕션 사용자-어시스턴트 대화에서 9가지 유형의 PII를 표시합니다. 규칙 기반 패스는 동일한 유형의 반복된 식별자를 하나의 엔티티 ID로 그룹화합니다. 그런 다음 표시된 각 값은 유형이 지정된 플레이스홀더로 대체되어 턴 순서, PII 유형 및 언급 간의 링크는 유지하지만 표시된 원본 값은 유지하지 않는 템플릿을 남깁니다.

시스템은 이러한 플레이스홀더를 그대로 유지하면서 각 턴을 의역한 다음, 식별자의 유형 및 형식과 일치하는 합성 값을 삽입합니다. 반복된 언급은 대화 내에서 동일한 값을 수신하는 반면, 서로 다른 대화는 독립적으로 생성된 값을 사용합니다. 최종 정렬 패스는 모든 문자 오프셋을 다시 계산합니다.

세 가지 자동 게이트는 교체가 저장된 스팬과 일치하는지, 반복된 언급이 동일한 값을 사용하는지, 표시된 소스 값이 Presidio 및 정규 표현식 재검색 하에 없는지 확인합니다. 저장된 오프셋은 정확한 합성 하위 문자열도 복구해야 합니다. 실패한 기록은 재생성되거나 삭제됩니다. 두 번째 언어 모델이 샘플을 감사하고, 이 모델이 PII로 플래그를 지정한 모든 항목을 사람이 검토합니다.

PII-Tracer: 로컬 사용을 위한 소형 탐지기

PII-Tracer는 Qwen3 백본에서 조정된 0.6B 양방향 인코더입니다. 개인정보 보호 스크리닝은 텍스트 생성과 다르며 관련 PII 스팬을 찾아 해당 경계를 반환해야 합니다. 결과적으로 PII-Tracer는 Qwen3의 인과 마스크를 패딩 인식 양방향 어텐션으로 대체하므로 모든 토큰이 4,096 토큰 창 내에서 이전 턴과 이후 턴 모두를 활용할 수 있습니다.

각 토큰에 대해 인코더는 1,024차원 표현을 생성합니다. 선형 태깅 헤드는 37개의 가능한 라벨에 대한 점수를 생성합니다. PII 스팬 외부에 있는 텍스트에 대한 하나의 특수 라벨(O로 표시하는 데 사용됨)과 9개의 PII 유형 각각에 대한 4개의 스팬 위치 라벨입니다. 명명된 개체 인식을 위한 BIOES 체계에서 B(시작), I(내부), E(끝)는 멀티 토큰 스팬을 표시하고, S(단일)는 원 토큰 스팬을 표시합니다. 보조 헤드는 또한 대화에 건강 또는 종교 정보와 같은 민감한 자료가 포함되어 있는지 예측합니다.

다국어 어시스턴트 대화와 단일 레코드 예를 결합하여 약 714,000개의 학습 샘플에서 3 에포크 동안 PII-Tracer를 학습시킵니다. 공유 양방향 인코더에는 두 개의 학습 헤드가 있습니다. PII 스팬을 감지하고 유형을 지정하는 37클래스 BIOES 토큰 헤드와 대화에 민감한 자료가 포함되어 있는지 예측하는 이진 대화 수준 헤드입니다. $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$을 사용하여 두 헤드를 공동으로 학습시킵니다. 여기서 $\mathcal{L}_{\mathrm{tag}}$는 빈번한 `O` 라벨이 지배하지 않도록 드문 PII 라벨에 더 많은 가중치를 부여하고, $\mathcal{L}_{\mathrm{sens}}$은 대화 수준 학습 신호를 제공합니다. 1.5 및 0.3 계수는 스팬 탐지를 주요 작업으로 유지합니다. 이 보조 신호는 컨텍스트 인식 탐지를 강화합니다. 모델은 후보 스팬을 고립된 문자열이 아니라 대화 내에서 판단하는 법을 배워 재현율의 약간의 트레이드오프만으로 오탐을 줄이는 데 도움을 줍니다.

추론 시점에 제약된 비터비 디코더(Viterbi decoder)는 각 토큰에 독립적으로 라벨을 지정하는 대신 가장 높은 점수의 유효한 BIOES 시퀀스를 검색합니다. 예를 들어 B-private_person은 I-private_person으로 계속되거나 E-private_person으로 닫힐 수 있지만 I-private_email로 전환될 수 없습니다. 디코더는 결과를 수정 또는 로컬 라우팅을 위해 정확한 문자 스팬으로 다시 매핑합니다.

문자 F1 및 반복 PII에서 선두를 달리는 PII-Tracer

문자 및 스팬 수준 모두에서 탐지기를 비교합니다. 문자 F1은 문자별로 탐지를 평가합니다. 스팬 겹침 F1은 탐지기가 PII 항목의 일부라도 식별하는지 측정하는 반면, 스팬 포함 F1은 전체 항목을 포착하는지 측정합니다.

PII-Tracer는 평가된 12개 시스템 중 가장 높은 문자 F1(0.629)을 달성했으며, 두 번째로 높은 스팬 겹침 F1과 스팬 포함 F1을 달성했습니다. 프론티어 모델인 GPT-5.6-sol과 Claude Sonnet 5는 유사한 전반적인 성능을 달성했습니다. GPT-5.6-sol은 두 스팬 수준 F1 메트릭 모두에서 더 높은 점수를 얻었지만, 더 낮은 문자 F1을 얻었습니다. 그러나 이러한 프론티어 모델은 수천억 또는 심지어 수조 개의 파라미터를 가지고 있으며 클라우드에 호스팅되는 소스 폐쇄형 모델입니다. 결과적으로 검사되지 않은 텍스트가 로컬에 유지되어야 하는 하이브리드 AI 설정에서 민감한 로컬 데이터를 보호하는 데 부적합합니다. 대조적으로 PII-Tracer는 0.6B 파라미터만으로 프론티어 수준에 가까운 스팬 수준 탐지를 제공하며 검사되지 않은 텍스트를 완전히 로컬에서 처리할 수 있습니다. 다른 오픈 소스 PII 탐지기는 PII-Tracer보다 성능이 현저히 떨어집니다.

모든 반복 언급 찾기

일관성 실험은 동일한 예측에 더 엄격한 테스트를 적용합니다. 테스트 세트에는 한 번 나타나는 899개의 식별자와 두 번 이상 나타나는 959개의 식별자가 포함되어 있으며, 반복되는 식별자 중 790개는 여러 턴에 걸쳐 있습니다. 그림은 4개의 언급 횟수 버킷(1회, 2회, 3~5회, 6~10회)을 보고하고 라벨이 지정된 모든 문장이 발견된 경우에만 식별자를 카운트합니다. PII-Tracer를 선택된 3개의 베이스라인과 함께 플롯하는 반면, 집계 테이블은 12개 시스템 모두에 대한 반복 및 턴 간 점수를 보고합니다.

반복이 증가함에 따라 PII-Tracer가 앞서나갑니다. 점수는 1회 언급 시 0.917에서 2회 시 0.873, 3~5회 시 0.796, 6~10회 시 0.691로 이동합니다. 마지막 버킷에서 GPT-5.6-sol은 0.464에 도달하는 반면, GLiNER2-PII와 Claude Opus 4.8은 각각 0.073과 0.045에 도달합니다. 전체 평가에서 PII-Tracer는 반복 식별자의 79.4%와 턴 간 식별자의 77.6%에 대해 모든 언급을 찾아냅니다. GPT-5.6-sol은 동일한 두 가지 측정에서 57.0%와 55.1%에 도달합니다.

긴 대화 커버하기

먼저 1,922개의 모든 테스트 대화를 문자 길이별로 그룹화하고 4,096 토큰 창으로 PII-Tracer를 디코딩합니다. 그룹에는 1,000자 미만 대화 167개, 1,000~10,000자 대화 1,292개, 10,000자 이상 대화 463개가 포함됩니다.

단일 창 재현율은 1,000자 미만에서 0.975이고 1,000~10,000자에서 0.955이지만, 10,000자 이상 대화의 경우 0.687로 떨어집니다. 정밀도는 더 긴 두 그룹에서 0.51 부근을 유지하며, 이는 주요 문제가 입력 커버리지임을 시사합니다.

입력 처리가 미치는 영향을 연구하기 위해 50% 겹침 슬라이딩 창 디코딩으로 동일한 체크포인트를 평가합니다. 이렇게 하면 재학습 없이 전체 문자 재현율이 0.830에서 0.965로, 멀티 언급 일관된 탐지가 0.794에서 0.954로 증가합니다.

언어 전반의 일관성

PII-TRACE는 13개 언어를 다룹니다. 언어 실험은 라틴 문자, 키릴 문자, 한글 스크립트에 걸친 6개 언어 슬라이스(영어, 독일어, 프랑스어, 이탈리아어, 러시아어, 한국어)를 보고합니다. 각 언어의 모든 테스트 대화에서 동일한 12개의 탐지기를 실행합니다. 각 언어 내에서 예측된 골드 문자를 풀링하고 문자 F1을 계산합니다.

PII-Tracer는 독일어(0.735), 프랑스어(0.633), 이탈리아어(0.676), 러시아어(0.651) 등 6개 언어 중 4개 언어에서 문자 F1을 선도하며, 영어와 한국어에서는 최고 결과와 0.016 및 0.036 차이를 보입니다. 동반 분석에서 이는 0.80–0.93의 점수를 기록하며 6개 언어 하위 집합 모두에서 일관된 탐지로 이어집니다. 언어별 뷰는 영어를 넘어선 이점을 보여줍니다.

5가지 표준 벤치마크에서 개인정보 보호 필터보다 높은 문자 F1

최종 실험은 PII-TRACE 외부로 이동합니다. ai4privacy 검증 분할(47,728개 문서), Nemotron-PII 테스트 분할(100,000개), 고정 시드 SPY 세트(8,688개), Gretel PII 테스트 분할(5,000개), TAB ECHR 테스트 분할(127개)에서 PII-Tracer와 OpenAI 개인정보 보호 필터를 실행합니다.

PII-Tracer는 모든 데이터셋에서 더 높은 문자 F1을 기록합니다. ai4privacy에서 0.950 대 0.907, Nemotron-PII에서 0.847 대 0.709, SPY에서 0.585 대 0.543, Gretel PII에서 0.952 대 0.895, TAB에서 0.594 대 0.350입니다. TAB은 이 그룹에서 실제 인간이 라벨을 지정한 텍스트로 빌드된 유일한 벤치마크입니다. 여기에서 PII-Tracer는 0.986 대 0.982의 정밀도와 0.425 대 0.213의 재현율(본질적으로 동일한 정밀도에서 두 배의 재현율, 자세한 내용은 논문 참조)에 도달합니다. 따라서 더 높은 F1은 PII-TRACE 대화에서 이 비교의 5가지 기존 단일 레코드 벤치마크 모두로 이어집니다.

결론

하이브리드 AI는 사용자의 기기를 추론 스택에 통합하여 더 강력한 개인정보 보호와 더 낮은 비용을 제공합니다. 클라우드의 프론티어 모델은 연구, 추론, 계획을 처리할 수 있으며, 로컬 모델은 기기에 유지되어야 하는 파일 및 개인 데이터를 처리합니다. 이 구분이 성립하려면 민감한 데이터가 클라우드로 전송되기 전에 민감한 정보를 인식해야 합니다.

PII-Tracer는 멀티 턴 대화에서 PII를 탐지하기 위한 소형 모델인 반면, PII-TRACE는 탐지기가 대화 전체에서 반복되는 PII를 일관되게 식별할 수 있는지 평가합니다.

종합하자면, PII-TRACE와 PII-Tracer는 멀티 턴 대화 및 기타 긴 컨텍스트 설정에서 PII 탐지를 발전시키기 위한 벤치마크 및 기준 모델을 제공합니다.

에이전트는 더 긴 작업을 맡고 더 많은 개인 컨텍스트로 작업하고 있습니다. 결과적으로 개인정보 보호 제어는 초기 입력뿐만 아니라 전체 대화에 걸쳐 유지되어야 합니다. 하이브리드 AI는 민감한 컨텍스트를 기기에 유지하기 위해 안정적인 로컬 탐지에 의존합니다.

PII-TRACE 벤치마크, PII-Tracer 모델 및 당사의 평가에 대한 자세한 내용은 arXiv 논문을 읽어보세요. 곧 PII-TRACE와 PII-Tracer를 모두 릴리스할 예정입니다.