PII-TRACE: Phát hiện dữ liệu cá nhân trước khi nó rời khỏi thiết bị

Tính toán kết hợp trên máy Mac chia các tác vụ của Perplexity Computer giữa các mô hình tiên tiến trên đám mây và một mô hình cục bộ trên máy Mac. Các tác nhân trên đám mây xử lý nghiên cứu, lý luận và lập kế hoạch, trong khi mô hình cục bộ làm việc với các tệp riêng tư và thông tin nhạy cảm.

Ranh giới này phụ thuộc vào việc phát hiện thông tin nhận dạng cá nhân (PII) trước khi nó rời khỏi thiết bị. Một cổng quyền riêng tư cục bộ giữ lại nội dung nhạy cảm trên máy Mac, biên tập thông tin riêng tư được phát hiện hoặc yêu cầu phê duyệt trước khi gửi thông tin đó lên đám mây.

Việc phát hiện trở nên khó khăn hơn trong các cuộc trò chuyện dài và đa ngôn ngữ. Cùng một định danh có thể xuất hiện nhiều lần qua các lượt trò chuyện khác nhau. Chỉ một lần nhắc đến bị bỏ sót cũng có thể làm lộ thông tin mà hệ thống có nhiệm vụ bảo vệ.

Giới thiệu

Hôm nay, chúng tôi giới thiệu PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), một bộ chuẩn đánh giá mới để đánh giá các trình phát hiện thông tin nhận dạng cá nhân (PII), và PII-Tracer, một mô hình 0,6B nhỏ gọn để phát hiện PII.

Các tác nhân ưu tiên đám mây buộc người dùng phải cân bằng giữa ngữ cảnh, trí thông minh và quyền riêng tư. Ngữ cảnh cá nhân nhiều hơn có thể giúp một tác nhân hiểu người dùng và tạo ra kết quả tốt hơn. Nhưng việc cung cấp ngữ cảnh này thường có nghĩa là gửi thông tin riêng tư đến một dịch vụ từ xa và có thể làm rò rỉ thông tin cá nhân. Thông tin làm cho trợ lý trở nên hữu ích có thể chính là thứ mà người dùng muốn giữ riêng tư nhất.

AI kết hợp làm giảm bớt sự đánh đổi này bằng cách chia sẻ công việc giữa thiết bị của người dùng và các mô hình đám mây. Nhưng ranh giới đó chỉ bảo vệ quyền riêng tư nếu thiết bị có thể nhận diện PII trước khi văn bản được gửi đến một mô hình từ xa. Người dùng không nên phải tự kiểm tra mọi tin nhắn. Thiết bị cần một trình phát hiện PII cục bộ làm cổng quyền riêng tư của mình. Trong các cuộc trò chuyện dài, cùng một định danh có thể lặp lại qua các lượt, và chỉ một lần nhắc đến bị bỏ sót là đủ để thông tin cá nhân lọt qua.

Perplexity đã giới thiệu một bộ điều phối suy luận kết hợp máy chủ cục bộ để quyết định công việc nào nên chạy trên thiết bị và công việc nào nên chuyển đến các tác nhân (agent) trên đám mây. Mô hình, khung tác nhân, các cuộc trò chuyện và quá trình thực thi đều nằm trên máy của người dùng. Các tác vụ yêu cầu quyền truy cập vào thế giới bên ngoài chỉ được gọi khi cần thiết và được kiểm soát bởi quyền của người dùng. Do đó, cho đến khi người dùng phê duyệt, nội dung đó vẫn nằm trên thiết bị.

PII-Tracer cung cấp một tín hiệu điều khiển cục bộ cho việc định tuyến mô hình bằng cách gắn cờ các khoảng được dự đoán là chứa PII. Ứng dụng sau đó thực thi chính sách định tuyến. Mô hình giữ lại đầu vào liên quan ở cục bộ, biên tập các khoảng được phát hiện hoặc yêu cầu phê duyệt rõ ràng trước khi chuyển tiếp lên một mô hình đám mây. Điều này giúp việc định tuyến trở nên có chọn lọc hơn. PII được phát hiện vẫn ở trên thiết bị trong khi ngữ cảnh được phê duyệt vẫn tận dụng được các mô hình đám mây tiên tiến.

Định tuyến có chọn lọc phụ thuộc vào việc phát hiện nhất quán trên toàn bộ cuộc trò chuyện. Cùng một định danh có thể lặp lại qua các lượt, và một lần nhắc đến bị bỏ sót vẫn có thể bị truyền đi.

Trong số 12 trình phát hiện, PII-Tracer ghi nhận F1 ký tự cao nhất và độ bao phủ nhất quán cao nhất đối với các định danh lặp lại. Bộ chuẩn đánh giá giải thích lý do tại sao cả hai kết quả đều quan trọng: trong một cuộc trò chuyện dài, tìm thấy hầu hết PII không có nghĩa là tìm thấy mọi bản sao của nó.

Phát hiện PII đối mặt với những thách thức mới trong AI kết hợp

Phát hiện PII là một vấn đề bảo mật lâu đời, và một số bộ chuẩn đánh giá và trình phát hiện đã tồn tại. Tuy nhiên, việc phát hiện PII trong các thiết lập AI kết hợp mang đến những thách thức mới. Cụ thể, các trình phát hiện phải xác định PII trong các cuộc trò chuyện dài, đa lượt, nơi ngữ cảnh hội thoại quyết định xem một chuỗi có nên được coi là PII hay không. Ví dụ, một tên có thể xác định người dùng trong cuộc trò chuyện này, ám chỉ một nhân vật công chúng trong cuộc trò chuyện khác, hoặc đơn giản là một vị trí giữ chỗ do trợ lý tạo ra. Chỉ riêng hình thức bề mặt là không đủ để xác định xem một chuỗi có nên được gắn cờ là PII hay không.

Các trình phát hiện và bộ chuẩn đánh giá PII hiện tại chủ yếu nhắm đến các bản ghi đơn lẻ. Chúng tôi nhận thấy các trình phát hiện được thiết kế để xử lý từng bản ghi một có hiệu suất kém đối với các cuộc trò chuyện dài và phức tạp. Ngoài ra, các bộ chuẩn đánh giá hiện tại thường không đánh giá tính nhất quán qua các lượt trò chuyện. Do đó, hiệu suất mạnh mẽ trên các bộ chuẩn đánh giá này không nhất thiết đồng nghĩa với việc phát hiện PII hiệu quả trong các cuộc trò chuyện dài, đa lượt.

PII-TRACE: Một bộ chuẩn đánh giá cho việc phát hiện PII quan trọng đối với việc triển khai

Chúng tôi thiết kế PII-TRACE xoay quanh ba hành vi quan trọng khi một trình phát hiện PII được sử dụng trên các cuộc trò chuyện với trợ lý. Đầu tiên là độ bao phủ nhất quán: khi một định danh xuất hiện nhiều lần hoặc vượt qua các lượt của người dùng và trợ lý, trình phát hiện cần phải tìm ra mọi lần nhắc đến. Thứ hai là tính mạnh mẽ trước ngữ cảnh dài: các cuộc trò chuyện có độ dài từ dưới 1.000 đến hơn 100.000 ký tự, giúp có thể đo lường điều gì xảy ra khi lịch sử trò chuyện phát triển. Thứ ba là xử lý nhiều ngôn ngữ và nội dung định dạng hỗn hợp: một cuộc trò chuyện có thể chuyển đổi ngôn ngữ và kết hợp văn xuôi với mã, bảng hoặc các bản ghi có cấu trúc. PII-TRACE bảo tồn các mẫu này bằng cách đánh giá toàn bộ mỗi đoạn đối thoại thay vì tách nó thành các bản ghi cô lập.

Bộ chuẩn đánh giá đo lường hiệu suất ở hai cấp độ bổ sung cho nhau. Ở cấp độ định danh, phát hiện nhất quán đặt ra câu hỏi nghiêm ngặt hơn: liệu trình phát hiện có bao phủ mọi ký tự trong mọi lần nhắc đến của cùng một định danh hay không? Chúng tôi báo cáo điểm số này riêng biệt cho các định danh có nhiều lần nhắc đến và cho các định danh lặp lại qua các lượt. Ở cấp độ ký tự, độ chính xác đo lường mức độ văn bản được đánh dấu bởi trình phát hiện là PII được gán nhãn, độ hồi tưởng đo lường mức độ PII được gán nhãn mà nó tìm thấy, và F1 cân bằng giữa hai yếu tố này.

PII-TRACE chứa 13.148 cuộc trò chuyện tổng hợp giữa người dùng và trợ lý trên 13 ngôn ngữ và 10 hệ thống chữ viết, với 37.431 lần nhắc đến định danh được gán nhãn ở cấp độ ký tự trên chín loại PII. Tổng cộng có 41% các cuộc trò chuyện chứa nội dung có cấu trúc. Trong số 5.645 cuộc trò chuyện có gán nhãn PII, 63,8% bao gồm một định danh xuất hiện nhiều hơn một lần và 28,7% bao gồm một định danh xuất hiện ở nhiều lượt trò chuyện.

Xây dựng tập dữ liệu tổng hợp từ các cuộc trò chuyện sản xuất

PII-TRACE bảo tồn cấu trúc lượt của các cuộc trò chuyện nguồn mà không công bố bản gốc. Đường ống viết lại từng lượt và thay thế mọi định danh được gán nhãn bằng một giá trị tổng hợp.

Đầu tiên, nhiều mô hình ngôn ngữ đánh dấu chín loại PII trong các cuộc trò chuyện giữa người dùng và trợ lý mang tính sản xuất. Một lượt chạy dựa trên quy tắc sẽ nhóm các định danh lặp lại có cùng loại dưới một ID thực thể. Mỗi giá trị được đánh dấu sau đó được thay thế bằng một vị trí giữ chỗ có kiểu (typed placeholder), để lại một mẫu giữ nguyên thứ tự lượt, loại PII và liên kết giữa các lần nhắc đến nhưng không giữ lại bất kỳ giá trị gốc nào được đánh dấu.

Hệ thống diễn giải lại (paraphrase) từng lượt trong khi giữ nguyên các vị trí giữ chỗ (placeholder) đó, sau đó chèn các giá trị tổng hợp khớp với loại và định dạng của định danh. Các lần nhắc đến lặp lại nhận được cùng một giá trị trong một cuộc trò chuyện, trong khi các cuộc trò chuyện khác nhau sử dụng các giá trị được tạo độc lập. Bước căn chỉnh cuối cùng tính toán lại mọi vị trí offset ký tự.

Ba cổng tự động kiểm tra rằng các giá trị thay thế khớp với các khoảng đã lưu, các lần nhắc đến lặp lại sử dụng cùng một giá trị và các giá trị nguồn được đánh dấu không xuất hiện dưới Presidio và quá trình quét lại bằng biểu thức chính quy. Một vị trí offset đã lưu cũng phải khôi phục chính xác chuỗi con tổng hợp. Các bản ghi không đạt sẽ bị tạo lại hoặc loại bỏ. Một mô hình ngôn ngữ thứ hai kiểm tra một mẫu, và con người xem xét bất kỳ thứ gì mô hình đó gắn cờ là PII.

PII-Tracer: Một bộ phát hiện nhỏ gọn để sử dụng cục bộ

PII-Tracer là một bộ mã hóa song hướng 0,6B được phỏng theo nền tảng Qwen3. Việc sàng lọc quyền riêng tư khác với việc tạo văn bản và đòi hỏi phải tìm các khoảng PII có liên quan và trả về ranh giới của chúng. Do đó, PII-Tracer thay thế mặt nạ nguyên nhân (causal mask) của Qwen3 bằng cơ chế chú ý song hướng nhận biết phần đệm (padding-aware bidirectional attention), để mọi token có thể tận dụng cả các lượt trước đó và sau đó trong cửa sổ 4.096 token.

Đối với mỗi token, bộ mã hóa tạo ra một biểu diễn 10,240 chiều. Một đầu gắn nhãn tuyến tính tạo ra điểm số cho 37 nhãn có thể có: một nhãn đặc biệt (mà chúng tôi dùng O để ký hiệu) cho văn bản nằm ngoài khoảng PII, cộng với bốn nhãn vị trí khoảng cho mỗi loại trong số chín loại PII. Trong sơ đồ BIOES cho Nhận diện Thực thể có Tên (Named Entity Recognition), B (Bắt đầu), I (Bên trong) và E (Kết thúc) đánh dấu một khoảng nhiều token, trong khi S (Đơn) đánh dấu một khoảng một token. Một đầu phụ trợ cũng dự đoán xem cuộc trò chuyện có chứa tài liệu nhạy cảm hay không, chẳng hạn như thông tin về sức khỏe hoặc tôn giáo.

Chúng tôi huấn luyện PII-Tracer trong ba kỷ nguyên (epochs) trên khoảng 714.000 mẫu huấn luyện, kết hợp các cuộc trò chuyện với trợ lý đa ngôn ngữ với các ví dụ bản ghi đơn. Bộ mã hóa song hướng được chia sẻ có hai đầu huấn luyện: một đầu token BIOES 37 lớp phát hiện và phân loại các khoảng PII, và một đầu nhị phân ở cấp độ cuộc trò chuyện dự đoán xem cuộc trò chuyện có chứa tài liệu nhạy cảm hay không. Chúng tôi huấn luyện đồng thời cả hai đầu bằng $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. Ở đây, $\mathcal{L}_{\mathrm{tag}}$ cung cấp trọng số lớn hơn cho các nhãn PII hiếm để nhãn `O` thường xuyên không lấn át, trong khi $\mathcal{L}_{\mathrm{sens}}$ cung cấp tín hiệu huấn luyện ở cấp độ cuộc trò chuyện; hệ số 1,5 và 0,3 giữ cho việc phát hiện khoảng làm nhiệm vụ chính. Tín hiệu phụ trợ này củng cố việc phát hiện nhận thức ngữ cảnh: mô hình học cách đánh giá một khoảng ứng viên trong cuộc trò chuyện thay vì như một chuỗi cô lập, giúp giảm tỷ lệ dương tính giả với chỉ một đánh đổi nhỏ về độ hồi tưởng.

Tại thời điểm suy luận, một bộ giải mã Viterbi bị ràng buộc sẽ tìm kiếm chuỗi BIOES hợp lệ có điểm số cao nhất thay vì gắn nhãn cho từng token một cách độc lập. Ví dụ, B-private_person có thể tiếp tục với I-private_person hoặc kết thúc với E-private_person, nhưng không chuyển sang I-private_email. Bộ giải mã ánh xạ kết quả trở lại các khoảng ký tự chính xác để biên tập (redaction) hoặc định tuyến cục bộ.

PII-Tracer dẫn đầu về F1 ký tự và PII lặp lại

Chúng tôi so sánh các trình phát hiện ở cả cấp độ ký tự và khoảng (span). Chỉ số F1 ký tự đánh giá việc phát hiện theo từng ký tự. Chỉ số F1 chồng chéo khoảng đo lường xem trình phát hiện có xác định được bất kỳ phần nào của một mục PII hay không, trong khi chỉ số F1 bao hàm khoảng đo lường xem nó có nắm bắt được toàn bộ mục đó hay không.

PII-Tracer đạt được F1 ký tự cao nhất (0,629) trong số 12 hệ thống được đánh giá, và F1 chồng chéo khoảng cùng F1 bao hàm khoảng cao thứ hai. Các mô hình tiên tiến, cụ thể là GPT-5.6-sol và Claude Sonnet 5, đạt được hiệu suất tổng thể tương đương. GPT-5.6-sol đạt điểm số cao hơn trên cả hai số đo F1 cấp độ khoảng, nhưng có F1 ký tự thấp hơn. Tuy nhiên, các mô hình tiên tiến này có hàng trăm tỷ hoặc thậm chí hàng nghìn tỷ tham số và là các mô hình nguồn đóng được lưu trữ trên đám mây. Do đó, chúng không phù hợp để bảo vệ dữ liệu cục bộ nhạy cảm trong các thiết lập AI kết hợp, nơi văn bản chưa được sàng lọc phải được giữ lại ở cục bộ. Ngược lại, PII-Tracer mang lại khả năng phát hiện cấp độ khoảng gần như tiên tiến chỉ với 0,6B tham số và có thể xử lý văn bản chưa được sàng lọc hoàn toàn ở cục bộ. Các trình phát hiện PII mã nguồn mở khác có hiệu suất kém hơn đáng kể so với PII-Tracer.

Tìm mọi lần nhắc đến lặp lại

Thử nghiệm tính nhất quán áp dụng một bài kiểm tra nghiêm ngặt hơn đối với cùng các dự đoán đó. Tập kiểm tra chứa 899 định danh xuất hiện một lần và 959 định danh xuất hiện nhiều hơn một lần; 790 định danh lặp lại trải dài qua nhiều lượt. Hình vẽ báo cáo bốn nhóm số lượng lần nhắc đến (một, hai, ba đến năm, và sáu đến mười) và chỉ tính một định danh khi tất cả các ký tự được gán nhãn của nó đều được tìm thấy. Hình vẽ biểu diễn PII-Tracer với ba cơ sở so sánh được chọn, trong khi bảng tổng hợp báo cáo điểm số lặp lại và chéo lượt cho cả mười hai hệ thống.

PII-Tracer vẫn dẫn đầu khi số lần lặp lại tăng lên: điểm số của mô hình di chuyển từ 0,917 cho một lần nhắc đến lên 0,873 cho hai lần, 0,796 cho ba đến năm lần, và 0,691 cho sáu đến mười lần. Ở nhóm cuối cùng, GPT-5.6-sol đạt 0,464, trong khi GLiNER2-PII và Claude Opus 4.8 đạt lần lượt là 0,073 và 0,045. Trong toàn bộ quá trình đánh giá, PII-Tracer tìm thấy mọi lần nhắc đến của 79,4% định danh lặp lại và 77,6% định danh chéo lượt; GPT-5.6-sol đạt 57,0% và 55,1% trên cùng hai thước đo đó.

Bao phủ các cuộc trò chuyện dài

Trước tiên, chúng tôi nhóm tất cả 1.922 cuộc trò chuyện kiểm tra theo độ dài ký tự và giải mã PII-Tracer với cửa sổ 4.096 token. Các nhóm chứa 167 cuộc trò chuyện dưới 1.000 ký tự, 1.292 cuộc từ 1.000 đến 10.000 và 463 cuộc từ 10.000 trở lên.

Độ hồi tưởng trên một cửa sổ đơn là 0,975 đối với dưới 1.000 ký tự và 0,955 đối với từ 1.000 đến 10.000, nhưng giảm xuống 0,687 đối với các cuộc trò chuyện từ 10.000 ký tự trở lên. Độ chính xác duy trì gần mức 0,51 ở hai nhóm dài hơn, chỉ ra rằng độ bao phủ đầu vào là vấn đề chính.

Để nghiên cứu ảnh hưởng của việc xử lý đầu vào, chúng tôi đánh giá cùng một điểm kiểm tra (checkpoint) với giải mã cửa sổ trượt chồng chéo 50%. Điều này làm tăng độ hồi tưởng ký tự tổng thể từ 0,830 lên 0,965 và khả năng phát hiện nhất quán nhiều lần nhắc đến từ 0,794 lên 0,954, mà không cần huấn luyện lại.

Nhất quán qua các ngôn ngữ

PII-TRACE bao gồm 13 ngôn ngữ; thử nghiệm ngôn ngữ báo cáo một phần gồm sáu ngôn ngữ trải dài trên các hệ chữ Latinh, Kirin và Hangul: tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Ý, tiếng Nga và tiếng Hàn. Chúng tôi chạy cùng 12 trình phát hiện trên tất cả các cuộc trò chuyện kiểm tra bằng mỗi ngôn ngữ. Trong mỗi ngôn ngữ, chúng tôi gom các ký tự được dự đoán và ký tự chuẩn (gold) lại và tính toán chỉ số F1 ký tự.

PII-Tracer dẫn đầu về chỉ số F1 ký tự ở bốn trong sáu ngôn ngữ: tiếng Đức (0,735), tiếng Pháp (0,633), tiếng Ý (0,676) và tiếng Nga (0,651), đồng thời nằm trong khoảng chênh lệch 0,016 và 0,036 so với các kết quả tốt nhất bằng tiếng Anh và tiếng Hàn. Trong phân tích đi kèm, mô hình dẫn đến việc phát hiện nhất quán ở cả sáu tập con ngôn ngữ, đạt điểm 0,80–0,93. Góc nhìn theo từng ngôn ngữ cho thấy những cải thiện vượt ra ngoài tiếng Anh.

Chỉ số F1 ký tự cao hơn bộ lọc quyền riêng tư trên năm bộ chuẩn đánh giá tiêu chuẩn

Thử nghiệm cuối cùng diễn ra bên ngoài PII-TRACE. Chúng tôi chạy PII-Tracer và Bộ lọc quyền riêng tư OpenAI trên tập xác thực ai4privacy (47.728 tài liệu), tập kiểm tra Nemotron-PII (100.000), tập SPY với seed cố định (8.688), tập kiểm tra Gretel PII (5.000) và tập kiểm tra TAB ECHR (127).

PII-Tracer có chỉ số F1 ký tự cao hơn trên mọi tập dữ liệu: 0,950 so với 0,907 trên ai4privacy, 0,847 so với 0,709 trên Nemotron-PII, 0,585 so với 0,543 trên SPY, 0,952 so với 0,895 trên Gretel PII và 0,594 so với 0,350 trên TAB. TAB là bộ chuẩn đánh giá duy nhất trong nhóm này được xây dựng từ văn bản thực tế do con người gán nhãn. Tại đó, PII-Tracer đạt độ chính xác 0,986 so với 0,982 và độ hồi tưởng 0,425 so với 0,213—gấp đôi độ hồi tưởng ở mức độ chính xác gần như tương đương (chi tiết trong bài báo). Do đó, chỉ số F1 cao hơn được duy trì từ các cuộc trò chuyện PII-TRACE sang tất cả năm bộ chuẩn đánh giá bản ghi đơn truyền thống trong phép so sánh này.

Kết luận

AI kết hợp (hybrid AI) tích hợp thiết bị của người dùng vào ngăn xếp suy luận, mang lại quyền riêng tư mạnh mẽ hơn và chi phí thấp hơn. Các mô hình tiên tiến trên đám mây có thể xử lý nghiên cứu, lý luận và lập kế hoạch, trong khi các mô hình cục bộ làm việc với các tệp và dữ liệu cá nhân nên được giữ lại trên thiết bị. Sự phân chia này phụ thuộc vào việc nhận iện thông tin nhạy cảm trước khi bất kỳ dữ liệu nhạy cảm nào được gửi lên đám mây.

PII-Tracer là một mô hình nhỏ gọn để phát hiện PII trong các cuộc trò chuyện đa lượt, trong khi PII-TRACE đánh giá liệu các trình phát hiện có thể xác định một cách nhất quán PII lặp lại xuyên suốt cuộc trò chuyện hay không.

Cùng nhau, PII-TRACE và PII-Tracer cung cấp một bộ chuẩn đánh giá và mô hình tham chiếu để thúc đẩy việc phát hiện PII trong các cuộc trò chuyện đa lượt và các bối cảnh ngữ cảnh dài khác.

Các tác nhân đang đảm nhận các tác vụ dài hơn và làm việc với nhiều ngữ cảnh cá nhân hơn. Do đó, các biện pháp kiểm soát quyền riêng tư nên được duy trì trên toàn bộ cuộc trò chuyện, không chỉ ở đầu vào ban đầu. AI kết hợp phụ thuộc vào việc phát hiện cục bộ đáng tin cậy để giữ ngữ cảnh nhạy cảm trên thiết bị.

Đọc bài báo arXiv để biết chi tiết về bộ chuẩn đánh giá PII-TRACE, mô hình PII-Tracer và quá trình đánh giá của chúng tôi. Chúng tôi dự định phát hành cả PII-TRACE và PII-Tracer sớm.