PII-TRACE: การตรวจจับข้อมูลส่วนบุคคลก่อนที่จะออกจากอุปกรณ์

การประมวลผลแบบไฮบริดบน Mac แบ่งงานของ Perplexity Computer ระหว่างโมเดลระดับแนวหน้าบนคลาวด์และโมเดลภายในเครื่องบน Mac เอเจนต์บนคลาวด์จะจัดการงานวิจัย, การให้เหตุผล และการวางแผน ในขณะที่โมเดลภายในเครื่องจะทำงานร่วมกับไฟล์ส่วนตัวและข้อมูลที่ละเอียดอ่อน

ขอบเขตนี้ขึ้นอยู่กับการตรวจจับข้อมูลส่วนบุคคล (Personally Identifiable Information - PII) ก่อนที่ข้อมูลจะออกจากอุปกรณ์ เกตความเป็นส่วนตัวภายในเครื่อง (Local privacy gate) จะเก็บเนื้อหาที่ละเอียดอ่อนไว้บน Mac, ปกปิดข้อมูลส่วนตัวที่ตรวจพบ หรือขออนุมัติก่อนที่จะส่งไปยังคลาวด์

การตรวจจับจะทำได้ยากขึ้นในบทสนทนายาวๆ ที่มีหลายภาษา ตัวระบุเดิมอาจปรากฏขึ้นหลายครั้งในเทิร์นที่ต่างกัน การพลาดการกล่าวถึงเพียงครั้งเดียวอาจเปิดเผยข้อมูลที่ระบบมีหน้าที่ต้องปกป้อง

บทนำ

วันนี้ เราขอแนะนำ PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), เกณฑ์มาตรฐานใหม่สำหรับการประเมินตัวตรวจจับข้อมูลส่วนบุคคล (PII) และ PII-Tracer โมเดลขนาดกะทัดรัด 0.6B สำหรับการตรวจจับ PII

เอเจนต์ที่เน้นคลาวด์เป็นหลัก (Cloud-first agents) บังคับให้ผู้ใช้ต้องสร้างความสมดุลระหว่างบริบท, ความฉลาด และความเป็นส่วนตัว บริบทส่วนบุคคลที่มากขึ้นสามารถช่วยให้เอเจนต์เข้าใจผู้ใช้และสร้างผลลัพธ์ที่ดีขึ้นได้ แต่การให้บริบทนี้มักหมายถึงการส่งข้อมูลส่วนตัวไปยังบริการระยะไกลและอาจทำให้ข้อมูลส่วนบุคคลรั่วไหลได้ ข้อมูลที่ทำให้ผู้ช่วยมีประโยชน์อาจเป็นสิ่งเดียวกับที่ผู้ใช้ต้องการเก็บไว้เป็นความส่วนตัวมากที่สุด

AI แบบไฮบริด ช่วยลดความยุ่งยากในการประนีประนอมนี้โดยการแบ่งงานระหว่างอุปกรณ์ของผู้ใช้และโมเดลคลาวด์ แต่ขอบเขตนั้นจะปกป้องความเป็นส่วนตัวได้ก็ต่อเมื่ออุปกรณ์สามารถจดจำ PII ได้ก่อนที่ข้อความจะถูกส่งไปยังโมเดลระยะไกล ผู้ใช้ไม่ควรต้องตรวจสอบข้อความทุกข้อความด้วยตนเอง อุปกรณ์จำเป็นต้องมีตัวตรวจจับ PII ภายในเครื่องทำหน้าที่เป็นเกตความเป็นส่วนตัว ในบทสนทนายาวๆ ตัวระบุเดียวกันอาจเกิดขึ้นซ้ำข้ามเทิร์น และการพลาดการกล่าวถึงเพียงครั้งเดียวก็เพียงพอแล้วที่จะทำให้ข้อมูลส่วนบุคคลรั่วไหลผ่านไปได้

Perplexity ได้แนะนำระบบจัดระเบียบการอนุมานแบบไฮบริดบนเซิร์ฟเวอร์ท้องถิ่น (Hybrid local-server inference orchestrator) ซึ่งทำหน้าที่ตัดสินใจว่างานใดควรทำงานบนอุปกรณ์และงานใดควรส่งไปยังเอเจนต์ในระบบคลาวด์ โมเดล, ตัวควบคุมเอเจนต์ (Agent harness), บทสนทนา และวิถีการดำเนินการทั้งหมดจะอยู่บนเครื่องของผู้ใช้ งานที่จำเป็นต้องเข้าเข้าถึงโลกภายนอกจะถูกเรียกใช้เฉพาะเมื่อจำเป็นเท่านั้นและจะถูกควบคุมด้วยสิทธิ์ของผู้ใช้ ด้วยเหตุนี้ เนื้อหานั้นจะยังคงอยู่บนอุปกรณ์จนกว่าผู้ใช้จะอนุมัติ

PII-Tracer มอบสัญญาณควบคุมภายในเครื่องหนึ่งรายการสำหรับการกำหนดเส้นทางโมเดลโดยการทำเครื่องหมายช่วงที่คาดการณ์ว่าจะมี PII จากนั้นแอปพลิเคชันจะบังคับใช้นโยบายการกำหนดเส้นทาง โดยจะเก็บอินพุตที่เกี่ยวข้องไว้ภายในเครื่อง ปกปิดช่วงที่ตรวจพบ หรือขออนุมัติที่ชัดเจนก่อนที่จะยกระดับไปยังโมเดลคลาวด์ ซึ่งช่วยให้การกำหนดเส้นหางมีความเฉพาะเจาะจงมากขึ้น PII ที่ตรวจพบจะยังคงอยู่บนอุปกรณ์ ในขณะที่บริบทที่ได้รับอนุมัติยังคงได้รับประโยชน์จากโมเดลคลาวด์ระดับแนวหน้า

การกำหนดเส้นทางแบบคัดเลือกขึ้นอยู่กับการตรวจจับที่สอดคล้องกันตลอดทั้งบทสนทนา ตัวระบุเดียวกันสามารถเกิดขึ้นซ้ำข้ามเทิร์นได้ และการกล่าวถึงที่ตกหล่นอาจยังคงถูกส่งผ่านไปได้

จากตัวตรวจจับทั้ง 12 ตัว PII-Tracer บันทึกค่า F1 ของอักขระที่สูงที่สุดและการครอบคลุมที่สอดคล้องกันสูงสุดของตัวระบุที่เกิดขึ้นซ้ำ เกณฑ์มาตรฐานนี้อธิบายว่าเหตุใดผลลัพธ์ทั้งสองจึงมีความสำคัญ: ในบทสนทนายาว การค้นหา PII ส่วนใหญ่นั้นไม่เหมือนกับการค้นหาสำเนาทุกชุดของมัน

การตรวจจับ PII เผชิญกับความท้าทายใหม่ๆ ใน AI แบบไฮบริด

การตรวจจับ PII เป็นปัญหาด้านความปลอดภัยที่มีมาอย่างยาวนาน และมีเกณฑ์มาตรฐานและตัวตรวจจับหลายตัวอยู่แล้ว อย่างไรก็ตาม การตรวจจับ PII ในสภาพแวดล้อม AI แบบไฮบริดนำมาซึ่งความท้าทายใหม่ๆ โดยเฉพาะอย่างยิ่ง ตัวตรวจจับจะต้องระบุ PII ในบทสนทนายาวที่มีหลายเทิร์น ซึ่งบริบทการสนทนาจะเป็นตัวกำหนดว่าสตริงควรถูกพิจารณาว่าเป็น PII หรือไม่ ตัวอย่างเช่น ชื่ออาจระบุตัวตนของผู้ใช้ในบทสนทนาหนึ่ง แต่อาจหมายถึงบุคคลสาธารณะในอีกบทสนทนาหนึ่ง หรืออาจเป็นเพียงตัวยึดตำแหน่งที่สร้างขึ้นโดยผู้ช่วย รูปแบบพื้นผิว (Surface form) เพียงอย่างเดียวไม่เพียงพอที่จะกำหนดว่าควรทำเครื่องหมายสตริงว่าเป็น PII หรือไม่

ตัวตรวจจับและชุดเกณฑ์มาตรฐาน PII ที่มีอยู่มุ่งเน้นไปที่เรกคอร์ดเดี่ยวเป็นหลัก เราพบว่าตัวตรวจจับที่ออกแบบมาเพื่อประมวลผลทีละเรกคอร์ดทำผลงานได้ไม่ดีนักในบทสนทนายาวและมีความซับซ้อน นอกจากนี้ เกณฑ์มาตรฐานที่มีอยู่โดยทั่วไปไม่ได้ประเมินความสอดคล้องข้ามเทิร์น ส่งผลให้ประสิทธิภาพที่แข็งแกร่งบนเกณฑ์มาตรฐานเหล่านี้ไม่ได้แปลว่าการตรวจจับ PII มีประสิทธิภาพในบทสนทนายาวที่มีหลายเทิร์นเสมอไป

PII-TRACE: เกณฑ์มาตรฐานสำหรับการตรวจจับ PII ที่มีความสำคัญต่อการใช้งานจริง (Deployment-Critical PII Detection)

เราออกแบบ PII-TRACE รอบพฤติกรรม 3 ประการที่มีความสำคัญเมื่อใช้ตัวตรวจจับ PII กับบทสนทนาของผู้ช่วย ประการแรกคือ การครอบคลุมที่สอดคล้องกัน (Consistent coverage): เมื่อตัวระบุปรากฏขึ้นหลายครั้งหรือข้ามเทิร์นของผู้ใช้และผู้ช่วย ตัวตรวจจับจำเป็นต้องค้นหาทุกการกล่าวถึงให้พบ ประการที่สองคือ ความทนทานต่อบริบทขนาดยาว (Robustness to long context): บทสนทนามีตั้งแต่ความยาวน้อยกว่า 1,000 ไปจนถึงมากกว่า 100,000 อักขระ ซึ่งทำให้สามารถวัดสิ่งที่เกิดขึ้นเมื่อประวัติมีความยาวเพิ่มขึ้นได้ ประการที่สามคือการจัดการกับ หลายภาษาและเนื้อหาที่มีรูปแบบผสมผสาน (Multiple languages and mixed-format content): บทสนทนาอาจมีการสลับภาษาและผสมผสานข้อความธรรมดากเข้ากับโค้ด, ตาราง หรือเรกคอร์ดที่มีโครงสร้าง PII-TRACE รักษาหารูปแบบเหล่านี้ไว้โดยการประเมินบทสนทนาทั้งหมดแต่ละรายการแทนที่จะแบ่งเป็นเรกคอร์ดที่แยกออกจากกัน

เกณฑ์มาตรฐานนี้วัดประสิทธิภาพในสองระดับที่เสริมซึ่งกันและกัน ในระดับตัวระบุ การตรวจจับที่สอดคล้องกัน (Consistent detection) จะตั้งคำถามที่เข้มงวดมากขึ้นว่า: ตัวตรวจจับสามารถครอบคลุมอักขระทุกตัวในการกล่าวถึงทุกครั้งของตัวระบุเดียวกันได้หรือไม่ เราจะรายงานคะแนนนี้แยกต่างหากสำหรับตัวระบุที่มีการกล่าวถึงหลายครั้งและตัวระบุที่ปรากฏซ้ำข้ามเทิร์น ในระดับอักขระ ความแม่นยำ (Precision) จะวัดว่าข้อความที่ทำเครื่องหมายโดยตัวตรวจจับนั้นมีส่วนที่เป็น PII ที่ติดป้ายกำกับอยู่มากน้อยเพียงใด การเรียกคืน (Recall) จะวัดว่าตัวตรวจจับสามารถค้นพบ PII ที่ติดป้ายกำกับได้มากน้อยแค่ไหน และ F1 จะทำหน้าที่สร้างความสมดุลให้กับทั้งสองค่านี้

PII-TRACE ประกอบด้วยบทสนทนาระหว่างผู้ใช้และผู้ช่วยที่สังเคราะห์ขึ้น 13,148 รายการ ครอบคลุม 13 ภาษา และ 10 ระบบการเขียน โดยมีการติดป้ายกำกับรายการระบุตัวตน 37,431 รายการในระดับอักขระทั่วทั้ง 9 ประเภทของ PII บทสนทนาทั้งหมด 41% มีเนื้อหาที่มีโครงสร้าง ในบรรดาบทสนทนา 5,645 รายการที่มีการติดป้ายกำกับ PII นั้น 63.8% มีตัวระบุที่ปรากฏมากกว่าหนึ่งครั้ง และ 28.7% มีตัวระบุที่ปรากฏข้ามหลายเทิร์น

การสร้างชุดข้อมูลสังเคราะห์จากบทสนทนาในกระบวนการผลิต

PII-TRACE รักษาโครงสร้างเทิร์นของบทสนทนาต้นทางไว้โดยไม่ต้องเผยแพร่ต้นฉบับ ท่อส่งข้อมูล (Pipeline) จะทำการเขียนแต่ละเทิร์นใหม่และแทนที่ตัวระบุที่ติดป้ายกำกับด้วยค่าสังเคราะห์

ประการแรก โมเดลภาษาหลายโมเดลจะทำเครื่องหมาย PII 9 ประเภทในบทสนทนาระหว่างผู้ใช้และผู้ช่วยในกระบวนการผลิต ขั้นตอนตามกฎจะจัดกลุ่มตัวระบุที่ซ้ำกันประเภทเดียวกันไว้ภายใต้ ID เอนทิตีเดียวกัน จากนั้น ค่าแต่ละค่าที่มีการทำเครื่องหมายจะถูกแทนที่ด้วยตัวยึดตำแหน่งที่มีการกำหนดประเภท (Typed placeholder) ทำให้เหลือเทิร์นที่ยังคงลำดับเทิร์น, ประเภท PII และลิงก์ระหว่างการกล่าวถึงไว้ แต่จะไม่เหลือค่าต้นทางที่มีการทำเครื่องหมายไว้เลย

ระบบจะทำการเรียบเรียงใหม่ (Paraphrase) แต่ละเทิร์นพร้อมทั้งรักษาตัวยึดตำแหน่งเหล่านั้นไว้ จากนั้นจึงแทรกค่าสังเคราะห์ที่ตรงกับประเภทและรูปแบบของตัวระบุนั้นๆ การกล่าวถึงซ้ำจะได้รับค่าเดียวกันภายในบทสนทนา ในขณะที่บทสนทนาที่ต่างกันจะใช้ค่าที่สร้างขึ้นอย่างอิสระ ขั้นตอนการจัดแนวขั้นสุดท้ายจะคำนวณออฟเซ็ตอักขระแต่ละตัวใหม่ทั้งหมด

เกตอัตโนมัติสามตัวจะตรวจสอบว่าการแทนที่ตรงกับช่วงที่จัดเก็บไว้ การกล่าวถึงซ้ำใช้ค่าเดียวกัน และค่าต้นทางที่มีการทำเครื่องหมายจะไม่มีอยู่ภายใต้การสแกนซ้ำด้วย Presidio และนิพจน์เรกกิวลาร์ (Regular expression) นอกจากนี้ ออฟเซ็ตที่จัดเก็บจะต้องสามารถกู้คืนสตริงย่อยสังเคราะห์ที่แน่นอนได้ด้วย เร็คคอร์ดที่ไม่ผ่านการตรวจสอบจะถูกสร้างขึ้นใหม่หรือถูกตัดออก โมเดลภาษาตัวที่สองจะทำการตรวจสอบตัวอย่าง และมนุษย์จะตรวจสอบสิ่งใดก็ตามที่โมเดลดังกล่าวทำ 7 เครื่องหมายว่าเป็น PII

PII-Tracer: ตัวตรวจจับขนาดกะทัดรัดสำหรับการใช้งานภายในเครื่อง

PII-Tracer คือตัวเข้ารหัสแบบสองทิศทาง (Bidirectional encoder) ขนาด 0.6B ที่ปรับแต่งมาจากโครงสร้างหลัก Qwen3 การคัดกรองความเป็นส่วนตัวมีความแตกต่างจากการสร้างข้อความ และต้องอาศัยการค้นหาช่วง PII ที่เกี่ยวข้องพร้อมทั้งส่งคืนขอบเขตของช่วงนั้นๆ ด้วยเหตุนี้ PII-Tracer จึงแทนที่หน้ากากเชิงเหตุผล (Causal mask) ของ Qwen3 ด้วยการใส่ความสนใจแบบสองทิศทางที่ตระหนักรู้การเว้นวรรค (Padding-aware bidirectional attention) ทำให้ทุกโทเค็นสามารถดึงข้อมูลจากทั้งเทิร์นก่อนหน้าและเทิร์นถัดไปภายในหน้าต่างขนาด 4,096 โทเค็นได้

สำหรับแต่ละโทเค็น ตัวเข้ารหัสจะสร้างการแสดงแทนแบบ 1,024 มิติ ส่วนหัวการติดแท็กเชิงเส้น (Linear tagging head) จะสร้างคะแนนสำหรับป้ายกำกับที่เป็นไปได้ 37 รายการ ได้แก่ ป้ายกำกับพิเศษหนึ่งรายการ (ซึ่งเราใช้ O แทน) สำหรับข้อความที่อยู่นอกช่วง PII บวกกับป้ายกำกับตำแหน่งช่วงสี่รายการสำหรับ PII แต่ละประเภทจากเก้าประเภท ในระบบ BIOES สำหรับการจดจำเอนทิตีที่มีชื่อ (Named Entity Recognition) B (จุดเริ่มต้น - Beginning), I (ภายใน - Inside) และ E (จุดสิ้นสุด - End) จะทำหน้าที่ทำเครื่องหมายช่วงที่มีหลายโทเค็น ในขณะที่ S (เดี่ยว - Single) ทำหน้าที่ทำเครื่องหมายช่วงที่มีโทเค็นเดียว นอกจากนี้ ส่วนหัวเสริมยังทำหน้าที่ทำนายว่าบทสนทนานั้นมีวัสดุหรือข้อมูลที่มีความละเอียดอ่อน เช่น ข้อมูลด้านสุขภาพหรือศาสนาหรือไม่

เราฝึกฝน PII-Tracer เป็นเวลา 3 อีพ็อกช์ (Epochs) กับตัวอย่างการฝึกฝนประมาณ 714,000 รายการ โดยผสมผสานบทสนทนาระหว่างผู้ช่วยหลายภาษาเข้ากับตัวอย่างเรกคอร์ดเดี่ยว ตัวเข้ารหัสแบบสองทิศทางที่ใช้ร่วมกันนี้มีส่วนหัวสำหรับการฝึกฝนสองส่วน: ส่วนหัวโทเค็น BIOES แบบ 37 คลาสที่ทำหน้าที่ตรวจจับและจำแนกประเภทช่วง PII และส่วนหัวระดับบทสนทนากลุ่มไบนารีที่ทำหน้าที่ทำนายว่าบทสนทนานั้นมีเนื้อหาที่ละเอียดอ่อนหรือไม่ เราฝึกฝนส่วนหัวทั้งสองร่วมกันโดยใช้ $\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$ ที่นี่ $\mathcal{L}_{\mathrm{tag}}$ จะช่วยให้น้ำหนักกับป้ายกำกับ PII ที่หายากมากขึ้น เพื่อไม่ให้ป้ายกำกับ `O` ที่พบบ่อยครอบงำจนเกินไป ในขณะที่ $\mathcal{L}_{\mathrm{sens}}$ ทำหน้าที่ป้อนสัญญาณการฝึกอบรมระดับบทสนทนา โดยสัมประสิทธิ์ 1.5 และ 0.3 จะช่วยรักษาให้งานตรวจจับช่วงเป็นงานหลัก สัญญาณเสริมนี้ช่วยเสริมความแข็งแกร่งให้กับการตรวจจับแบบ รับรู้บริบท (Context-aware): โมเดลเรียนรู้ที่จะประเมินช่วงตัวเต็งภายในบทสนทนาแทนที่จะมองว่าเป็นสตริงที่แยกตัวออกมา ซึ่งช่วยลดผลบวกปลอม (False positives) โดยแลกมากับการสูญเสียการเรียกคืนเพียงเล็กน้อยเท่านั้น

ในเวลาอนุมาน (Inference time) ตัวถอดรหัส Viterbi แบบจำกัด Viterbi decoder จะค้นหาลำดับ BIOES ถูกต้องที่ได้คะแนนสูงสุด แทนที่จะติดป้ายกำกับแต่ละโทเค็นอย่างอิสระ ตัวอย่างเช่น B-private_person สามารถดำเนินต่อด้วย I-private_person หรือปิดท้ายด้วย E-private_person แต่จะไม่สลับไปเป็น I-private_email ตัวถอดรหัสจะแมปผลลัพธ์กลับไปยังช่วงอักขระที่แน่นอนสำหรับการแปลงเป็นข้อมูลปกปิด (Redaction) หรือการกำหนดเส้นทางภายใน

PII-Tracer เป็นผู้นำด้าน F1 ของอักขระและ PII ที่เกิดขึ้นซ้ำ

เราเปรียบเทียบตัวตรวจจับทั้งในระดับอักขระและระดับช่วง (Span) ตัวตรวจจับ F1 ระดับอักขระจะประเมินการตรวจจับทีละอักขระ ในขณะที่ F1 แบบทับซ้อนของช่วงจะวัดว่าตัวตรวจจับสามารถระบุส่วนใดส่วนหนึ่งของรายการ PII ได้หรือไม่ ส่วน F1 แบบครอบคลุมช่วงจะวัดว่าตัวตรวจจับสามารถจับรายการทั้งหมดได้หรือไม่

PII-Tracer ทำคะแนน F1 ของอักขระสูงสุด (0.629) ในบรรดา 12 ระบบที่ได้รับการประเมิน และทำคะแนน F1 แบบทับซ้อนของช่วงและ F1 แบบครอบคลุมช่วงเป็นอันดับสอง โมเดลระดับแนวหน้าอย่าง GPT-5.6-sol และ Claude Sonnet 5 ทำประสิทธิภาพโดยรวมที่เทียบเคียงกันได้ GPT-5.6-sol ได้รับคะแนนที่สูงกว่าในตัวชี้วัด F1 ระดับช่วงทั้งสองตัว แต่ได้คะแนน F1 ของอักขระต่ำกว่า อย่างไรก็ตาม โมเดลระดับแนวหน้าเหล่านี้มีพารามิเตอร์หลายแสนล้านหรือหลายล้านล้านตัว และเป็นโมเดลแบบปิดซอร์สที่โฮสต์อยู่บนคลาวด์ ด้วยเหตุนี้ จึงไม่เหมาะสำหรับการปกป้องข้อมูลส่วนตัวในเครื่องในสภาพแวดล้อม AI แบบไฮบริดที่ข้อความยังไม่ผ่านการคัดกรองจะต้องถูกเก็บไว้ในเครื่อง ในทางตรงกันข้าม PII-Tracer มอบการตรวจจับระดับช่วงที่ใกล้เคียงกับระดับแนวหน้าด้วยพารามิเตอร์เพียง 0.6B และสามารถประมวลผลข้อความที่ยังไม่ผ่านการคัดกรองภายในเครื่องได้ทั้งหมด ตัวตรวจจับ PII แบบโอเพนซอร์สอื่นๆ มีประสิทธิภาพที่ย่ำแย่กว่า PII-Tracer อย่างมาก

การค้นหาทุกการกล่าวถึงที่เกิดขึ้นซ้ำ

การทดลองความสอดคล้องนี้นำการทดสอบที่เข้มงวดมากขึ้นมาใช้กับชุดการคาดการณ์เดียวกัน ชุดทดสอบประกอบด้วยตัวระบุที่ปรากฏหนึ่งครั้งจำนวน 899 รายการ และตัวระบุที่ปรากฏมากกว่าหนึ่งครั้งจำนวน 959 รายการ โดยตัวระบุซ้ำ 790 รายการครอบคลุมหลายเทิร์น แผนภูมินี้รายงานกลุ่มจำนวนการกล่าวถึง 4 กลุ่ม (หนึ่ง, สอง, สามถึงห้า และหกถึงสิบ) และนับตัวระบุเมื่อพบอักขระที่ติดป้ายกำกับทั้งหมดแล้วเท่านั้น พร้อมทั้งแสดงกราฟ PII-Tracer เปรียบเทียบกับชุดข้อมูลอ้างอิงพื้นฐาน (Baseline) ที่เลือกไว้สามชุด ในขณะที่ตารางรวมจะรายงานคะแนนความซ้ำและข้ามเทิร์นสำหรับระบบทั้ง 12 ระบบ

PII-Tracer ยังคงมีประสิทธิภาพเหนือกว่าเมื่อมีการทำซ้ำเพิ่มขึ้น โดยคะแนนจะขยับจาก 0.917 สำหรับการกล่าวถึง 1 ครั้ง เป็น 0.873 สำหรับการกล่าวถึง 2 ครั้ง, 0.796 สำหรับ 3 ถึง 5 ครั้ง และ 0.691 สำหรับ 6 ถึง 10 ครั้ง ในกลุ่มสุดท้าย GPT-5.6-sol ทำคะแนนได้ 0.464 ในขณะที่ GLiNER2-PII และ Claude Opus 4.8 ทำคะแนนได้ 0.073 และ 0.045 ตามลำดับ ตลอดการประเมินทั้งหมด PII-Tracer สามารถค้นพบทุกการกล่าวถึงของตัวระบุซ้ำ 79.4% และตัวระบุข้ามเทิร์น 77.6% ในขณะที่ GPT-5.6-sol ทำได้ 57.0% และ 55.1% ตามมาตรวัดสองตัวเดียวกันนี้

ครอบคลุมบทสนทนายาว

อันดับแรก เราจัดกลุ่มบทสนทนาทดสอบทั้งหมด 1,922 รายการตามความยาวอักขระ และถอดรหัส PII-Tracer ด้วยหน้าต่างขนาด 4,096 โทเค็น โดยกลุ่มเหล่านี้ประกอบด้วยบทสนทนาที่มีความยาวต่ำกว่า 1,000 อักขระจำนวน 167 รายการ, ความยาวตั้งแต่ 1,000 ถึง 10,000 อักขระจำนวน 1,292 รายการ และความยาว 10,000 อักขระขึ้นไปจำนวน 463 รายการ

การเรียกคืน (Recall) ของหน้าต่างเดียวคือ 0.975 สำหรับความยาวต่ำกว่า 1,000 อักขระ และ 0.955 สำหรับความยาว 1,000 ถึง 10,000 อักขระ แต่จะลดลงเหลือ 0.687 สำหรับบทสนทนาที่มีความยาวตั้งแต่ 10,000 อักขระขึ้นไป ในขณะที่ความแม่นยำ (Precision) ยังคงอยู่ใกล้ระดับ 0.51 ในสองกลุ่มที่ยาวกว่า ซึ่งชี้ให้เห็นว่าการครอบคลุมของอินพุตคือปัญหาหลัก

เพื่อศึกษาผลกระทบของการจัดการอินพุต เราได้ประเมินจุดตรวจสอบ (Checkpoint) เดียวกันด้วยการถอดรหัสหน้าต่างเลื่อนที่มีการทับซ้อน 50% (50%-overlap sliding-window decoding) ซึ่งช่วยเพิ่มการเรียกคืนอักขระโดยรวมจาก 0.830 เป็น 0.965 และการตรวจจับที่สอดคล้องกันของการกล่าวถึงหลายครั้งจาก 0.794 เป็น 0.954 โดยไม่ต้องทำการฝึกฝนใหม่

สอดคล้องกันในทุกภาษา

PII-TRACE ครอบคลุม 13 ภาษา การทดลองด้านภาษานี้รายงานข้อมูลส่วนย่อย 6 ภาษาที่ครอบคลุมสคริปต์ละติน (Latin), ซิริลลิก (Cyrillic) และฮันกึล (Hangul): ได้แก่ อังกฤษ, เยอรมัน, ฝรั่งเศส, อิตาลี, รัสเซีย และเกาหลี เราเรียกใช้ตัวตรวจจับ 12 ตัวเดิมกับบทสนทนาทดสอบทั้งหมดในแต่ละภาษา ภายในแต่ละภาษา เราจะรวมอักขระที่คาดการณ์และอักขระทองคำเข้าด้วยกัน และคำนวณค่า F1 ของอักขระ

PII-Tracer เป็นผู้นำด้าน F1 ของอักขระใน 4 จาก 6 ภาษา ได้แก่ เยอรมัน (0.735), ฝรั่งเศส (0.633), อิตาลี (0.676) และรัสเซีย (0.651) และมีค่าอยู่ภายใน 0.016 และ 0.036 ของผลลัพธ์ที่ดีที่สุดในภาษาอังกฤษและเกาหลี ในการวิเคราะห์ประกอบ นำไปสู่การตรวจจับที่สอดคล้องกันในชุดย่อยทั้ง 6 ภาษา โดยได้คะแนน 0.80–0.93 มุมมองรายภาษาแสดงให้เห็นถึงความก้าวหน้าที่นอกเหนือไปจากภาษาอังกฤษ

F1 ของอักขระที่สูงกว่าตัวกรองความเป็นส่วนตัว (Privacy Filter) บนเกณฑ์มาตรฐานมาตรฐาน 5 รายการ

การทดลองขั้นสุดท้ายจะย้ายออกนอกขอบเขต PII-TRACE โดยเราจะเรียกใช้ PII-Tracer และตัวกรองความเป็นส่วนตัวของ OpenAI บนชุดข้อมูลการตรวจสอบความถูกต้องของ ai4privacy (47,728 เอกสาร), ชุดทดสอบ Nemotron-PII (100,000), ชุด SPY ของเมล็ดพันธุ์คงที่ (8,688), ชุดทดสอบ Gretel PII (5,000) และชุดทดสอบ TAB ECHR (127)

PII-Tracer มีค่า F1 ของอักขระที่สูงกว่าในทุกชุดข้อมูล: 0.950 เทียบกับ 0.097 บน ai4privacy, 0.847 เทียบกับ 0.709 บน Nemotron-PII, 0.585 เทียบกับ 0.543 บน SPY, 0.952 เทียบกับ 0.895 บน Gretel PII และ 0.594 เทียบกับ 0.350 บน TAB โดย TAB เป็นเกณฑ์มาตรฐานเดียวในกลุ่มนี้ที่สร้างขึ้นจากข้อความจริงที่มีการติดป้ายกำกับโดยมนุษย์ ในชุดข้อมูลดังกล่าว PII-Tracer ทำคะแนนความแม่นยำได้ 0.986 เทียบกับ 0.982 และการเรียกคืนได้ 0.425 เทียบกับ 0.213 ซึ่งสูงกว่าสองเท่าในขณะที่ความแม่นยำอยู่ในระดับเดียวกัน (ดูรายละเอียดเพิ่มเติมในเอกสารงานวิจัย) ดังนั้น ค่า F1 ที่สูงกว่าจึงส่งต่อจากบทสนทนา PII-TRACE ไปยังชุดข้อมูลมาตรฐานแบบเรกคอร์ดเดี่ยวทั้ง 5 รายการในการเปรียบเทียบนี้

บทสรุป

AI แบบไฮบริดผสมผสานอุปกรณ์ของผู้ใช้เข้ากับสแต็กการอนุมาน (Inference stack) ซึ่งมอบความเป็นส่วนตัวที่แข็งแกร่งขึ้นและต้นทุนที่ต่ำลง โมเดลระดับแนวหน้าบนคลาวด์สามารถจัดการกับการวิจัย, การให้เหตุผล และการวางแผน ในขณะที่โมเดลภายในเครื่องจะทำงานร่วมกับไฟล์และข้อมูลส่วนบุคคลที่ควรจะยังคงอยู่บนอุปกรณ์ การแบ่งส่วนนี้ขึ้นอยู่กับการจดจำข้อมูลที่ละเอียดอ่อนก่อนที่ข้อมูลที่ละเอียดอ่อนใดๆ จะถูกส่งไปยังคลาวด์

PII-Tracer เป็นโมเดลขนาดกะทัดรัดสำหรับการตรวจจับ PII ในบทสนทนาแบบหลายเทิร์น ในขณะที่ PII-TRACE ทำหน้าที่ประเมินว่าตัวตรวจจับสามารถระบุ PII ที่เกิดขึ้นซ้ำตลอดทั้งบทสนทนาได้อย่างสอดคล้องหรือไม่

เมื่อรวมกันแล้ว PII-TRACE และ PII-Tracer ทำหน้าที่เป็นเกณฑ์มาตรฐานและโมเดลอ้างอิงสำหรับการพัฒนาการตรวจจับ PII ในบทสนทนาแบบหลายเทิร์นและสภาพแวดล้อมที่มีบริบทขนาดยาวอื่นๆ

เอเจนต์กำลังรับภาระงานที่ยาวนานขึ้นและทำงานร่วมกับบริบทส่วนบุคคลที่มากขึ้น ด้วยเหตุนี้ การควบคุมความเป็นส่วนตัวจึงควรคงอยู่ตลอดทั้งบทสนทนา ไม่ใช่แค่ที่อินพุตเริ่มต้นเท่านั้น AI แบบไฮบริดต้องอาศัยการตรวจจับภายในเครื่องที่เชื่อถือได้เพื่อให้บริบทที่ละเอียดอ่อนยังคงอยู่บนอุปกรณ์

อ่านเอกสารงานวิจัยบน arXiv สำหรับรายละเอียดเกี่ยวกับเกณฑ์มาตรฐาน PII-TRACE, โมเดล PII-Tracer และการประเมินของเรา เรามีแผนที่จะปล่อยตัว PII-TRACE และ PII-Tracer เร็วๆ นี้