เอเจนต์ที่เน้นการทำงานบนเครื่องเป็นหลักสำหรับงานความรู้ที่เป็นส่วนตัวและคุ้มค่า

Perplexity Portable Computer คือเอเจนต์ที่เน้นการทำงานบนเครื่องเป็นหลัก

สแต็คทั้งหมดทำงานบนเครื่องโดยค่าเริ่มต้น ทั้งโมเดล ฮาร์เนส การสนทนา และวิถีการทำงานล้วนอยู่บนเครื่องของผู้ใช้ งานที่จำเป็นต้องพึ่งพาโลกภายนอก เช่น การค้นหาเว็บ ตัวเชื่อมต่อ หรือการส่งต่อให้กับโมเดลที่ปรึกษาที่มีประสิทธิภาพมากกว่าบนคลาวด์ จะถูกเรียกใช้เฉพาะเมื่อจำเป็นและมีการควบคุมโดยผู้ใช้อยู่เสมอ ดังนั้น ข้อมูลที่มีความละเอียดอ่อนจึงไม่มีทางออกจากอุปกรณ์โดยไม่ได้รับอนุญาต และโมเดลบนเครื่องไม่มีค่าใช้จ่ายในการอนุมาน ระบบจึงมีความเป็นส่วนตัวและคุ้มค่าโดยโครงสร้าง

เอเจนต์ที่เน้นการทำงานบนเครื่องเป็นหลักที่มีประสิทธิภาพจำเป็นต้องออกแบบโมเดลและฮาร์เนสร่วมกัน ฮาร์เนสอเนกประสงค์สันนิษฐานว่ามีโมเดลระดับแนวหน้าที่สามารถรองรับบริบทขนาดยาว จัดการพื้นผิวเครื่องมือที่กว้าง และวางแผนในระยะยาวได้ โมเดลบนเครื่องมีความน่าเชื่อถือน้อยกว่าภายใต้ความต้องการเหล่านั้น แทนที่จะขอให้โมเดลขนาดเล็กจัดการฮาร์เนสที่สร้างขึ้นสำหรับโมเดลขนาดใหญ่ เราได้ออกแบบทั้งสองสิ่งให้เข้ากัน: ฮาร์เนสที่ปรับให้เข้ากับโปรไฟล์ความสามารถของโมเดล และโมเดลที่ผ่านการฝึกฝนเพิ่มเติมเพื่อใช้ฮาร์เนสดังกล่าวอย่างมีประสิทธิภาพ

บทนำ

ความสามารถของเอเจนต์ในช่วงไม่กี่เดือนที่ผ่านมาได้พัฒนาไปอย่างรวดเร็วในงานความรู้ที่หลากหลาย แม้ว่าความก้าวหน้าเหล่านี้จะนำมาซึ่ง การเพิ่มขึ้นอย่างมากในด้านผลผลิตและประสิทธิภาพ แต่ก็ก่อให้เกิดความท้าทายสองประการเช่นกัน

การใช้โทเค็นเพิ่มขึ้นอย่างรวดเร็ว ส่งผลให้ค่าใช้จ่ายโดยรวมเพิ่มขึ้นตามไปด้วย เมื่อเข้าถึงความฉลาดผ่าน API ของโมเดลแบบซอร์สปิดที่ทำงานบนคลัสเตอร์ระยะไกล ข้อมูลส่วนตัวและทรัพย์สินทางปัญญาจะออกจากอุปกรณ์ของผู้ใช้ในทุกๆ คำขอ เมื่อเอเจนต์ขยายขนาดไปทั่วทั้งเวิร์กโฟลว์ของแต่ละบุคคลและองค์กรทั้งหมด การใช้จ่ายโทเค็นและการเคลื่อนย้ายข้อมูลจึงยากที่จะควบคุมมากขึ้นเรื่อยๆ

ในขณะเดียวกัน โมเดลโอเพนซอร์สก็มีการพัฒนาในอัตราที่เร็วยิ่งขึ้น ความก้าวหน้าเห็นได้ชัดเจนที่สุดในโมเดลขนาดเล็กและมีประสิทธิภาพสูง เช่น NVIDIA Nemotron 3.5 Lightning (พารามิเตอร์รวม 30B), Qwen 3.6 (35B) และ Qwen 3.8 (27B) โมเดลขนาดเล็กเหล่านี้มีความสามารถเกินตัวและปัจจุบันสามารถรองรับเวิร์กโฟลว์เอเจนต์ที่ซับซ้อนได้ ฮาร์ดแวร์สำหรับการอนุมานบนเครื่องกำลังพัฒนาไปพร้อมกัน ระบบต่างๆ เช่น NVIDIA DGX Spark ปัจจุบันสามารถรันโมเดลเหล่านี้บนเครื่องได้แล้ว แนวโน้มเหล่านี้ร่วมกันทำให้การทำงานบนอุปกรณ์ทั้งหมดเป็นจริงได้ พร้อมทั้งช่วยให้ผู้ใช้สามารถเลือกใช้ความสามารถภายนอกได้เมื่อจำเป็น เช่น การค้นหาเว็บ ตัวเชื่อมต่อ หรือการยกระดับไปยังโมเดลบนคลาวด์

แนวทางที่เน้นการทำงานบนเครื่องเป็นหลักนี้ช่วยให้ประหยัดต้นทุนได้อย่างมาก เนื่องจากการอนุมานบนเครื่องช่วยหลีกเลี่ยงค่าธรรมเนียม API ต่อโทเค็น นอกจากนี้ยังช่วยแก้ไขข้อกังวลด้านความเป็นส่วนตัวและทรัพย์สินทางปัญญาได้อย่างเป็นธรรมชาติ โดยโทเค็นส่วนตัวไม่จำเป็นต้องถูกส่งไปยังคลัสเตอร์ระยะไกลและยังคงอยู่ภายในขอบเขตของอุปกรณ์ท้องถิ่นอย่างปลอดภัย

ในเดือนมิถุนายน เราได้แนะนำ ตัวจัดระเบียบการอนุมานแบบไฮบริดระหว่างเซิร์ฟเวอร์และเครื่องท้องถิ่น ตัวแรก ซึ่งทำหน้าที่ตัดสินใจว่างานใดควรทำงานบนเครื่องและงานใดควรส่งไปยังเอเจนต์บนคลาวด์ ในที่นี้เราจะอธิบายวิธีที่เราสร้างเอเจนต์ที่เน้นการทำงานบนเครื่องเป็นหลักดังกล่าว ซึ่งรวมถึงฮาร์เนสและโมเดลที่ได้รับการปรับแต่งร่วมกันเพื่อซึ่งกันและกัน

เราให้ภาพรวมของการเลือกการออกแบบที่สำคัญ ประเมิน Computer เทียบกับฮาร์เนสอเนกประสงค์โอเพนซอร์สยอดนิยม (Hermes และ Pi) ผ่านเกณฑ์มาตรฐานสาธารณะสามรายการและ Local Knowledge Work Bench ภายในของเรา บนเกณฑ์มาตรฐานของเรา ด้วยโมเดล Qwen 3.8 27B ที่ทำงานบน NVIDIA DGX Spark, Computer ทำคะแนนสูงสุดได้ 82.6% เทียบกับ 77.6% สำหรับ Pi และ 74.0% สำหรับ Hermes PPLX 27B ซึ่งเป็นโมเดลของเราที่ผ่านการฝึกฝนเพิ่มเติมต่อยอดจาก Qwen 3.8 27B ช่วยเพิ่มคะแนนขึ้นไปอีกเป็น 85.4%

ออกแบบฮาร์เนสรอบโมเดลในเครื่อง

แม้ว่าโมเดลขนาดกะทัดรัดบนอุปกรณ์จะมีความสามารถค่อนข้างสูงอยู่แล้ว แต่ก็ยังคงตามหลังโมเดลระดับแนวหน้าที่ใหญ่กว่าในด้านประสิทธิภาพ จำเป็นต้องมีฮาร์เนสที่ได้รับการออกแบบอย่างพิถีพิถันเพื่อควบคุมโมเดลเหล่านี้อย่างมีประสิทธิภาพและเพื่อจัดการกับข้อจำกัดของพวกมัน

ฮาร์เนสโอเพนซอร์สยอดนิยมอย่าง Pi และ Hermes ได้รับการพิสูจน์แล้วว่าเป็นแบบอเนกประสงค์: ทำงานได้ดีกับโมเดลที่หลากหลายทั้งในด้านขนาดและประเภท แต่ไม่ได้ปรับให้เหมาะสมสำหรับความสามารถของโมเดลบนอุปกรณ์ เราได้ออกแบบฮาร์เนสสำหรับอุปกรณ์เฉพาะสำหรับสภาพแวดล้อมนี้ โดยอิงตามหลักการสำคัญบางประการ

ประสิทธิภาพของบริบท

จุดเน้นหลักในการออกแบบฮาร์เนสของเราคือการใช้ประโยชน์สูงสุดจากบริบทของโมเดล

แม้ว่าโมเดลบนอุปกรณ์ เช่น Qwen 3.8 27B จะมีหน้าต่างบริบทขนาด 260K โทเค็น แต่เราพบจากประสบการณ์จริงว่าโมเดลเริ่มมีปัญหาเมื่อเกิน 100K โทเค็น ดังนั้นเราจึงรักษาฮาร์เนสหลักให้กระชับ: พรอมต์ระบบที่น้อยที่สุดและชุดเครื่องมือหลักขนาดเล็ก

ความสามารถอื่นๆ ทั้งหมดถูกแบ่งเป็นโมดูลเป็นทักษะตามความต้องการที่จะโหลดและยกเลิกการโหลดตลอดเส้นทางการทำงาน เราออกแบบทักษะเหล่านี้สำหรับงานด้านความรู้ทั่วไป: การวิจัย วิทยาศาสตร์ข้อมูล การแสดงภาพข้อมูล การสร้างเอกสาร วิศวกรรมซอฟต์แวร์ และอื่นๆ

ฮาร์เนสยังรองรับการบีบอัดบริบท โดยสรุปบริบทเก่าเมื่อวิถีการทำงานมีความยาว เพื่อให้โมเดลยังคงอยู่ในหน้าต่างที่มีประสิทธิภาพ

ตัวเชื่อมต่อในฐานะเครื่องมือบรรทัดคำสั่ง

งานความรู้ประจำวันมักจะต้องใช้ตัวเชื่อมต่อเช่น Gmail, GitHub, Outlook และ Google Calendar โดยปกติแล้วสิ่งเหล่านี้จะแสดงต่อฮาร์เนสในฐานะ เซิร์ฟเวอร์ MCP ซึ่งคำจำกัดความของเครื่องมือขนาดใหญ่จะกินพื้นที่บริบทจำนวนมาก แต่เราได้แปลง MCP ที่ใช้บ่อยที่สุดให้เป็นเครื่องมือบรรทัดคำสั่งที่กะทัดรัดและใช้งานง่าย เสริมด้วยทักษะแบบกำหนดเองที่ใช้ประโยชน์จากบริบทที่มีประสิทธิภาพจำกัดได้ดีกว่ามาก

การตรวจสอบตัวเอง

ประสิทธิภาพยังดีขึ้นเมื่อเอเจนต์ตรวจสอบงานของตนเอง การตรวจสอบจะเพิ่มขั้นตอนพิเศษ แต่จะช่วยปรับปรุงผลลัพธ์สุดท้ายอย่างมากและลดช่องว่างกับโมเดลระดับแนวหน้าลงได้อย่างมาก การดำเนินการนี้สามารถทริกเกอร์ได้โดยตัวโมเดลเองหรือโดยชุดฮุกที่ตรวจสอบสุขภาพของวิถีการทำงานและขอการตรวจสอบตัวเองเมื่อมีสิ่งผิดปกติเกิดขึ้น

การทำงานในแซนด์บ็อกซ์

ฮาร์เนสดังกล่าวเรียกใช้เครื่องมือในแซนด์บ็อกซ์ระดับ OS บนอุปกรณ์ของผู้ใช้ ขอบเขตจะจำกัดกระบวนการ พาธของระบบไฟล์ และการเข้าถึงเครือข่ายตามนโยบาย ซึ่งช่วยจำกัดรัศมีวงกว้างของคำสั่งที่ผิดพลาด หากแซนด์บ็อกซ์ไม่พร้อมใช้งาน ฮาร์เนสจะปิดการใช้งานตัวเองก่อนการเรียกใช้เครื่องมือใดๆ แทนที่จะลดระดับไปเป็นการทำงานแบบไม่มีแซนด์บ็อกซ์

สิ่งนี้แตกต่างจากฮาร์เนสโอเพนซอร์ส เช่น Pi และ Hermes ซึ่งเรียกใช้คำสั่งโดยตรงด้วยสิทธิ์ของผู้ใช้โดยค่าเริ่มต้น ใน Computer การแยกส่วนจะเปิดอยู่เสมอ ไม่ต้องมีการกำหนดค่า และเครื่องมือจะไม่สามารถทำงานได้หากไม่มีสิ่งนี้

แผนผังด้านล่างแสดงวิธีที่หลักการเหล่านี้ทำงานร่วมกันในลูปการทำงาน ตัวจัดระเบียบคือโค้ดฮาร์เนสแบบกำหนดแน่นอน ไม่ใช่ LLM: มันรักษาลูป รวบรวมบริบท และบังคับใช้นโยบาย โมเดลในเครื่องเสนอการทำงานถัดไป; ตัวจัดระเบียบจะเรียกใช้การเรียกเครื่องมือที่ได้รับการอนุมัติในแซนด์บ็อกซ์และส่งคืนผลลัพธ์ไปยังโมเดล การค้นหาเว็บ ตัวเชื่อมต่อ และการเรียกที่ปรึกษาจะข้ามขอบเขตของอุปกรณ์เฉพาะเมื่อเปิดใช้งานและได้รับการอนุมัติเท่านั้น

ฮาร์เนสในเครื่องช่วยดึงศักยภาพของโมเดลออกมาได้มากขึ้น

ด้วยการใช้โมเดลพื้นฐานบนอุปกรณ์เดียวกัน เราจึงเปรียบเทียบฮาร์เนสในเครื่องของเรากับทางเลือกอเนกประสงค์อื่นๆ ในด้านการวิจัยเว็บและการทำความเข้าใจเอกสารแบบมัลติโมดัล ฮาร์เนสทั้งหมดใช้โมเดล Qwen 3.8 27B พร้อมการใช้เหตุผลปานกลาง ทำงานบน NVIDIA DGX Spark การเปรียบเทียบนี้เป็นการแยกแยะความสามารถที่มาจากตัวฮาร์เนสเอง ก่อนที่จะมีการฝึกฝนโมเดลเพิ่มเติมใดๆ

เรามุ่งเน้นไปที่ความสามารถสองประการนี้เนื่องจากงานความรู้มักจะรวมเอกสารส่วนตัวบนอุปกรณ์ของผู้ใช้เข้ากับข้อมูลสาธารณะจากเว็บเพื่อสร้างอาร์ทิแฟกต์ที่มีรากฐาน การค้นหาเว็บจำเป็นต้องมีการเชื่อมต่อ แต่การอนุมานของโมเดลและการประมวลผลเอกสารส่วนตัวยังคงอยู่ในเครื่อง ไฟล์ในเครื่องทำหน้าที่เป็นแหล่งข้อมูลที่น่าเชื่อถือ แหล่งข้อมูลสาธารณะช่วยเพิ่มบริบท และผู้ใช้สามารถปิดการใช้งานการค้นหาเว็บได้ทั้งหมดสำหรับการทำงานแบบออฟไลน์อย่างเต็มรูปแบบ

การวิจัยเว็บ

เราสร้างฮาร์เนสในเครื่องควบคู่ไปกับเครื่องมือค้นหาของ Perplexity ซึ่งประสบความสำเร็จในการคว้าอันดับสูงสุดในการ ประเมินอิสระ ฮาร์เนสเข้าถึงผ่านอินเทอร์เฟซ Search as Code

เราประเมินคุณภาพการวิจัยจากงาน BrowseComp จำนวน 1,266 งาน Computer ใช้โครงสร้างพื้นฐานการค้นหาของ Perplexity ร่วมกับฮาร์เนสในเครื่องของเรา ในขณะที่ Pi และ Hermes อาศัย Brave ซึ่งเป็นผู้ให้บริการค้นหาที่พวกเขาแนะนำ Computer ทำความความแม่นยำได้ถึง 66.7% เทียบกับ 50.2% สำหรับ Pi และ 43.9% สำหรับ Hermes

Computer ยังมีเวลาทำงานจริงและปริมาณการใช้โทเค็นเฉลี่ยต่ำที่สุด: 402.1 วินาทีและ 852k โทเค็นต่องาน เทียบกับ 1,020.9 วินาทีและ 1.01 ล้านโทเค็นสำหรับ Hermes และ 826.0 วินาทีและ 2.82 ล้านโทเค็นสำหรับ Pi ดังนั้น Computer จึงใช้เวลาทำงานจริงน้อยกว่า Hermes 61% และใช้โทเค็นน้อยกว่า 16% และใช้เวลาทำงานจริงน้อยกว่า Pi 51% และใช้โทเค็นน้อยกว่า 70%

การทำความเข้าใจเอกสารแบบมัลติโมดัลบนอุปกรณ์

เอกสารจำนวนมากมีข้อมูลในรูปแบบภาพและยากที่จะแยกวิเคราะห์เป็นข้อความธรรมดา เช่น PDF, หน้าที่สแกน, ภาพหน้าจอ, แผนภูมิ และงานนำเสนอ เวิร์กโฟลว์เหล่านี้อาศัย OCR และการทำความเข้าใจภาพ และได้รับประโยชน์สูงสุดจากโมเดลที่เป็นมัลติโมดัลโดยกำเนิด

ฮาร์เนสส่งหน้าเอกสารและรูปภาพไปยังโมเดลโดยตรง ซึ่งจะทำความเข้าใจและรวมหลักฐานภาพเข้ากับข้อความที่ดึงออกมา การประมวลผลไฟล์เหล่านี้บนอุปกรณ์ช่วยให้เอกสารที่มีความละเอียดอ่อนและเนื้อหาที่ดึงออกมายังคงเป็นส่วนตัว

เราประเมินความเข้าใจเอกสารแบบมัลติโมดัลบน ParseBench-100 ซึ่งเป็นชุดย่อย 100 งานของเกณฑ์มาตรฐาน ParseBench โดยมี 20 งานสำหรับแต่ละหมวดหมู่ ได้แก่ แผนภูมิ เลย์เอาต์ ตาราง เนื้อหาข้อความ และการจัดรูปแบบ

Computer ทำคะแนนเฉลี่ยได้ 65.1% เทียบกับ 34.6% สำหรับ Hermes และ 13.9% สำหรับ Pi นอกจากนี้ยังทำงานเสร็จด้วยเวลาน้อยที่สุดและใช้โทเค็นน้อยที่สุด: โดยเฉลี่ย 60.6 วินาทีและ 20.1k โทเค็นต่องาน เทียบกับ 108.3 วินาทีและ 32.1k โทเค็นสำหรับ Hermes และ 410.5 วินาทีและ 829.1k โทเค็นสำหรับ Pi Computer เป็นผู้นำในหมวดหมู่เอกสารทั้งห้าหมวดหมู่ โดยมีความได้เปรียบมากที่สุดในด้านแผนภูมิ เลย์เอาต์ยังคงเป็นเรื่องยากสำหรับฮาร์เนสทั้งสามตัว

ตารางที่ 1. คะแนนเฉลี่ยของ ParseBench-100 จำแนกตามหมวดหมู่เอกสารสำหรับฮาร์เนส Computer, Hermes และ Pi ด้วยโมเดล Qwen 3.8 27B บนอุปกรณ์ Computer เป็นผู้นำในทั้งห้าหมวดหมู่

การลดช่องว่างของโมเดลระดับแนวหน้าด้วยการยกระดับไปยังที่ปรึกษา

แม้จะมีฮาร์เนสที่ได้รับการออกแบบอย่างพิถีพิถัน งานที่ยากที่สุดก็ยังคงเกินความสามารถของโมเดลขนาดกะทัดรัดบนอุปกรณ์ สำหรับงานดังกล่าว ฮาร์เนสจะแสดงเครื่องมือที่ปรึกษา: โมเดลในเครื่องสามารถปรึกษาโมเดลระดับแนวหน้าที่แข็งแกร่งกว่าได้เมื่อต้องการความช่วยเหลือเกี่ยวกับการวางแผน การแก้ไขความกำกวม การกู้คืนจากความล้มเหลวซ้ำๆ หรือการตรวจสอบผลลัพธ์สุดท้าย

โมเดลในเครื่องจะตัดสินใจว่าจะขอคำแนะนำเมื่อใด ในขณะที่ตัวจัดระเบียบฮาร์เนสรักษาสิทธิ์การใช้งานเครื่องมือและควบคุมบริบทที่จะส่ง การยกระดับเป็นทางเลือก ผู้ใช้เป็นผู้ตัดสินใจว่าจะเปิดใช้งานหรือไม่ และจะอนุมัติการเรียกที่ปรึกษาแต่ละครั้งด้วยตนเองหรือโดยอัตโนมัติ

ก่อนการเรียกที่ปรึกษา ฮาร์เนสจะเลือกบริบทที่เกี่ยวข้อง ใช้ตัวจำแนก PII เพื่อทำเครื่องหมายข้อมูลที่มีความละเอียดอ่อน และแสดงให้ผู้ใช้เห็นว่าสิ่งใดจะออกจากอุปกรณ์ ที่ปรึกษาจะได้รับเฉพาะบริบทที่ได้รับอนุมัติและส่งคืนคำแนะนำที่เป็นข้อความ โดยไม่มีการเข้าถึงไฟล์ เครื่องมือ หรือการสนทนาของอุปกรณ์โดยตรง สิ่งนี้ช่วยปรับปรุงทั้งต้นทุนและความเป็นส่วนตัว และเราวางแผนที่จะสำรวจทิศทางนี้เพิ่มเติมในงานในอนาคต

เราทดสอบแนวทางนี้กับงานวิศวกรรมซอฟต์แวร์ที่ท้าทาย ซึ่งต้องใช้การใช้เหตุผลที่แข็งแกร่งและเป็นจุดที่โมเดลในเครื่องมักจะไม่ผ่านเกณฑ์ สำหรับสิ่งนี้ เราใช้ Terminal Bench 2.1 ซึ่งเป็นเกณฑ์มาตรฐาน 89 งานยอดนิยมสำหรับเอเจนต์เขียนโค้ด

เราต้องการตอบคำถามสองข้อ: ช่องว่างสู่โมเดลระดับแนวหน้าสามารถปิดลงได้มากน้อยเพียงใดด้วยการยกระดับไปยังที่ปรึกษา และมีต้นทุนเท่าใด โมเดลที่ทำงานในเครื่องทั้งหมดไม่มีค่าใช้จ่ายในการใช้งานจริง เนื่องจากการอนุมานเกิดขึ้นบนฮาร์ดแวร์ของผู้ใช้ อย่างไรก็ตาม เมื่อโมเดลเริ่มเรียกที่ปรึกษา มันก็จะเริ่มมีค่าใช้จ่าย API

ในฐานะเกณฑ์มาตรฐานสำหรับประสิทธิภาพระดับแนวหน้า เราใช้ Claude Opus 5 ที่ทำงานในฮาร์เนสในเครื่อง โมเดลในเครื่องคือ Qwen 3.8 27B สุดท้ายเราจับคู่ทั้งสองเข้าด้วยกัน: Qwen 3.8 27B ทำงานและยกระดับไปยังที่ปรึกษา Claude Opus 5 เมื่อต้องการความช่วยเหลือ เราไม่ได้ประเมินการยกระดับไปยังที่ปรึกษากับ Pi หรือ Hermes เนื่องจากไม่มีเครื่องมือที่ปรึกษาที่เทียบเท่า การเพิ่มเครื่องมือดังกล่าวจะต้องมีการแก้ไขพื้นผิวเครื่องมือและลจิกการจัดการ ดังนั้นผลลัพธ์จึงจะไม่ใช่ฮาร์เนสแบบสำเร็จรูปอีกต่อไป

การยกระดับไปยังที่ปรึกษาช่วยเพิ่มคะแนนของ Computer จาก 59.6% เป็น 73.0% ซึ่งเป็นการเพิ่มขึ้น 13.5 เปอร์เซ็นต์พอยต์ โดยมีค่าใช้จ่าย API ประมาณ $0.415 ต่อการรันหนึ่งครั้ง การรัน Claude Opus 5 เพียงอย่างเดียวได้คะแนน 82.4% ที่ $0.65 ต่อการรัน ดังนั้น การยกระดับจึงกู้คืนช่องว่างไปยังระดับแนวหน้าได้ประมาณสามในห้าด้วยต้นทุนประมาณสองในสามของระดับแนวหน้า และผู้ใช้เป็นผู้ตัดสินใจว่าการแลกเปลี่ยนนั้นคุ้มค่าหรือไม่

การฝึกฝนเพิ่มเติมสำหรับฮาร์เนสและงานความรู้

จนถึงตอนนี้ เราได้เก็บโมเดลในเครื่องไว้เหมือนเดิมเพื่อแยกแยะว่าฮาร์เนสมีส่วนช่วยอะไรบ้าง เมื่อการออกแบบฮาร์เนสเข้าที่แล้ว ประโยชน์ที่เหลือที่มากที่สุดมาจากการปรับตัวโมเดลเอง ข้อมูลการใช้งาน Perplexity Computer แสดงให้เราเห็นว่าผู้คนทำอะไรจริงๆ สำหรับงานความรู้ ซึ่งเรานำมาใช้สังเคราะห์ข้อมูลการฝึกอบรม เราฝึกฝนโมเดลในเครื่องเพิ่มเติมภายในฮาร์เนส Computer โดยได้รับคำแนะนำจากสัดส่วนจริงของงานที่ผู้ใช้ปฏิบัติ

โดยเฉพาะอย่างยิ่ง เรากำหนดชุดกรณีการใช้งานที่หลากหลายซึ่งใช้ประโยชน์จากความสามารถ เครื่องมือ และตัวเชื่อมต่อของโมเดลที่แตกต่างกัน จากกรณีการใช้งานเหล่านี้ เราสังเคราะห์สภาพแวดล้อมการเรียนรู้เสริมแรงที่สมจริงและกำหนดงานที่ท้าทายแต่สามารถตรวจสอบได้: งานแต่ละงานประกอบด้วยคำสั่ง สภาพแวดล้อม และตัวตรวจสอบที่ให้คะแนนผลลัพธ์สุดท้าย โดยที่สภาพแวดล้อมคือคอนเทนเนอร์ Docker ที่ฮาร์เนสดำเนินการอยู่ สิ่งสำคัญคือ เนื่องจากงานเหล่านี้เป็นงานสังเคราะห์ จึงไม่มีเอกสารจริงหรือข้อมูลผู้ใช้ใดๆ

เราใช้สภาพแวดล้อมเหล่านี้สำหรับการฝึกอบรมสองขั้นตอน: การปรับแต่งอย่างละเอียดโดยการปฏิเสธ ตามด้วยการเรียนรู้เสริมแรง ในขั้นตอนแรก เราเรียกใช้โมเดลกับแต่ละงานหลายๆ ครั้ง เลือกวิถีการทำงานที่ดีที่สุดตามคะแนนของตัวตรวจสอบ และฝึกอบรมด้วยการเรียนรู้แบบมีผู้สอน ขั้นตอนนี้เป็นการเตรียมความพร้อมให้กับโมเดลสำหรับฮาร์เนสและสัดส่วนงานเฉพาะ ในขั้นตอนที่สอง การเรียนรู้เสริมแรงจะช่วยปรับแต่งโมเดลให้ละเอียดยิ่งขึ้น ทำให้มีความทนทานมากขึ้น

ชุดงานย่อยจะถูกแยกไว้จากการฝึกอบรมและใช้สำหรับการประเมินขั้นสุดท้าย เราเรียกชุดที่แยกไว้นี้ว่า Local Knowledge Work Bench: 53 งานครอบคลุมหมวดหมู่เจ็ดหมวดหมู่ของงานความรู้ประจำวัน ตั้งแต่การวิจัยเชิงลึกไปจนถึงการสร้างเอกสาร เราจะเผยแพร่รายงานทางเทคนิคที่อธิบายการฝึกอบรมโมเดลโดยละเอียดในเร็วๆ นี้ และเราวางแผนที่จะโอเพนซอร์สเกณฑ์มาตรฐานการประเมินนี้

เราฝึกฝน Qwen 3.8 27B เพิ่มเติมด้วยแนวทางนี้ โดยผลิตโมเดลที่เราเรียกว่า PPLX 27B และประเมินบน Local Knowledge Work Bench ด้วยโมเดลพื้นฐาน Qwen 3.8 27B, Computer ทำคะแนนสูงสุด (82.6% เทียบกับ 77.6% สำหรับ Pi และ 74.0% สำหรับ Hermes) และใช้โทเค็นน้อยที่สุด (520k เทียบกับ 681k สำหรับ Pi และ 634k สำหรับ Hermes) Pi ทำงานเสร็จเร็วที่สุดที่ 176 วินาทีต่องาน เทียบกับ 218 วินาทีสำหรับ Computer และ 292 วินาทีสำหรับ Hermes PPLX 27B ยกระดับคะแนนของ Computer เป็น 85.4% โดยแลกมากับการใช้โทเค็นที่มากขึ้น (678k เทียบกับ 520k) เวลาทำงานจริงโดยประมาณคือ 250 วินาที

ตารางที่ 2. หมวดหมู่งานของ Local Knowledge Work Bench

บทสรุป

การวิจัยของเราแสดงให้เห็นว่าโมเดลโอเพนซอร์สที่แข็งแกร่ง พร้อมด้วยฮาร์ดแวร์ในเครื่องที่มีความสามารถและฮาร์เนสที่สร้างขึ้นสำหรับสิ่งเหล่านั้น สามารถจัดการงานความรู้จริงด้วยต้นทุนการอนุมานที่เกือบเป็นศูนย์โดยไม่ต้องกำหนดให้ข้อมูลที่มีความละเอียดอ่อนออกจากอุปกรณ์

ในเกณฑ์มาตรฐานต่างๆ Computer ทำคะแนนความแม่นยำเทียบเท่าหรือสูงกว่า Hermes และ Pi ขณะที่รัน Qwen 3.8 27B บน NVIDIA DGX Spark ในบรรดาเกณฑ์มาตรฐานสามรายการที่รายงานความหน่วงและการใช้โทเค็น Computer ทำงานเร็วที่สุดบน BrowseComp และ ParseBench-100 และใช้โทเค็นน้อยที่สุดในทั้งสามรายการ; Pi ทำงานเร็วที่สุดบน Local Knowledge Work Bench

ความก้าวหน้าเหล่านี้มาจากตัวเลือกที่เราทำ เราสร้างฮาร์เนสในเครื่องที่กระชับพร้อมทักษะที่โหลดตามความต้องการ เราแปลงตัวเชื่อมต่อให้เป็นเครื่องมือ CLI ที่กะทัดรัดแทนที่จะเป็นเซิร์ฟเวอร์ MCP การดำเนินการถูกทำในแซนด์บ็อกซ์เพื่อความปลอดภัย

ผลลัพธ์ยังแสดงให้เห็นด้วยว่าโมเดลขนาดกะทัดรัดยังมีพื้นที่ให้ปรับปรุง ตัวอย่างเช่น ในงานเขียนโค้ดที่ท้าทายของ Terminal Bench 2.1 โมเดลในเครื่องตามหลังโมเดลระดับแนวหน้าในฮาร์เนสทั้งสามตัว การยกระดับไปยังที่ปรึกษาช่วยแคบลงแต่ยังไม่สามารถปิดช่องว่างได้อย่างสมบูรณ์ การปรับปรุงความสามารถของโมเดลและฮาร์ดแวร์ในเครื่องอย่างต่อเนื่องยังคงเป็นสิ่งจำเป็นเพื่อผลักดันประสิทธิภาพให้ก้าวไกลยิ่งขึ้น

วัตถุประสงค์ของการสร้างฮาร์เนสและโมเดลสำหรับข้อจำกัดในเครื่องคือเพื่อให้ผู้ใช้สามารถควบคุมได้อย่างชัดเจนว่าข้อมูลใดออกจากเครื่องของตน นอกจากนี้ยังมีประโยชน์ด้านต้นทุนต่อผู้ใช้ด้วย เรามองว่าสิ่งเหล่านี้เป็นส่วนหนึ่งของการเปลี่ยนแปลงที่กว้างขึ้น ซึ่งเอเจนต์ที่มีความสามารถมากขึ้นเรื่อยๆ ย้ายจากโครงสร้างพื้นฐานระยะไกลไปยังอุปกรณ์ส่วนบุคคลและอุปกรณ์ในเครื่อง เราคาดว่าความก้าวหน้าในชิป โมเดล และอุปกรณ์จะขยายขอบเขตและคุณภาพของงานความรู้ที่ Portable Computer จัดการในเครื่องอย่างต่อเนื่อง