Một tác nhân ưu tiên cục bộ cho công việc tri thức riêng tư và tiết kiệm chi phí

Perplexity Portable Computer là một tác nhân ưu tiên cục bộ.

Toàn bộ hệ thống chạy cục bộ theo mặc định. Mô hình, khung chương trình, cuộc trò chuyện và quỹ đạo đều nằm trên máy của người dùng. Công việc cần đến thế giới bên ngoài, chẳng hạn như tìm kiếm web, trình kết nối, hoặc chuyển cấp lên một mô hình cố vấn mạnh mẽ hơn trên đám mây, chỉ được gọi khi cần thiết và luôn được kiểm soát bởi người dùng. Do đó, dữ liệu nhạy cảm không bao giờ rời khỏi thiết bị mà không có sự cho phép, và các mô hình cục bộ không chịu phí suy luận: hệ thống mang tính riêng tư và tiết kiệm chi phí theo thiết kế.

Một tác nhân ưu tiên cục bộ hiệu quả đòi hỏi mô hình và khung chương trình phải được thiết kế cùng nhau. Các khung chương trình đa General-purpose giả định một mô hình biên có khả năng tiếp nhận các ngữ cảnh dài, điều hướng bề mặt công cụ rộng và lập kế hoạch trên các chân trời dài. Các mô hình cục bộ ít đáng tin cậy hơn dưới những nhu cầu đó. Thay vì yêu cầu một mô hình nhỏ quản lý khung chương trình được xây dựng cho mô hình lớn, chúng tôi đã định hình cả hai xoay quanh nhau: một khung chương trình được điều chỉnh theo hồ sơ năng lực của mô hình, và một mô hình được huấn luyện hậu kỳ để sử dụng khung chương trình đó một cách hiệu quả.

Giới thiệu

Các khả năng tác nhân trong những tháng gần đây đã tiến bộ nhanh chóng trên một loạt các tác vụ công việc tri thức. Mặc dù những tiến bộ này mang lại lợi ích lớn về năng suất và hiệu quả, chúng cũng đặt ra hai thách thức.

Mức tiêu thụ token đang tăng nhanh, và cùng với đó là chi phí tổng thể. Khi khả năng thông minh được truy cập thông qua các API của mô hình mã nguồn đóng chạy trên các cụm máy chủ từ xa, thông tin riêng tư và tài sản trí tuệ sẽ rời khỏi thiết bị của người dùng trong mỗi yêu cầu. Khi các tác nhân mở rộng quy mô trên các quy trình làm việc cá nhân và toàn bộ tổ chức, chi phí token và việc di chuyển dữ liệu trở nên ngày càng khó quản lý.

Đồng thời, các mô hình mã nguồn mở đã cải thiện với tốc độ thậm chí còn nhanh hơn. Sự tiến bộ rõ rệt nhất ở các mô hình rất nhỏ và hiệu quả như NVIDIA Nemotron 3.5 Lightning (tổng số tham số 30B), Qwen 3.6 (35B), và Qwen 3.8 (27B). Những mô hình nhỏ này vượt trội hơn so với trọng lượng của chúng và hiện có khả năng thực hiện các quy trình làm việc tác nhân phức tạp. Phần cứng suy luận cục bộ đang tiến bộ song song: các hệ thống như NVIDIA DGX Spark giờ đây có thể chạy các mô hình này cục bộ. Cùng với nhau, các xu hướng này làm cho hoạt động hoàn toàn trên thiết bị trở nên thiết thực đồng thời cho phép người dùng lựa chọn các khả năng bên ngoài khi cần thiết, chẳng hạn như tìm kiếm web, trình kết nối, hoặc chuyển cấp mô hình đám mây.

Phương pháp ưu tiên cục bộ này cho phép tiết kiệm chi phí đáng kể, vì suy luận cục bộ tránh được phí API theo mỗi token. Phương pháp này cũng giải quyết một cách tự nhiên các mối lo ngại về quyền riêng tư và sở hữu trí tuệ: các token riêng tư không bao giờ cần phải truyền đến các cụm từ xa và vẫn nằm an toàn trong ranh giới của thiết bị cục bộ.

Vào tháng 6, chúng tôi đã giới thiệu trình điều phối suy luận máy chủ-cục bộ kết hợp đầu tiên quyết định công việc nào nên chạy trên thiết bị và công việc nào nên chuyển đến các tác nhân trên đám mây. Tại đây, chúng tôi giải thích cách chúng tôi xây dựng một tác nhân ưu tiên cục bộ như vậy, bao gồm khung chương trình và các mô hình được tối ưu hóa chung cho nhau.

Chúng tôi cung cấp tổng quan về các lựa chọn thiết kế chính, đánh giá Computer so với các khung chương trình đa năng mã nguồn mở phổ biến (Hermes và Pi) trên ba chuẩn mực công khai và Chuẩn mực Công việc Tri thức Cục bộ nội bộ của chúng tôi. Trên chuẩn mực của chúng tôi, với mô hình Qwen 3.8 27B chạy trên NVIDIA DGX Spark, Computer đạt điểm số cao nhất, 82,6% so với 77,6% của Pi và 74,0% của Hermes. PPLX 27B, mô hình được huấn luyện hậu kỳ của chúng tôi trên nền tảng Qwen 3.8 27B, nâng điểm số lên cao hơn nữa ở mức 85,4%.

Thiết kế khung chương trình xoay quanh mô hình cục bộ

Mặc dù các mô hình trên thiết bị nhỏ gọn đã khá có năng lực, chúng vẫn thua kém các mô hình biên lớn hơn về hiệu suất. Một khung chương trình được thiết kế cẩn thận là cần thiết để dẫn dắt các mô hình này một cách hiệu quả và giải quyết các hạn chế của chúng.

Các khung chương trình mã nguồn mở phổ biến như Pi và Hermes đã chứng minh được tính tổng quát: chúng hoạt động tốt với nhiều loại mô hình trên các kích thước và lớp khác nhau. Nhưng chúng không được tối ưu hóa cho các khả năng của các mô hình trên thiết bị. Chúng tôi đã thiết kế khung chương trình cục bộ dành riêng cho cài đặt này, xoay quanh một vài nguyên tắc chính.

Hiệu quả ngữ cảnh

Trọng tâm chính trong việc thiết kế khung chương trình của chúng tôi là tận dụng tối đa ngữ cảnh của mô hình.

Mặc dù các mô hình trên thiết bị như Qwen 3.8 27B cung cấp cửa sổ ngữ cảnh 260K token, chúng tôi thấy theo thực nghiệm rằng chúng bắt đầu gặp khó khăn vượt quá 100K token. Do đó, chúng tôi giữ cho khung chương trình lõi súc tích: một lời nhắc hệ thống tối thiểu và một tập hợp nhỏ các công cụ cốt lõi.

Tất cả các khả năng khác được mô-đun hóa thành các Skill theo yêu cầu được tải và dỡ tải xuyên suốt quỹ đạo. Chúng tôi thiết kế các Skill này cho các tác vụ công việc tri thức phổ biến: nghiên cứu, khoa học dữ liệu, trực quan hóa dữ liệu, tạo tài liệu, kỹ thuật phần mềm, và nhiều hơn nữa.

Khung chương trình cũng hỗ trợ nén ngữ cảnh, tóm tắt ngữ cảnh cũ khi quỹ đạo phát triển dài để mô hình duy trì trong cửa sổ hiệu quả của nó.

Trình kết nối dưới dạng công cụ dòng lệnh

Công việc tri thức hàng ngày thường yêu cầu các trình kết nối như Gmail, GitHub, Outlook và Google Calendar. Những thứ này thường được hiển thị cho một khung chương trình dưới dạng máy chủ MCP, có định nghĩa công cụ lớn tiêu thụ một phần đáng kể ngữ cảnh. Thay vào đó, chúng tôi chuyển đổi các MCP được sử dụng nhiều nhất thành các công cụ dòng lệnh nhỏ gọn, dễ sử dụng, được bổ sung các Skill tùy dụng dụng dụng tận dụng tốt hơn nhiều ngữ cảnh hiệu quả hạn chế.

Tự xác minh

Hiệu suất cũng được cải thiện khi tác nhân tự xác minh công việc của chính nó. Xác minh bổ sung các bước phụ, nhưng nó cải thiện đáng kể kết quả cuối cùng và thu hẹp đáng kể khoảng cách với các mô hình biên. Nó có thể được kích hoạt bởi chính mô hình hoặc bởi một tập hợp các móc nối giám sát sức khỏe của quỹ đạo và yêu cầu tự xác minh khi có sự cố xảy ra.

Thực thi trong sandbox

Khung chương trình thực thi các công cụ trong một sandbox cấp HĐH trên thiết bị của người dùng. Ranh giới hạn chế các tiến trình, đường dẫn hệ thống tệp và quyền truy cập mạng theo chính sách. Điều này hạn chế bán kính vụ nổ của một lệnh sai. Nếu sandbox không khả dụng, khung chương trình sẽ tự vô hiệu hóa trước bất kỳ lệnh gọi công cụ nào thay vì giảm xuống thực thi không có sandbox.

Điều này khác với các khung chương trình mã nguồn mở như Pi và Hermes, chạy các lệnh trực tiếp với quyền của người dùng theo mặc định. Trong Computer, tính cô lập luôn bật, không yêu cầu cấu hình và các công cụ không thể chạy mà không có nó.

Biểu đồ dưới đây cho thấy cách các nguyên tắc này kết hợp với nhau trong vòng lặp thực thi. Trình điều phối là mã khung chương trình tất định, không phải LLM: nó duy trì vòng lặp, tổng hợp ngữ cảnh và thực thi chính sách. Mô hình cục bộ đề xuất hành động tiếp theo; trình điều phối thực thi các lệnh gọi công cụ được phê duyệt trong sandbox và trả kết quả của chúng về cho mô hình. Tìm kiếm web, trình kết nối và các lệnh gọi cố vấn vượt qua ranh giới thiết bị chỉ khi được bật và phê duyệt.

Một khung chương trình cục bộ khai thác nhiều hơn từ cùng một mô hình

Sử dụng cùng một mô hình cơ sở trên thiết bị, chúng tôi so sánh khung chương trình cục bộ của mình với các lựa chọn thay thế đa năng về nghiên cứu web và hiểu tài liệu đa phương thức. Tất cả các khung chương trình đều sử dụng mô hình Qwen 3.8 27B với lý luận trung bình, chạy trên NVIDIA DGX Spark. Sự so sánh này cô lập các khả năng đóng góp bởi chính khung chương trình, trước bất kỳ quá trình huấn luyện hậu kỳ mô hình nào.

Chúng tôi tập trung vào hai khả năng này vì công việc tri thức thường kết hợp các tài liệu riêng tư trên thiết bị của người dùng với thông tin công khai từ web để tạo ra một tạo phẩm có căn cứ. Tìm kiếm web đòi hỏi khả năng kết nối, nhưng suy luận mô hình và xử lý tài liệu riêng tư vẫn giữ ở cục bộ. Các tệp cục bộ đóng vai trò là nguồn có thẩm quyền, các nguồn công khai bổ sung ngữ cảnh và người dùng có thể tắt hoàn toàn tìm kiếm web để làm việc ngoại tuyến hoàn toàn.

Nghiên cứu web

Chúng tôi xây dựng khung chương trình cục bộ của mình song song với công cụ tìm kiếm của Perplexity, đã đạt được thứ hạng hàng đầu trong các đánh giá độc lập. Khung chương trình truy cập nó thông qua giao diện Search as Code.

Chúng tôi đánh giá chất lượng nghiên cứu trên 1.266 tác vụ BrowseComp. Computer sử dụng cơ sở hạ tầng tìm kiếm của Perplexity cùng với khung chương trình cục bộ của chúng tôi, trong khi Pi và Hermes dựa vào Brave, nhà cung cấp tìm kiếm được khuyến nghị của họ. Computer đạt độ chính xác 66,7%, so với 50,2% của Pi và 43,9% của Hermes.

Computer cũng có thời gian thực tế ghi nhận trung bình và việc sử dụng token thấp nhất: 402,1 giây và 852k token mỗi tác vụ, so với 1.020,9 giây và 1,01 triệu token của Hermes, và 826,0 giây và 2,82 triệu token của Pi. Do đó, Computer sử dụng ít hơn 61% thời gian thực tế và ít hơn 16% token so với Hermes, và ít hơn 51% thời gian thực tế và ít hơn 70% token so với Pi.

Hiểu tài liệu đa phương thức trên thiết bị

Nhiều tài liệu mang thông tin trực quan và khó phân tích dưới dạng văn bản thuần túy: PDF, trang được quét, ảnh chụp màn hình, biểu đồ và bài thuyết trình. Các quy trình làm việc này phụ thuộc vào OCR và khả năng hiểu hình ảnh, và hưởng lợi nhiều nhất từ một mô hình đa phương thức tự nhiên.

Khung chương trình truyền các trang tài liệu và hình ảnh trực tiếp đến mô hình, mô hình này hiểu chúng và kết hợp bằng chứng trực quan với văn bản được trích xuất. Xử lý các tệp này trên thiết bị giúp giữ cho các tài liệu nhạy cảm và nội dung được trích xuất của chúng được riêng tư.

Chúng tôi đánh giá khả năng hiểu tài liệu đa phương thức trên ParseBench-100, một tập con 100 tác vụ của chuẩn mực ParseBench, với mỗi 20 tác vụ cho biểu đồ, bố cục, bảng, nội dung văn bản và định dạng.

Computer đạt điểm trung bình 65,1%, so với 34,6% của Hermes và 13,9% của Pi. Nó cũng hoàn thành các tác vụ với thời gian ít nhất và ít token nhất: trung bình 60,6 giây và 20,1k token mỗi tác vụ, so với 108,3 giây và 32,1k token của Hermes, và 410,5 giây và 829,1k token của Pi. Computer dẫn đầu trong cả năm danh mục tài liệu, với lợi thế lớn nhất trên biểu đồ. Bố cục vẫn khó khăn cho cả ba khung chương trình.

Bảng 1. Điểm trung bình ParseBench-100 theo danh mục tài liệu cho các khung chương trình Computer, Hermes và Pi với mô hình Qwen 3.8 27B trên thiết bị. Computer dẫn đầu trong cả năm danh mục.

Thu hẹp khoảng cách biên với việc chuyển cấp cố vấn

Ngay cả với một khung chương trình được thiết kế cẩn thận, các tác vụ khó nhất vẫn vượt quá khả năng của một mô hình trên thiết bị nhỏ gọn. Đối với các tác vụ như vậy, khung chương trình hiển thị một công cụ cố vấn: mô hình cục bộ có thể tham khảo ý kiến của một mô hình biên mạnh mẽ hơn khi cần trợ giúp về lập kế hoạch, giải quyết sự mơ hồ, phục hồi sau các lỗi lặp đi lặp lại hoặc xác minh kết quả cuối cùng.

Mô hình cục bộ quyết định thời điểm yêu cầu lời khuyên, trong khi trình điều phối khung chương trình giữ lại thẩm quyền công cụ và kiểm soát ngữ cảnh nào được gửi. Việc chuyển cấp là tùy chọn. Người dùng quyết định có bật tính năng này hay không và có phê duyệt từng lệnh gọi cố vấn thủ công hay tự động hay không.

Trước khi gọi cố vấn, khung chương trình chọn ngữ cảnh có liên quan, áp dụng bộ phân loại PII để gắn cờ thông tin nhạy cảm và hiển thị cho người dùng những gì sẽ rời khỏi thiết bị. Cố vấn chỉ nhận được ngữ cảnh được phê duyệt và trả về hướng dẫn văn bản; nó không có quyền truy cập trực tiếp vào các tệp, công cụ hoặc cuộc trò chuyện của thiết bị. Điều này cải thiện cả chi phí và quyền riêng tư, và chúng tôi dự định khám phá thêm hướng đi này trong công việc tương lai.

Chúng tôi kiểm tra phương pháp này trên các tác vụ kỹ thuật phần mềm đầy thách thức, đòi hỏi lập luận mạnh mẽ và là nơi mô hình cục bộ thường thiếu hụt nhất. Đối với điều này, chúng tôi sử dụng Terminal Bench 2.1, một chuẩn mực 89 tác vụ phổ biến cho các tác nhân mã hóa.

Chúng tôi muốn trả lời hai câu hỏi: việc chuyển cấp cố vấn có thể thu hẹp bao nhiêu khoảng cách đến một mô hình biên, và với chi phí nào. Các mô hình hoàn toàn cục bộ hầu như không tốn gì để chạy, vì suy luận diễn ra trên phần cứng của người dùng. Tuy nhiên, một khi mô hình bắt đầu gọi cố vấn, nó bắt đầu phát sinh chi phí API.

Là cơ sở cho hiệu suất biên, chúng tôi sử dụng Claude Opus 5 hoạt động trong khung chương trình cục bộ; mô hình cục bộ là Qwen 3.8 27B. Cuối cùng, chúng tôi kết hợp cả hai: Qwen 3.8 27B thực thi tác vụ và chuyển cấp cho cố vấn Claude Opus 5 khi cần trợ giúp. Chúng tôi không đánh giá việc chuyển cấp cố vấn với Pi hoặc Hermes vì không bên nào cung cấp công cụ cố vấn tương đương; việc thêm một công cụ sẽ đòi hỏi phải sửa đổi bề mặt công cụ và logic điều phối của nó, vì vậy kết quả sẽ không còn đại diện cho khung chương trình có sẵn.

Việc chuyển cấp cố vấn nâng điểm của Computer từ 59,6% lên 73,0%, mức tăng 13,5 điểm phần trăm, với chi phí API ước tính là 0,415 USD cho mỗi lượt chạy. Chạy riêng Claude Opus 5 đạt 82,4% với 0,65 USD cho mỗi lượt chạy. Do đó, việc chuyển cấp khôi phục khoảng ba phần năm khoảng cách đến biên ở mức khoảng hai phần ba chi phí của biên, và người dùng quyết định khi nào sự đánh đổi đó đáng giá.

Huấn luyện hậu kỳ cho khung chương trình và công việc tri thức

Cho đến nay, chúng tôi vẫn giữ nguyên mô hình cục bộ để cô lập những gì khung chương trình đóng góp. Với thiết kế khung chương trình đã có sẵn, những lợi ích lớn nhất còn lại đến từ việc thích ứng chính mô hình đó. Dữ liệu sử dụng Perplexity Computer cho chúng tôi thấy mọi người thực sự làm gì cho công việc tri thức, mà chúng tôi sử dụng để tổng hợp dữ liệu huấn luyện. Chúng tôi huấn luyện hậu kỳ mô hình cục bộ bên trong khung chương trình Computer, được hướng dẫn bởi phân phối thực tế của các tác vụ mà người dùng thực hiện.

Cụ thể, chúng tôi xác định một tập hợp đa dạng các trường hợp sử dụng thực thi các khả năng mô hình, công cụ và trình kết nối khác nhau. Từ các trường hợp sử dụng này, chúng tôi tổng hợp các môi trường học tăng cường thực tế và xác định các tác vụ đầy thách thức nhưng có thể xác minh: mỗi tác vụ bao gồm một hướng dẫn, một môi trường và một trình xác minh chấm điểm kết quả cuối cùng, trong đó môi trường là một container Docker trong đó khung chương trình hoạt động. Quan trọng là, vì các tác vụ là tổng hợp, chúng không chứa tài liệu thực tế hoặc thông tin người dùng.

Chúng tôi sử dụng các môi trường này để huấn luyện hai giai đoạn: tinh chỉnh từ chối theo sau là học tăng cường. Trong giai đoạn đầu tiên, chúng tôi triển khai mô hình chống lại mỗi tác vụ nhiều lần, chọn các quỹ đạo tốt nhất theo điểm số của trình xác minh, và huấn luyện trên chúng bằng học có giám sát. Giai đoạn này khởi tạo mô hình cho khung chương trình cụ thể và phân phối tác vụ. Trong giai đoạn thứ hai, học tăng cường tinh chỉnh thêm mô hình, làm cho nó mạnh mẽ hơn.

Một tập con các tác vụ được giữ lại khỏi việc huấn luyện và sử dụng để đánh giá cuối cùng; chúng tôi gọi tập hợp được giữ lại này là Chuẩn mực Công việc Tri thức Cục bộ: 53 tác vụ trải dài bảy danh mục công việc tri thức hàng ngày, từ Nghiên cứu chuyên sâu đến tạo tài liệu. Chúng tôi sẽ sớm xuất bản một báo cáo kỹ thuật mô tả chi tiết việc huấn luyện mô hình, và chúng tôi dự định mở nguồn mở chuẩn mực đánh giá này.

Chúng tôi đã huấn luyện hậu kỳ Qwen 3.8 27B với phương pháp này, tạo ra một mô hình mà chúng tôi gọi là PPLX 27B, và đánh giá nó trên Chuẩn mực Công việc Tri thức Cục bộ. Với mô hình cơ sở Qwen 3.8 27B, Computer đạt điểm số cao nhất (82,6%, so với 77,6% của Pi và 74,0% của Hermes) và sử dụng ít token nhất (520k, so với 681k của Pi và 634k của Hermes). Pi hoàn thành các tác vụ nhanh nhất ở mức 176 giây mỗi tác vụ, so với 218 giây của Computer và 292 giây của Hermes. PPLX 27B nâng điểm của Computer lên 85,4%, với cái giá là nhiều token hơn (678k so với 520k). Thời gian thực tế ước tính của nó là 250 giây.

Bảng 2. Các danh mục tác vụ của Chuẩn mực Công việc Tri thức Cục bộ.

Kết luận

Nghiên cứu của chúng tôi cho thấy rằng một mô hình mã nguồn mở mạnh mẽ, với phần cứng cục bộ có năng lực và một khung chương trình được xây dựng cho chúng có thể xử lý công việc tri thức thực tế với chi phí suy luận gần bằng không mà không yêu cầu dữ liệu nhạy cảm rời khỏi thiết bị.

Trên các chuẩn mực khác nhau, Computer khớp hoặc vượt quá Hermes và Pi về độ chính xác trong khi chạy Qwen 3.8 27B trên NVIDIA DGX Spark. Trong số ba chuẩn mực báo cáo độ trễ và việc sử dụng token, Computer nhanh nhất trên BrowseComp và ParseBench-100 và sử dụng ít token nhất trên cả ba; Pi nhanh nhất trên Chuẩn mực Công việc Tri thức Cục bộ.

Những lợi ích đến từ các lựa chọn mà chúng tôi đã thực hiện. Chúng tôi đã xây dựng một khung chương trình cục bộ súc tích với các skill tải theo yêu cầu. Chúng tôi chuyển đổi các trình kết nối thành các công cụ CLI nhỏ gọn thay vì các máy chủ MCP. Việc thực thi được chạy trong sandbox để đảm bảo bảo mật.

Kết quả cũng cho thấy nơi các mô hình nhỏ gọn có chỗ để cải thiện. Ví dụ, trên các tác vụ mã hóa đầy thách thức của Terminal Bench 2.1, mô hình cục bộ thua kém mô hình biên trên cả ba khung chương trình. Việc chuyển cấp cố vấn thu hẹp nhưng không thu hẹp hoàn toàn khoảng cách; những cải tiến liên tục về khả năng của mô hình và phần cứng cục bộ vẫn là cần thiết để thúc đẩy hiệu suất hơn nữa.

Mục đích của việc xây dựng khung chương trình và mô hình cho các ràng buộc cục bộ là cung cấp cho người dùng quyền kiểm soát rõ ràng đối với thông tin nào rời khỏi máy của họ. Cũng có những lợi ích về chi phí cho người dùng. Chúng tôi coi đây là một phần của sự thay đổi rộng lớn hơn trong đó các tác nhân ngày càng có năng lực di chuyển từ cơ sở hạ tầng từ xa sang các thiết bị cá nhân và cục bộ. Chúng tôi kỳ vọng rằng những tiến bộ về chip, mô hình và thiết bị sẽ liên tục mở rộng phạm vi và chất lượng của công việc tri thức mà Portable Computer xử lý cục bộ.