Nâng cao các mô hình ngôn ngữ được tăng cường tìm kiếm

Cách chúng tôi hậu đào tạo các mô hình mở thành các tác nhân tìm kiếm trả lời chính xác hơn với ít lệnh gọi công cụ hơn.

Tác giảPerplexity Research

Giới thiệu

Việc đào tạo các tác nhân tìm kiếm web tiên tiến đòi hỏi phải tối ưu hóa đồng thời nhiều mục tiêu: độ chính xác thực tế, hiệu quả quỹ đạo và sự liên kết với sở thích của người dùng. Tuy nhiên, việc cải thiện bất kỳ chiều đơn lẻ nào một cách cô lập thường làm giảm sút các chiều khác: các mô hình chỉ được đào tạo cho độ chính xác có xu hướng lạm dụng công cụ, trongขณะที่ các mô hình được tối ưu hóa cho sự ngắn gọn có thể đánh đổi độ tin cậy hoặc tính đầy đủ. Tại Perplexity, không có kết quả nào là có thể chấp nhận được.

Bài viết này mô tả quy trình hậu đào tạo của Perplexity để phát triển các tác nhân tìm kiếm web tiên tiến dựa trên các mô hình mã nguồn mở. Một ý tưởng chủ đạo là trong quá trình đào tạo tác nhân tìm kiếm, việc quản lý dữ liệu và thiết kế phần thưởng phải được thiết kế đồng thời: dữ liệu xác định những hành vi nào có thể quan sát và xác minh được, còn phần thưởng xác định cách các tín hiệu đó được chuyển thành tín hiệu tối ưu hóa. Nguyên tắc này thúc đẩy quy trình hai giai đoạn của chúng tôi: trước tiên chúng tôi tiến hành khởi động Tinh chỉnh có Giám sát (SFT) để khởi tạo mô hình chính sách, sau đó chúng tôi tinh chỉnh mô hình chính sách bằng Học Tăng cường (RL) trên tập dữ liệu được quản lý và các phần thưởng được thiết kế cẩn thận. Phương pháp hai giai đoạn này mang lại những cải tiến đáng tin cậy về độ chính xác, hiệu quả và chất lượng phản hồi trong các ràng buộc sản xuất.

Chúng tôi trước tiên mô tả quy trình đào tạo hai giai đoạn của chúng tôi (SFT → RL theo chính sách), tiếp theo là việc xây dựng dữ liệu đào tạo RL của chúng tôi, bao gồm cả QA tác nhân tìm kiếm có thể xác minh và trò chuyện chung dựa trên tiêu chí đánh giá. Sau đó, chúng tôi trình bày thiết kế phần thưởng tổng hợp bắt nguồn từ thiết lập dữ liệu không đồng nhất này, cân bằng giữa chất lượng và hiệu quả đồng thời giảm thiểu việc tấn công phần thưởng. Cuối cùng, chúng tôi phân tích động lực đào tạo và kết quả chuẩn.

Quy trình đào tạo hai giai đoạn

Chúng tôi áp dụng công thức hậu đào tạo gồm hai giai đoạn: (i) SFT để thiết lập các hành vi quan trọng đối với việc triển khai như các rào cản (ví dụ: việc từ chối), tuân thủ hướng dẫn và tính nhất quán về ngôn ngữ, và (ii) RL theo chính sách để cải thiện khả năng tìm kiếm, bao gồm độ chính xác của câu trả lời và hiệu quả sử dụng công cụ, trong khi vẫn duy trì các hành vi từ giai đoạn một.

Tại sao lại có hai giai đoạn? Việc tối ưu hóa đồng thời chất lượng tìm kiếm và các ràng buộc triển khai trong một giai đoạn RL duy nhất là rất khó khăn mà không làm tổn hại đến ít nhất một mục tiêu. Theo thực nghiệm, việc đào tạo chỉ bằng RL cải thiện hiệu suất tìm kiếm nhưng có xu hướng kém hiệu quả đối với các rào cản triển khai, trong khi SFT cải thiện khả năng tuân thủ nhưng phải đánh đổi bằng hiệu suất tìm kiếm. Việc tách biệt các mục tiêu cho phép giai đoạn SFT giải quyết các yêu cầu không thể thương lượng trước, sau đó RL có thể tập trung chủ yếu vào việc cải thiện khả năng tìm kiếm.

Giai đoạn SFT

Chúng tôi khởi tạo từ họ mô hình Qwen3 (Qwen3.5-122B-A10B và Qwen3.5-397B-A17B) (Yang et al., 2025, bài đăng trên blog Qwen3.5) và xây dựng một tập dữ liệu hỗn hợp SFT gồm hai thành phần nhằm vào các hành vi quan trọng đối với việc triển khai được mô tả ở trên, đồng thời bảo toàn khả năng tìm kiếm chung của mô hình cơ sở.

Các ví dụ định hướng sở thích. Chúng tôi quản lý các ví dụ tuân thủ hướng dẫn và tập trung vào phong cách nhằm vào giọng điệu, tính nhất quán về ngôn ngữ, sự rõ ràng và định dạng. Các ví dụ này không cần phải có một chân lý duy nhất; thay vào đó, chúng được chọn để phản ánh các yêu cầu viết sản phẩm và đảm bảo tính nhất quán về phong cách trên các loại truy vấn đa dạng.

Các quỹ đạo sử dụng công cụ định dạng sản xuất. Theo thực nghiệm, chúng tôi thấy rằng SFT mà không quản lý tập dữ liệu cẩn thận có thể làm giảm đáng kể khả năng tìm kiếm của mô hình cơ sở. Để giảm thiểu điều này, chúng tôi lấy mẫu các truy vấn và tác vụ nội bộ trên các mẫu tương tác đa dạng (một lượt, hai lượt và nhiều lượt) và chú thích chúng bằng bộ công cụ gọi công cụ của chúng tôi.

Giai đoạn RL

Bắt đầu từ điểm kiểm tra SFT, chúng tôi áp dụng RL theo chính sách để cải thiện độ chính xác và hiệu quả tìm kiếm. Chúng tôi tối ưu hóa mô hình chính sách bằng cách sử dụng Tối ưu hóa Chính sách Tương đối Nhóm (GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

trong đó GG là kích thước của nhóm, oio_{i} biểu thị đầu ra được lấy mẫu thứ ii, và A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} là lợi thế. Thiết kế phần thưởng được mô tả chi tiết trong phần thiết kế phần thưởng; tóm lại, chúng tôi kết hợp độ chính xác cơ sở với việc tạo hình hiệu quả dựa trên sở thích và được neo giữ. Theo công việc trước đó (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), chúng tôi áp dụng Lấy mẫu Quan trọng (IS) ở cấp độ token để khắc phục sự sai lệch giữa đào tạo và suy luận:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Chúng tôi đánh giá một số phương pháp để giảm thiểu sự sai lệch giữa đào tạo và suy luận, bao gồm IS ở cấp độ chuỗi (Zheng et al., 2025b), phát lại định tuyến (Ma et al., 2025; Zheng et al., 2025b), và đào tạo nhất quán theo bit tích hợp hạt nhân của công cụ suy luận trong quá trình đào tạo (Các nhóm vLLM và TorchTitan, 2025). Theo thực nghiệm, dưới thiết lập theo chính sách của chúng tôi, chúng tôi thấy rằng IS ở cấp độ token là đủ để ngăn chặn sự sụp đổ khi đào tạo trong khi vẫn đơn giản để triển khai; điều này phù hợp với các phát hiện từ Zheng et al (2025a).

Dữ liệu đào tạo RL

Dữ liệu đào tạo RL của chúng tôi bao gồm hai thành phần bổ sung cho nhau: QA tác nhân tìm kiếm có thể xác minh nhắm mục tiêu vào khả năng tìm kiếm chung, và trò chuyện chung dựa trên tiêu chí đánh giá nhằm củng cố rõ ràng các rào cản triển khai để ngăn chặn sự suy giảm trong giai đoạn đào tạo RL.

Dữ liệu tác nhân tìm kiếm có thể xác minh

Xây dựng tập dữ liệu. Theo phương pháp mở rộng tuần tự (Tao et al., 2025), chúng tôi xây dựng một tập dữ liệu QA tổng hợp nội bộ từ các truy vấn hạt giống nội bộ mà không dựa vào biểu đồ kiến thức được quản lý, giúp giữ cho quy trình gọn nhẹ và dễ làm mới. Mỗi ví dụ tổng hợp được tạo ra thông qua các bước sau:

  1. Lựa chọn hạt giống. Chúng tôi truy xuất các tài liệu cho các truy vấn hạt giống và chọn các thực thể có xác nhận sự thật từ nhiều nguồn làm điểm khởi đầu, trích xuất các câu lệnh nguyên tử về chúng.
  2. Xây dựng chuỗi nhiều bước. Từ các câu lệnh của thực thể hạt giống, chúng tôi chọn một câu lệnh giới thiệu thực thể thứ hai (ví dụ: đối với hạt giống “The Mom Test”, câu lệnh “written by Rob Fitzpatrick” giới thiệu tác giả làm thực thể tiếp theo). Chúng tôi lặp lại quá trình liên kết này 2–4 lần, đảm bảo mỗi thực thể là riêng biệt và không có câu lệnh đơn lẻ nào tiết lộ tầm thường câu trả lời cuối cùng
  3. Tổng hợp câu hỏi không có tên. Chúng tôi chuyển đổi chuỗi thực thể thành một câu hỏi bằng cách thay thế đệ quy tên thực thể bằng các câu lệnh kết nối của chúng, tạo ra một câu hỏi lồng nhau đòi hỏi lý luận nhiều bước
  4. Xác minh. Chúng tôi chỉ giữ lại các câu hỏi có câu trả lời duy nhất được xác minh bởi nhiều trình giải quyết hỗ trợ web độc lập.

Ví dụ (3 bước nhảy)

Xem xét truy vấn hạt giống “The Mom Test”. Chúng tôi truy xuất tài liệu và xác định cuốn sách này là thực thể hạt giống, sau đó trích xuất các câu lệnh thực tế nguyên tử và lặp đi lặp lại xây dựng một chuỗi thực thể: (i) The Mom Test được viết bởi Rob Fitzpatrick, giới thiệu Rob Fitzpatrick; (ii) công ty khởi nghiệp đầu tiên của Rob Fitzpatrick đã đi qua Y Combinator (Mùa hè 2007), giới thiệu Y Combinator; (iii) Y Combinator được ra mắt vào tháng 3 năm 2005. Việc thay thế đệ quy mỗi tên thực thể bằng mô tả của nó tạo ra câu hỏi không có tên: “Cuốn sách nào được viết bởi người có công ty khởi nghiệp đầu tiên đi qua cơ tăng tốc ra mắt vào tháng 3 năm 2005, trong nhóm Mùa hè 2007 của nó?” với câu trả lời “The Mom Test”.

Tăng cường đa dạng định dạng. Các mô hình chỉ được đào tạo trên QA tổng hợp thô có xu hướng bỏ qua các sở thích định dạng và mặc định theo một cấu trúc phản hồi cố định, bất kể truy vấn được diễn đạt như thế nào. Để cải thiện tính đa dạng của định dạng, chúng tôi tăng cường tập dữ liệu với các truy vấn bao gồm các hướng dẫn định dạng rõ ràng (ví dụ: “Hiển thị danh sách . . . ” hoặc “Tóm tắt . . . trong một bảng”), trong khi giữ nguyên câu trả lời cơ bản.

QA có thể xác minh công khai (cơ sở). Chúng tôi xây dựng một tập dữ liệu QA có thể xác minh cơ sở từ năm tập dữ liệu mã nguồn mở (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), được hợp nhất theo định dạng lời nhắc tăng cường của chúng tôi với việc lọc chất lượng. Hợp chất này đóng vai trò là cơ sở chính trong các thí nghiệm xác thực của chúng tôi. Để so sánh có kiểm soát, chúng tôi khớp quy mô tập dữ liệu QA tổng hợp nội bộ của mình với hỗn hợp mã nguồn mở này.

Xác thực nhanh. Chúng tôi xác thực hiệu quả của quy trình này bằng cách sử dụng Qwen3-30B-A3B-Instruct-2507 để cho phép lặp lại nhanh chóng; kết quả được tóm tắt trong Bảng 1.

Xác thực tập dữ liệu QA có thể xác minh tổng hợp

Dữ liệu trò chuyện chung dựa trên tiêu chí đánh giá

Mặc dù QA có thể xác minh cung cấp một tín hiệu đào tạo sạch cho các truy vấn hướng tới tìm kiếm, nhưng một phần đáng kể lưu lượng truy cập sản xuất không thể xác minh duy nhất (ví dụ: viết lại, lập kế hoạch và hỗ trợ mở). Việc loại khỏi RL các truy vấn như vậy sẽ khiến chính sách chưa được tối ưu hóa đầy đủ cho các tương tác thực tế của người dùng. Hơn nữa, mặc dù giai đoạn SFT thiết lập các rào cản quan trọng đối với việc triển khai, RL có thể bị suy giảm đối với chúng trừ khi chúng được củng cố rõ ràng bởi dữ liệu.

Chúng tôi kết hợp các truy vấn không thể xác minh vào quá trình đào tạo RL bằng cách chuyển đổi các yêu cầu quan trọng đối với việc triển khai—tuân thủ hướng dẫn, các ràng buộc định dạng và quy ước an toàn—thành các tiêu chí đánh giá: các tiêu chí nguyên tử, có thể kiểm tra khách quan mà phản hồi phải thỏa mãn. Chúng tôi áp dụng việc xây dựng dữ liệu dựa trên tiêu chí đánh giá (Gunjal et al., 2025; Liu et al., 2025b), tạo ra các tập tiêu chí đánh giá cho mỗi truy vấn.

Tạo tiêu chí đánh giá. Với toàn bộ lịch sử cuộc trò chuyện, chúng tôi nhắc một LLM tạo ra một phản hồi tham chiếu và một tập tiêu chí đánh giá tương ứng. Các tiêu chí đánh giá được rút ra theo thứ tự ưu tiên cố định: các yêu cầu được người dùng nêu rõ ràng sẽ được ưu tiên trước, tiếp theo là các ràng buộc nội bộ, và cuối cùng là các yêu cầu nội dung cần thiết được suy ra từ phản hồi tham chiếu. Mỗi tiêu chí đánh giá phải:

  • Nguyên tử: một bài kiểm tra đơn lẻ, được xác định rõ ràng;
  • Khách quan: có thể xác minh mà không cần phán đoán chủ quan;
  • Cần thiết: bắt buộc để trả lời truy vấn, không chỉ đơn thuần là sở thích về phong cách.

Ví dụ

Truy vấn.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Tiêu chí đánh giá.

  • Phản hồi được viết bằng tiếng Anh.
  • Từ ngữ được sửa đổi chứa các từ "lodging" và "boarding".
  • Từ ngữ được sửa đổi sử dụng "manpower" như một từ đơn (ví dụ, "manpower plan" hoặc "manpower planning") thay vì "man power".
  • Từ ngữ được sửa đổi không chứa các token viết tắt không chính thức "u" hoặc "Plz", và không chứa ký tự và "&".
  • Phản hồi không chứa các điểm đánh dấu trích dẫn dạng \\[type:idx\\], trong đó type biểu thị nguồn dữ liệu (ví dụ: web, chart, memory, attached_file).

Hiệu chỉnh tiêu chí đánh giá. Để tránh các tập tiêu chí đánh giá quá nghiêm ngặt hoặc quá dễ dãi, chúng tôi áp dụng bộ lọc pass@4. Đối với mỗi truy vấn, chúng tôi lấy mẫu bốn phản hồi độc lập và đánh giá chúng dựa trên toàn bộ tập tiêu chí đánh giá với một trọng tài tuân thủ hướng dẫn. Chúng tôi loại bỏ các truy vấn mà không có phản hồi nào thỏa mãn tập tiêu chí đánh giá hoặc tất cả các phản hồi đều thỏa mãn, chỉ giữ lại những phản hồi mang lại tín hiệu đào tạo mang tính thông tin.

Hỗn hợp lời nhắc và cân bằng phương sai

Một thách thức thực tế trong RL đa mục tiêu là sự mất cân bằng phương sai trên các thành phần dữ liệu (Duchi và Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Mặc dù cả QA có thể xác minh và dữ liệu dựa trên tiêu chí đánh giá đều mang lại phần thưởng nhị phân, nhưng chúng khác biệt đáng kể về độ khó của tác vụ: sự thỏa mãn tiêu chí đánh giá thường dễ đạt được hơn trong giai đoạn đầu của quá trình đào tạo, tạo ra các bản cập nhật gradient lớn hơn và thường xuyên hơn, có thể lấn át một cách không tương xứng quá trình tối ưu hóa chính sách so với tín hiệu QA có thể xác minh khó hơn. Để giải quyết vấn đề này, chúng tôi định trọng số lại hỗn hợp lời nhắc ở cấp độ tập dữ liệu, lấy mẫu 90% từ QA có thể xác minh và 10% từ dữ liệu dựa trên tiêu chí đánh giá để cân bằng tín hiệu tối ưu hóa trên các thành phần.

Thiết kế phần thưởng

Thiết kế phần thưởng của chúng tôi bắt nguồn trực tiếp từ việc xây dựng dữ liệu được mô tả ở trên. Mặc dù bao trùm cả QA có thể xác minh và các tác vụ theo tiêu chí đánh giá, tất cả dữ liệu đào tạo đều chia sẻ một cấu trúc phần thưởng cơ sở chung: một lần triển khai nhận được tín dụng nếu nó tạo ra câu trả lời chính xác cho các tác vụ QA, hoặc thỏa mãn tất cả các tiêu chí đánh giá được chỉ định cho trò chuyện chung. Dựa trên nền tảng được chia sẻ này, chúng tôi xây dựng một phần thưởng tổng hợp để kết hợp chấm điểm dựa trên sở thích và định hình hiệu quả.

Một thách thức chính được quan sát thấy trong các thí nghiệm ban đầu là việc tấn công phần thưởng: một sự kết hợp tuyến tính đơn giản của các phần thưởng cho phép các tín hiệu sở thích mạnh mẽ bù đắp cho các lỗi thực tế hoặc hướng dẫn. Do đó, chúng tôi áp dụng phép tổng hợp có cổng làm nguyên tắc thiết kế cốt lõi, được định nghĩa chính thức là:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

trong đó rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} biểu thị độ chính xác của QA hoặc sự thỏa mãn tiêu chí đánh giá, s(τi)∈[0,1]s(\tau_i)\in[0,1] là điểm số sở thích, và pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) là hình phạt hiệu quả được neo giữ. Điều này làm cho tính chính xác trở thành một điều kiện cần thiết để nhận được tín dụng sở thích, đồng thời vẫn ngăn chặn việc sử dụng công cụ không cần thiết và sự dài dòng. Hình 1 minh họa toàn bộ quy trình phần thưởng, các thành phần của nó được chúng tôi mô tả dưới đây:

Tổng quan về thiết kế phần thưởng. Chúng tôi kết hợp tín hiệu độ chính xác cơ sở (có thể xác minh/tiêu chí đánh giá), điểm số sở thích Bradley–Terry và các hình phạt hiệu quả được neo giữ. Sở thích được kiểm soát bằng độ chính xác cơ sở để ngăn chặn việc tấn công phần thưởng.

Phần thưởng cơ sở

Chúng tôi xác định một tín hiệu cơ sở nhị phân rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\} nắm bắt độ chính xác của tác vụ hoặc mức độ tuân thủ hướng dẫn. Đối với dữ liệu tác nhân tìm kiếm có thể xác minh, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 nếu câu trả lời cuối cùng khớp với chân lý, và 00 nếu ngược lại. Đối với dữ liệu trò chuyện chung dựa trên tiêu chí đánh giá, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 nếu tất cả các tiêu chí đánh giá được thỏa mãn, và 00 nếu ngược lại. Cơ sở này đóng vai trò là cổng cứng trong quy tắc tổng hợp có điều kiện Phương trình 2.

Mô hình hóa sở thích

Chúng tôi nhằm mục đích căn chỉnh mô hình chính sách với sở thích tiềm ẩn của người dùng đối với chất lượng phản hồi—tính thông tin, sự rõ ràng và giọng điệu chuyên nghiệp—những yếu tố khó nắm bắt thông qua các lời nhắc của trọng tài LLM. Do đó, chúng tôi đào tạo một mô hình phần thưởng sở thích đã học để chấm điểm trực tiếp các thuộc tính này.

Chúng tôi xây dựng công thức học sở thích theo khuôn khổ Bradley–Terry. Với ngữ cảnh xx và hai phản hồi ứng viên ya,yby_a, y_b, mô hình tạo ra các điểm số vô hướng sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} và tối thiểu hóa,

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

trong đó r∈{0,1}r \in \{0, 1\} cho biết liệu yay_a có được ưa thích hơn hay không. Để loại bỏ độ lệch vị trí, mỗi cặp đào tạo được tăng cường với cả hai thứ tự và được tối ưu hóa đối xứng,

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Tại thời điểm suy luận, chúng tôi thu được điểm số sở thích bất biến về vị trí bằng cách lấy trung bình cả hai hoán vị:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Điểm số sở thích triển khai sau đó được xác định là s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1], tức là xác suất mà quá trình triển khai chính sách yiy_i được ưa thích hơn so với quá trình triển khai mô hình tham chiếu cho cùng một lời nhắc.

Dữ liệu đào tạo để mô hình hóa sở thích được rút ra từ các tập dữ liệu mã nguồn mở được quản lý, phản hồi song phương của người dùng và các chú thích nội bộ. Để giải quyết vấn đề nhiễu nhãn, chúng tôi áp dụng quy trình lọc và hiệu chỉnh trọng lượng nhẹ lấy cảm hứng từ Datbench (DatologyAI, 2026), chỉ giữ lại các ví dụ có sự đồng thuận nhất quán giữa các mô hình. Mô hình phần thưởng có chung xương sống với mô hình chính sách, với phần đầu mô hình ngôn ngữ được thay thế bằng phần đầu giá trị. Mặc dù các mô hình phần thưởng nhỏ hơn đạt được độ chính xác giữ lại tương đương, chúng tôi nhận thấy theo thực nghiệm rằng chúng không nắm bắt được các sở thích chi tiết và có thể củng cố các hành vi chính sách không mong muốn.

Hình phạt hiệu quả

Nếu không có việc định hình hiệu quả rõ ràng, chính sách có xu hướng lạm dụng công cụ ngay cả trên các lời nhắc đơn giản. Các hình phạt vô điều kiện (ví dụ: những hình phạt tỷ lệ thuận với số lần gọi công cụ hoặc độ dài đầu ra) là một cơ sở tự nhiên, nhưng chúng tôi thấy rằng chúng kìm hãm việc khám phá cần thiết và làm giảm chất lượng học tập. Do đó, chúng tôi áp dụng các hình phạt được neo giữ, tương đối theo nhóm nhằm điều chỉnh việc sử dụng công cụ và độ dài phản hồi tương đối với các giải pháp hiệu quả trong mỗi nhóm GRPO. Đối với một nhóm 𝑔, chúng tôi xác định tập hợp chiến thắng là:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Hình phạt gọi công cụ được neo giữ. Đối với mỗi lần triển khai τi\tau_i, hãy để cic_i biểu thị số lần gọi công cụ và eie_i là số lần thực thi công cụ thất bại. Chúng tôi xác định số lần gọi công cụ hiệu quả c~i=ci−ei\tilde{c}_i = c_i - e_i và lấy mẫu đồng nhất một cơ sở nhóm:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Chúng tôi tính toán phần vượt mức Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right), và xác định một vô hướng hình phạt mượt mà pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). Hình phạt công cụ sau đó là:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Hình phạt độ dài được neo giữ. Hãy để LiL_i và LirefL_i^{\mathrm{ref}} lần lượt biểu thị độ dài token của các thế hệ mô hình ứng viên và tham chiếu. Chúng tôi xác định tập hợp định hình W^g\widehat{W}_g là các quá trình triển khai vừa chính xác vừa được ưa thích:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Sau đó, chúng tôi tính toán các cơ sở độ dài cụ thể theo nhóm:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Hình phạt độ dài được xác định là:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

trong đó dòng đầu tiên là mức trần cứng; dòng thứ hai phạt những người chiến thắng dài dòng; và dòng thứ ba phạt những kẻ thua cuộc cộc lốc.

Hình phạt hiệu quả kết hợp. Hình phạt hiệu quả kết hợp là tổng có trọng số của cả hai thành phần:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Kết quả chính

Chúng tôi đánh giá quy trình hậu đào tạo của mình theo hai trục: (i) động lực đào tạo, để đánh giá tính ổn định của việc tối ưu hóa và xem xét các tín hiệu phần thưởng có hoạt động như mong đợi hay không, và (ii) các điểm chuẩn ngoại tuyến, để đo lường chất lượng hạ nguồn, độ an toàn và hiệu quả dưới các thiết lập đánh giá được kiểm soát.

Cài đặt đào tạo mặc định. Mô hình chính sách tương tác với một công cụ tìm kiếm web (search_web); mỗi lần gọi công cụ truy xuất tối đa 10 kết quả, với các truy vấn được giới hạn ở 250 ký tự và tối đa 5 truy vấn cho mỗi lần triển khai.

Động lực đào tạo

Chúng tôi kiểm tra động lực tối ưu hóa, tập trung vào sự tiến triển của phần thưởng và hành vi hiệu quả. Chúng tôi sử dụng Qwen3.5-397B-A11B để đơn giản hóa minh họa.

Sự tiến hóa của các tín hiệu cơ sở và sở thích trong quá trình đào tạo.

Hình 2 cho thấy sự cải thiện ổn định trong phần thưởng cơ sở (QA có thể xác minh và sự thỏa mãn tiêu chí đánh giá) bên cạnh điểm số sở thích ngày càng tăng, cho thấy những cải tiến nhất quán về độ chính xác, mức độ tuân thủ và chất lượng phản hồi.

Hành vi hiệu quả và các hình phạt định hình được neo giữ trong quá trình đào tạo.

Hình 3 chứng minh rằng cả tần suất gọi công cụ và độ dài thế hệ đều được kiểm soát tốt trong suốt quá trình đào tạo. Đáng chú ý, cả hình phạt gọi công cụ và hình phạt độ dài đều giảm đơn điệu trong suốt quá trình đào tạo, phản ánh sự thích ứng tiến bộ của mô hình hướng tới việc tạo ra ngắn gọn hơn và gọi công cụ có chọn lọc hơn.

Các chỉ báo độ ổn định tối ưu hóa.

Hình 4 cho thấy các chuẩn mực gradient vẫn ổn định ngoại trừ các đỉnh thoáng qua, trong khi độ phân kỳ KL đào tạo-suy luận thể hiện xu hướng tăng nhẹ, ở trong quy mô 1e-3. Mô hình trôi dạt này phù hợp với các quan sát trong các khuôn khổ đào tạo RL khác; vì quá trình đào tạo vẫn ổn định xuyên suốt, chúng tôi giữ lại điều regularization IS đơn giản trong Phương trình 1 mà không cần can thiệp bổ sung.

Đánh giá ngoại tuyến

Chúng tôi báo cáo kết quả trên một loạt các điểm chuẩn bao gồm độ chính xác tìm kiếm, độ tin cậy thực tế, tuân thủ hướng dẫn và độ an toàn, bao gồm cả các điểm chuẩn công khai và các chỉ số Perplexity (PPLX) nội bộ. Các điểm chuẩn công khai bao gồm SimpleQA, FRAMES và Facts Open.

  • pplx-sbs-search: Đánh giá sở thích song phương bằng cách sử dụng mô hình phần thưởng nội bộ. Các ứng viên được so sánh với một cơ sở mạnh mẽ.
  • pplx-abstention: Khả năng từ chối thích hợp khi không có bằng chứng đáng tin cậy nào.
  • pplx-language-mismatch: Tính nhất quán về ngôn ngữ trong các thiết lập đuôi dài và nhiều lượt.
  • pplx-broken-tool-calls (↓): Tuân thủ lược đồ gọi công cụ và tuân thủ ràng buộc, ví dụ, tool_choice=none.

Cài đặt đánh giá mặc định. Đối với các điểm chuẩn công khai, chúng tôi chỉ cho phép công cụ tìm kiếm web, với ngân sách tối đa 5 lần gọi công cụ cho mỗi ví dụ và tối đa 10 kết quả cho mỗi lần gọi, tạo ra tối đa 8192 token đầu ra ở nhiệt độ 0.6.

Kết quả đánh giá ngoại tuyến. Các số trong ngoặc đơn cho biết mức sử dụng công cụ trung bình. Chúng tôi lưu ý Qwen3.5-397B-A17B là Qwen3.5-Large và Qwen3.5-122B-A10B là Qwen3.5-Medium.

Bảng 2 cho thấy Qwen3.5-Large-SFT-RL đạt được độ chính xác tìm kiếm mạnh mẽ trên các điểm chuẩn công khai, khớp hoặc vượt qua gpt-5.4 trên FRAMES và Facts Open trong khi sử dụng ngân sách công cụ tương đương. So với mô hình cơ sở, phương pháp của chúng tôi mang lại những cải tiến đáng kể về các chỉ số nội bộ, đặc biệt là về sở thích (pplx-sbs-search: 0.602 → 0.742), tính nhất quán về ngôn ngữ và việc từ chối, chứng minh rằng quy trình hai giai đoạn cải thiện hiệu quả các hành vi quan trọng đối với việc triển khai mà không làm tổn hại đến khả năng tìm kiếm.

Đánh giá hiệu quả sử dụng công cụ

Để đo lường điều này, chúng tôi thiết kế một giao thức đánh giá buộc ngân sách. Mỗi mô hình được cấp quyền truy cập vào một công cụ tìm kiếm web (search_web) và một lời nhắc hệ thống chỉ định mức trần cứng về số lượng lệnh gọi công cụ được phép ("ngân sách"). Chúng tôi quét ngân sách này từ 0 (không sử dụng công cụ, kiến thức tham số thuần túy) đến 10 (truy xuất nhiều bước hào phóng), ghi lại độ chính xác ở mỗi cấp độ. Điều này tạo ra một đường cong hiệu quả công cụ: điểm số của mô hình như một hàm số của ngân sách truy xuất mà nó được phép. Chúng tôi đánh giá trên hai điểm chuẩn QA thực tế, FRAMES và Facts Open.

Độ chính xác chuẩn so với Số lượng lệnh gọi công cụ tối đa.

Một số mẫu nổi bật từ hai điểm chuẩn này:

  • Qwen3.5-397B-SFT-RL đã được hậu đào tạo của chúng tôi đạt được độ chính xác tìm kiếm tốt nhất trên cả hai điểm chuẩn. Ngay cả với một lệnh gọi công cụ duy nhất, nó đạt 57.3% trên FRAMES, cao hơn 5.7 điểm so với GPT-5.4 và cao hơn 4.7 điểm so với Sonnet 4.6.
    • Lợi thế rõ rệt nhất ở mức ngân sách vừa phải (b=2-7), đây là phạm vi hoạt động thực tế cho việc triển khai sản xuất.
  • Công thức hậu đào tạo của chúng tôi (SFT + RL) cải thiện đáng kể hiệu quả sử dụng công cụ so với điểm kiểm tra cơ sở; xem các đường liền nét (được hậu đào tạo) so với các đường đứt nét (điểm kiểm tra ban đầu) trong Hình 5.
  • Đối với tất cả các mô hình, chúng tôi quan sát thấy lợi ích giảm dần khoảng budget=7, nhất quán trên hai điểm chuẩn và tất cả các mô hình, cho thấy đó là đặc tính của các tác vụ tìm kiếm tính xác thực chứ không phải của các mô hình.

Kết quả trên cho thấy Qwen3.5-397B-SFT-RL đạt độ chính xác cao hơn với ít lệnh gọi công cụ hơn. Nhưng điều này chuyển thành chi phí thực tế như thế nào? Chúng tôi chuyển đổi các phép đo cấp độ token thành chi phí đô la bằng cách sử dụng giá API được công bố (Alibaba DashScope, OpenAI, Anthropic) để làm cho sự so sánh trở nên cụ thể.

Chi phí mỗi truy vấn so với độ chính xác.

Ở cấu hình trung bình (b=4), Qwen3.5-397B-SFT-RL đạt 73.9% trên FRAMES với mức giá 2.0 xu cho mỗi truy vấn, trong khi GPT-5.4 đạt 67.8% với giá 8.5 xu và Sonnet 4.6 đạt 62.4% với giá 15.3 xu. Nghĩa là độ chính xác cao hơn +6 điểm với chi phí thấp hơn 4 lần so với GPT-5.4, và độ chính xác cao hơn +11.5 điểm với chi phí thấp hơn 7.5 lần so với Sonnet 4.6.

Các ước tính này sử dụng bảng giá API mà không có bộ nhớ đệm. Với các tối ưu hóa suy luận nội bộ như tái sử dụng bộ nhớ đệm KV, bộ nhớ đệm tiền tố và phục vụ MoE được lượng tử hóa (397B chỉ sử dụng 17B tham số hoạt động), chi phí thực tế có thể giảm xuống thấp hơn nhiều so với giá API niêm yết.

Kết luận

Việc tách biệt việc tuân thủ triển khai khỏi việc tối ưu hóa tìm kiếm thông qua quy trình SFT và RL hai giai đoạn mang lại một mô hình vừa có năng lực vừa đáng tin cậy theo các ràng buộc sản xuất. Sự kết hợp giữa QA có thể xác minh và dữ liệu đào tạo dựa trên tiêu chí đánh giá, cùng với việc tổng hợp phần thưởng có cổng và định hình hiệu quả được neo giữ, cho phép tối ưu hóa đa mục tiêu ổn định mà không làm hy sinh độ chính xác tìm kiếm hoặc việc tuân thủ rào cản.

Một số hướng đi đáng được nghiên cứu thêm. Như đã quan sát thấy trong Hình 4, độ phân kỳ KL đào tạo-suy luận thể hiện xu hướng tăng liên tục ở các bước đào tạo kéo dài. Mặc dù việc hiệu chỉnh IS ở cấp độ token tỏ ra đủ dưới thiết lập hiện tại của chúng tôi, nhưng liệu điều này có còn đúng ở quy mô lớn hơn hay không vẫn chưa rõ ràng; một xử lý lý thuyết có nguyên tắc hơn về sự sai lệch này—bao gồm sự khác biệt cấp cơ sở hạ tầng và các yếu tố cụ thể của kiến trúc như định tuyến MoE—bên cạnh các so sánh thực nghiệm định lượng về các chiến lược giảm thiểu, vẫn là một câu hỏi mở quan trọng. Đối với RL đa mục tiêu nói riêng, các con đường triển vọng bao gồm đào tạo tuần tự (Zeng et al., 2026) với chưng cất theo chính sách để tối ưu hóa các mục tiêu theo giai đoạn đồng thời giảm thiểu việc quên thảm khốc; và hợp nhất mô hình (Fu et al., 2025; Yang et al., 2026) để tách biệt việc tối ưu hóa cụ thể theo tác vụ khỏi việc tổng hợp năng lực. Cuối cùng, việc mở rộng quy mô sang các quy trình làm việc đa công cụ thực tế với các quỹ đạo dài hạn vẫn là một thách thức mở quan trọng, có khả năng đòi hỏi việc phân bổ tín dụng tốt hơn, hỗ trợ cho việc triển khai một phần và các đánh giá.

Tài liệu tham khảo

DatologyAI. Datbench: Đánh giá mô hình thị giác-ngôn ngữ phân biệt, trung thành và hiệu quả. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, tháng 1 năm 2026. Được xuất bản ngày 6 tháng 1 năm 2026. Đã truy cập: 2026-03-04.

J. Duchi và H. Namkoong. Điều regularization dựa trên phương sai với các mục tiêu lồi. Bản in trước arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, và X. Zhao. Hợp nhất llm không cần đào tạo cho học đa tác vụ. Trong Kỷ yếu Hội nghị Thường niên lần thứ 63 của Hiệp hội Ngôn ngữ học Tính toán (Tập 1: Bài báo dài), trang 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, và S. Hendryx. Tiêu chí đánh giá như phần thưởng: Học tăng cường vượt ra ngoài các miền có thể xác minh. Bản in trước arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, và Y. Shen. Khi tốc độ tiêu diệt sự ổn định: Làm rõ sự sụp đổ rl từ sự sai lệch giữa đào tạo và suy luận. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Tối ưu hóa chính sách chuẩn hóa tách rời phần thưởng nhóm cho tối ưu hóa rl đa phần thưởng. Bản in trước arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, và H. Wang. Openrubrics: Hướng tới việc tạo tiêu chí đánh giá tổng hợp có thể mở rộng để mô hình hóa phần thưởng và căn chỉnh llm. Bản in trước arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, và Y. Dong. Deepdive: Thúc đẩy các tác nhân tìm kiếm sâu với biểu đồ kiến thức và rl nhiều lượt. Bản in trước arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, và F. Luo. Ổn định học tăng cường moe bằng cách căn chỉnh bộ định tuyến đào tạo và suy luận. Bản in trước arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, và T. Vu. Sealqa: Nâng cao tiêu chuẩn cho lý luận trong các mô hình ngôn ngữ được tăng cường tìm kiếm. Bản in trước arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, và M. Lewis. Đo lường và thu hẹp khoảng cách thành phần trong các mô hình ngôn ngữ. Trong Các phát hiện của Hiệp hội Ngôn ngữ học Tính toán: EMNLP 2023, trang 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, và W. S. Lee. Suy nghĩ lại về vùng tin cậy trong học tăng cường llm. Bản in trước arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Đẩy mạnh giới hạn lý luận toán học trong các mô hình ngôn ngữ mở. Bản in trước arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Tổng hợp dữ liệu một cách tác nhân thông qua hình thức hóa tìm kiếm thông tin. Bản in trước arXiv arXiv:2507.15061, 2025.

Các nhóm vLLM và TorchTitan. Không còn sai lệch giữa đào tạo và suy luận: Học tăng cường trên chính sách nhất quán theo bit với vLLM và TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, tháng 11 năm 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, và F. Huang. Webwalker: Đánh giá điểm chuẩn các llm trong việc duyệt web, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Báo cáo kỹ thuật Qwen3. Bản in trước arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, và D. Tao. Hợp nhất mô hình trong llm, mllm và hơn thế nữa: Phương pháp, lý thuyết, ứng dụng và cơ hội. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, và J. Gao. Khuôn khổ rl hiệu quả của bạn bí mật mang lại cho bạn quá trình đào tạo rl ngoại chính sách, tháng 8 năm 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: từ lập trình cảm hứng đến kỹ thuật tác nhân. Bản in trước arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Ổn định học tăng cường với llm: Công thức và thực tiễn. Bản in trước arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Tối ưu hóa chính sách chuỗi nhóm. Bản in trước arXiv arXiv:2507.18071, 2025b.

Trích dẫn

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}