推進搜尋增強語言模型

我們如何將開放模型進行後訓練，轉化為能夠以更少工具呼叫、更準確回答問題的搜尋代理。

作者Perplexity Research

簡介

訓練最前沿的網頁搜尋代理（web search agents）需要同時優化多個目標：事實準確性、軌跡效率以及用戶偏好對齊。然而，單獨改善其中任何一個維度往往會損害其他維度：僅針對準確性訓練的模型傾向於過度使用工具，而為了簡潔性而優化的模型則可能犧牲可靠性或完整性。在 Perplexity，這兩種結果都無法接受。

本文介紹了 Perplexity 用於開發基於開源模型的頂尖網頁搜尋代理的後訓練流水線。一個關鍵觀念是，在搜尋代理的訓練中，資料策劃與獎勵設計必須同步進行：資料決定了哪些行為是可觀察且可驗證的，而獎勵則決定了這些訊號如何轉化為優化訊號。這一原則促使我們採取兩階段流水線：首先進行監督式微調（SFT）預熱以初始化策略模型，然後在策劃好的資料集和精心設計的獎勵基礎上，利用強化學習（RL）對策略模型進行優化。這種兩階段方法能夠在生產限制下實現準確性、效率和回應品質的可靠提升。

我們首先描述我們的兩階段訓練流水線（SFT → 線上 RL），接著說明我們的 RL 訓練資料構建，內容涵蓋可驗證的搜尋代理問答（QA）與基於準則的通用聊天。隨後，我們呈現一種源自此類異構資料設定的複合獎勵設計，在平衡品質與效率的同時減輕獎勵破解（reward hacking）問題。最後，我們分析訓練動態與基準測試結果。

兩階段訓練流水線

我們採用兩階段後訓練方案：(i) 透過 SFT 建立部署所需的關鍵行為，例如護欄（如：拒答）、指令遵循和語言一致性；(ii) 透過線上 RL 提升搜尋能力，包括回答準確性和工具使用效率，同時保留第一階段建立的行為。

為什麼需要兩個階段？ 若不在犧牲至少一個目標的情況下，於單一 RL 階段內同時優化搜尋品質與部署限制是非常困難的。根據經驗，僅透過 RL 訓練雖能提升搜尋效能，但在部署護欄方面表現往往不足；而 SFT 雖能提升合規性，卻以犧牲搜尋效能為代價。將目標拆解後，SFT 階段可先處理不可妥協的要求，隨後 RL 階段則可專注於提升搜尋能力。

SFT 階段

我們從 Qwen3 模型系列（Qwen3.5-122B-A10B 與 Qwen3.5-397B-A17B）（Yang 等人，2025，Qwen3.5 部落格文章）開始初始化，並構建一個針對上述部署關鍵行為的兩組分 SFT 混合資料集，同時保留基礎模型的通用搜尋能力。

偏好導向範例。 我們策劃了針對語氣、語言一致性、清晰度和格式的指令遵循與風格導向範例。這些範例無需具備唯一的標準答案；相反地，選取它們是為了反映產品寫作要求，並確保各類查詢類型的風格一致性。

生產格式的工具使用軌跡。 經驗顯示，若無精細的資料集策劃，SFT 可能會大幅降低基礎模型的搜尋能力。為減輕此影響，我們對各種互動模式（單輪、雙輪及多輪）的查詢與內部任務進行採樣，並利用我們的工具呼叫工具組對其進行標註。

RL 階段

從 SFT 檢查點開始，我們應用線上 RL 來提升搜尋準確性與效率。我們使用組相對策略優化（GRPO）（Shao 等人，2024）來優化策略模型。

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

其中 GG 為組大小，oio_{i} 表示第 ii 個採樣輸出，而 A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} 為優勢。獎勵設計詳見獎勵設計章節；簡言之，我們將基準正確性與基於偏好及錨定效率的整形（shaping）結合。延續先前研究（Liu 等人，2025a；Yao 等人，2025；Zheng 等人，2025a），我們應用 token 級別的權重重要性採樣（IS）來修正訓練與推理之間的不匹配：

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

我們評估了多種減輕訓練與推理不匹配的方法，包括序列級別 IS（Zheng 等人，2025b）、路由重放（Ma 等人，2025；Zheng 等人，2025b）以及在訓練期間整合推理引擎核心的位元一致訓練（vLLM 與 TorchTitan Teams，2025）。根據經驗，在我們的線上設定中，token 級別的 IS 足以防止訓練崩潰且易於實現；這與 Zheng 等人（2025a） 的研究結果一致。

RL 訓練資料

我們的 RL 訓練資料由兩個互補組分組成：針對通用搜尋能力的可驗證搜尋代理問答，以及明確加強部署護欄以防止 RL 訓練階段效能倒退的基於準則的通用聊天。

可驗證搜尋代理資料

資料集構建。 遵循順序擴充方法（Tao 等人，2025），我們從內部種子查詢中構建內部合成問答資料集，而不依賴策劃好的知識圖譜，從而保持流水線輕量化且易於更新。每個合成範例皆透過以下步驟生成：

  1. 種子選取。 我們檢索種子查詢的文件，並選取具有多來源事實確認的實體作為起點，從中提取關於它們的原子陳述。
  2. 多跳鏈構建。 從種子實體的陳述中，我們選取一個引入第二個實體的陳述（例如，對於種子「The Mom Test」，陳述「written by Rob Fitzpatrick」將作者作為下一個實體引入）。我們重複此連結過程 2-4 次，確保每個實體皆獨特，且沒有單一陳述能輕易揭示最終答案。
  3. 無名稱問題合成。 我們透過遞迴替換實體鏈中的實體名稱及其連結陳述，將實體鏈轉換為問題，產生需要多跳推理的嵌套問題。
  4. 驗證。 我們僅保留由多個獨立網路求解器驗證的具有唯一答案的問題。

範例（3 跳）

考慮種子查詢「The Mom Test」。我們檢索文件並將此書識別為種子實體，接著提取原子事實陳述並迭代建構實體鏈：(i) The Mom Test 由 Rob Fitzpatrick 撰寫，引入 Rob Fitzpatrick；(ii) Rob Fitzpatrick 的第一家新創公司通過了 Y Combinator（2007 年夏季），引入 Y Combinator；(iii) Y Combinator 於 2005 年 3 月啟動。遞迴地用其描述符替換每個實體名稱，得出無名稱問題：「哪本書是由其第一家新創公司通過了於 2005 年 3 月啟動、2007 年夏季梯次的加速器的個人所寫的？」，答案為「The Mom Test」。

格式多樣性增強。 僅在原始合成問答上訓練的模型傾向於忽略格式偏好，並預設使用固定的回應結構，無論查詢語句如何。為了提升格式多樣性，我們透過包含明確格式指令（例如：「列出...」或「總結...於表格中」）的查詢來增強資料集，同時保持底層答案不變。

公開可驗證問答（基準）。 我們利用五個開源資料集（Lu 等人，2025；Pham 等人，2025；Press 等人，2023；Tao 等人，2025；Wu 等人，2025）構建基準可驗證問答資料集，並在我們增強的提示格式下進行統一與品質篩選。此混合資料集在我們的驗證實驗中作為主要基準。為進行對照比較，我們將內部合成問答資料集的規模與此開源混合資料集相匹配。

快速驗證。 我們使用 Qwen3-30B-A3B-Instruct-2507 來驗證此流水線的有效性，以實現快速迭代；結果總結於表 1 中。

表 1 | 合成可驗證問答資料集驗證

基於準則的通用聊天資料

雖然可驗證問答為搜尋中心型查詢提供了清晰的訓練訊號，但生產環境中很大一部分流量是 無法 唯一驗證的（例如：重寫、規劃及開放式輔助）。將此類查詢排除在 RL 之外，會使策略無法針對真實用戶互動進行最佳化。此外，儘管 SFT 階段建立了部署關鍵護欄，但若未透過資料明確強化，RL 可能會導致這些護欄效果倒退。

我們將不可驗證查詢納入 RL 訓練，方法是將部署關鍵要求（如指令遵循、格式約束和安全規範）轉換為準則：即回應必須滿足的原子化、客觀可檢查的標準。我們採用基於準則的資料構建（Gunjal 等人，2025；Liu 等人，2025b），並針對每個查詢生成準則集。

準則生成。 在給定完整對話記錄的情況下，我們提示 LLM 生成參考回應及對應的準則集。準則依據固定的優先順序導出：用戶明確陳述的要求優先，其次是內部約束，最後是從參考回應中推斷出的必要內容要求。每個準則必須是：

  • 原子的： 單一且定義明確的檢查；
  • 客觀的： 無需主觀判斷即可驗證；
  • 必要的： 回答查詢所需，而非僅僅是風格偏好。

範例

查詢。

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

準則。

  • 回應應以英語編寫。
  • 修正後的措辭包含「lodging」和「boarding」這兩個詞。
  • 修正後的措辭使用「manpower」作為一個單詞（例如「manpower plan」或「manpower planning」），而非「man power」。
  • 修正後的措辭不包含非正式簡寫符號「u」或「Plz」，也不包含「&」符號。
  • 回應不包含格式為 \[type:idx\] 的引用標記，其中 type 表示資料來源（例如 web、chart、memory、attached_file）。

準則校準。 為避免準則集過於嚴格或過於寬鬆，我們應用 pass@4 篩選。對於每個查詢，我們採樣四個獨立回應，並利用指令遵循評審員針對完整準則集進行評估。我們丟棄那些沒有任何回應滿足準則集或所有回應都滿足的查詢，僅保留那些能提供資訊豐富訓練訊號的查詢。

提示混合與變異平衡

多目標 RL 中的一個實際挑戰是資料組分之間的變異不平衡（Duchi 與 Namkoong，2016；Liu 等人，2026；Qi 等人，2026）。雖然可驗證問答與基於準則的資料都會產生二元獎勵，但它們在任務難度上存在顯著差異：準則滿足度通常在訓練早期較易達成，會產生較大且頻繁的梯度更新，這些更新在策略優化中可能不成比例地主導難度較高的可驗證問答訊號。為解決此問題，我們在資料集層級對提示混合進行加權重整，採樣 90% 的可驗證問答與 10% 的基於準則資料，以平衡各組分間的優化訊號。

獎勵設計

我們的獎勵設計直接遵循上述資料構建流程。儘管涵蓋可驗證問答與準則任務，所有訓練資料共享一個共同的基準獎勵結構：若輪次（rollout）針對問答任務產生正確答案，或滿足通用聊天任務的所有指定準則，即可獲得點數。以此共享基礎為建構，我們設計了一種複合獎勵，以納入基於偏好的評分與效率整形。

在早期實驗中觀察到的關鍵挑戰是獎勵破解：獎勵的簡單線性組合允許強大的偏好訊號彌補事實或指令上的失敗。因此，我們採用 門控聚合（gated aggregation） 作為核心設計原則，正式定義如下：

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

其中 rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} 表示問答正確性或準則滿足度，s(τi)∈[0,1]s(\tau_i)\in[0,1] 是偏好分數，而 pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) 是錨定效率懲罰。這使得正確性成為獲得偏好點數的必要條件，同時仍能抑制不必要的工具使用和冗長輸出。圖 1 說明了完整的獎勵流水線，其組分描述如下：

獎勵設計概覽。我們結合了基準正確性訊號（可驗證/準則）、Bradley–Terry 偏好分數和錨定效率懲罰。偏好受到基準正確性門控，以防止獎勵破解。

基準獎勵

我們定義了一個二元基準訊號 ，用以捕捉任務正確性或指令合規性。對於可驗證搜尋代理資料，若最終答案與標準答案匹配，則 ，否則為 。對於基於準則的通用聊天資料，若滿足 所有 準則，則 ，否則為 。此基準在等式 2 的條件聚合規則中充當硬性門控。rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\}rbase(τi)=1r_{\mathrm{base}}(\tau_i)=100rbase(τi)=1r_{\mathrm{base}}(\tau_i)=100

偏好建模

我們的目標是使策略模型與用戶對回應品質（資訊量、清晰度、專業語氣）的潛在偏好保持一致，而這些偏好很難透過 LLM 評審提示來捕捉。因此，我們訓練了一個學習型偏好獎勵模型來直接對這些屬性進行評分。

我們在 Bradley–Terry 框架下制定偏好學習。給定上下文 xx 和兩個候選回應 ya,yby_a, y_b，模型產生純量分數 sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} 並最小化，

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

其中 r∈{0,1}r \in \{0, 1\} 指示 yay_a 是否受到偏好。為消除位置偏差，每個訓練對皆以兩種排序進行增強並對稱優化，

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

在推理階段，我們透過平均兩種排列方式獲得與位置無關的偏好分數：

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

輪次偏好分數定義為 s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]，即策略輪次 yiy_i 相比於相同提示下的參考模型輪次更受偏好的機率。

用於偏好建模的訓練資料取自策劃過的開源資料集、用戶對比回饋及內部標註。為處理標籤雜訊，我們應用了一種受 Datbench（DatologyAI, 2026）啟發的輕量級篩選與校準流水線，僅保留具有跨模型一致同意的範例。獎勵模型與策略模型共享相同主幹，語言建模頭被替換為價值頭。雖然較小的獎勵模型也能達到相當的留出準確性，但經驗顯示它們無法捕捉細粒度的偏好，且可能強化不希望出現的策略行為。

效率懲罰

在缺乏明確效率整形的情況下，策略傾向於即使在簡單提示下也會過度使用工具。無條件懲罰（例如隨工具呼叫次數或輸出長度線性擴展的懲罰）是自然的基準，但我們發現它們會抑制必要的探索並降低學習效果。因此，我們採用 組相對錨定懲罰，將工具使用和回應長度與每個 GRPO 組內的有效解決方案進行正則化。對於一組 𝑔，我們定義優勝者集合如下：

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

錨定工具呼叫懲罰。 對於每個輪次 τi\tau_i，令 cic_i 表示工具呼叫次數，eie_i 表示工具執行失敗次數。我們定義有效工具呼叫次數 c~i=ci−ei\tilde{c}_i = c_i - e_i 並均勻採樣一組基準：

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

我們計算過量部分 Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)，並定義平滑懲罰純量 pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right)。工具懲罰定義為：

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

錨定長度懲罰。 令 LiL_i 和 LirefL_i^{\mathrm{ref}} 分別表示候選模型和參考模型生成的 token 長度。我們將 整形集合 W^g\widehat{W}_g 定義為既正確又受偏好的輪次：

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

然後我們計算組特定長度基準：

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

長度懲罰定義為：

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

其中第一行是硬性上限；第二行懲罰冗長的優勝者；第三行懲罰簡短的失敗者。

組合效率懲罰。 組合效率懲罰是兩個組分的加權和：

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

主要結果

我們沿兩個軸評估我們的後訓練流水線：(i) 訓練動態，用以評估優化穩定性以及獎勵訊號的行為是否符合預期，以及 (ii) 離線基準測試，用以在受控評估設定下衡量下游品質、安全性和效率。

預設訓練設定。 策略模型與網頁搜尋工具（search_web）互動；每次工具呼叫最多檢索 10 個結果，查詢長度限制為 250 個字元，每個輪次最多 5 個查詢。

訓練動態

我們檢視優化動態，重點關注獎勵進展與效率行為。為說明簡便，我們使用 Qwen3.5-397B-A11B。

訓練期間基準訊號與偏好訊號的演變。

圖 2 顯示基準獎勵（可驗證問答與準則滿足度）呈現穩定提升，同時偏好分數也隨之增加，顯示正確性、合規性與回應品質皆有持續成長。

訓練期間的效率行為與錨定整形懲罰。

圖 3 顯示工具呼叫頻率與生成長度在整個訓練過程中皆保持在受控範圍內。值得注意的是，工具呼叫懲罰與長度懲罰在訓練過程中單調遞減，反映出模型正逐漸適應更簡潔的生成與更具選擇性的工具調用。

優化穩定性指標。

圖 4 顯示梯度範數除短暫波動外保持穩定，而訓練與推理的 KL 散度呈現輕微上升趨勢，保持在 1e-3 的規模內。此漂移模式與其他 RL 訓練框架中的觀察結果一致；由於整個訓練過程保持穩定，我們在不進行額外干預的情況下保留等式 1 中的簡單 IS 正則化。

離線評估

我們報告了一系列基準測試的結果，涵蓋搜尋準確性、事實可靠性、指令遵循與安全性，包含公開基準與內部 Perplexity (PPLX) 指標。公開基準包括 SimpleQA、FRAMES 與 Facts Open。

  • pplx-sbs-search： 使用內部獎勵模型進行的對比（Side-by-side）偏好評估。候選對象與強大基準進行比較。
  • pplx-abstention： 在無法取得可靠證據時適當拒絕的能力。
  • pplx-language-mismatch： 長尾和多輪設定下的語言一致性。
  • pplx-broken-tool-calls (↓)： 工具呼叫架構合規性和約束遵循，例如 tool_choice=none。

預設評估設定。 對於公開基準，我們僅允許使用網頁搜尋工具，每個範例預算最多 5 次工具呼叫，每次呼叫最多 10 個結果，在溫度 0.6 下生成最多 8192 個輸出 token。

表 2 | 離線評估結果。括號中的數字表示平均工具使用率。我們將 Qwen3.5-397B-A17B 標記為 Qwen3.5-Large，Qwen3.5-122B-A10B 標記為 Qwen3.5-Medium。

表 2 顯示 Qwen3.5-Large-SFT-RL 在各公開基準測試中實現了強大的搜尋準確性，在 FRAMES 和 Facts Open 上匹配或超越了 gpt-5.4，同時使用相當的工具預算。相對於基礎模型，我們的方法在內部指標上取得了顯著提升，特別是在偏好（pplx-sbs-search: 0.602 → 0.742）、語言一致性和拒答能力方面，證明了兩階段流水線在不損害搜尋能力的前提下，有效提升了部署所需的關鍵行為。

工具使用效率評估

為了衡量這一點，我們設計了一項 預算限制 評估協定。每個模型皆可存取網頁搜尋工具（search_web）以及一個指定嚴格限制工具呼叫次數（「預算」）的系統提示。我們將此預算從 0（無工具使用，純參數化知識）調整到 10（豐富的多步驟檢索），並記錄每個層級的準確性。這產生了 工具效率曲線：模型的得分作為其獲准檢索預算的函數。我們在兩個事實問答基準 FRAMES 和 Facts Open 上進行評估。

基準準確性與最大工具呼叫次數對比。

從這兩個基準中可觀察到幾個顯著模式：

  • 我們後訓練的 Qwen3.5-397B-SFT-RL 在兩個基準上皆達到了最佳搜尋準確性。即使僅使用一次工具呼叫，它在 FRAMES 上得分為 57.3%，比 GPT-5.4 高出 5.7 個百分點，比 Sonnet 4.6 高出 4.7 個百分點。
    • 這種優勢在中等預算範圍 (b=2-7) 下最為顯著，這也是生產部署的實際操作範圍。
  • 我們的後訓練方案（SFT + RL）大幅提升了相比於基礎檢查點的工具使用效率；參見圖 5 中的實線（後訓練）與虛線（起始檢查點）。
  • 對於所有模型，我們觀察到預算約為 7 時邊際效應遞減，這在兩個基準和所有模型中皆一致，顯示這是事實搜尋任務本身的屬性，而非模型屬性。

上述結果顯示 Qwen3.5-397B-SFT-RL 以更少的工具呼叫實現了更高的準確性。但這如何轉化為實際成本？我們使用公開的 API 定價（阿里雲 DashScope、OpenAI、Anthropic）將 token 級別的測量結果轉換為美元成本，以使比較具體化。

單次查詢成本與準確性對比。

在中等配置（b=4）下，Qwen3.5-397B-SFT-RL 在 FRAMES 上得分為 73.9%，成本為每查詢 2.0 美分；而 GPT-5.4 得分為 67.8%，成本為 8.5 美分；Sonnet 4.6 得分為 62.4%，成本為 15.3 美分。相比 GPT-5.4，這意味著以 4 倍更低的成本獲得 +6 個百分點的準確性；相比 Sonnet 4.6，以 7.5 倍更低的成本獲得 +11.5 個百分點的準確性。

這些估算使用未啟用快取的列表 API 定價。透過內部推理優化（例如 KV 快取重用、前綴快取和量化 MoE 服務（397B 僅使用 17B 活動參數）），實際成本可降至遠低於列表 API 定價的水平。

結論

透過兩階段 SFT 和 RL 流水線將部署合規性與搜尋優化解耦，可獲得一個在生產限制下既具備能力又可靠的模型。可驗證問答與基於準則訓練資料的結合，連同門控獎勵聚合與錨定效率整形，使得在不犧牲搜尋準確性或護欄合規性的情況下實現穩定多目標優化成為可能。

有幾個研究方向值得進一步探討。正如圖 4 中所觀察到的，訓練與推理的 KL 散度在延長訓練步驟後呈現持續上升的漂移。雖然 token 級別的 IS 修正目前設定下證明有效，但這種效果在更大規模下是否依然保持尚不明確；對這種不匹配的更具原則性的理論處理（包含基礎設施層面的差異及架構特定因素，例如 MoE 路由），以及對緩解策略的定量經驗比較，仍然是一個重要的懸而未決的問題。對於多目標 RL 而言，有前途的路徑包括使用線上蒸餾的 順序訓練（Zeng 等人，2026），以分階段優化目標同時減輕災難性遺忘；以及模型合併（Fu 等人，2025；Yang 等人，2026），以將特定任務優化與能力聚合脫鉤。最後，擴展至具備長視界軌跡的實際多工具工作流程仍然是一項重要的開放挑戰，這可能需要更好的點數分配、部分輪次支援以及評估方式。

參考文獻

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, 2026 年 1 月。發表於 2026 年 1 月 6 日。存取於：2026-03-04。

J. Duchi 與 H. Namkoong. Variance-based regularization with convex objectives. arXiv 預印本 arXiv:1610.02581, 2016。

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, 與 X. Zhao. Training-free llm merging for multi-task learning. 收錄於第 63 屆計算語言學協會年會論文集（第 1 卷：長論文），頁 33111–33124, 2025。

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, 與 S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv 預印本 arXiv:2507.17746, 2025。

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, 與 Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion 部落格, 2025a。

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, 等人. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv 預印本 arXiv:2601.05242, 2026。

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, 與 H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv 預印本 arXiv:2510.07743, 2025b。

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, 與 Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv 預印本 arXiv:2509.10446, 2025。

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, 與 F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv 預印本 arXiv:2510.11370, 2025。

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, 與 T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv 預印本 arXiv:2506.01062, 2025。

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, 與 M. Lewis. Measuring and narrowing the compositionality gap in language models. 收錄於計算語言學協會會刊：EMNLP 2023, 頁 5687–5711, 2023。

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, 與 W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv 預印本 arXiv:2602.04879, 2026。

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, 等人. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv 預印本 arXiv:2402.03300, 2024。

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, 等人. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv 預印本 arXiv:2507.15061, 2025。

vLLM 與 TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, 2025 年 11 月. vLLM 部落格。

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, 與 F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, 等人. Qwen3 technical report. arXiv 預印本 arXiv:2505.09388, 2025。

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, 與 D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026。

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, 與 J. Gao. Your efficient rl framework secretly brings you off-policy rl training, 2025 年 8 月. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, 等人. Glm-5: from vibe coding to agentic engineering. arXiv 預印本 arXiv:2602.15763, 2026。

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, 等人. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv 預印本 arXiv:2512.01374, 2025a。

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, 等人. Group sequence policy optimization. arXiv 預印本 arXiv:2507.18071, 2025b。

引用

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}