推進搜尋增強語言模型

訓練前沿的網絡搜尋代理需要共同優化多個目標：事實準確性、軌跡效率以及用戶偏好對齊。然而，單獨改善任何單一維度往往會損害其他維度：僅針對準確性訓練的模型往往會過度使用工具，而針對簡潔性優化的模型則可能會犧牲可靠性或完整性。在 Perplexity，這兩種結果都是不可接受的。

本文介紹了 Perplexity 用於基於開源模型開發先進網絡搜尋代理的後訓練流水線。一個核心理念是，在搜尋代理的訓練中，數據策劃與獎勵設計必須共同設計：數據決定了哪些行為是可觀察和可驗證的，而獎勵則決定了這些信號如何轉化為優化信號。這一原則促使我們採用兩階段流水線：我們首先進行監督微調 (SFT) 預熱以初始化策略模型，然後使用策劃的數據集和精心設計的獎勵，通過強化學習 (RL) 來精煉策略模型。這種兩階段方法能夠在生產環境的約束下，實現準確性、效率和回應質量的可靠提升。

我們首先描述我們的兩階段訓練流水線（SFT → 線上 RL），接著介紹我們的 RL 訓練數據構建，涵蓋可驗證的搜尋代理問答以及基於評分標準的一般聊天。然後，我們提出從這種異構數據設置中衍生出的複合獎勵設計，在平衡質量與效率的同時減輕獎勵駭客攻擊。最後，我們分析了訓練動態和基準測試結果。

我們採用兩階段後訓練方案：(i) SFT 以建立部署關鍵行為，例如防護欄（例如拒答）、指令遵循和語言一致性；(ii) 線上 RL 以提升搜尋能力（包括答案準確性和工具使用效率），同時保留第一階段的行為。

為什麼要分兩個階段？在單一 RL 階段中聯合優化搜尋質量和部署約束，是很難做到不損害至少其中一個目標的。從經驗來看，純 RL 訓練可以提升搜尋效能，但往往在部署防護欄上表現不佳，而 SFT 則以犧牲搜尋效能為代價來提升合規性。將這些目標解耦，能讓 SFT 階段首先解決不可協商的要求，之後 RL 就能主要專注於提升搜尋能力。

我們從 Qwen3 模型家族（Qwen3.5-122B-A10B 和 Qwen3.5-397B-A17B）（Yang 等人，2025 年，Qwen3.5 部落格文章）進行初始化，並構建一個雙組件 SFT 混合數據集，針對上述部署關鍵行為，同時保留基礎模型的通用搜尋能力。

偏好導向示例。我們策劃了針對語氣、語言一致性、清晰度和格式的指令遵循和風格化示例。這些示例不需要唯一的真實標準；相反地，它們的選取是為了反映產品寫作要求，並確保不同查詢類型之間的風格一致性。

生產格式工具使用軌跡。從經驗來看，我們發現沒有經過精心數據策劃的 SFT 會大幅降低基礎模型的搜尋能力。為了緩解這一問題，我們在各種互動模式（單輪、兩輪和多輪）中採樣查詢和內部任務，並使用我們的工具調用框架進行標註。

從 SFT 檢查點出發，我們應用線上 RL 來提升搜尋準確性和效率。我們使用群組相對策略優化 (GRPO)（Shao 等人，2024 年）來優化策略模型。

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

其中 $G$ 是群組的大小， $o_{i}$ 表示第 $i$ 個採樣輸出，而 $\hat{A}_{i, t} = \hat{A}_{i}$ 是優勢。獎勵設計在獎勵設計章節中有詳細說明；簡而言之，我們將基線正確性與基於偏好的塑造以及錨定效率塑造相結合。遵循先前的研究（Liu 等人，2025a；Yao 等人，2025 年；Zheng 等人，2025a），我們應用標記級重要性採樣 (IS) 來修正訓練與推論的錯配：

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

我們評估了多種用於減輕訓練與推論錯配的方法，包括序列級 IS（Zheng 等人，2025b）、路由重放（Ma 等人，2025 年；Zheng 等人，2025b），以及在訓練過程中整合推論引擎核心的位元組一致訓練（vLLM 與 TorchTitan團隊，2025 年）。從經驗來看，在我們的線上設置下，我們發現標記級 IS 足以防止訓練崩潰，同時實現起來也很簡單；這與 Zheng 等人 (2025a) 的研究結果一致。

我們的 RL 訓練數據包含兩個互補的組件：針對通用搜尋能力的可驗證搜尋代理問答，以及明確強化部署防護欄以防止在 RL 訓練階段出現退化的基於評分標準的一般聊天。

數據集構建。遵循序列擴展方法（Tao 等人，2025 年），我們從內部種子查詢中建構一個內部合成問答數據集，而不依賴策劃的知識圖譜，保持流水線輕量且易於更新。每個合成示例都是透過以下步驟生成的：

種子選擇。我們為種子查詢檢索文檔，並選擇具有多源事實確認的實體作為起點，提取關於它們的原子陳述。
多跳鏈構建。從種子實體的陳述中，我們選擇引入第二個實體的陳述（例如，對於種子「The Mom Test」，陳述「written by Rob Fitzpatrick」將作者引入作為下一個實體）。我們重複此鏈接過程 2-4 次，確保每個實體都是不同的，並且沒有單個陳述可以輕易地揭示最終答案。
無名稱問題合成。我們通過遞歸地用實體連接語句替換實體名稱，將實體鏈轉換為問題，從而產生需要多跳推理的嵌套問題。
驗證。我們僅保留經由多個獨立網路求解器驗證並具有唯一答案的問題。

考慮種子查詢「The Mom Test」。我們檢索文檔並將此書識別為種子實體，然後提取原子事實陳述並疊代構建實體鏈：(i) The Mom Test 由 Rob Fitzpatrick 撰寫，引出 Rob Fitzpatrick；(ii) Rob Fitzpatrick 的第一家新創公司經歷了 Y Combinator（2007 年夏季），引出 Y Combinator；(iii) Y Combinator 於 2005 年 3 月推出。遞歸地用其描述符替換每個實體名稱，得出無名稱問題：「在哪個梯隊於 2005 年 3 月推出的加速器中經歷了其第一家新創公司的個人所寫的書是哪一本，該梯隊為 2007 年夏季？」其答案為「The Mom Test」。

格式多樣性擴充。僅接受原始合成問答訓練的模型往往會忽略格式偏好，並預設使用固定的回應結構，無論查詢是如何表述的。為了提高格式多樣性，我們在數據集中添加包含明確格式說明的查詢（例如「顯示...的列表」或「將...總結成表格」），同時保持底層答案不變。

公共可驗證問答（基線）。我們從五個開源數據集（Lu 等人，2025 年；Pham 等人，2025 年；Press 等人，2023 年；Tao 等人，2025 年；Wu 等人，2025 年）中建構基準可驗證問答數據集，並在我們的擴充提示格式下進行統一與質量過濾。此混合數據集是我們驗證實驗中的主要基線。為了進行對照比較，我們將內部合成問答數據集的規模與此開源混合數據集進行匹配。

快速驗證。我們使用 Qwen3-30B-A3B-Instruct-2507 驗證此流水線的有效性以實現快速迭代；結果總結於表 1 中。

雖然可驗證問答為以搜尋為中心的查詢提供了清晰的訓練信號，但相當大一部分的生產流量是無法唯一驗證的（例如改寫、規劃和開放式協助）。將此類查詢從 RL 中排除將會導致策略在真實用戶互動方面的優化不足。此外，雖然 SFT 階段建立了部署關鍵的防護欄，但除非透過數據明確強化，否則 RL 可能會對這些防護欄產生退化。

我們將不可驗證的查詢納入 RL 訓練中，方法是將部署關鍵要求——指令遵循、格式約束和安全慣例——轉化為評分標準：即回應必須滿足的原子化、客觀可檢查的標準。我們採用基於評分標準的數據構建（Gunjal 等人，2025 年；Liu 等人，2025b），為每個查詢生成評分標準集。

評分標準生成。給定完整的對話歷史記錄，我們提示 LLM 生成參考回應和相應的評分標準集。評分標準是在固定的優先順序下推導出來的：用戶明確表述的要求優先，其次是內部約束，最後是從參考回應推斷出的必要內容要求。每個評分標準必須是：

原子化：單一、定義明確的檢查；
客觀：無需主觀判斷即可驗證；
必要：回答查詢所必需的，而不僅僅是風格偏好。

查詢。

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

評分標準。

回應是以英文寫成的。
修正後的用詞包含「lodging」和「boarding」這兩個詞。
修正後的用詞將「manpower」作為單個詞（例如「manpower plan」或「manpower planning」）使用，而不是「man power」。
修正後的用詞不包含非正式的簡寫符號「u」或「Plz」，並且不包含和號「&」。
回應不包含形如 \\[type:idx\\] 的引用標記，其中 type 表示數據源（例如 web、chart、memory、attached_file）。

評分標準校準。為了避免過於嚴格或過於寬鬆的評分標準集，我們應用 pass@4 過濾器。對於每個查詢，我們採樣四個獨立的回應，並使用指令遵循評判器對照完整的評分標準集進行評估。我們丟棄沒有回應滿足評分標準集或所有回應都滿足的查詢，僅保留能產生具資訊量訓練信號的查詢。

多目標 RL 中的一個實際挑戰是跨數據組件的變異不平衡（Duchi 與 Namkoong，2016 年；Liu 等人，2026 年；Qi 等人，2026 年）。儘管可驗證問答和基於評分標準的數據都會產生二元獎勵，但它們在任務難度上有很大差異：評分標準滿足度在訓練初期通常較容易達成，這會產生更大且更頻繁的梯度更新，相較於較難的可驗證問答信號，這些更新可能會不成比例地主導策略優化。為了解決這個問題，我們在數據集層級重新加權提示混合，從可驗證問答中採樣 90%，從基於評分標準的數據中採樣 10%，以平衡各組件之間的優化信號。

我們的獎勵設計直接源自上述數據構建。儘管橫跨可驗證問答和評分標準任務，所有訓練數據都共享一個共同的基線獎勵結構：如果生成了針對問答任務的正確答案，或者滿足了一般聊天的所有指定評分標準，則會獲得點數。在此共享基礎上，我們構建了一個複合獎勵，以納入基於偏好的評分和效率塑造。

在早期實驗中觀察到的關鍵挑戰是獎勵駭客攻擊：獎勵的簡單線性組合允許強烈的偏好信號來補償事實或指令上的失敗。因此，我們採用閘控聚合作為核心設計原則，正式定義如下：

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

其中 $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ 表示問答正確性或評分標準滿足度， $s(\tau_i)\in[0,1]$ 是偏好分數，而 $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ 是錨定效率懲罰。這使得正確性成為獲得偏好點數的必要條件，同時仍然阻止不必要的工具使用和冗長性。圖 1 說明了完整的獎勵流水線，其組件我們將在下面進行描述：

獎勵設計概述。我們結合了基線正確性信號（可驗證/評分標準）、Bradley-Terry 偏好分數以及錨定效率懲罰。偏好由基線正確性進行閘控，以防止獎勵駭客攻擊。

我們定義了一個二元基線信號，用以捕捉任務正確性或指令合規性。對於可驗證的搜尋代理數據，如果最終答案與真實標準相符，則為，否則為。對於基於評分標準的一般聊天數據，如果滿足所有評分標準，則為，否則為。此基線充當條件聚合規則（方程式 2）中的硬性閘門。 $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

我們旨在將政策模型與使用者對回應品質的潛在偏好對齊——包括資訊量、清晰度與專業語氣——這些偏好很難透過 LLM 評判提示來捕捉。因此，我們訓練一個學習式偏好獎勵模型，直接對這些屬性進行評分。

我們在 Bradley-Terry 框架下制定偏好學習。給定一個上下文 $x$ 和兩個候選回應 $y_a, y_b$ ，模型會產生純量分數 $s_{\theta}(x, y) \in \mathbb{R}$ 並進行最小化，

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

其中 $r \in \{0, 1\}$ 指示 $y_a$ 是否受偏好。為了消除位置偏差，每個訓練對都增加了兩種排序並進行對稱優化，

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

在推論時，我們通過平均這兩種排列來獲得與位置無關的偏好分數：

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

然後，將推出偏好分數定義為 $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ ，即在相同提示詞下，策略推出 $y_i$ 優於參考模型推出的機率。

用於偏好建模的訓練數據取自策劃的開源數據集、用戶端到端 (S2S) 回饋和內部標註。為了應對標籤噪聲，我們應用了一個受 Datbench（DatologyAI，2026 年）啟發的輕量級過濾和校準流水線，僅保留具有一致跨模型協議的示例。獎勵模型與策略模型共享相同的骨幹網路，並將語言建模頭替換為價值頭。雖然較小的獎勵模型能達到相當的保留準確性，但我們從經驗中發現，它們無法捕捉細粒度的偏好，並且可能會強化不良的策略行為。

在缺乏明確效率塑造的情況下，策略傾向於甚至在簡單的提示上也過度使用工具。無條件懲罰（例如與工具調用次數或輸出長度呈線性比例縮放的懲罰）是一個自然的基線，但我們發現它們會壓制必要的探索並損害學習。因此，我們採用群組相對的錨定懲罰，相對於每個 GRPO 群組內的有效解決方案來規範工具使用和回應長度。對於群組 𝑔，我們將贏家集合定義為：

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

錨定工具調用懲罰。對於每個生成結果 $\tau_i$ ，讓 $c_i$ 表示工具調用次數， $e_i$ 表示工具執行失敗次數。我們定義了有效工具調用次數 $\tilde{c}_i = c_i - e_i$ 並均勻採樣一個群組基線：

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

我們計算超出部分 $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ，並定義一個平滑的懲罰純量 $p_i = 1 - \exp\!\left(-\Delta_i\right)$ 。然後工具懲罰為：

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

錨定長度懲罰。讓 $L_i$ 和 $L_i^{\mathrm{ref}}$ 分別表示候選模型和參考模型生成的標記長度。我們將塑造集 $\widehat{W}_g$ 定義為既正確又受偏好的生成結果：

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

然後我們計算群組特定的長度基線：

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

長度懲罰定義為：

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

其中第一行是硬上限；第二行懲罰冗長的贏家；第三行懲罰簡短的輸家。

綜合效率懲罰。綜合效率懲罰是這兩個組件的加權和：

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

我們從兩個軸向評估我們的後訓練流水線：(i)訓練動態，以評估優化穩定性以及獎勵信號是否如預期般表現；(ii)離線基準測試，以在受控評估設置下衡量下游質量、安全性和效率。

預設訓練設置。策略模型與網頁搜尋工具（search_web）互動；每個工具調用最多检索 10 個結果，查詢上限為 250 個字符，每個生成結果最多 5 個查詢。

我們檢視優化動態，專注於獎勵進展和效率行為。為了說明上的簡便，我們使用 Qwen3.5-397B-A11B 。

圖 2 顯示了基線獎勵（可驗證問答和評分標準滿足度）的穩步提升，伴隨著不斷增加的偏好分數，表明正確性、合規性和回應質量取得了持續的增長。

圖 3 證明了工具調用頻率和生成長度在整個訓練過程中都得到了良好的控制。值得注意的是，工具調用懲罰和長度懲罰在訓練過程中都呈單調遞減，反映了模型朝著更簡潔的生成和更有選擇性的工具調用進行了漸進式適應。

圖 4 顯示，除了暫時的峰值外，梯度範數保持穩定，而訓練-推論 KL 散度表現出輕微的上升趨勢，保持在 1e-3 的規模內。這種漂移模式與其他 RL 訓練框架中的觀察結果一致；由於訓練在整個過程中保持穩定，我們在方程式 1 中保留了簡單的 IS 正則化，而無需進行額外的干預。

我們報告了一系列涵蓋搜尋準確性、事實可靠性、指令遵循和安全性的基準測試結果，其中包括公共基準測試和內部 Perplexity (PPLX) 指標。公共基準測試包括 SimpleQA、FRAMES 和 Facts Open。

pplx-sbs-search：使用內部獎勵模型的端對端 (SBS) 偏好評估。將候選者與強大的基線進行比較。
pplx-abstention：在沒有可用可靠證據時適當拒絕的能力。
pplx-language-mismatch：長尾和多輪設置下的語言一致性。
pplx-broken-tool-calls (↓)：工具調用架構合規性和約束遵循，例如 tool_choice=none。

預設評估設置。對於公共基準測試，我們僅允許網頁搜尋工具，每個示例的預算最多為 5 個工具調用，每個調用最多 10 個結果，在溫度 0.6 下生成最多 8192 個輸出標記。

離線評估結果。括號中的數字表示平均工具使用量。我們將 Qwen3.5-397B-A17B 記為 Qwen3.5-Large，將 Qwen3.5-122B-A10B 記為 Qwen3.5-Medium。

表 2 顯示 Qwen3.5-Large-SFT-RL 在公共基準測試中實現了強大的搜尋準確性，在使用相當的工具預算的情況下，在 FRAMES 和 Facts Open 上匹配或超越了 gpt-5.4。相較於基礎模型，我們的方法在內部指標上取得了顯著提升，特別是在偏好（pplx-sbs-search：0.602 → 0.742）、語言一致性和拒答方面，這證明了兩階段流水線在不損害搜尋能力的情況下，有效地改善了部署關鍵行為。

為了衡量這一點，我們設計了一個預算強制評估協議。每個模型都可使用一個網頁搜尋工具（search_web）和一個系統提示，其中明確指定允許的工具呼叫次數上限（「預算」）。我們將此預算從 0（不使用工具，純參數知識）掃描至 10（充裕的多步檢索），並記錄各個層級的準確率。這產生一條工具效率曲線：即模型分數作為其可使用檢索預算的函數。我們在兩個事實型 QA 基準測試 FRAMES 與 Facts Open 上進行評估。

從這兩個基準測試中突顯出幾個模式：

我們經過後訓練的 Qwen3.5-397B-SFT-RL 在這兩個基準測試上都實現了最佳的搜尋準確性。即使只有單次工具調用，它在 FRAMES 上的得分也達到 57.3%，比 GPT-5.4 高出 5.7 個百分點，比 Sonnet 4.6 高出 4.7 個百分點。
- 這種優勢在適度預算（b=2-7）下最為顯著，這也是生產部署的實際運作範圍。
我們的後訓練方案（SFT + RL）顯著提高了相較於基礎檢查點的工具使用效率；請參見圖 5 中的實線（後訓練）與虛線（起始檢查點）。
對於所有模型，我們觀察到在預算=7 附近收益遞減，這在兩個基準測試和所有模型中都是一致的，這表明這是尋求事實任務的一個屬性，而不是模型本身的屬性。

上面的結果表明，Qwen3.5-397B-SFT-RL 以更少的工具調用實現了更高的準確性。但这如何转化为實際成本？我們使用已發布的 API 定價（阿里雲百煉 DashScope、OpenAI、Anthropic）將標記級測量轉換為美元成本，使比較具體化。

在中等配置 (b=4) 下，Qwen3.5-397B-SFT-RL 在 FRAMES 上的得分为 73.9%，每查詢成本為 2.0 美分，而 GPT-5.4 的得分為 67.8%，成本為 8.5 美分，Sonnet 4.6 的得分為 62.4%，成本為 15.3 美分。與 GPT-5.4 相比，這相當於成本降低 4 倍的同時準確性提高了 +6 個百分點；與 Sonnet 4.6 相比，成本降低 7.5 倍的同時準確性提高了 +11.5 個百分點。

這些估算使用的是不含快取機制的公開 API 定價。藉由內部推論優化（例如 KV 快取重複使用、前綴快取和量化 MoE 服務（397B 僅使用 17B 活躍參數）），實際成本可以大幅低於公開 API 定價。

透過兩階段 SFT 和 RL 流水線將部署合規性與搜尋優化解耦，可以產出一個在生產約束下既具備能力又可靠的模型。可驗證問答和基於評分標準的訓練數據的結合，加上閘控獎勵聚合和錨定效率塑造，能夠在不犧牲搜尋準確性或防護欄合規性的情況下，實現穩定的多目標優化。

仍有幾個方向值得進一步研究。如圖 4 所示，訓練與推論之間的 KL 散度在延長訓練步數後呈現持續上升的趨勢。雖然在我們目前的設定下，token-level IS 校正已足夠，但在更大規模下是否仍然成立尚不清楚；對這種不匹配進行更有原則的理論處理——涵蓋基礎架構層級的差異以及 MoE routing 等架構特定因素——並輔以緩解策略的量化實證比較，仍是一個重要的未解問題。就多目標 RL 而言，具潛力的方向包括循序訓練（Zeng et al., 2026）搭配 on-policy distillation，以分階段優化目標並減輕災難性遺忘；以及模型合併（Fu et al., 2025；Yang et al., 2026），以將特定任務的優化與能力整合解耦。最後，擴展至具真實性的多工具工作流程與長時程軌跡仍是一項重要的開放挑戰，可能需要更好的信用分配、對部分 rollouts 的支援，以及評估。

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

引言

兩階段訓練流水線

SFT 階段

RL 階段

RL 訓練數據

可驗證的搜尋代理數據

示例（3 跳）

基於評分標準的一般聊天數據

示例

提示混合與變異平衡

獎勵設計

基線獎勵

偏好建模

效率懲罰

主要結果

訓練動態

離線評估

工具使用效率評估

結論

參考文獻

引用