Memajukan Model Bahasa yang Diperluas Pencarian

Melatih agen pencarian web frontier memerlukan pengoptimalan bersama beberapa tujuan: akurasi faktual, efisiensi lintasan, dan penyelarasan preferensi pengguna. Namun, meningkatkan salah satu dimensi secara terpisah sering kali menurunkan dimensi lainnya: model yang dilatih semata-mata untuk akurasi cenderung terlalu sering menggunakan alat, sementara model yang dioptimalkan untuk keringkasan mungkin mengorbankan keandalan atau kelengkapan. Di Perplexity, tidak ada hasil yang dapat diterima.

Artikel ini menjelaskan alur kerja pascapelatihan Perplexity untuk mengembangkan agen pencarian web canggih berbasis model sumber terbuka. Ide utamanya adalah bahwa dalam pelatihan agen pencarian, kurasi data dan desain penghargaan harus dirancang bersama: data menentukan perilaku mana yang dapat diamati dan diverifikasi, dan penghargaan menentukan bagaimana sinyal tersebut diterjemahkan ke dalam sinyal pengoptimalan. Prinsip ini memotivasi alur kerja dua tahap kami: kami pertama-tama melakukan pemanasan Fine-Tuning yang Disupervisi (SFT) untuk menginisialisasi model kebijakan, dan kemudian menyempurnakan model kebijakan menggunakan Pembelajaran Penguatan (RL) pada kumpulan data yang dikurasi dan penghargaan yang dirancang secara cermat. Pendekatan dua tahap ini memungkinkan peningkatan yang andal dalam akurasi, efisiensi, dan kualitas respons di bawah batasan produksi.

Kami terlebih dahulu menjelaskan alur kerja pelatihan dua tahap kami (SFT → RL on-policy), diikuti dengan konstruksi data pelatihan RL kami, yang mencakup QA agen pencarian yang dapat diverifikasi dan chat umum berbasis rubrik. Kami kemudian menyajikan desain penghargaan komposit yang berasal dari pengaturan data heterogen ini, menyeimbangkan kualitas dan efisiensi sambil memitigasi peretasan penghargaan. Terakhir, kami menganalisis dinamika pelatihan dan hasil tolok ukur.

Kami mengadopsi resep pascapelatihan dua tahap: (i) SFT untuk menetapkan perilaku yang sangat penting bagi penerapan seperti pembatasan (misalnya, abstensi), kepatuhan terhadap instruksi, dan konsistensi bahasa, dan (ii) RL on-policy untuk meningkatkan kemampuan pencarian, termasuk akurasi jawaban dan efisiensi penggunaan alat, sambil mempertahankan perilaku dari tahap pertama.

Mengapa dua tahap? Mengoptimalkan kualitas pencarian dan batasan penerapan secara bersamaan dalam satu tahap RL sulit dilakukan tanpa mengorbankan setidaknya satu tujuan. Secara empiris, pelatihan khusus RL meningkatkan kinerja pencarian tetapi cenderung berkinerja buruk pada pembatasan penerapan, sementara SFT meningkatkan kepatuhan dengan mengorbankan kinerja pencarian. Memisahkan tujuan memungkinkan tahap SFT untuk mengatasi persyaratan yang tidak dapat ditawar terlebih dahulu, setelah itu RL dapat berfokus terutama pada peningkatan kemampuan pencarian.

Kami melakukan inisialisasi dari keluarga model Qwen3 (Qwen3.5-122B-A10B dan Qwen3.5-397B-A17B) (Yang et al., 2025, post-blog Qwen3.5) dan membangun kumpulan data campuran SFT dua komponen yang menargetkan perilaku yang sangat penting bagi penerapan yang dijelaskan di atas, sambil mempertahankan kemampuan pencarian umum model dasar.

Contoh yang berorientasi pada preferensi. Kami mengurasi contoh yang berfokus pada kepatuhan instruksi dan gaya yang menargetkan nada, konsistensi bahasa, kejelasan, dan pemformatan. Contoh-contoh ini tidak harus mengakui kebenaran dasar yang unik; melainkan dipilih untuk mencerminkan persyaratan penulisan produk dan memastikan konsistensi gaya di berbagai jenis kueri.

Lintasan penggunaan alat berformat produksi. Secara empiris, kami menemukan bahwa SFT tanpa kurasi kumpulan data yang cermat dapat menurunkan kemampuan pencarian model dasar secara substansial. Untuk memitigasi hal ini, kami mengambil sampel kueri dan tugas internal di berbagai pola interaksi (satu, dua, dan banyak putaran) dan menganotasikannya dengan perangkat pemanggilan alat kami.

Berawal dari pos pemeriksaan SFT, kami menerapkan RL on-policy untuk meningkatkan akurasi dan efisiensi pencarian. Kami mengoptimalkan model kebijakan menggunakan Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

dengan $G$ adalah ukuran kelompok, $o_{i}$ menandakan keluaran sampel ke- $i$ , dan $\hat{A}_{i, t} = \hat{A}_{i}$ adalah keunggulan. Desain penghargaan dirinci di bagian desain penghargaan; secara singkat, kami menggabungkan kebenaran dasar dengan pembentukan efisiensi berbasis preferensi dan berakar. Mengikuti pekerjaan sebelumnya (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), kami menerapkan Importance Sampling (IS) tingkat token untuk memperbaiki ketidakcocokan pelatihan–inferensi:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Kami mengevaluasi beberapa pendekatan untuk memitigasi ketidakcocokan pelatihan-inferensi, termasuk IS tingkat urutan (Zheng et al., 2025b), pemutaran ulang perutean (Ma et al., 2025; Zheng et al., 2025b), dan pelatihan konsisten bitwise yang mengintegrasikan kernel mesin inferensi selama pelatihan (Tim vLLM dan TorchTitan, 2025). Secara empiris, di bawah pengaturan on-policy kami, kami menemukan bahwa IS tingkat token sudah cukup untuk mencegah keruntuhan pelatihan sekaligus tetap sederhana untuk diterapkan; ini konsisten dengan temuan dari Zheng et al (2025a).

Data pelatihan RL kami terdiri dari dua komponen yang saling melengkapi: QA agen pencarian yang dapat diverifikasi yang menargetkan kemampuan pencarian umum, dan chat umum berbasis rubrik yang secara eksplisit memperkuat pembatasan penerapan untuk mencegah regresi selama tahap pelatihan RL.

Konstruksi kumpulan data. Mengikuti metode ekspansi berurutan (Tao et al., 2025), kami membangun kumpulan data QA sintetis buatan sendiri dari kueri benih internal tanpa mengandalkan grafik pengetahuan yang dikurasi, menjaga alur kerja tetap ringan dan mudah diperbarui. Setiap contoh sintetis dihasilkan melalui langkah-langkah berikut:

Pemilihan benih. Kami mengambil dokumen untuk kueri benih dan memilih entitas dengan konfirmasi fakta multi-sumber sebagai titik awal, mengekstrak pernyataan atomik tentang entitas tersebut.
Konstruksi rantai multi-hop. Dari pernyataan entitas benih, kami memilih salah satu yang memperkenalkan entitas kedua (misalnya, untuk benih "The Mom Test", pernyataan "ditulis oleh Rob Fitzpatrick" memperkenalkan penulis sebagai entitas berikutnya). Kami mengulangi proses penautan ini 2–4 kali, memastikan setiap entitas berbeda dan tidak ada satu pernyataan tunggal pun yang secara sepele mengungkapkan jawaban akhir
Sintesis pertanyaan bebas nama. Kami mengubah rantai entitas menjadi sebuah pertanyaan dengan mengganti nama entitas secara rekursif dengan pernyataan penghubungnya, menghasilkan pertanyaan bertingkat yang memerlukan penalaran multi-hop
Verifikasi. Kami hanya mempertahankan pertanyaan dengan jawaban unik yang diverifikasi oleh beberapa pemecah masalah berkemampuan web independen.

Pertimbangkan kueri benih “The Mom Test”. Kami mengambil dokumen dan mengidentifikasi buku ini sebagai entitas benih, kemudian mengekstrak pernyataan faktual atomik dan secara iteratif membangun rantai entitas: (i) The Mom Test ditulis oleh Rob Fitzpatrick, memperkenalkan Rob Fitzpatrick; (ii) rintisan pertama Rob Fitzpatrick melalui Y Combinator (Musim Panas 2007), memperkenalkan Y Combinator; (iii) Y Combinator diluncurkan pada Maret 2005. Secara rekursif mengganti setiap nama entitas dengan deskriptornya menghasilkan pertanyaan bebas nama: “Buku manakah yang ditulis oleh orang yang rintisan pertamanya melalui akselerator yang diluncurkan pada Maret 2005, dalam kohort Musim Panas 2007?” dengan jawaban “The Mom Test”.

Augmentasi keragaman format. Model yang dilatih semata-mata pada QA sintetis mentah cenderung mengabaikan preferensi pemformatan dan menggunakan struktur respons tetap secara default, terlepas dari bagaimana kueri diutarakan. Untuk meningkatkan keragaman format, kami memperluas kumpulan data dengan kueri yang menyertakan instruksi pemformatan eksplisit (misalnya, “Tampilkan daftar . . . ” atau “Ringkas . . . dalam tabel”), sambil menjaga jawaban yang mendasarinya tetap tidak berubah.

QA publik yang dapat diverifikasi (dasar). Kami membangun kumpulan data QA dasar yang dapat diverifikasi dari lima kumpulan data sumber terbuka (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), yang disatukan di bawah format prompt yang diperluas dengan pemfilteran kualitas. Campuran ini berfungsi sebagai dasar utama dalam eksperimen validasi kami. Untuk perbandingan terkontrol, kami mencocokkan skala kumpulan data QA sintetis buatan sendiri dengan campuran sumber terbuka ini.

Validasi cepat. Kami memvalidasi efektivitas alur kerja ini menggunakan Qwen3-30B-A3B-Instruct-2507 untuk memungkinkan iterasi cepat; hasil dirangkum dalam Tabel 1.

Validasi Kumpulan Data QA Verifikasi Sintetis

Meskipun QA yang dapat diverifikasi menyediakan sinyal pelatihan yang bersih untuk kueri yang berpusat pada pencarian, sebagian besar lalu lintas produksi tidak dapat diverifikasi secara unik (misalnya, penulisan ulang, perencanaan, dan bantuan terbuka). Mengecualikan kueri semacam itu dari RL akan membuat kebijakan menjadi kurang teroptimasi untuk interaksi pengguna nyata. Selain itu, meskipun tahap SFT menetapkan pembatasan yang sangat penting bagi penerapan, RL dapat mengalami regresi pada pembatasan tersebut kecuali jika diperkuat secara eksplisit oleh data.

Kami memasukkan kueri yang tidak dapat diverifikasi ke dalam pelatihan RL dengan mengubah persyaratan yang sangat penting bagi penerapan—kepatuhan instruksi, batasan pemformatan, and konvensi keselamatan—menjadi rubrik: kriteria atomik dan dapat diperiksa secara objektif yang harus dipenuhi oleh respons. Kami mengadopsi konstruksi data berbasis rubrik (Gunjal et al., 2025; Liu et al., 2025b), menghasilkan rangkaian rubrik per kueri.

Pembuatan rubrik. Mengingat riwayat percakapan yang lengkap, kami meminta LLM untuk menghasilkan respons referensi dan rangkaian rubrik yang sesuai. Rubrik diturunkan di bawah urutan prioritas tetap: persyaratan yang dinyatakan secara eksplisit oleh pengguna didahulukan, diikuti oleh batasan internal, dan akhirnya persyaratan konten yang diperlukan yang disimpulkan dari respons referensi. Setiap rubrik harus:

Atomik: pemeriksaan tunggal yang terdefinisi dengan baik;
Objektif: dapat diverifikasi tanpa penilaian subjektif;
Diperlukan: wajib untuk menjawab kueri, bukan sekadar preferensi gaya.

Kueri.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrik.

Respons ditulis dalam bahasa Inggris.
Kata-kata yang dikoreksi berisi kata "lodging" dan "boarding".
Kata-kata yang dikoreksi menggunakan "manpower" sebagai satu kata (misalnya, "manpower plan" atau "manpower planning") alih-alih "man power".
Kata-kata yang dikoreksi tidak berisi token singkatan informal "u" atau "Plz", dan tidak berisi karakter ampersand "&".
Respons tidak berisi penanda sitasi dalam bentuk \\[type:idx\\], di mana type menandakan sumber data (misalnya, web, chart, memory, attached_file).

Kalibrasi rubrik. Untuk menghindari rangkaian rubrik yang terlalu ketat atau terlalu longgar, kami menerapkan filter pass@4. Untuk setiap kueri, kami mengambil sampel empat respons independen dan mengevaluasinya terhadap rangkaian rubrik lengkap dengan penilai kepatuhan instruksi. Kami membuang kueri yang tidak ada responsnya memenuhi rangkaian rubrik atau semua respons memenuhinya, dan hanya mempertahankan kueri yang menghasilkan sinyal pelatihan yang informatif.

Tantangan praktis dalam RL multi-tujuan adalah ketidakseimbangan varians di seluruh komponen data (Duchi dan Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Meskipun QA yang dapat diverifikasi dan data berbasis rubrik sama-sama menghasilkan penghargaan biner, keduanya sangat berbeda dalam tingkat kesulitan tugas: kepuasan rubrik umumnya lebih mudah dicapai di awal pelatihan, menghasilkan pembaruan gradien yang lebih besar dan lebih sering yang dapat mendominasi pengoptimalan kebijakan secara tidak proporsional relatif terhadap sinyal QA yang dapat diverifikasi yang lebih sulit. Untuk mengatasi hal ini, kami menimbang ulang campuran prompt pada tingkat kumpulan data, mengambil sampel 90% dari QA yang dapat diverifikasi dan 10% dari data berbasis rubrik untuk menyeimbangkan sinyal pengoptimalan di seluruh komponen.

Desain penghargaan kami mengikuti secara langsung dari konstruksi data yang dijelaskan di atas. Meskipun mencakup tugas QA yang dapat diverifikasi dan rubrik, semua data pelatihan memiliki struktur penghargaan dasar yang sama: rollout menerima kredit jika menghasilkan jawaban yang benar untuk tugas QA, atau memenuhi semua rubrik yang ditentukan untuk chat umum. Berdasarkan fondasi bersama ini, kami membangun penghargaan komposit untuk memasukkan penilaian berbasis preferensi dan pembentukan efisiensi.

Tantangan utama yang diamati pada eksperimen awal adalah peretasan penghargaan: kombinasi linear sederhana dari penghargaan memungkinkan sinyal preferensi yang kuat untuk mengompensasi kegagalan faktual atau instruksional. Oleh karena itu, kami mengadopsi agregasi berpagar sebagai prinsip desain inti, yang didefinisikan secara formal sebagai:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

dengan $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ menandakan kebenaran QA atau kepuasan rubrik, $s(\tau_i)\in[0,1]$ adalah skor preferensi, dan $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ adalah penalti efisiensi berakar. Hal ini menjadikan kebenaran sebagai kondisi yang diperlukan untuk menerima kredit preferensi, sekaligus tetap mencegah penggunaan alat dan bertele-tele yang tidak perlu. Gambar 1 mengilustrasikan alur kerja penghargaan lengkap, yang komponennya kami jelaskan di bawah ini:

Ikhtisar desain penghargaan. Kami menggabungkan sinyal kebenaran dasar (dapat diverifikasi/rubrik), skor preferensi Bradley–Terry, dan penalti efisiensi berakar. Preferensi dibatasi oleh kebenaran dasar untuk mencegah peretasan penghargaan.

Kami mendefinisikan sinyal dasar biner $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ yang menangkap kebenaran tugas atau kepatuhan instruksi. Untuk data agen pencarian yang dapat diverifikasi, $r_{\mathrm{base}}(\tau_i)=1$ jika jawaban akhir cocok dengan kebenaran dasar, dan $0$ jika tidak. Untuk data chat umum berbasis rubrik, $r_{\mathrm{base}}(\tau_i)=1$ jika semua rubrik terpenuhi, dan $0$ jika tidak. Dasar ini berfungsi sebagai gerbang keras dalam aturan agregasi bersyarat Persamaan 2.

Kami bertujuan menyelaraskan model kebijakan dengan preferensi laten pengguna terhadap kualitas respons—informatif, kejelasan, dan nada profesional—yang sulit ditangkap melalui prompt penilai LLM. Oleh karena itu, kami melatih model penghargaan preferensi yang dipelajari untuk menilai atribut-atribut ini secara langsung.

Kami memformulasikan pembelajaran preferensi di bawah kerangka kerja Bradley–Terry. Mengingat konteks $x$ dan dua kandidat respons $y_a, y_b$ , model menghasilkan skor skalar $s_{\theta}(x, y) \in \mathbb{R}$ dan meminimalkan,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

dengan $r \in \{0, 1\}$ menunjukkan apakah $y_a$ lebih disukai. Untuk menghilangkan bias posisi, setiap pasangan pelatihan diperluas dengan kedua urutan dan dioptimalkan secara simetris,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Pada saat inferensi, kami mendapatkan skor preferensi yang agnostik posisi dengan merata-ratakan kedua permutasi:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Skor preferensi rollout kemudian didefinisikan sebagai $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , yaitu probabilitas bahwa rollout kebijakan $y_i$ lebih disukai daripada rollout model referensi untuk prompt yang sama.

Data pelatihan untuk pemodelan preferensi diambil dari kumpulan data sumber terbuka yang dikurasi, umpan balik sisi-ke-sisi pengguna, dan anotasi internal. Untuk mengatasi gangguan label, kami menerapkan alur kerja pemfilteran dan kalibrasi ringan yang terinspirasi dari Datbench (DatologyAI, 2026), hanya mempertahankan contoh dengan kesepakatan antar-model yang konsisten. Model penghargaan berbagi tulang punggung yang sama dengan model kebijakan, dengan kepala pemodelan bahasa digantikan oleh kepala nilai. Meskipun model penghargaan yang lebih kecil mencapai akurasi tertahan yang sebanding, kami menemukan secara empiris bahwa model tersebut gagal menangkap preferensi berbutir halus dan dapat memperkuat perilaku kebijakan yang tidak diinginkan.

Jika tidak ada pembentukan efisiensi eksplisit, kebijakan cenderung terlalu sering menggunakan alat bahkan pada prompt sederhana. Penalti tanpa syarat (misalnya, penalti yang berskala secara linear dengan jumlah pemanggilan alat atau panjang keluaran) adalah dasar yang alami, tetapi kami menemukan penalti tersebut menekan eksplorasi yang diperlukan dan menurunkan pembelajaran. Oleh karena itu, kami mengadopsi penalti berbasis kelompok, berakar yang meregulasi penggunaan alat dan panjang respons relatif terhadap solusi efektif dalam setiap kelompok GRPO. Untuk kelompok 𝑔, kami mendefinisikan set pemenang sebagai:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Penalti pemanggilan alat berakar. Untuk setiap rollout $\tau_i$ , biarkan $c_i$ menandakan jumlah pemanggilan alat dan $e_i$ jumlah kegagalan eksekusi alat. Kami mendefinisikan jumlah pemanggilan alat yang efektif $\tilde{c}_i = c_i - e_i$ dan mengambil sampel dasar kelompok secara seragam:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Kami menghitung kelebihan $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ , dan mendefinisikan skalar penalti halus $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Penalti alat kemudian menjadi:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Penalti panjang berakar. Biarkan $L_i$ dan $L_i^{\mathrm{ref}}$ masing-masing menandakan panjang token dari generasi model kandidat dan referensi. Kami mendefinisikan set pembentuk $\widehat{W}_g$ sebagai rollout yang benar dan disukai:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Kami kemudian menghitung dasar panjang khusus kelompok:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Penalti panjang didefinisikan sebagai:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

dengan baris pertama adalah batas keras; baris kedua menghukum pemenang yang bertele-tele; dan baris ketiga menghukum pihak yang kalah yang terlalu singkat.

Penalti efisiensi gabungan. Penalti efisiensi gabungan adalah jumlah tertimbang dari kedua komponen:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Kami mengevaluasi alur kerja pascapelatihan kami sepanjang dua sumbu: (i) dinamika pelatihan, untuk menilai stabilitas pengoptimalan and apakah sinyal penghargaan berperilaku seperti yang diharapkan, dan (ii) tolok ukur offline, untuk mengukur kualitas hilir, keselamatan, dan efisiensi di bawah pengaturan evaluasi terkontrol.

Pengaturan pelatihan default. Model kebijakan berinteraksi dengan alat pencarian web (search_web); setiap pemanggilan alat mengambil hingga 10 hasil, dengan kueri dibatasi maksimal 250 karakter dan hingga 5 kueri per rollout.

Kami memeriksa dinamika pengoptimalan, dengan fokus pada perkembangan penghargaan dan perilaku efisiensi. Kami menggunakan Qwen3.5-397B-A11B untuk kesederhanaan ilustrasi.

Evolusi sinyal dasar dan preferensi selama pelatihan.

Gambar 2 menunjukkan peningkatan yang stabil pada penghargaan dasar (QA yang dapat diverifikasi dan kepuasan rubrik) di samping peningkatan skor preferensi, yang menunjukkan peningkatan yang konsisten dalam kebenaran, kepatuhan, dan kualitas respons.

Perilaku efisiensi dan penalti pembentukan berakar selama pelatihan.

Gambar 3 menunjukkan bahwa frekuensi pemanggilan alat dan panjang generasi tetap terkontrol dengan baik selama pelatihan. Yang perlu dicatat, penalti pemanggilan alat dan panjang menurun secara monoton selama kursus pelatihan, yang mencerminkan adaptasi progresif model menuju generasi yang lebih ringkas dan pemanggilan alat yang lebih selektif.

Gambar 4 menunjukkan bahwa norma gradien tetap stabil terlepas dari lonjakan sementara, sementara divergensi KL pelatihan-inferensi menunjukkan tren ke atas yang ringan, tetap berada dalam skala 1e-3. Pola drift ini konsisten dengan pengamatan pada kerangka kerja pelatihan RL lainnya; karena pelatihan tetap stabil secara menyeluruh, kami mempertahankan regularisasi IS sederhana dalam Persamaan 1 tanpa intervensi tambahan.

Kami melaporkan hasil pada rangkaian tolok ukur yang mencakup akurasi pencarian, keandalan faktual, kepatuhan instruksi, dan keselamatan, yang terdiri dari tolok ukur publik dan metrik internal Perplexity (PPLX). Tolok ukur publik meliputi SimpleQA, FRAMES, dan Facts Open.

pplx-sbs-search: Evaluasi preferensi sisi-demi-sisi menggunakan model penghargaan internal. Kandidat dibandingkan dengan baseline yang kuat.
pplx-abstention: Kemampuan untuk menolak dengan tepat ketika tidak ada bukti yang dapat diandalkan yang tersedia.
pplx-language-mismatch: Konsistensi bahasa di bawah pengaturan ekor panjang dan banyak putaran.
pplx-broken-tool-calls (↓): Kepatuhan skema pemanggilan alat dan kepatuhan batasan, misalnya, tool_choice=none.

Pengaturan evaluasi default. Untuk tolok ukur publik, kami hanya mengizinkan alat pencarian web, dengan anggaran hingga 5 pemanggilan alat per contoh dan hingga 10 hasil per pemanggilan, menghasilkan hingga 8192 token keluaran pada suhu 0.6.

Hasil evaluasi offline. Angka di dalam tanda kurung menunjukkan penggunaan alat rata-rata. Kami mencatat Qwen3.5-397B-A17B sebagai Qwen3.5-Large, dan Qwen3.5-122B-A10B sebagai Qwen3.5-Medium.

Tabel 2 menunjukkan bahwa Qwen3.5-Large-SFT-RL mencapai akurasi pencarian yang kuat di seluruh tolok ukur publik, mencocokkan atau melebihi gpt-5.4 pada FRAMES dan Facts Open sambil menggunakan anggaran alat yang sebanding. Relatif terhadap model dasar, pendekatan kami menghasilkan peningkatan substansial pada metrik internal, terutama pada preferensi (pplx-sbs-search: 0.602 → 0.742), konsistensi bahasa, dan abstensi, yang menunjukkan bahwa alur kerja dua tahap secara efektif meningkatkan perilaku yang sangat penting bagi penerapan tanpa mengorbankan kemampuan pencarian.

Untuk mengukur hal ini, kami merancang protokol evaluasi budget-forced. Setiap model diberikan akses ke alat pencarian web (search_web) and prompt sistem yang menentukan batas keras pada jumlah pemanggilan alat yang diizinkan ("anggaran"). Kami menyapu anggaran ini dari 0 (tidak ada penggunaan alat, pengetahuan parametrik murni) hingga 10 (pengambilan multi-langkah yang dermawan), mencatat akurasi di setiap tingkat. Ini menghasilkan kurva efisiensi alat: skor model sebagai fungsi dari anggaran pengambilan yang diizinkan. Kami mengevaluasi pada dua tolok ukur QA faktual, FRAMES dan Facts Open.

Akurasi Tolok Ukur vs Jumlah Maksimal Pemanggilan Alat.

Beberapa pola menonjol dari kedua tolok ukur ini:

Qwen3.5-397B-SFT-RL yang telah melalui pascapelatihan mencapai akurasi pencarian terbaik pada kedua tolok ukur. Bahkan dengan satu pemanggilan alat tunggal, model ini mencetak 57,3% pada FRAMES, 5,7 poin di atas GPT-5.4 dan 4,7 poin di atas Sonnet 4.6.
- Keuntungan tersebut paling jelas terlihat pada anggaran sedang (b=2-7), yang merupakan rentang operasional praktis untuk penerapan produksi.
Resep pascapelatihan kami (SFT + RL) secara substansial meningkatkan efisiensi penggunaan alat dibandingkan pos pemeriksaan dasar; lihat garis padat (pascapelatihan) vs. garis putus-putus (pos pemeriksaan awal) pada Gambar 5.
Untuk semua model, kami mengamati hasil yang semakin berkurang di sekitar anggaran=7, yang konsisten di dua tolok ukur dan semua model, menunjukkan bahwa hal tersebut adalah properti dari tugas pencarian kefaktualan daripada modelnya.

Hasil di atas menunjukkan bahwa Qwen3.5-397B-SFT-RL mencapai akurasi yang lebih tinggi dengan lebih sedikit pemanggilan alat. Namun, bagaimana ini diterjemahkan ke dalam biaya aktual? Kami mengonversi pengukuran tingkat token ke biaya dolar menggunakan harga API yang dipublikasikan (Alibaba DashScope, OpenAI, Anthropic) untuk membuat perbandingan menjadi konkret.

Pada profil menengah (b=4), Qwen3.5-397B-SFT-RL mencetak 73,9% pada FRAMES dengan 2,0 sen per kueri, sementara GPT-5.4 mencetak 67,8% dengan 8,5 sen dan Sonnet 4.6 mencetak 62,4% dengan 15,3 sen. Artinya peningkatan akurasi +6 poin pada biaya 4x lebih rendah dibandingkan GPT-5.4, dan +11,5 poin pada biaya 7,5x lebih rendah dibandingkan Sonnet 4.6.

Estimasi ini menggunakan harga daftar API tanpa penembolokan. Dengan pengoptimalan inferensi internal seperti penggunaan kembali cache KV, penembolokan prefiks, and penyajian MoE terkuantisasi (397B hanya menggunakan 17B parameter aktif), biaya efektif dapat dikurangi jauh di bawah harga daftar API.

Memisahkan kepatuhan penerapan dari pengoptimalan pencarian melalui alur kerja SFT dan RL dua tahap menghasilkan model yang mampu and andal di bawah batasan produksi. Kombinasi QA yang dapat diverifikasi dan data pelatihan berbasis rubrik, bersama dengan agregasi penghargaan berpagar dan pembentukan efisiensi berakar, memungkinkan pengoptimalan multi-tujuan yang stabil tanpa mengorbankan akurasi pencarian atau kepatuhan pembatasan.

Beberapa arah layak untuk diselidiki lebih lanjut. Sebagaimana diamati pada Gambar 4, divergensi KL pelatihan-inferensi menunjukkan tren naik yang persisten pada langkah pelatihan yang diperpanjang. Meskipun koreksi IS tingkat token terbukti cukup di bawah pengaturan kami saat ini, apakah hal ini tetap berlaku pada skala yang lebih besar masih belum jelas; perlakuan teoretis yang lebih berprinsip dari ketidakcocokan ini — mencakup perbedaan tingkat infrastruktur dan faktor spesifik arsitektur seperti perutean MoE — di samping perbandingan empiris kuantitatif dari strategi mitigasi, tetap menjadi pertanyaan terbuka yang penting. Khususnya untuk RL multi-tujuan, jalur yang menjanjikan meliputi pelatihan berurutan (Zeng et al., 2026) dengan distilasi on-policy untuk mengoptimalkan tujuan secara bertahap sekaligus memitigasi lupa katastrofik; and penggabungan model (Fu et al., 2025; Yang et al., 2026) untuk memisahkan pengoptimalan khusus tugas dari agregasi kemampuan. Terakhir, penskalaan ke alur kerja multi-alat yang realistis dengan lintasan berhorizon panjang tetap menjadi tantangan terbuka yang penting, yang kemungkinan besar memerlukan penetapan kredit yang lebih baik, dukungan untuk rollout parsial, dan evaluasi.

DatologyAI. Datbench: Evaluasi model visi-bahasa yang diskriminatif, setia, and efisien. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Dipublikasikan 6 Jan 2026. Diakses: 2026-03-04.

J. Duchi and H. Namkoong. Regularisasi berbasis varians dengan tujuan konveks. pracetak arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Penggabungan llm bebas pelatihan untuk pembelajaran multi-tugas. Dalam Prosiding Pertemuan Tahunan Association for Computational Linguistics ke-63 (Volume 1: Makalah Panjang), halaman 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrik sebagai penghargaan: Pembelajaran penguatan di luar domain yang dapat diverifikasi. pracetak arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. Ketika kecepatan membunuh stabilitas: Membongkar misteri keruntuhan rl dari ketidakcocokan pelatihan-inferensi. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Pengoptimalan kebijakan normalisasi terdekopling penghargaan grup untuk pengoptimalan rl multi-penghargaan. pracetak arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Menuju pembuatan rubrik sintetis yang dapat disesuaikan untuk pemodelan penghargaan dan penyelarasan llm. pracetak arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Memajukan agen pencarian mendalam dengan grafik pengetahuan dan rl banyak putaran. pracetak arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Menstabilkan pembelajaran penguatan moe dengan menyelaraskan perute pelatihan dan inferensi. pracetak arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Menaikkan standar penalaran dalam model bahasa yang diperluas pencarian. pracetak arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Mengukur dan mempersempit kesenjangan komposisionalitas dalam model bahasa. Dalam Temuan Association for Computational Linguistics: EMNLP 2023, halaman 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Memikirkan kembali wilayah kepercayaan dalam pembelajaran penguatan llm. pracetak arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Mendorong batas-batas penalaran matematis dalam model bahasa terbuka. pracetak arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Mensintesis data secara agen melalui formalisasi pencarian informasi. pracetak arXiv arXiv:2507.15061, 2025.

Tim vLLM dan TorchTitan. Tidak ada lagi ketidakcocokan pelatihan-inferensi: Pembelajaran penguatan on-policy yang konsisten bitwise dengan vLLM dan TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Menyukai tolok ukur llm dalam penelusuran web, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Laporan teknis Qwen3. pracetak arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Penggabungan model dalam llm, mllm, and seterusnya: Metode, teori, aplikasi, dan peluang. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Kerangka kerja rl efisien Anda secara diam-diam membawakan Anda pelatihan rl off-policy, Agt. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: dari coding vibe ke rekayasa agen. pracetak arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Menstabilkan pembelajaran penguatan dengan llm: Formulasi dan praktik. pracetak arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. pracetak arXiv arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Pendahuluan

Alur Kerja Pelatihan Dua Tahap

Tahap SFT

Tahap RL

Data Pelatihan RL

Data agen pencarian yang dapat diverifikasi

Contoh (3-hop)

Data chat umum berbasis rubrik

Contoh

Campuran prompt dan penyeimbangan varians

Desain penghargaan

Penghargaan dasar

Pemodelan preferensi

Penalti efisiensi

Hasil utama

Dinamika pelatihan

Evaluasi offline

Evaluasi Efisiensi Penggunaan Alat

Kesimpulan

Referensi

Sitasi