Far avanzare i modelli linguistici aumentati dalla ricerca

L'addestramento di agenti di ricerca web all'avanguardia richiede l'ottimizzazione congiunta di obiettivi multipli: accuratezza fattuale, efficienza della traiettoria e allineamento alle preferenze dell'utente. Tuttavia, migliorare una singola dimensione in isolamento spesso ne degrada altre: i modelli addestrati esclusivamente per l'accuratezza tendono a abusare degli strumenti, mentre i modelli ottimizzati per la brevità possono sacrificare l'affidabilità o la completezza. Per Perplexity, nessuno dei due risultati è accettabile.

Questo articolo descrive la pipeline di post-addestramento di Perplexity per lo sviluppo di agenti di ricerca web all'avanguardia basati su modelli open source. Un'idea chiave è che, nell'addestramento degli agenti di ricerca, la cura dei dati e la progettazione delle ricompense debbano essere co-progettate: i dati determinano quali comportamenti siano osservabili e verificabili, e la ricompensa determina come tali segnali vengano tradotti in segnale di ottimizzazione. Questo principio motiva la nostra pipeline a due stadi: conduciamo innanzitutto un riscaldamento di Supervised Fine-Tuning (SFT) per inizializzare il modello di policy, e successivamente raffiniamo il modello di policy utilizzando l'apprendimento per rinforzo (RL) su un set di dati curato e ricompense attentamente progettate. Questo approccio a due stadi consente guadagni affidabili in accuratezza, efficienza e qualità della risposta in condizioni di produzione.

Descriviamo innanzitutto la nostra pipeline di addestramento a due stadi (SFT → on-policy RL), seguita dalla costruzione dei nostri dati di addestramento RL, coprendo sia le QA per agenti di ricerca verificabili che le chat generali basate su rubriche. Presentiamo quindi una progettazione di ricompensa composita derivata da questo contesto di dati eterogenei, bilanciando qualità ed efficienza mitigando al contempo l'hacking della ricompensa. Infine, analizziamo le dinamiche di addestramento e i risultati dei benchmark.

Adottiamo una ricetta di post-addestramento a due stadi: (i) SFT per stabilire comportamenti critici per la distribuzione come guardrail (es. astensione), rispetto delle istruzioni e coerenza linguistica, e (ii) on-policy RL per migliorare la capacità di ricerca, inclusa l'accuratezza della risposta e l'efficienza nell'uso degli strumenti, preservando al contempo i comportamenti del primo stadio.

Perché due stadi? L'ottimizzazione congiunta della qualità della ricerca e dei vincoli di distribuzione all'interno di un singolo stadio RL è difficile senza compromettere almeno un obiettivo. Empiricamente, l'addestramento solo RL migliora le prestazioni di ricerca ma tende a sottoperformare sui guardrail di distribuzione, mentre il SFT migliora la conformità a costo delle prestazioni di ricerca. Disaggregare gli obiettivi consente allo stadio SFT di affrontare innanzitutto i requisiti non negoziabili, dopo di che l'RL può concentrarsi principalmente sul miglioramento della capacità di ricerca.

Inizializziamo dalla famiglia di modelli Qwen3 (Qwen3.5-122B-A10B e Qwen3.5-397B-A17B) (Yang et al., 2025, post del blog Qwen3.5) e costruiamo un dataset misto SFT a due componenti che mira ai comportamenti critici per la distribuzione sopra descritti, preservando al contempo la capacità di ricerca generale del modello base.

Esempi orientati alle preferenze. Curiamo esempi focalizzati sul rispetto delle istruzioni e sullo stile, mirando al tono, alla coerenza linguistica, alla chiarezza e alla formattazione. Questi esempi non devono necessariamente ammettere una verità assoluta; piuttosto, sono selezionati per riflettere i requisiti di scrittura del prodotto e garantire coerenza stilistica attraverso diversi tipi di query.

Traiettorie di utilizzo degli strumenti in formato di produzione. Empiricamente, scopriamo che il SFT senza un'attenta cura del dataset può sostanzialmente degradare la capacità di ricerca del modello base. Per mitigare questo, campioniamo query e attività interne attraverso diversi pattern di interazione (turno singolo, doppio e multiplo) e le annotiamo con il nostro sistema di chiamata agli strumenti.

Partendo dal checkpoint SFT, applichiamo l'on-policy RL per migliorare l'accuratezza e l'efficienza della ricerca. Ottimizziamo il modello di policy utilizzando Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

dove $G$ è la dimensione del gruppo, $o_{i}$ denota la $i$ -esima uscita campionata e $\hat{A}_{i, t} = \hat{A}_{i}$ è il vantaggio. La progettazione della ricompensa è dettagliata nella sezione dedicata; in sintesi, combiniamo la correttezza di base con un shaping basato sulle preferenze e con uno shaping dell’efficienza ancorato. Seguendo lavori precedenti (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), applichiamo l’Importance Sampling (IS) a livello di token per correggere il disallineamento tra training e inferenza:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Valutiamo diversi approcci per mitigare il disallineamento tra addestramento e inferenza, inclusi IS a livello di sequenza (Zheng et al., 2025b), routing replay (Ma et al., 2025; Zheng et al., 2025b) e addestramento bitwise consistente che integra il kernel del motore di inferenza durante l'addestramento (Team vLLM e TorchTitan, 2025). Empiricamente, sotto la nostra impostazione on-policy, scopriamo che l'IS a livello di token è sufficiente per prevenire il collasso dell'addestramento rimanendo semplice da implementare; ciò è coerente con i risultati di Zheng et al (2025a).

I nostri dati di addestramento RL consistono in due componenti complementari: QA per agenti di ricerca verificabili che mira alla capacità di ricerca generale e chat generale basata su rubriche che rafforza esplicitamente i guardrail di distribuzione per prevenire la regressione durante lo stadio di addestramento RL.

Costruzione del dataset. Seguendo il metodo di espansione sequenziale (Tao et al., 2025), costruiamo internamente un dataset di QA sintetico da query seed interne senza fare affidamento su un knowledge graph curato, mantenendo la pipeline leggera e facile da aggiornare. Ogni esempio sintetico è generato tramite i seguenti passaggi:

Selezione del seed. Recuperiamo documenti per le query seed e selezioniamo entità con conferma dei fatti da fonti multiple come punti di partenza, estraendo affermazioni atomiche su di esse.
Costruzione di catene multi-hop. Dalle affermazioni dell'entità seed, ne selezioniamo una che introduce una seconda entità (es. per il seed “The Mom Test”, l'affermazione “scritto da Rob Fitzpatrick” introduce l'autore come l'entità successiva). Ripetiamo questo processo di collegamento 2-4 volte, assicurando che ogni entità sia distinta e che nessuna singola affermazione riveli banalmente la risposta finale
Sintesi di domande senza nome. Convertiamo la catena di entità in una domanda sostituendo ricorsivamente i nomi delle entità con le loro affermazioni di collegamento, producendo una domanda nidificata che richiede un ragionamento multi-hop
Verifica. Conserviamo solo domande con risposte univoche verificate da molteplici risolutori indipendenti abilitati al web.

Considera la query seed “The Mom Test”. Recuperiamo i documenti e identifichiamo questo libro come entità seed, quindi estraiamo affermazioni fattuali atomiche e costruiamo iterativamente una catena di entità: (i) The Mom Test è stato scritto da Rob Fitzpatrick, introducendo Rob Fitzpatrick; (ii) La prima startup di Rob Fitzpatrick ha attraversato Y Combinator (estate 2007), introducendo Y Combinator; (iii) Y Combinator è stato lanciato a marzo 2005. Sostituire ricorsivamente ogni nome di entità con il suo descrittore produce la domanda senza nome: “Quale libro è stato scritto dalla persona la cui prima startup ha attraversato l'acceleratore lanciato a marzo 2005, nella sua coorte dell'estate 2007?” con risposta “The Mom Test”.

Aumento della diversità di formato. I modelli addestrati esclusivamente su QA sintetico grezzo tendono a ignorare le preferenze di formattazione e a impostare una struttura di risposta fissa, indipendentemente da come viene formulata la query. Per migliorare la diversità di formato, aumentiamo il dataset con query che includono istruzioni di formattazione esplicite (es. “Mostra un elenco di . . . ” o “Riassumi . . . in una tabella”), mantenendo invariata la risposta sottostante.

QA verificabile pubblica (baseline). Costruiamo un dataset di QA verificabile di base da cinque dataset open source (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificati sotto il nostro formato di prompt aumentato con filtraggio di qualità. Questa miscela funge da baseline principale nei nostri esperimenti di validazione. Per confronti controllati, abbiniamo la scala del nostro dataset di QA sintetico interno a questa miscela open source.

Validazione rapida. Validiamo l'efficacia di questa pipeline utilizzando Qwen3-30B-A3B-Instruct-2507 per consentire un'iterazione rapida; i risultati sono riassunti nella Tabella 1.

Tabella 1 | Validazione del dataset di QA verificabile sintetico

Mentre la QA verificabile fornisce un segnale di addestramento pulito per query incentrate sulla ricerca, una frazione sostanziale del traffico di produzione non è univocamente verificabile (es. riscrittura, pianificazione e assistenza a risposta aperta). Escludere tali query dall'RL lascerebbe la policy sotto-ottimizzata per le interazioni reali degli utenti. Inoltre, mentre lo stadio SFT stabilisce guardrail critici per la distribuzione, l'RL può regredire su di essi a meno che non siano esplicitamente rafforzati dai dati.

Incorporiamo query non verificabili nell'addestramento RL convertendo i requisiti critici per la distribuzione (rispetto delle istruzioni, vincoli di formattazione e convenzioni di sicurezza) in rubriche: criteri atomici e oggettivamente controllabili che una risposta deve soddisfare. Adottiamo la costruzione di dati basata su rubriche (Gunjal et al., 2025; Liu et al., 2025b), generando set di rubriche per query.

Generazione di rubriche. Data l'intera cronologia della conversazione, chiediamo a un LLM di produrre una risposta di riferimento e un set di rubriche corrispondente. Le rubriche sono derivate sotto un ordine di precedenza fisso: i requisiti esplicitamente dichiarati dall'utente hanno la priorità, seguiti dai vincoli interni e infine dai requisiti di contenuto necessari dedotti dalla risposta di riferimento. Ogni rubrica deve essere:

Atomica: un singolo controllo ben definito;
Oggettiva: verificabile senza giudizio soggettivo;
Necessaria: richiesta per rispondere alla query, non solo una preferenza stilistica.

Query.

Lei condividerà u pianificazione della forza lavoro. Dobbiamo organizzare alloggio & vitto. Plz correggi la frase.

Rubriche.

La risposta è scritta in inglese.
La formulazione corretta contiene le parole "lodging" e "boarding".
La formulazione corretta utilizza "manpower" come parola singola (ad esempio, "manpower plan" o "manpower planning") anziché "man power".
La formulazione corretta non contiene i token informali "u" o "Plz", e non contiene il carattere e commerciale "&".
La risposta non contiene marcatori di citazione nella forma \\[tipo:idx\\], dove tipo denota una fonte di dati (ad esempio, web, chart, memory, attached_file).

Calibrazione della rubrica. Per evitare set di rubriche eccessivamente rigidi o permissivi, applichiamo un filtro pass@4. Per ogni query, campioniamo quattro risposte indipendenti e le valutiamo rispetto al set completo di rubriche con un giudice che segue le istruzioni. Scartiamo le query per le quali nessuna risposta soddisfa il set di rubriche o tutte lo fanno, conservando solo quelle che forniscono un segnale di addestramento informativo.

Una sfida pratica nell'RL multi-obiettivo è lo squilibrio della varianza tra le componenti dei dati (Duchi e Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Sebbene sia la QA verificabile che i dati basati su rubriche producano ricompense binarie, differiscono sostanzialmente nella difficoltà dell'attività: la soddisfazione della rubrica è generalmente più facile da raggiungere all'inizio dell'addestramento, producendo aggiornamenti del gradiente più ampi e frequenti che possono dominare in modo sproporzionato l'ottimizzazione della policy rispetto al segnale di QA verificabile più difficile. Per risolvere questo problema, riponderiamo la miscela di prompt a livello di dataset, campionando il 90% dalla QA verificabile e il 10% dai dati basati su rubriche per bilanciare il segnale di ottimizzazione tra le componenti.

La nostra progettazione della ricompensa segue direttamente dalla costruzione dei dati sopra descritta. Nonostante copra sia compiti di QA verificabile che di chat, tutti i dati di addestramento condividono una struttura di ricompensa di base comune: un rollout riceve crediti se produce una risposta corretta per i compiti di QA, o soddisfa tutte le rubriche specificate per la chat generale. Costruendo su questa base condivisa, costruiamo una ricompensa composita per incorporare il punteggio basato sulle preferenze e il modellamento dell'efficienza.

Una sfida chiave osservata nei primi esperimenti è stata l'hacking della ricompensa: una semplice combinazione lineare di ricompense ha permesso a forti segnali di preferenza di compensare fallimenti fattuali o istruttivi. Adottiamo quindi l'aggregazione gated come principio di progettazione fondamentale, formalmente definito come:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

dove $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denota la correttezza della QA o il soddisfacimento della rubric, $s(\tau_i)\in[0,1]$ è il punteggio di preferenza e $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ è una penalità di efficienza ancorata. Ciò rende la correttezza una condizione necessaria per ottenere il credito di preferenza, pur scoraggiando l’uso non necessario di strumenti e la verbosità. La Figura 1 illustra l’intera pipeline di ricompensa, i cui componenti descriviamo di seguito:

Panoramica della progettazione della ricompensa. Combiniamo un segnale di correttezza di base (verificabile/rubrica), un punteggio di preferenza Bradley-Terry e penalità di efficienza ancorate. La preferenza è regolata dalla correttezza di base per prevenire l'hacking della ricompensa.

Definiamo un segnale binario di base $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ che cattura la correttezza del compito o la conformità alle istruzioni. Per dati verificabili di search agent, $r_{\mathrm{base}}(\tau_i)=1$ se la risposta finale coincide con la verità di riferimento, e $0$ altrimenti. Per dati di general chat basati su rubric, $r_{\mathrm{base}}(\tau_i)=1$ se tutte le rubric sono soddisfatte, e $0$ altrimenti. Questa baseline funge da gate rigido nella regola di aggregazione condizionale dell’Eq. 2.

Miriamo ad allineare il modello di policy con le preferenze latenti degli utenti sulla qualità della risposta (informatività, chiarezza e tono professionale), che sono difficili da catturare tramite i prompt LLM-judge. Addestriamo quindi un modello di ricompensa di preferenza appreso per punteggiare direttamente questi attributi.

Formuliamo l’apprendimento delle preferenze nel framework di Bradley–Terry. Dato un contesto $x$ e due risposte candidate $y_a, y_b$ , il modello produce punteggi scalari $s_{\theta}(x, y) \in \mathbb{R}$ e minimizza,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

dove $r \in \{0, 1\}$ indica se $y_a$ è preferito. Per eliminare il bias posizionale, ogni coppia di training viene arricchita con entrambi gli ordinamenti e ottimizzata in modo simmetrico,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Al momento dell'inferenza, otteniamo un punteggio di preferenza posizionale-agnostico mediando entrambe le permutazioni:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Il punteggio di preferenza del rollout è quindi definito come $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , ossia la probabilità che il rollout della policy $y_i$ sia preferito al rollout del modello di riferimento per lo stesso prompt.

I dati di addestramento per la modellazione delle preferenze sono tratti da dataset open source curati, feedback utente side-by-side e annotazioni interne. Per affrontare il rumore nelle etichette, applichiamo una pipeline di filtraggio e calibrazione leggera ispirata a Datbench (DatologyAI, 2026), mantenendo solo esempi con un accordo cross-model coerente. Il modello di ricompensa condivide lo stesso backbone del modello di policy, con la testa di modellazione linguistica sostituita da una testa di valore. Sebbene modelli di ricompensa più piccoli ottengano un'accuratezza hold-out comparabile, scopriamo empiricamente che non riescono a catturare preferenze a grana fine e possono rafforzare comportamenti di policy indesiderati.

In assenza di un modellamento esplicito dell'efficienza, la policy tende ad abusare degli strumenti anche su prompt semplici. Le penalità incondizionate (es. quelle che scalano linearmente con il numero di chiamate agli strumenti o la lunghezza dell'output) sono una baseline naturale, ma scopriamo che sopprimono l'esplorazione necessaria e degradano l'apprendimento. Adottiamo quindi penalità ancorate e relative al gruppo che regolarizzano l'uso degli strumenti e la lunghezza della risposta rispetto a soluzioni efficaci all'interno di ciascun gruppo GRPO. Per un gruppo 𝑔, definiamo il set vincitore come:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Penalità ancorata per le chiamate agli strumenti. Per ogni rollout $\tau_i$ , sia $c_i$ il numero di chiamate agli strumenti e $e_i$ il numero di fallimenti nell’esecuzione degli strumenti. Definiamo il conteggio effettivo delle chiamate agli strumenti $\tilde{c}_i = c_i - e_i$ e campioniamo uniformemente una baseline di gruppo:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Calcoliamo l’eccesso $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ e definiamo uno scalare di penalità continuo $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . La penalità per gli strumenti è quindi:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Penalità ancorata per la lunghezza. Siano $L_i$ e $L_i^{\mathrm{ref}}$ le lunghezze in token delle generazioni del candidato e del modello di riferimento, rispettivamente. Definiamo l’insieme di shaping $\widehat{W}_g$ come i rollout che sono sia corretti sia preferiti:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Calcoliamo quindi le baseline di lunghezza specifiche per il gruppo:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

La penalità di lunghezza è definita come:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

dove la prima riga è un limite rigido; la seconda penalizza i vincitori prolissi; e la terza penalizza i perdenti sintetici.

Penalità di efficienza combinata. La penalità di efficienza combinata è una somma ponderata di entrambe le componenti:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Valutiamo la nostra pipeline di post-addestramento lungo due assi: (i) dinamiche di addestramento, per valutare la stabilità dell'ottimizzazione e se i segnali di ricompensa si comportano come previsto, e (ii) benchmark offline, per misurare la qualità a valle, la sicurezza e l'efficienza sotto impostazioni di valutazione controllate.

Impostazioni di addestramento predefinite. Il modello di policy interagisce con uno strumento di ricerca web (search_web); ogni chiamata allo strumento recupera fino a 10 risultati, con query limitate a 250 caratteri e fino a 5 query per rollout.

Esaminiamo le dinamiche di ottimizzazione, concentrandoci sulla progressione della ricompensa e sul comportamento dell'efficienza. Utilizziamo Qwen3.5-397B-A11B per semplicità di illustrazione.

Evoluzione dei segnali di base e di preferenza durante l'addestramento.

La Figura 2 mostra un miglioramento costante nella ricompensa di base (QA verificabile e soddisfazione della rubrica) insieme a punteggi di preferenza crescenti, indicando guadagni costanti in correttezza, conformità e qualità della risposta.

Comportamento dell'efficienza e penalità di modellamento ancorate durante l'addestramento.

La Figura 3 dimostra che sia la frequenza delle chiamate agli strumenti che la lunghezza della generazione rimangono ben controllate durante l'addestramento. In particolare, sia le penalità per le chiamate agli strumenti che quelle per la lunghezza diminuiscono monotonicamente nel corso dell'addestramento, riflettendo la progressiva adattabilità del modello verso una generazione più concisa e un'invocazione degli strumenti più selettiva.

Indicatori di stabilità dell'ottimizzazione.

La Figura 4 mostra che le norme del gradiente rimangono stabili a parte picchi transitori, mentre la divergenza KL tra addestramento e inferenza mostra una lieve tendenza al rialzo, rimanendo entro la scala 1e-3. Questo pattern di deriva è coerente con le osservazioni in altri framework di addestramento RL; poiché l'addestramento rimane stabile, manteniamo una semplice regolarizzazione IS nell'Eq. 1 senza ulteriori interventi.

Riportiamo i risultati su una suite di benchmark che coprono accuratezza della ricerca, affidabilità fattuale, rispetto delle istruzioni e sicurezza, comprendenti sia benchmark pubblici che metriche interne Perplexity (PPLX). I benchmark pubblici includono SimpleQA, FRAMES e Facts Open.

pplx-sbs-search: Valutazione delle preferenze side-by-side utilizzando un modello di ricompensa interno. I candidati vengono confrontati con una solida baseline.
pplx-abstention: Capacità di rifiutarsi appropriatamente quando non sono disponibili prove affidabili.
pplx-language-mismatch: Coerenza linguistica in impostazioni long-tail e multi-turno.
pplx-broken-tool-calls (↓): Conformità allo schema di chiamata agli strumenti e rispetto dei vincoli, ad esempio, tool_choice=none.

Impostazioni di valutazione predefinite. Per i benchmark pubblici, consentiamo solo lo strumento di ricerca web, con un budget fino a 5 chiamate agli strumenti per esempio e fino a 10 risultati per chiamata, generando fino a 8192 token di output a una temperatura di 0.6.

Tabella 2 | Risultati della valutazione offline. I numeri tra parentesi indicano l'utilizzo medio degli strumenti. Indichiamo Qwen3.5-397B-A17B come Qwen3.5-Large, e Qwen3.5-122B-A10B come Qwen3.5-Medium.

La Tabella 2 mostra che Qwen3.5-Large-SFT-RL raggiunge una forte accuratezza di ricerca attraverso i benchmark pubblici, eguagliando o superando gpt-5.4 su FRAMES e Facts Open pur utilizzando budget di strumenti comparabili. Rispetto al modello base, il nostro approccio produce guadagni sostanziali sulle metriche interne, in particolare sulla preferenza (pplx-sbs-search: 0.602 → 0.742), coerenza linguistica e astensione, dimostrando che la pipeline a due stadi migliora efficacemente i comportamenti critici per la distribuzione senza compromettere la capacità di ricerca.

Per misurarlo, progettiamo un protocollo di valutazione a budget forzato. Ogni modello ha accesso a uno strumento di ricerca web (search_web) e a un prompt di sistema che specifica un limite rigido al numero di chiamate agli strumenti consentite (il "budget"). Spazziamo questo budget da 0 (nessun uso dello strumento, pura conoscenza parametrica) a 10 (recupero multi-step generoso), registrando l'accuratezza a ogni livello. Questo produce una curva di efficienza dello strumento: il punteggio del modello in funzione del budget di recupero consentito. Valutiamo su due benchmark di QA fattuale, FRAMES e Facts Open.

Accuratezza del benchmark vs Numero massimo di chiamate agli strumenti.

Diversi pattern emergono da questi due benchmark:

Il nostro Qwen3.5-397B-SFT-RL post-addestrato ottiene la migliore accuratezza di ricerca su entrambi i benchmark. Anche con una singola chiamata allo strumento, ottiene il 57.3% su FRAMES, 5.7 punti sopra GPT-5.4 e 4.7 punti sopra Sonnet 4.6.
- Il vantaggio è più pronunciato a budget moderati (b=2-7), che rappresentano l'intervallo operativo pratico per le implementazioni in produzione.
La nostra ricetta di post-addestramento (SFT + RL) migliora sostanzialmente l'efficienza nell'uso degli strumenti rispetto al checkpoint di base; vedere le linee continue (post-addestrate) vs. linee tratteggiate (checkpoint iniziale) nella Figura 5.
Per tutti i modelli, osserviamo rendimenti decrescenti intorno a budget=7, coerenti attraverso due benchmark e tutti i modelli, suggerendo che si tratta di una proprietà delle attività di ricerca dei fatti piuttosto che dei modelli.

I risultati sopra mostrano che Qwen3.5-397B-SFT-RL ottiene un'accuratezza maggiore con meno chiamate agli strumenti. Ma come si traduce questo in costi effettivi? Convertiamo le misurazioni a livello di token in costi in dollari utilizzando i prezzi API pubblicati (Alibaba DashScope, OpenAI, Anthropic) per rendere il confronto concreto.

Al profilo medio (b=4), Qwen3.5-397B-SFT-RL ottiene il 73.9% su FRAMES a 2.0 centesimi per query, mentre GPT-5.4 ottiene il 67.8% a 8.5 centesimi e Sonnet 4.6 ottiene il 62.4% a 15.3 centesimi. Si tratta di +6 punti di accuratezza a un costo 4 volte inferiore rispetto a GPT-5.4, e +11.5 punti a un costo 7.5 volte inferiore rispetto a Sonnet 4.6.

Queste stime utilizzano i prezzi API di listino senza caching. Con ottimizzazioni dell'inferenza interna come il riutilizzo della cache KV, il prefisso di caching e il serving MoE quantizzato (397B utilizza solo 17B di parametri attivi), il costo effettivo può essere ridotto ben al di sotto dei prezzi API di listino.

Disaggregare la conformità alla distribuzione dall'ottimizzazione della ricerca tramite una pipeline SFT e RL a due stadi produce un modello che è sia capace che affidabile sotto vincoli di produzione. La combinazione di QA verificabile e dati di addestramento basati su rubriche, insieme all'aggregazione della ricompensa gated e al modellamento dell'efficienza ancorata, consente un'ottimizzazione multi-obiettivo stabile senza sacrificare l'accuratezza della ricerca o la conformità ai guardrail.

Diverse direzioni meritano ulteriori indagini. Come osservato nella Figura 4, la divergenza KL tra addestramento e inferenza mostra una persistente deriva al rialzo a step di addestramento estesi. Sebbene la correzione IS a livello di token si riveli sufficiente nella nostra attuale impostazione, non è chiaro se ciò rimanga vero su scala più ampia; un trattamento teorico più basato su principi di questo disallineamento — comprendente discrepanze a livello di infrastruttura e fattori specifici dell'architettura come il routing MoE — accanto a confronti empirici quantitativi delle strategie di mitigazione, rimane un'importante questione aperta. Specificamente per l'RL multi-obiettivo, percorsi promettenti includono l'addestramento sequenziale (Zeng et al., 2026) con distillazione on-policy per ottimizzare gli obiettivi a stadi mitigando al contempo l'oblio catastrofico; e il model merging (Fu et al., 2025; Yang et al., 2026) per disaccoppiare l'ottimizzazione specifica dell'attività dall'aggregazione delle capacità. Infine, scalare verso flussi di lavoro multi-strumento realistici con traiettorie a lungo orizzonte rimane un'importante sfida aperta, che probabilmente richiederà una migliore assegnazione dei crediti, supporto per rollout parziali e valutazioni.

DatologyAI. Datbench: Valutazioni di modelli di visione-linguaggio discriminative, fedeli ed efficienti. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Gen. 2026. Pubblicato il 6 Gen 2026. Accesso: 04-03-2026.

J. Duchi e H. Namkoong. Regolarizzazione basata sulla varianza con obiettivi convessi. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng e X. Zhao. Fusione LLM senza addestramento per l'apprendimento multi-task. In Atti del 63° Meeting Annuale dell'Association for Computational Linguistics (Volume 1: Articoli lunghi), pagine 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu e S. Hendryx. Rubriche come ricompense: Apprendimento per rinforzo oltre i domini verificabili. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu e Y. Shen. Quando la velocità uccide la stabilità: Demistificare il collasso dell'RL dal disallineamento addestramento-inferenza. Blog di Notion, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Ottimizzazione della policy di normalizzazione disaccoppiata dalla ricompensa di gruppo per l'ottimizzazione RL multi-ricompensa. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao e H. Wang. Openrubrics: Verso la generazione scalabile di rubriche sintetiche per la modellazione della ricompensa e l'allineamento LLM. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang e Y. Dong. Deepdive: Far avanzare gli agenti di ricerca profonda con knowledge graph e RL multi-turno. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui e F. Luo. Stabilizzare l'apprendimento per rinforzo MoE allineando i router di addestramento e inferenza. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng e T. Vu. Sealqa: Alzare l'asticella per il ragionamento nei modelli linguistici aumentati dalla ricerca. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith e M. Lewis. Misurare e restringere il divario di composizionalità nei modelli linguistici. In Findings of the Association for Computational Linguistics: EMNLP 2023, pagine 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin e W. S. Lee. Ripensare la regione di fiducia nell'apprendimento per rinforzo LLM. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Spingere i limiti del ragionamento matematico nei modelli linguistici aperti. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Sintesi dei dati agentica tramite formalizzazione della ricerca di informazioni. arXiv preprint arXiv:2507.15061, 2025.

Team vLLM e TorchTitan. Non più disallineamento addestramento-inferenza: Apprendimento per rinforzo on-policy bitwise consistente con vLLM e TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. Blog vLLM.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie e F. Huang. Webwalker: Benchmarking degli LLM nella navigazione web, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Rapporto tecnico Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang e D. Tao. Fusione di modelli in LLM, MLLM e oltre: Metodi, teorie, applicazioni e opportunità. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang e J. Gao. Il tuo framework RL efficiente ti porta segretamente all'addestramento RL off-policy, Ago. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: dal vibe coding all'ingegneria agentica. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizzare l'apprendimento per rinforzo con LLM: Formulazione e pratiche. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Ottimizzazione della policy di gruppo di sequenza. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}

Introduzione

Pipeline di addestramento a due stadi

Stadio SFT

Stadio RL

Dati di addestramento RL

Dati per agenti di ricerca verificabili

Esempio (3-hop)

Dati di chat generale basati su rubriche

Esempio

Miscela di prompt e bilanciamento della varianza

Progettazione della ricompensa

Ricompensa di base

Modellazione delle preferenze

Penalità di efficienza

Risultati principali

Dinamiche di addestramento

Valutazioni offline

Valutazioni dell'efficienza nell'uso degli strumenti

Conclusione

Riferimenti

Citazione