Fortschrittliche sucherweiterte Sprachmodelle

Einführung

Das Training modernster Websuch-Agenten erfordert die gleichzeitige Optimierung mehrerer Ziele: faktische Genauigkeit, Trajektorieneffizienz und Ausrichtung an Benutzerpräferenzen. Die isolierte Verbesserung einzelner Dimensionen führt jedoch häufig zur Verschlechterung anderer: Modelle, die ausschließlich auf Genauigkeit trainiert wurden, neigen dazu, Tools übermäßig zu verwenden, während auf Kürze optimierte Modelle möglicherweise Zuverlässigkeit oder Vollständigkeit opfern. Bei Perplexity ist keines dieser Ergebnisse akzeptabel.

Dieser Artikel beschreibt die Post-Training-Pipeline von Perplexity zur Entwicklung modernster Websuch-Agenten auf Basis von Open-Source-Modellen. Eine zentrale Erkenntnis ist, dass beim Training von Such-Agenten Datenkuration und Belohnungsdesign gemeinsam entwickelt werden müssen: Die Daten bestimmen, welche Verhaltensweisen beobachtbar und verifizierbar sind, und die Belohnung bestimmt, wie diese Signale in Optimierungssignale übersetzt werden. Dieses Prinzip motiviert unsere zweistufige Pipeline: Zunächst führen wir ein Supervised Fine-Tuning (SFT)-Warmup durch, um das Richtlinienmodell zu initialisieren, und verfeinern es anschließend mittels Reinforcement Learning (RL) anhand eines kuratierten Datensatzes und sorgfältig gestalteter Belohnungen. Dieser zweistufige Ansatz ermöglicht zuverlässige Fortschritte bei Genauigkeit, Effizienz und Antwortqualität unter produktionsrelevanten Rahmenbedingungen.

Wir beschreiben zunächst unsere zweistufige Trainings-Pipeline (SFT → On-Policy RL), gefolgt von der Konstruktion unserer RL-Trainingsdaten, die sowohl verifizierbare QA für Such-Agenten als auch rubrikbasierten allgemeinen Chat abdecken. Anschließend präsentieren wir ein zusammengesetztes Belohnungsdesign, das auf diesen heterogenen Daten basiert und Qualität sowie Effizienz ausbalanciert, während gleichzeitig Belohnungs-Hacking minimiert wird. Abschließend analysieren wir die Trainingsdynamik und Benchmarkergebnisse.

Zweistufige Trainings-Pipeline

Wir verfolgen ein zweistufiges Post-Training-Rezept: (i) SFT zur Etablierung einsatzkritischer Verhaltensweisen wie Sicherheitsvorkehrungen (z. B. Enthaltung), Befolgung von Anweisungen und sprachliche Konsistenz sowie (ii) On-Policy RL zur Verbesserung der Suchfähigkeit, einschließlich Antwortgenauigkeit und Effizienz bei der Tool-Nutzung, während die Verhaltensweisen aus der ersten Stufe beibehalten werden.

Warum zwei Stufen? Die gleichzeitige Optimierung von Suchqualität und Einsatzbeschränkungen innerhalb einer einzigen RL-Stufe ist schwierig, ohne mindestens ein Ziel zu gefährden. Empirisch verbessert ein reines RL-Training die Suchleistung, schneidet jedoch bei den Sicherheitsvorkehrungen tendenziell schlechter ab, während SFT die Compliance auf Kosten der Suchleistung verbessert. Durch die Entkopplung der Ziele kann die SFT-Stufe zunächst nicht verhandelbare Anforderungen adressieren, wonach sich das RL hauptsächlich auf die Verbesserung der Suchfähigkeit konzentrieren kann.

SFT-Stufe

Wir initialisieren auf Basis der Qwen3-Modellfamilie (Qwen3.5-122B-A10B und Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5-Blogbeitrag) und erstellen einen zweikomponentigen SFT-Mischdatensatz, der auf die oben beschriebenen einsatzkritischen Verhaltensweisen abzielt, während die allgemeine Suchfähigkeit des Basismodells erhalten bleibt.

Präferenzorientierte Beispiele. Wir kuratieren Beispiele, die auf Befolgung von Anweisungen und Stil fokussieren, und zielen auf Tonfall, sprachliche Konsistenz, Klarheit und Formatierung ab. Diese Beispiele müssen keine eindeutige Grundwahrheit besitzen; sie werden vielmehr so ausgewählt, dass sie Produktanforderungen widerspiegeln und eine stilistische Konsistenz über verschiedene Abfragetypen hinweg gewährleisten.

Tool-Nutzungstrajektorien im Produktionsformat. Empirisch stellen wir fest, dass SFT ohne sorgfältige Datensatzkuration die Suchfähigkeit des Basismodells erheblich verschlechtern kann. Um dies abzumildern, nehmen wir Stichproben von Abfragen und internen Aufgaben über verschiedene Interaktionsmuster hinweg (ein-, zwei- und mehrstufig) und annotieren diese mit unserem Tool-Aufruf-System.

RL-Stufe

Ausgehend vom SFT-Checkpoint wenden wir On-Policy RL an, um Suchgenauigkeit und Effizienz zu verbessern. Wir optimieren das Richtlinienmodell mittels Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

wobei $G$ die Größe der Gruppe ist, $o_{i}$ die $i$-te gesampelte Ausgabe bezeichnet und $\hat{A}_{i, t} = \hat{A}_{i}$ der Vorteil ist. Das Reward-Design wird im Abschnitt zum Reward-Design detailliert beschrieben; kurz gesagt, kombinieren wir Baseline-Korrektheit mit präferenzbasierter und verankerter Effizienz-Shaping. In Anlehnung an frühere Arbeiten (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) wenden wir Token-Level-Importance-Sampling (IS) an, um das Training-Inference-Mismatch zu korrigieren:

Wir bewerten verschiedene Ansätze zur Minderung der Diskrepanz zwischen Training und Inferenz, darunter IS auf Sequenzebene (Zheng et al., 2025b), Routing-Replay (Ma et al., 2025; Zheng et al., 2025b) und bitweise konsistentes Training, das den Kernel der Inferenz-Engine während des Trainings integriert (vLLM and TorchTitan Teams, 2025). Empirisch stellen wir unter unseren On-Policy-Rahmenbedingungen fest, dass IS auf Token-Ebene ausreicht, um Trainingskollaps zu verhindern und gleichzeitig einfach zu implementieren ist; dies steht im Einklang mit den Ergebnissen von Zheng et al (2025a).

RL-Trainingsdaten

Unsere RL-Trainingsdaten bestehen aus zwei komplementären Komponenten: verifizierbare QA für Such-Agenten, die auf die allgemeine Suchfähigkeit abzielt, und rubrikbasierter allgemeiner Chat, der explizit die einsatzkritischen Sicherheitsvorkehrungen verstärkt, um Regressionen während der RL-Trainingsphase zu verhindern.

Verifizierbare Daten für Such-Agenten

Konstruktion des Datensatzes. In Anlehnung an die Methode der sequentiellen Erweiterung (Tao et al., 2025) erstellen wir einen internen synthetischen QA-Datensatz aus internen Seed-Abfragen, ohne auf einen kuratierten Wissensgraphen angewiesen zu sein, wodurch die Pipeline leichtgewichtig und einfach zu aktualisieren bleibt. Jedes synthetische Beispiel wird durch die folgenden Schritte generiert:

1. Auswahl der Seeds. Wir rufen Dokumente für Seed-Abfragen ab und wählen Entitäten mit einer durch mehrere Quellen bestätigten Faktenbasis als Startpunkte aus, aus denen wir atomare Aussagen über diese extrahieren.
2. Konstruktion der Multi-Hop-Kette. Aus den Aussagen der Seed-Entität wählen wir eine aus, die eine zweite Entität einführt (z. B. für den Seed „The Mom Test“ führt die Aussage „geschrieben von Rob Fitzpatrick“ den Autor als nächste Entität ein). Wir wiederholen diesen Verknüpfungsprozess 2–4 Mal und stellen sicher, dass jede Entität unterscheidbar ist und dass keine einzelne Aussage trivialerweise die endgültige Antwort offenbart
3. Namensfreie Synthese von Fragen. Wir konvertieren die Entitätenkette in eine Frage, indem wir Entitätsnamen rekursiv durch ihre verbindenden Aussagen ersetzen, was eine verschachtelte Frage erzeugt, die mehrstufiges logisches Denken erfordert
4. Verifizierung. Wir behalten nur Fragen mit eindeutigen Antworten bei, die von mehreren unabhängigen webfähigen Solvern verifiziert wurden.

Beispiel (3-Hop)

Betrachten Sie die Seed-Abfrage „The Mom Test“. Wir rufen Dokumente ab und identifizieren dieses Buch als die Seed-Entität, extrahieren dann atomare faktische Aussagen und bauen iterativ eine Entitätenkette auf: (i) The Mom Test wurde von Rob Fitzpatrick geschrieben, wodurch Rob Fitzpatrick eingeführt wird; (ii) Rob Fitzpatricks erstes Startup durchlief Y Combinator (Sommer 2007), wodurch Y Combinator eingeführt wird; (iii) Y Combinator wurde im März 2005 gestartet. Das rekursive Ersetzen jedes Entitätsnamens durch seinen Deskriptor ergibt die namensfreie Frage: „Welches Buch wurde von der Person geschrieben, deren erstes Startup den im März 2005 gestarteten Accelerator in seinem Kohortendurchgang Sommer 2007 durchlief?“ mit der Antwort „The Mom Test“.

Augmentierung der Formatvielfalt. Modelle, die ausschließlich mit rohen synthetischen QA-Daten trainiert wurden, neigen dazu, Formatierungspräferenzen zu ignorieren und standardmäßig eine feste Antwortstruktur zu verwenden, unabhängig von der Formulierung der Abfrage. Um die Formatvielfalt zu verbessern, augmentieren wir den Datensatz mit Abfragen, die explizite Formatierungsanweisungen enthalten (z. B. „Zeige eine Liste von . . . “ oder „Fasse . . . in einer Tabelle zusammen“), während die zugrunde liegende Antwort unverändert bleibt.

Öffentliche verifizierbare QA (Baseline). Wir konstruieren einen verifizierbaren QA-Baseline-Datensatz aus fünf Open-Source-Datensätzen (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), die unter unserem erweiterten Prompt-Format mit Qualitätsfilterung vereinheitlicht wurden. Diese Mischung dient als primäre Baseline in unseren Validierungsexperimenten. Für kontrollierte Vergleiche passen wir den Umfang unseres internen synthetischen QA-Datensatzes an diese Open-Source-Mischung an.

Schnelle Validierung. Wir validieren die Effektivität dieser Pipeline unter Verwendung von Qwen3-30B-A3B-Instruct-2507, um eine schnelle Iteration zu ermöglichen; die Ergebnisse sind in Tabelle 1 zusammengefasst.

Vergrößern

Rubrikbasierte allgemeine Chat-Daten

Während verifizierbare QA ein sauberes Trainingssignal für suchzentrierte Abfragen liefert, ist ein erheblicher Teil des Produktionsdatenverkehrs nicht eindeutig verifizierbar (z. B. Umschreiben, Planen und ergebnisoffene Unterstützung). Der Ausschluss solcher Abfragen vom RL würde dazu führen, dass die Richtlinie für echte Benutzerinteraktionen suboptimal bleibt. Zudem kann das RL, auch wenn die SFT-Stufe einsatzkritische Sicherheitsvorkehrungen etabliert, bei diesen regressiv wirken, es sei denn, sie werden explizit durch die Daten verstärkt.

Wir integrieren nicht-verifizierbare Abfragen in das RL-Training, indem wir einsatzkritische Anforderungen – Befolgung von Anweisungen, Formatierungsbeschränkungen und Sicherheitskonventionen – in Rubriken umwandeln: atomare, objektiv überprüfbare Kriterien, die eine Antwort erfüllen muss. Wir übernehmen die rubrikbasierte Datenkonstruktion (Gunjal et al., 2025; Liu et al., 2025b) und generieren Rubrik-Sets pro Abfrage.

Generierung von Rubriken. Angesichts der vollständigen Gesprächshistorie fordern wir ein LLM auf, eine Referenzantwort und ein entsprechendes Rubrik-Set zu erstellen. Die Rubriken werden nach einer festen Rangfolge abgeleitet: Anforderungen, die explizit vom Benutzer genannt wurden, haben Priorität, gefolgt von internen Beschränkungen und schließlich notwendigen inhaltlichen Anforderungen, die aus der Referenzantwort abgeleitet wurden. Jede Rubrik muss sein:

• Atomar: eine einzelne, klar definierte Überprüfung;
• Objektiv: verifizierbar ohne subjektive Bewertung;
• Notwendig: erforderlich zur Beantwortung der Abfrage, nicht bloß eine stilistische Präferenz.

Beispiel

Abfrage.

Sie wird unsere Personalplanung teilen. Wir müssen Unterkunft & Verpflegung arrangieren. Bitte Satz korrigieren.

Rubriken.

• Die Antwort ist in englischer Sprache verfasst.
• Die korrigierte Formulierung enthält die Wörter "lodging" und "boarding".
• Die korrigierte Formulierung verwendet "manpower" als ein Wort (z. B. "manpower plan" oder "manpower planning") anstelle von "man power".
• Die korrigierte Formulierung enthält nicht die informellen Abkürzungen "u" oder "Plz", und sie enthält nicht das kaufmännische Und-Zeichen "&".
• Die Antwort enthält keine Zitiermarkierungen der Form \\[type:idx\\], wobei type eine Datenquelle bezeichnet (z. B. web, chart, memory, attached_file).

Kalibrierung der Rubriken. Um allzu strenge oder nachsichtige Rubrik-Sets zu vermeiden, wenden wir einen pass@4-Filter an. Für jede Abfrage nehmen wir vier unabhängige Antwortproben und bewerten diese anhand des vollständigen Rubrik-Sets mit einem Richter zur Befolgung von Anweisungen. Wir verwerfen Abfragen, für die keine Antwort das Rubrik-Set erfüllt oder für die alle Antworten es tun, und behalten nur solche bei, die ein informatives Trainingssignal liefern.

Prompt-Mischung und Varianz-Balancierung

Eine praktische Herausforderung bei der Multi-Objektiv-RL ist das Varianz-Ungleichgewicht über die Datenkomponenten hinweg (Duchi und Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Obwohl sowohl verifizierbare QA als auch rubrikbasierte Daten binäre Belohnungen liefern, unterscheiden sie sich erheblich in der Aufgabenkomplexität: Rubrik-Erfüllung ist zu Beginn des Trainings im Allgemeinen einfacher zu erreichen, was zu größeren und häufigeren Gradienten-Updates führt, die die Richtlinienoptimierung im Verhältnis zum schwierigeren verifizierbaren QA-Signal unverhältnismäßig dominieren können. Um dies zu adressieren, gewichten wir die Prompt-Mischung auf Datensatzebene neu und ziehen 90 % aus verifizierbarer QA und 10 % aus rubrikbasierten Daten, um das Optimierungssignal über die Komponenten hinweg auszubalancieren.

Belohnungsdesign

Unser Belohnungsdesign folgt direkt aus der oben beschriebenen Datenkonstruktion. Trotz der Abdeckung von sowohl verifizierbarer QA als auch Rubrikaufgaben teilen alle Trainingsdaten eine gemeinsame Basis-Belohnungsstruktur: ein Rollout erhält Credits, wenn es eine korrekte Antwort für QA-Aufgaben liefert oder alle spezifizierten Rubriken für den allgemeinen Chat erfüllt. Aufbauend auf diesem gemeinsamen Fundament konstruieren wir eine zusammengesetzte Belohnung, um präferenzbasiertes Scoring und Effizienzgestaltung zu integrieren.

Eine zentrale Herausforderung in frühen Experimenten war Belohnungs-Hacking: Eine einfache lineare Kombination von Belohnungen ermöglichte es, dass starke Präferenzsignale faktische oder instruktive Fehler kompensierten. Wir übernehmen daher Gated Aggregation als zentrales Designprinzip, das formal definiert ist als:

wobei $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA-Korrektheit oder Erfüllung der Rubrik bezeichnet, $s(\tau_i)\in[0,1]$ der Präferenzscore ist und $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ eine verankerte Effizienzwirksamkeit ist. Dadurch wird Korrektheit zu einer notwendigen Bedingung für den Erhalt von Präferenzpunkten, während gleichzeitig unnötige Tool-Nutzung und Redseligkeit weiterhin abgeschwächt werden. Abbildung 1 veranschaulicht die vollständige Reward-Pipeline, deren Komponenten wir im Folgenden beschreiben:

Vergrößern

Basis-Belohnung

Wir definieren ein binäres Baseline-Signal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$, das Aufgaben-Korrektheit oder Instruktionsbefolgung erfasst. Für verifizierbare Search-Agent-Daten gilt $r_{\mathrm{base}}(\tau_i)=1$, wenn die finale Antwort mit der Ground Truth übereinstimmt, und $0$ andernfalls. Für rubrikbasierte allgemeine Chat-Daten gilt $r_{\mathrm{base}}(\tau_i)=1$, wenn alle Rubriken erfüllt sind, und $0$ andernfalls. Diese Baseline dient als harte Gate in der bedingten Aggregationsregel Gl. 2.

Präferenzmodellierung

Unser Ziel ist es, das Richtlinienmodell auf die latenten Präferenzen der Benutzer hinsichtlich der Antwortqualität auszurichten – Informativität, Klarheit und professioneller Ton –, die durch LLM-Richter-Prompts nur schwer zu erfassen sind. Wir trainieren daher ein gelerntes Präferenz-Belohnungsmodell, um diese Attribute direkt zu bewerten.

Wir formulieren Präferenzlernen im Bradley–Terry-Framework. Gegeben einen Kontext $x$ und zwei Kandidatenantworten $y_a, y_b$ erzeugt das Modell skalare Scores $s_{\theta}(x, y) \in \mathbb{R}$ und minimiert,

wobei $r \in \{0, 1\}$ angibt, ob $y_a$ bevorzugt wird. Um Positionsbias zu eliminieren, wird jedes Trainingspaar mit beiden Reihenfolgen augmentiert und symmetrisch optimiert,

Zur Inferenzzeit erhalten wir einen positionsunabhängigen Präferenz-Score durch Mittelung beider Permutationen:

Der Rollout-Präferenzscore ist dann definiert als $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, d. h. als die Wahrscheinlichkeit, dass der Policy-Rollout $y_i$ gegenüber dem Rollout des Referenzmodells für denselben Prompt bevorzugt wird.

Trainingsdaten für die Präferenzmodellierung werden aus kuratierten Open-Source-Datensätzen, Benutzer-Feedback im Vergleich und internen Annotationen gewonnen. Um Label-Rauschen zu bewältigen, wenden wir eine von Datbench (DatologyAI, 2026) inspirierte, leichtgewichtige Filter- und Kalibrierungspipeline an und behalten nur Beispiele mit konsistenter übergreifender Modellübereinstimmung bei. Das Belohnungsmodell teilt sich das Rückgrat mit dem Richtlinienmodell, wobei der Sprachmodellierungskopf durch einen Wertekopf ersetzt wurde. Während kleinere Belohnungsmodelle eine vergleichbare Genauigkeit bei gehaltenen Daten erreichen, stellen wir empirisch fest, dass sie feinkörnige Präferenzen nicht erfassen können und unerwünschte Richtlinienverhaltensweisen verstärken können.

Effizienzstrafe

In Abwesenheit expliziter Effizienzgestaltung neigt die Richtlinie dazu, Tools selbst bei einfachen Prompts übermäßig zu verwenden. Unbedingte Strafen (z. B. solche, die linear mit der Anzahl der Tool-Aufrufe oder der Ausgabelänge skalieren) sind eine natürliche Baseline, aber wir stellen fest, dass sie notwendige Exploration unterdrücken und das Lernen verschlechtern. Wir übernehmen daher gruppenrelative, verankerte Strafen, die die Tool-Nutzung und Antwortlänge im Verhältnis zu effektiven Lösungen innerhalb jeder GRPO-Gruppe regulieren. Für eine Gruppe 𝑔 definieren wir die Gewinnergruppe als:

Verankerte Tool-Call-Strafe. Für jeden Rollout $\tau_i$ bezeichne $c_i$ die Anzahl der Tool-Aufrufe und $e_i$ die Anzahl der Tool-Ausführungsfehler. Wir definieren die effektive Anzahl der Tool-Aufrufe $\tilde{c}_i = c_i - e_i$ und ziehen gleichmäßig eine Gruppen-Baseline:

Wir berechnen das Exzessmaß $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ und definieren einen glatten Strafskalar $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Die Tool-Strafe lautet dann:

Verankerte Längenstrafe. Lassen Sie $L_i$ und $L_i^{\mathrm{ref}}$ die Token-Längen der Generierungen des Kandidaten bzw. des Referenzmodells bezeichnen. Wir definieren die Shaping-Menge $\widehat{W}_g$ als Rollouts, die sowohl korrekt als auch bevorzugt sind:

Wir berechnen dann gruppenspezifische Längen-Baselines:

Die Längenstrafe ist definiert als:

wobei die erste Zeile eine harte Obergrenze darstellt; die zweite geschwätzige Gewinner bestraft; und die dritte knappe Verlierer bestraft.

Kombinierte Effizienzstrafe. Die kombinierte Effizienzstrafe ist eine gewichtete Summe beider Komponenten:

Hauptergebnisse

Wir bewerten unsere Post-Training-Pipeline anhand von zwei Achsen: (i) Trainingsdynamik, um die Optimierungsstabilität und das Verhalten der Belohnungssignale zu bewerten, und (ii) Offline-Benchmarks, um nachgelagerte Qualität, Sicherheit und Effizienz unter kontrollierten Bewertungsbedingungen zu messen.

Standard-Trainingssinstellungen. Das Richtlinienmodell interagiert mit einem Websuch-Tool (search_web); jeder Tool-Aufruf ruft bis zu 10 Ergebnisse ab, wobei Abfragen auf 250 Zeichen und bis zu 5 Abfragen pro Rollout begrenzt sind.

Trainingsdynamik

Wir untersuchen die Optimierungsdynamik, mit Fokus auf Belohnungsfortschritt und Effizienzverhalten. Wir verwenden Qwen3.5-397B-A11B zur Vereinfachung der Darstellung.

Vergrößern

Abbildung 2 zeigt eine stetige Verbesserung der Basisbelohnung (verifizierbare QA und Rubrik-Erfüllung) neben steigenden Präferenz-Scores, was auf konsistente Fortschritte bei Korrektheit, Compliance und Antwortqualität hindeutet.

Vergrößern

Abbildung 3 zeigt, dass sowohl die Häufigkeit der Tool-Aufrufe als auch die Generationslänge während des gesamten Trainings gut kontrolliert bleiben. Bemerkenswert ist, dass sowohl die Tool-Aufruf- als auch die Längenstrafen im Laufe des Trainings monoton abnehmen, was die fortschreitende Anpassung des Modells an prägnantere Generierung und selektivere Tool-Aufrufe widerspiegelt.

Vergrößern

Abbildung 4 zeigt, dass die Gradientennormen abgesehen von transienten Spitzen stabil bleiben, während die KL-Divergenz zwischen Training und Inferenz einen leichten Aufwärtstrend aufweist und im 1e-3-Bereich bleibt. Dieses Driftmuster steht im Einklang mit Beobachtungen in anderen RL-Trainings-Frameworks; da das Training durchgehend stabil bleibt, behalten wir eine einfache IS-Regularisierung in Gl. 1 ohne zusätzliche Intervention bei.

Offline-Bewertungen

Wir berichten über Ergebnisse für eine Reihe von Benchmarks, die Suchgenauigkeit, faktische Zuverlässigkeit, Befolgung von Anweisungen und Sicherheit umfassen und sowohl öffentliche Benchmarks als auch interne Perplexity (PPLX)-Metriken umfassen. Öffentliche Benchmarks umfassen SimpleQA, FRAMES und Facts Open.

• pplx-sbs-search: Präferenzbewertung im direkten Vergleich (Side-by-Side) unter Verwendung eines internen Belohnungsmodells. Kandidaten werden gegen eine starke Baseline verglichen.
• pplx-abstention: Fähigkeit, angemessen zu verweigern, wenn keine zuverlässigen Beweise verfügbar sind.
• pplx-language-mismatch: Sprachliche Konsistenz unter Long-Tail- und Mehr-Turn-Bedingungen.
• pplx-broken-tool-calls (↓): Einhaltung des Tool-Aufruf-Schemas und Befolgung von Beschränkungen, z. B. tool_choice=none.

Standard-Bewertungseinstellungen. Für öffentliche Benchmarks erlauben wir nur das Websuch-Tool mit einem Budget von bis zu 5 Tool-Aufrufen pro Beispiel und bis zu 10 Ergebnissen pro Aufruf, wobei bis zu 8192 Ausgabe-Token bei einer Temperatur von 0,6 generiert werden.

Vergrößern

Tabelle 2 zeigt, dass Qwen3.5-Large-SFT-RL eine hohe Suchgenauigkeit über öffentliche Benchmarks hinweg erzielt und gpt-5.4 bei FRAMES und Facts Open erreicht oder übertrifft, während vergleichbare Tool-Budgets verwendet werden. Im Vergleich zum Basismodell liefert unser Ansatz erhebliche Gewinne bei internen Metriken, insbesondere bei Präferenz (pplx-sbs-search: 0,602 → 0,742), sprachlicher Konsistenz und Enthaltung, was zeigt, dass die zweistufige Pipeline einsatzkritische Verhaltensweisen effektiv verbessert, ohne die Suchfähigkeit zu beeinträchtigen.

Bewertungen der Effizienz bei der Tool-Nutzung

Um dies zu messen, entwerfen wir ein budget-erzwungenes Bewertungsprotokoll. Jedes Modell erhält Zugriff auf ein Websuch-Tool (search_web) und einen System-Prompt, der eine harte Obergrenze für die Anzahl der erlaubten Tool-Aufrufe festlegt (das "Budget"). Wir scannen dieses Budget von 0 (keine Tool-Nutzung, reines parametrisches Wissen) bis 10 (großzügiger mehrstufiger Abruf) und zeichnen die Genauigkeit auf jeder Ebene auf. Dies erzeugt eine Tool-Effizienzkurve: den Score des Modells als Funktion des erlaubten Abruf-Budgets. Wir bewerten anhand von zwei faktischen QA-Benchmarks, FRAMES und Facts Open.

Vergrößern

Mehrere Muster stechen aus diesen beiden Benchmarks hervor:

• Unser post-trainiertes Qwen3.5-397B-SFT-RL erzielt die beste Suchgenauigkeit bei beiden Benchmarks. Selbst mit einem einzigen Tool-Aufruf erzielt es 57,3 % bei FRAMES, 5,7 Punkte über GPT-5.4 und 4,7 Punkte über Sonnet 4.6.
  • Der Vorteil ist am deutlichsten bei moderaten Budgets (b=2-7), dem praktischen Betriebsbereich für Produktionseinsätze.
• Unser Post-Training-Rezept (SFT + RL) verbessert die Effizienz der Tool-Nutzung gegenüber dem Basis-Checkpoint erheblich; siehe durchgezogene Linien (post-trainiert) vs. gestrichelte Linien (Ausgangs-Checkpoint) in Abbildung 5.
• Bei allen Modellen beobachten wir abnehmende Erträge um budget=7, konsistent über zwei Benchmarks und alle Modelle hinweg, was darauf hindeutet, dass es sich um eine Eigenschaft der faktensuchenden Aufgaben handelt und nicht der Modelle selbst.

Die obigen Ergebnisse zeigen, dass Qwen3.5-397B-SFT-RL eine höhere Genauigkeit mit weniger Tool-Aufrufen erzielt. Aber wie schlägt sich das in tatsächlichen Kosten nieder? Wir rechnen Token-basierte Messungen in Dollar-Kosten um, unter Verwendung veröffentlichter API-Preise (Alibaba DashScope, OpenAI, Anthropic), um den Vergleich konkret zu machen.

Vergrößern

Beim mittleren Profil (b=4) erzielt Qwen3.5-397B-SFT-RL 73,9 % bei FRAMES zu 2,0 Cent pro Abfrage, während GPT-5.4 67,8 % zu 8,5 Cent und Sonnet 4.6 62,4 % zu 15,3 Cent erzielt. Das sind +6 Punkte Genauigkeit bei 4x geringeren Kosten im Vergleich zu GPT-5.4 und +11,5 Punkte bei 7,5x geringeren Kosten im Vergleich zu Sonnet 4.6.

Diese Schätzungen verwenden API-Listenpreise ohne Caching. Mit internen Inferenz-Optimierungen wie KV-Cache-Wiederverwendung, Präfix-Caching und quantisiertem MoE-Serving (397B verwendet nur 17B aktive Parameter) können die effektiven Kosten weit unter die API-Listenpreise gesenkt werden.

Fazit

Die Entkopplung von Einsatz-Compliance und Suchoptimierung über eine zweistufige SFT- und RL-Pipeline führt zu einem Modell, das unter Produktionsbedingungen sowohl leistungsfähig als auch zuverlässig ist. Die Kombination aus verifizierbaren QA- und rubrikbasierten Trainingsdaten, zusammen mit Gated Reward Aggregation und verankerter Effizienzgestaltung, ermöglicht eine stabile Multi-Objektiv-Optimierung, ohne Suchgenauigkeit oder Compliance bei Sicherheitsvorkehrungen zu opfern.

Mehrere Richtungen verdienen weitere Untersuchung. Wie in Abbildung 4 beobachtet, weist die KL-Divergenz zwischen Training und Inferenz bei erweiterten Trainingsschritten eine anhaltende Aufwärtsdrift auf. Während sich die IS-Korrektur auf Token-Ebene unter unseren aktuellen Rahmenbedingungen als ausreichend erweist, ist unklar, ob dies bei größerem Maßstab weiterhin der Fall ist; eine fundiertere theoretische Behandlung dieser Diskrepanz – unter Einbeziehung infrastruktureller Diskrepanzen und architekturspezifischer Faktoren wie MoE-Routing – neben quantitativen empirischen Vergleichen von Minderungsstrategien bleibt eine wichtige offene Frage. Insbesondere für Multi-Objektiv-RL umfassen vielversprechende Ansätze sequentielles Training (Zeng et al., 2026) mit On-Policy-Destillation, um Ziele in Stufen zu optimieren und gleichzeitig katastrophales Vergessen abzumildern; sowie Modellzusammenführung (Fu et al., 2025; Yang et al., 2026), um aufgabenspezifische Optimierung von der Aggregation von Fähigkeiten zu entkoppeln. Schließlich bleibt die Skalierung auf realistische Multi-Tool-Workflows mit Langzeit-Trajektorien eine wichtige offene Herausforderung, die wahrscheinlich eine bessere Zuordnung von Credits, Unterstützung für Teil-Rollouts und Bewertungen erfordert.

Literaturverzeichnis

DatologyAI. Datbench: Diskriminative, treue und effiziente Bewertungen von Vision-Language-Modellen. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Veröffentlicht am 6. Jan. 2026. Abgerufen am: 04.03.2026.

J. Duchi und H. Namkoong. Varianzbasierte Regularisierung mit konvexen Zielen. arXiv-Preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng und X. Zhao. Trainingsfreie LLM-Zusammenführung für Multi-Task-Lernen. In Proceedings der 63. Jahrestagung der Association for Computational Linguistics (Band 1: Lange Beiträge), Seiten 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu und S. Hendryx. Rubriken als Belohnungen: Reinforcement Learning jenseits verifizierbarer Domänen. arXiv-Preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu und Y. Shen. Wenn Geschwindigkeit Stabilität tötet: Entmystifizierung des RL-Kollapses durch die Diskrepanz zwischen Training und Inferenz. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Gruppenbelohnungs-entkoppelte Normalisierungs-Richtlinienoptimierung für Multi-Belohnungs-RL-Optimierung. arXiv-Preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao und H. Wang. Openrubrics: Auf dem Weg zu skalierbarer synthetischer Rubrik-Generierung für Belohnungsmodellierung und LLM-Alignment. arXiv-Preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang und Y. Dong. Deepdive: Fortschrittliche Deep-Such-Agenten mit Wissensgraphen und Multi-Turn-RL. arXiv-Preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui und F. Luo. Stabilisierung von MoE Reinforcement Learning durch Ausrichtung von Trainings- und Inferenz-Routern. arXiv-Preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng und T. Vu. Sealqa: Höhere Messlatte für logisches Denken in sucherweiterten Sprachmodellen. arXiv-Preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith und M. Lewis. Messung und Verengung der Kompositionalitätslücke in Sprachmodellen. In Erkenntnisse der Association for Computational Linguistics: EMNLP 2023, Seiten 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin und W. S. Lee. Überdenken der Trust-Region beim LLM-Reinforcement Learning. arXiv-Preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Grenzen des mathematischen Denkens in offenen Sprachmodellen erweitern. arXiv-Preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentische Datensynthetisierung durch Formalisierung der Informationssuche. arXiv-Preprint arXiv:2507.15061, 2025.

vLLM und TorchTitan Teams. Keine Diskrepanz mehr zwischen Training und Inferenz: Bitweise konsistentes On-Policy Reinforcement Learning mit vLLM und TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, Nov. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie und F. Huang. Webwalker: Benchmarking von LLMs bei der Websuche, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Technischer Bericht Qwen3. arXiv-Preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang und D. Tao. Modellzusammenführung in LLMs, MLLMs und darüber hinaus: Methoden, Theorien, Anwendungen und Möglichkeiten. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang und J. Gao. Ihr effizientes RL-Framework bringt Ihnen heimlich Off-Policy-RL-Training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: vom Vibe-Coding zum agentischen Engineering. arXiv-Preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilisierung von Reinforcement Learning mit LLMs: Formulierung und Praktiken. arXiv-Preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Gruppensequenz-Richtlinienoptimierung. arXiv-Preprint arXiv:2507.18071, 2025b.

Zitat

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}