Επέκταση μοντέλων γλώσσας με δυνατότητα αναζήτησης

Πώς μετα-εκπαιδεύουμε ανοιχτά μοντέλα σε πράκτορες αναζήτησης που απαντούν με μεγαλύτερη ακρίβεια και λιγότερες κλήσεις εργαλείων.

ΣυγγραφείςPerplexity Research

Εισαγωγή

Η εκπαίδευση πρακτόρων web αναζήτησης αιχμής απαιτεί από κοινού βελτιστοποίηση πολλαπλών στόχων: ακρίβεια γεγονότων, αποδοτικότητα τροχιάς και ευθυγράμμιση με τις προτιμήσεις των χρηστών. Ωστόσο, η βελτίωση οποιασδήποτε μεμονωμένης διάστασης απομονωμένα συχνά υποβαθμίζει τις υπόλοιπες: τα μοντέλα που εκπαιδεύονται αποκλειστικά για ακρίβεια τείνουν να υπερχρησιμοποιούν τα εργαλεία, ενώ τα μοντέλα που βελτιστοποιούνται για συντομία ενδέχεται να θυσιάζουν την αξιοπιστία ή την πληρότητα. Στην Perplexity, κανένα από τα δύο αποτελέσματα δεν είναι αποδεκτό.

Αυτό το άρθρο περιγράφει το post-training pipeline της Perplexity για την ανάπτυξη state-of-the-art πρακτόρων web αναζήτησης βασισμένων σε μοντέλα ανοικτού κώδικα. Μια βασική ιδέα είναι ότι, στην εκπαίδευση πρακτόρων αναζήτησης, η επιμέλεια δεδομένων και ο σχεδιασμός ανταμοιβής πρέπει να σχεδιάζονται από κοινού: τα δεδομένα καθορίζουν ποιες συμπεριφορές είναι παρατηρήσιμες και επαληθεύσιμες, και η ανταμοιβή καθορίζει πώς αυτά τα σήματα μεταφράζονται σε σήμα βελτιστοποίησης. Αυτή η αρχή καθοδηγεί το pipeline δύο σταδίων μας: πρώτα πραγματοποιούμε ένα warmup Supervised Fine-Tuning (SFT) για να αρχικοποιήσουμε το μοντέλο πολιτικής και στη συνέχεια βελτιώνουμε το μοντέλο πολιτικής χρησιμοποιώντας Reinforcement Learning (RL) πάνω σε ένα επιμελημένο σύνολο δεδομένων και προσεκτικά σχεδιασμένες ανταμοιβές. Αυτή η προσέγγιση δύο σταδίων επιτρέπει αξιόπιστα κέρδη σε ακρίβεια, αποδοτικότητα και ποιότητα απόκρισης υπό περιορισμούς παραγωγής.

Περιγράφουμε πρώτα τον αγωγό εκπαίδευσης δύο σταδίων μας (SFT → on-policy RL), ακολουθούμενο από την κατασκευή δεδομένων εκπαίδευσης RL, καλύπτοντας τόσο επαληθεύσιμες ερωτήσεις-απαντήσεις (QA) πρακτόρων αναζήτησης όσο και γενική Συνομιλία με βάση κανόνες (rubric). Στη συνέχεια, παρουσιάζουμε έναν σύνθετο σχεδιασμό ανταμοιβής που προέρχεται από αυτό το ετερογενές περιβάλλον δεδομένων, εξισορροπώντας την ποιότητα και την αποδοτικότητα ενώ μετριάζουμε το reward hacking. Τέλος, αναλύουμε τη δυναμική εκπαίδευσης και τα αποτελέσματα των benchmark.

Αγωγός εκπαίδευσης δύο σταδίων

Υιοθετούμε μια συνταγή μετα-εκπαίδευσης δύο σταδίων: (i) SFT για τη θέσπιση κρίσιμων για την ανάπτυξη συμπεριφορών, όπως οι δικλείδες ασφαλείας (π.χ., αποχή), η τήρηση οδηγιών και η γλωσσική συνέπεια, και (ii) on-policy RL για τη βελτίωση της ικανότητας αναζήτησης, συμπεριλαμβανομένης της ακρίβειας απαντήσεων και της αποδοτικότητας χρήσης εργαλείων, διατηρώντας παράλληλα τις συμπεριφορές από το πρώτο στάδιο.

Γιατί δύο στάδια; Η από κοινού βελτιστοποίηση της ποιότητας αναζήτησης και των περιορισμών ανάπτυξης μέσα σε ένα ενιαίο στάδιο RL είναι δύσκολη χωρίς να θυσιαστεί τουλάχιστον ένας στόχος. Εμπειρικά, η εκπαίδευση μόνο με RL βελτιώνει την απόδοση αναζήτησης, αλλά τείνει να υποαποδίδει ως προς τα guardrails ανάπτυξης, ενώ το SFT βελτιώνει τη συμμόρφωση με κόστος στην απόδοση αναζήτησης. Ο διαχωρισμός των στόχων επιτρέπει στο στάδιο SFT να αντιμετωπίσει πρώτα τις μη διαπραγματεύσιμες απαιτήσεις, μετά από το οποίο το RL μπορεί να επικεντρωθεί κυρίως στη βελτίωση της ικανότητας αναζήτησης.

Στάδιο SFT

Αρχικοποιούμε από την οικογένεια μοντέλων Qwen3 (Qwen3.5-122B-A10B και Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 blogpost) και κατασκευάζουμε ένα σύνολο δεδομένων μείγματος SFT δύο συστατικών που στοχεύει στις κρίσιμες για την ανάπτυξη συμπεριφορές που περιγράφονται παραπάνω, διατηρώντας παράλληλα τη γενική ικανότητα αναζήτησης του βασικού μοντέλου.

Παραδείγματα προσανατολισμένα στις προτιμήσεις. Επιμελούμαστε παραδείγματα που επικεντρώνονται στην τήρηση οδηγιών και στο στυλ, στοχεύοντας στον τόνο, τη γλωσσική συνέπεια, τη σαφήνεια και τη μορφοποίηση. Αυτά τα παραδείγματα δεν χρειάζεται να αποδέχονται μια μοναδική απόλυτη αλήθεια· αντίθετα, επιλέγονται ώστε να αντικατοπτρίζουν τις απαιτήσεις συγγραφής προϊόντος και να διασφαλίζουν τη στιλιστική συνέπεια σε διάφορους τύπους ερωτημάτων.

Τροχιές χρήσης εργαλείων σε μορφή παραγωγής. Εμπειρικά, διαπιστώνουμε ότι το SFT χωρίς προσεκτική επιμέλεια συνόλου δεδομένων μπορεί να υποβαθμίσει σημαντικά την ικανότητα αναζήτησης του βασικού μοντέλου. Για να μετριαστεί αυτό, λαμβάνουμε δείγματα ερωτημάτων και εσωτερικών εργασιών σε διάφορα πρότυπα αλληλεπίδρασης (μονής, διπλής και πολλαπλών στροφών) και τα σχολιάζουμε με το σύστημα κλήσης εργαλείων μας.

Στάδιο RL

Ξεκινώντας από το σημείο ελέγχου (checkpoint) του SFT, εφαρμόζουμε on-policy RL για τη βελτίωση της ακρίβειας και της αποδοτικότητας αναζήτησης. Βελτιστοποιούμε το μοντέλο πολιτικής χρησιμοποιώντας Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

όπου το GG είναι το μέγεθος της ομάδας, το oio_{i} δηλώνει το ii-ο δειγματοληπτημένο αποτέλεσμα, και το A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} είναι το advantage. Ο σχεδιασμός ανταμοιβής περιγράφεται αναλυτικά στην ενότητα σχεδιασμού ανταμοιβής· εν συντομία, συνδυάζουμε βασική ορθότητα με προσαρμογή βάσει προτιμήσεων και αγκύρωσης αποδοτικότητας. Ακολουθώντας προηγούμενη εργασία (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), εφαρμόζουμε Importance Sampling (IS) σε επίπεδο διακριτικού για να διορθώσουμε την αναντιστοιχία εκπαίδευσης–εξαγωγής:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Αξιολογούμε διάφορες προσεγγίσεις για τον μετριασμό της δυσαρμονίας εκπαίδευσης-inference, συμπεριλαμβανομένου του IS σε επίπεδο ακολουθίας (Zheng et al., 2025b), της επανάληψης δρομολόγησης (routing replay) (Ma et al., 2025; Zheng et al., 2025b), και της bitwise συνεπούς εκπαίδευσης που ενσωματώνει τον πυρήνα της μηχανής inference κατά την εκπαίδευση (vLLM and TorchTitan Teams, 2025). Εμπειρικά, υπό το on-policy περιβάλλον μας, διαπιστώνουμε ότι το IS σε επίπεδο token είναι επαρκές για την αποτροπή κατάρρευσης της εκπαίδευσης παραμένοντας απλό στην υλοποίηση· αυτό συνάδει με τα ευρήματα από Zheng et al (2025a).

Δεδομένα εκπαίδευσης RL

Τα δεδομένα εκπαίδευσης RL αποτελούνται από δύο συμπληρωματικά στοιχεία: επαληθεύσιμες ερωτήσεις-απαντήσεις (QA) πρακτόρων αναζήτησης που στοχεύουν στη γενική ικανότητα αναζήτησης, και γενική Συνομιλία βασισμένη σε κανόνες (rubrics) που ενισχύει ρητά τις δικλείδες ασφαλείας ανάπτυξης για την αποτροπή παλινδρόμησης κατά το στάδιο εκπαίδευσης RL.

Επαληθεύσιμα δεδομένα πράκτορα αναζήτησης

Κατασκευή συνόλου δεδομένων. Ακολουθώντας τη μέθοδο διαδοχικής επέκτασης (Tao et al., 2025), κατασκευάζουμε ένα εσωτερικό συνθετικό σύνολο δεδομένων QA από εσωτερικά ερωτήματα-σπόρους χωρίς να βασιζόμαστε σε ένα επιμελημένο γράφημα γνώσης, κρατώντας τον αγωγό ελαφρύ και εύκολο στην ανανέωση. Κάθε συνθετικό παράδειγμα παράγεται μέσω των ακόλουθων βημάτων:

  1. Επιλογή σπόρων (Seed selection). Ανακτούμε έγγραφα για ερωτήματα-σπόρους και επιλέγουμε οντότητες με επιβεβαίωση γεγονότων από πολλαπλές πηγές ως σημεία εκκίνησης, εξάγοντας ατομικές δηλώσεις σχετικά με αυτές.
  2. Κατασκευή αλυσίδας πολλαπλών βημάτων. Από τις δηλώσεις της οντότητας σπόρου, επιλέγουμε μία που εισάγει μια δεύτερη οντότητα (π.χ., για τον σπόρο «The Mom Test», η δήλωση «written by Rob Fitzpatrick» εισάγει τον συγγραφέα ως την επόμενη οντότητα). Επαναλαμβάνουμε αυτή τη διαδικασία σύνδεσης 2–4 φορές, διασφαλίζοντας ότι κάθε οντότητα είναι διακριτή και ότι καμία μεμονωμένη δήλωση δεν αποκαλύπτει ασήμαντα την τελική απάντηση.
  3. Σύνθεση ερωτήσεων χωρίς ονόματα. Μετατρέπουμε την αλυσίδα οντοτήτων σε ερώτηση αντικαθιστώντας αναδρομικά τα ονόματα οντοτήτων με τις συνδετικές τους δηλώσεις, παράγοντας μια ένθετη ερώτηση που απαιτεί συλλογισμό πολλαπλών βημάτων.
  4. Επαλήθευση. Διατηρούμε μόνο ερωτήσεις με μοναδικές απαντήσεις που επαληθεύονται από πολλαπλούς ανεξάρτητους solvers με δυνατότητα ιστού.

Παράδειγμα (3-hop)

Εξετάστε το ερώτημα-σπόρο «The Mom Test». Ανακτούμε έγγραφα και προσδιορίζουμε αυτό το βιβλίο ως την οντότητα σπόρο, στη συνέχεια εξαγουμε ατομικές δηλώσεις γεγονότων και χτίζουμε επαναληπτικά μια αλυσίδα οντοτήτων: (i) Το The Mom Test γράφτηκε από τον Rob Fitzpatrick, εισάγοντας τον Rob Fitzpatrick· (ii) Η πρώτη startup του Rob Fitzpatrick πέρασε από το Y Combinator (Καλοκαίρι 2007), εισάγοντας το Y Combinator· (iii) Το Y Combinator ξεκίνησε τον Μάρτιο του 2005. Η αναδρομική αντικατάσταση κάθε ονόματος οντότητας με τον περιγραφέα του δίνει την ερώτηση χωρίς όνομα: «Ποιο βιβλίο γράφτηκε από το άτομο του οποίου η πρώτη startup πέρασε από τον επιταχυντή που ξεκίνησε τον Μάρτιο του 2005, στην ομάδα του Καλοκαιριού 2007;» με απάντηση «The Mom Test».

Επαύξηση ποικιλομορφίας μορφής. Τα μοντέλα που εκπαιδεύονται αποκλειστικά σε ακατέργαστα συνθετικά QA τείνουν να αγνοούν τις προτιμήσεις μορφοποίησης και να καταφεύγουν σε μια σταθερή δομή απόκρισης, ανεξάρτητα από το πώς διατυπώνεται το ερώτημα. Για να βελτιώσουμε την ποικιλομορφία μορφών, επαυξάνουμε το σύνολο δεδομένων με ερωτήματα που περιλαμβάνουν ρητές οδηγίες μορφοποίησης (π.χ., «Εμφάνισε μια λίστα με . . . » ή «Σύνοψη . . . σε έναν πίνακα»), διατηρώντας παράλληλα την υποκείμενη απάντηση αّλλακτη.

Δημόσιο επαληθεύσιμο QA (baseline). Κατασκευάζουμε ένα βασικό σύνολο δεδομένων επαληθεύσιμων QA από πέντε σύνολα δεδομένων ανοιχτού κώδικα (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), ενοποιημένα υπό την επαυξημένη μορφή προτροπής μας με φιλτράρισμα ποιότητας. Αυτό το μείγμα χρησιμεύει ως η κύρια βάση σύγκρισης στα πειράματα επικύρωσής μας. Για ελεγχόμενες συγκρίσεις, ταιριάζουμε την κλίμακα του εσωτερικού μας συνθετικού συνόλου δεδομένων QA με αυτό το μείγμα ανοιχτού κώδικα.

Γρήγορη επικύρωση. Επικυρώνουμε την αποτελεσματικότητα αυτού του αγωγού χρησιμοποιώντας το Qwen3-30B-A3B-Instruct-2507 για να επιτρέψουμε γρήγορη επανάληψη· τα αποτελέσματα συνοψίζονται στον Πίνακα 1.

Επικύρωση συνθετικού επαληθεύσιμου συνόλου δεδομένων QA

Δεδομένα γενικής Συνομιλίας βάσει κανόνων

Ενώ το επαληθεύσιμο QA παρέχει ένα καθαρό σήμα εκπαίδευσης για ερωτήματα που επικεντρώνονται στην αναζήτηση, ένα σημαντικό ποσοστό της κίνησης παραγωγής δεν είναι μοναδικά επαληθεύσιμο (π.χ., επανεγγραφή, σχεδιασμός και ανοιχτή βοήθεια). Ο αποκλεισμός τέτοιων ερωτημάτων από το RL θα άφηνε την πολιτική υπο-βελτιστοποιημένη για πραγματικές αλληλεπιδράσεις χρηστών. Επιπλέον, ενώ το στάδιο SFT καθιστάμενες δικλείδες ασφαλείας κρίσιμες για την ανάπτυξη, το RL μπορεί να παρουσιάσει παλινδρόμηση σε αυτές εκτός εάν ενισχυθούν ρητά από τα δεδομένα.

Ενσωματώνουμε μη επαληθεύσιμα ερωτήματα στην εκπαίδευση RL μετατρέποντας τις απαιτήσεις που είναι κρίσιμες για την ανάπτυξη — τήρηση οδηγιών, περιορισμούς μορφοποίησης και συμβάσεις ασφάλειας — σε κανόνες (rubrics): ατομικά, αντικειμενικά ελέγξιμα κριτήρια που πρέπει να ικανοποιεί μια απάντηση. Υιοθετούμε την κατασκευή δεδομένων με βάση κανόνες (Gunjal et al., 2025; Liu et al., 2025b), παράγοντας σύνολα κανόνων ανά ερώτημα.

Παραγωγή κανόνων (Rubric generation). Δεδομένου του πλήρους ιστορικού συνομιλίας, προτρέπουμε ένα LLM να παράγει μια απάντηση αναφοράς και ένα αντίστοιχο σύνολο κανόνων. Οι κανόνες προέρχονται υπό σταθερή σειρά προτεραιότητας: οι απαιτήσεις που δηλώνονται ρητά από τον χρήστη έχουν προτεραιότητα, ακολουθούμενες από εσωτερικούς περιορισμούς και τέλος τις απαραίτητες απαιτήσεις περιεχομένου που συνάγονται από την απάντηση αναφοράς. Κάθε κανόνας πρέπει να είναι:

  • Ατομικός: ένας μοναδικός, καλά καθορισμένος έλεγχος;
  • Αντικειμενικός: επαληθεύσιμος χωρίς υποκειμενική κρίση;
  • Απαραίτητος: απαιτείται για την απάντηση στο ερώτημα, όχι απλώς μια στιλιστική προτίμηση.

Παράδειγμα

Ερώτημα.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Κανόνες (Rubrics).

  • Η απάντηση είναι γραμμένη στα αγγλικά.
  • Η διορθωμένη διατύπωση περιέχει τις λέξεις "lodging" και "boarding".
  • Η διορθωμένη διατύπωση χρησιμοποιεί το "manpower" ως μία λέξη (για παράδειγμα, "manpower plan" ή "manpower planning") και όχι "man power".
  • Η διορθωμένη διατύπωση δεν περιέχει τα άτυπα σύμβολα συντόμευσης "u" ή "Plz", και δεν περιέχει τον χαρακτήρα συμπλέγματος "&".
  • Η απάντηση δεν περιέχει δείκτες παραπομπής της μορφής \\[type:idx\\], όπου το type δηλώνει μια πηγή δεδομένων (για παράδειγμα, web, chart, memory, attached_file).

Βαθμονόμηση κανόνων (Rubric calibration). Για να αποφύγουμε υπερβολικά αυστηρά ή υπερβολικά επιεική σύνολα κανόνων, εφαρμόζουμε ένα φίλτρο pass@4. Για κάθε ερώτημα, λαμβάνουμε δείγματα τεσσάρων ανεξάρτητων απαντήσεων και τις αξιολογούμε έναντι του πλήρους σύνολου κανόνων με έναν κριτή τήρησης οδηγιών. Απορρίπτουμε ερωτήματα για τα οποία καμία απάντηση δεν ικανοποιεί το σύνολο κανόνων ή όλες οι απαντήσεις το ικανοποιούν, διατηρώντας μόνο εκείνα που αποφέρουν πληροφοριακό σήμα εκπαίδευσης.

Μίγμα προτροπών και εξισορρόπηση διακύμανσης

Μια πρακτική πρόκληση στο πολυ-στόχο RL είναι η ανισορροπία διακύμανσης στα στοιχεία δεδομένων (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Παρόλο που τόσο τα επαληθεύσιμα QA όσο και τα δεδομένα βάσει κανόνων αποφέρουν δυαδικές ανταμοιβές, διαφέρουν σημαντικά ως προς τη δυσκολία της εργασίας: η ικανοποίηση κανόνων είναι γενικά ευκολότερη να επιτευχθεί νωρίς στην εκπαίδευση, παράγοντας μεγαλύτερες και συχνότερες ενημερώσεις gradient που μπορούν να κυριαρχήσουν δυσανάλογα στη βελτιστοποίηση πολιτικής σε σχέση με το δυσκολότερο σήμα επαληθεύσιμου QA. Για να αντιμετωπιστεί αυτό, επανασταθμίζουμε το μείγμα προτροπών σε επίπεδο συνόλου δεδομένων, λαμβάνοντας δείγμα 90% από επαληθεύσιμα QA και 10% από δεδομένα βασισμένα σε κανόνες για την εξισορρόπηση του σήματος βελτιστοποίησης σε όλα τα στοιχεία.

Σχεδιασμός ανταμοιβής

Ο σχεδιασμός ανταμοιβής μας ακολουθεί άμεσα από την κατασκευή δεδομένων που περιγράφεται παραπάνω. Παρά το γεγονός ότι καλύπτει τόσο επαληθεύσιμα QA όσο και εργασίες κανόνων, όλα τα δεδομένα εκπαίδευσης μοιράζονται μια κοινή δομή βασικής ανταμοιβής: μια εκτέλεση (rollout) λαμβάνει πιστώσεις εάν παράγει μια σωστή απάντηση για εργασίες QA, ή ικανοποιεί όλους τους καθορισμένους κανόνες για τη γενική συνομιλία. Χτίζοντας σε αυτό το κοινό θεμέλιο, κατασκευάζουμε μια σύνθετη ανταμοιβή για να ενσωματώσουμε βαθμολόγηση βάσει προτιμήσεων και διαμόρφωση αποδοτικότητας.

Μια βασική πρόκληση που παρατηρήθηκε στα πρώιμα πειράματα ήταν το reward hacking: ένας απλός γραμμικός συνδυασμός ανταμοιβών επέτρεπε σε ισχυρά σήματα προτίμησης να αντισταθμίσουν αστοχίες γεγονότων ή οδηγιών. Ως εκ τούτου, υιοθετούμε τη gated aggregation ως βασική αρχή σχεδιασμού, που ορίζεται επίσημα ως:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

όπου το rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} δηλώνει την ορθότητα QA ή την ικανοποίηση κανόνων, το s(τi)∈[0,1]s(\tau_i)\in[0,1] είναι η βαθμολογία προτίμησης και το pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) είναι μια αγκυρωμένη ποινή αποδοτικότητας. Αυτό καθιστά την ορθότητα απαραίτητη προϋπόθεση για τη λήψη πιστώσεων προτίμησης, αποθαρρύνοντας παράλληλα την περιττή χρήση εργαλείων και την πολυλογία. Το Σχήμα 1 απεικονίζει τον πλήρη αγωγό ανταμοιβής, τα συστατικά του οποίου περιγράφουμε παρακάτω:

Επισκόπηση σχεδιασμού ανταμοιβής. Συνδυάζουμε ένα βασικό σήμα ορθότητας (επαληθεύσιμο/κανόνας), μια βαθμολογία προτίμησης Bradley–Terry και αγκυρωμένες ποινές αποδοτικότητας. Η προτίμηση ελέγχεται (gated) από τη βασική ορθότητα για την αποτροπή reward hacking.

Βασική ανταμοιβή

Ορίζουμε ένα δυαδικό βασικό σήμα rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\} που αποτυπώνει την ορθότητα εργασίας ή τη συμμόρφωση με τις οδηγίες. Για επαληθεύσιμα δεδομένα πράκτορα αναζήτησης, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 εάν η τελική απάντηση ταιριάζει με την απόλυτη αλήθεια (ground truth), και 00 διαφορετικά. Για δεδομένα γενικής συνομιλίας βασισμένα σε κανόνες, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 εάν όλοι οι κανόνες ικανοποιούνται, και 00 διαφορετικά. Αυτή η βάση σύγκρισης χρησιμεύει ως σκληρή πύλη στον κανόνα υπό αίρεση συνάθροισης Εξ. 2.

Μοντελοποίηση προτιμήσεων

Στοχεύουμε να ευθυγραμμίσουμε το μοντέλο πολιτικής με τις λανθάνουσες προτιμήσεις των χρηστών ως προς την ποιότητα της απόκρισης — ενημερωτικότητα, σαφήνεια και επαγγελματικός τόνος — οι οποίες είναι δύσκολο να αποτυπωθούν μέσω προτροπών LLM-judge. Ως εκ τούτου, εκπαιδεύουμε ένα εκπαιδευμένο μοντέλο ανταμοιβής προτίμησης για να βαθμολογήσει απευθείας αυτά τα χαρακτηριστικά.

Διατυπώνουμε τη μάθηση προτιμήσεων στο πλαίσιο του Bradley–Terry. Δεδομένου ενός πλαισίου xx και δύο υποψήφιων απαντήσεων ya,yby_a, y_b, το μοντέλο παράγει βαθμολογίες κλίμακας sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} και ελαχιστοποιεί,

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

όπου το r∈{0,1}r \in \{0, 1\} υποδεικνύει εάν το yay_a προτιμάται. Για να εξαλειφθεί η προέλευση θέσης (positional bias), κάθε ζεύγος εκπαίδευσης επαυξάνεται και με τις δύο διατάξεις και βελτιστοποιείται συμμετρικά,

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Κατά το χρόνο inference, λαμβάνουμε μια βαθμολογία προτίμησης ανεξάρτητη από τη θέση με τον υπολογισμό του μέσου όρου και των δύο μεταθέσεων:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Η βαθμολογία προτίμησης εκτέλεσης (rollout) ορίζεται στη συνέχεια ως s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1], δηλαδή η πιθανότητα ότι η εκτέλεση πολιτικής yiy_i προτιμάται έναντι της εκτέλεσης του μοντέλου αναφοράς για την ίδια προτροπή.

Τα δεδομένα εκπαίδευσης για τη μοντελοποίηση προτιμήσεων αντλούνται από επιμελημένα σύνολα δεδομένων ανοικτού κώδικα, παράλληλη ανατροφοδότηση χρηστών και εσωτερικές επισημάνσεις. Για την αντιμετώπιση του θορύβου στις ετικέτες, εφαρμόζουμε ένα ελαφρύ pipeline φιλτραρίσματος και βαθμονόμησης εμπνευσμένο από το Datbench (DatologyAI, 2026), διατηρώντας μόνο παραδείγματα με συνεπή συμφωνία μεταξύ μοντέλων. Το μοντέλο ανταμοιβής μοιράζεται την ίδια ραχοκοκαλιά με το μοντέλο πολιτικής, με την κεφαλή γλωσσικής μοντελοποίησης να αντικαθίσταται από μια κεφαλή τιμής. Παρότι τα μικρότερα μοντέλα ανταμοιβής επιτυγχάνουν συγκρίσιμη ακρίβεια σε δεδομένα hold-out, εμπειρικά διαπιστώνουμε ότι αποτυγχάνουν να αποτυπώσουν λεπτομερείς προτιμήσεις και μπορούν να ενισχύσουν ανεπιθύμητες συμπεριφορές της πολιτικής.

Ποινή αποδοτικότητας

Ελλείψει ρητής διαμόρφωσης αποδοτικότητας, η πολιτική τείνει να κάνει υπερβολική χρήση εργαλείων ακόμη και σε απλές προτροπές. Οι άνευ όρων ποινές (π.χ., εκείνες που κλιμακώνονται γραμμικά με τον αριθμό κλήσεων εργαλείων ή το μήκος εξόδου) αποτελούν φυσικό baseline, αλλά διαπιστώνουμε ότι καταστέλλουν την απαραίτητη εξερεύνηση και υποβαθμίζουν τη μάθηση. Ως εκ τούτου, υιοθετούμε ομαδο-σχετικές, αγκυρωμένες ποινές που ρυθμίζουν τη χρήση εργαλείων και το μήκος απόκρισης σε σχέση με αποτελεσματικές λύσεις εντός κάθε ομάδας GRPO. Για μια ομάδα 𝑔, ορίζουμε το σύνολο νικητών ως:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Αγκυρωμένη ποινή κλήσης εργαλείου. Για κάθε εκτέλεση τi\tau_i, έστω cic_i ο αριθμός των κλήσεων εργαλείων και eie_i ο αριθμός των αποτυχιών εκτέλεσης εργαλείου. Ορίζουμε τον αποτελεσματικό αριθμό κλήσεων εργαλείου c~i=ci−ei\tilde{c}_i = c_i - e_i και λαμβάνουμε ομοιόμορφα δείγματα μιας βασικής γραμμής ομάδας:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Υπολογίζουμε την υπέρβαση Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right) και ορίζουμε μια ομαλή κλιμακωτή ποινή pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). Η ποινή εργαλείου είναι τότε:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Αγκυρωμένη ποινή μήκους. Έστω LiL_i και LirefL_i^{\mathrm{ref}} τα μήκη σε tokens των γενεών του υποψήφιου και του μοντέλου αναφοράς, αντίστοιχα. Ορίζουμε το σύνολο διαμόρφωσης W^g\widehat{W}_g ως εκτελέσεις που είναι ταυτόχρονα σωστές και προτιμώμενες:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Στη συνέχεια, υπολογίζουμε βασικές γραμμές μήκους ειδικές για την ομάδα:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Η ποινή μήκους ορίζεται ως:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

όπου η πρώτη γραμμή είναι ένα σκληρό όριο (hard cap)· η δεύτερη τιμωρεί τους πολυλόγους νικητές· και η τρίτη τιμωρεί τους λακωνικούς ηττημένους.

Συνδυασμένη ποινή αποδοτικότητας. Η συνδυασμένη ποινή αποδοτικότητας είναι ένα σταθμισμένο άθροισμα και των δύο συστατικών:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Κύρια αποτελέσματα

Αξιολογούμε τον αγωγό μετα-εκπαίδευσής μας κατά μήκος δύο αξόνων: (i) δυναμική εκπαίδευσης, για την αξιολόγηση της σταθερότητας βελτιστοποίησης και του κατά πόσον τα σήματα ανταμοιβής συμπεριφέρονται αναμενόμενα, και (ii) offline benchmarks, για τη μέτρηση της ποιότητας κατάντη (downstream), της ασφάλειας και της αποδοτικότητας υπό ελεγχόμενες ρυθμίσεις αξιολόγησης.

Προεπιλεγμένες ρυθμίσεις εκπαίδευσης. Το μοντέλο πολιτικής αλληλεπιδρά με ένα εργαλείο αναζήτησης ιστού (search_web)· κάθε κλήση εργαλείου ανακτά έως και 10 αποτελέσματα, με τα ερωτήματα να περιορίζονται σε 250 χαρακτήρες και έως 5 ερωτήματα ανά εκτέλεση.

Δυναμική εκπαίδευσης

Εξετάζουμε τη δυναμική βελτιστοποίησης, εστιάζοντας στην πρόοδο ανταμοιβής και στη συμπεριφορά αποδοτικότητας. Χρησιμοποιούμε το Qwen3.5-397B-A11B για απλότητα απεικόνισης.

Εξέλιξη σημάτων βάσης και προτίμησης κατά την εκπαίδευση.

Το Σχήμα 2 δείχνει σταθερή βελτίωση στην ανταμοιβή βάσης (επαληθεύσιμα QA και ικανοποίηση κανόνων) παράλληλα με αυξανόμενες βαθμολογίες προτίμησης, υποδεικνύοντας συνεπή κέρδη στην ορθότητα, τη συμμόρφωση και την ποιότητα απόκρισης.

Συμπεριφορά αποδοτικότητας και αγκυρωμένες ποινές διαμόρφωσης κατά την εκπαίδευση.

Το Σχήμα 3 αποδεικνύει ότι τόσο η συχνότητα κλήσης εργαλείων όσο και το μήκος παραγωγής παραμένουν καλά ελεγχόμενα καθ' όλη τη διάρκεια της εκπαίδευσης. Αξιοσημείωτα, τόσο οι ποινές κλήσης εργαλείων όσο και μήκους μειώνονται μονοτονικά κατά την πορεία της εκπαίδευσης, αντικατοπτρίζοντας την προοδευτική προσαρμογή του μοντέλου προς πιο συνοπτική παραγωγή και πιο επιλεκτική επίκληση εργαλείων.

Δείκτες σταθερότητας βελτιστοποίησης.

Το Σχήμα 4 δείχνει ότι οι νόρμες gradient παραμένουν σταθερές εκτός από παροδικές αιχμές, ενώ η απόκλιση KL εκπαίδευσης-inference παρουσιάζει μια ήπια ανοδική τάση, παραμένοντας εντός της κλίμακας 1e-3. Αυτό το μοτίβο μετατόπισης συνάδει με παρατηρήσεις σε άλλες αρχιτεκτονικές εκπαίδευσης RL· καθώς η εκπαίδευση παραμένει σταθερή παντού, διατηρούμε μια απλή κανονικοποίηση IS στην Εξ. 1 χωρίς πρόσθετη παρέμβαση.

Offline αξιολογήσεις

Αναφέρουμε αποτελέσματα σε μια σουίτα από benchmarks που εκτείνονται στην ακρίβεια αναζήτησης, την αξιοπιστία γεγονότων, την τήρηση οδηγιών και την ασφάλεια, περιλαμβάνοντας τόσο δημόσια benchmarks όσο και εσωτερικές μετρικές Perplexity (PPLX). Τα δημόσια benchmarks περιλαμβάνουν τα SimpleQA, FRAMES και Facts Open.

  • pplx-sbs-search: Αξιολόγηση προτίμησης side-by-side χρησιμοποιώντας ένα εσωτερικό μοντέλο ανταμοιβής. Οι υποψήφιοι συγκρίνονται με ένα ισχυρό baseline.
  • pplx-abstention: Ικανότητα κατάλληλης άρνησης όταν δεν υπάρχουν διαθέσιμα αξιόπιστα στοιχεία.
  • pplx-language-mismatch: Γλωσσική συνέπεια υπό ρυθμίσεις long-tail και multi-turn.
  • pplx-broken-tool-calls (↓): Συμμόρφωση με το σχήμα κλήσης εργαλείων και τήρηση περιορισμών, για παράδειγμα, tool_choice=none.

Προεπιλεγμένες ρυθμίσεις αξιολόγησης. Για τα δημόσια benchmarks, επιτρέπουμε μόνο το εργαλείο αναζήτησης ιστού, με προϋπολογισμό έως 5 κλήσεις εργαλείων ανά παράδειγμα και έως 10 αποτελέσματα ανά κλήση, παράγοντας έως 8192 tokens εξόδου σε θερμοκρασία 0.6.

Αποτελέσματα offline αξιολόγησης. Οι αριθμοί σε παρένθεση υποδεικνύουν τη μέση χρήση εργαλείων. Σημειώνουμε το Qwen3.5-397B-A17B ως Qwen3.5-Large, και το Qwen3.5-122B-A10B ως Qwen3.5-Medium.

Ο Πίνακας 2 δείχνει ότι το Qwen3.5-Large-SFT-RL επιτυγχάνει υψηλή ακρίβεια αναζήτησης στα δημόσια benchmarks, ταιριάζοντας ή υπερβαίνοντας το gpt-5.4 στα FRAMES και Facts Open ενώ χρησιμοποιεί συγκρίσιμους προϋπολογισμούς εργαλείων. Σε σχέση με το βασικό μοντέλο, η προσέγγισή μας αποφέρει ουσιαστικά κέρδη στις εσωτερικές μετρικές, ιδιαίτερα στην προτίμηση (pplx-sbs-search: 0.602 → 0.742), τη γλωσσική συνέπεια και την αποχή, αποδεικνύοντας ότι ο αγωγός δύο σταδίων βελτιώνει αποτελεσματικά τις συμπεριφορές που είναι κρίσιμες για την ανάπτυξη χωρίς να θέτει σε κίνδυνο την ικανότητα αναζήτησης.

Αξιολογήσεις αποδοτικότητας χρήσης εργαλείων

Για να το μετρήσουμε αυτό, σχεδιάζουμε ένα πρωτόκολλο αξιολόγησης budget-forced. Σε κάθε μοντέλο παρέχεται πρόσβαση σε ένα εργαλείο web αναζήτησης (search_web) και ένα system prompt που καθορίζει ένα αυστηρό ανώτατο όριο στον αριθμό των επιτρεπόμενων κλήσεων εργαλείου (το "budget"). Σαρώνουμε αυτό το budget από 0 (χωρίς χρήση εργαλείων, καθαρή παραμετρική γνώση) έως 10 (γενναιόδωρη πολυσταδιακή ανάκτηση), καταγράφοντας την ακρίβεια σε κάθε επίπεδο. Αυτό παράγει μια καμπύλη αποδοτικότητας εργαλείου: τη βαθμολογία του μοντέλου ως συνάρτηση του budget ανάκτησης που του επιτρέπεται. Αξιολογούμε σε δύο benchmarks ερωταπαντήσεων γεγονότων, FRAMES και Facts Open.

Ακρίβεια Benchmark έναντι μέγιστου αριθμού κλήσεων εργαλείων.

Αρκετά μοτίβα ξεχωρίζουν από αυτά τα δύο benchmarks:

  • Το εκπαιδευμένο μοντέλο Qwen3.5-397B-SFT-RL επιτυγχάνει την καλύτερη ακρίβεια αναζήτησης και στα δύο benchmarks. Ακόμη και με μία μόνο κλήση εργαλείου, σκοράρει 57.3% στο FRAMES, 5.7 μονάδες πάνω από το GPT-5.4 και 4.7 μονάδες πάνω από το Sonnet 4.6.
    • Το πλεονέκτημα είναι πιο έντονο σε μέτριους προϋπολογισμούς (b=2-7), ο οποίος είναι ο πρακτικός λειτουργικός εύρος για αναπτύξεις παραγωγής.
  • Η συνταγή μετα-εκπαίδευσής μας (SFT + RL) βελτιώνει σημαντικά την αποδοτικότητα χρήσης εργαλείων σε σχέση με το βασικό checkpoint· δείτε τις συνεχείς γραμμές (μετά την εκπαίδευση) έναντι των διακεκομμένων γραμμών (αρχικό checkpoint) στο Σχήμα 5.
  • Για όλα τα μοντέλα, παρατηρούμε φθίνουσες αποδόσεις γύρω στο budget=7, συνεπείς σε δύο benchmarks και όλα τα μοντέλα, υποδηλώνοντας ότι είναι ιδιότητα των εργασιών αναζήτησης γεγονότων παρά των μοντέλων.

Τα παραπάνω αποτελέσματα δείχνουν ότι το Qwen3.5-397B-SFT-RL επιτυγχάνει υψηλότερη ακρίβεια με λιγότερες κλήσεις εργαλείων. Αλλά πώς μεταφράζεται αυτό σε πραγματικό κόστος; Μετατρέπουμε τις μετρήσεις σε επίπεδο token σε κόστος σε δολάρια χρησιμοποιώντας δημοσιευμένη τιμολόγηση API (Alibaba DashScope, OpenAI, Anthropic) για να κάνουμε τη σύγκριση συγκεκριμένη.

Κόστος ανά ερώτημα έναντι ακρίβειας.

Στο μεσαίο προφίλ (b=4), το Qwen3.5-397B-SFT-RL σκοράρει 73.9% στο FRAMES με 2.0 σεντς ανά ερώτημα, ενώ το GPT-5.4 σκοράρει 67.8% με 8.5 σεντς και το Sonnet 4.6 σκοράρει 62.4% με 15.3 σεντς. Αυτό είναι +6 μονάδες ακρίβειας σε 4x χαμηλότερο κόστος σε σύγκριση με το GPT-5.4, και +11.5 μονάδες σε 7.5x χαμηλότερο κόστος σε σύγκριση με το Sonnet 4.6.

Αυτές οι εκτιμήσεις χρησιμοποιούν τιμολόγηση API καταλόγου χωρίς caching. Με εσωτερικές βελτιστοποιήσεις inference όπως η επαναχρησιμοποίηση KV cache, το prefix caching και η κβαντισμένη εξυπηρέτηση MoE (το 397B χρησιμοποιεί μόνο 17B ενεργές παραμέτρους), το αποτελεσματικό κόστος μπορεί να μειωθεί πολύ κάτω από την τιμολόγηση API καταλόγου.

Συμπέρασμα

Ο διαχωρισμός της συμμόρφωσης ανάπτυξης από τη βελτιστοποίηση αναζήτησης μέσω ενός αγωγού SFT και RL δύο σταδίων αποδίδει ένα μοντέλο που είναι ικανό και αξιόπιστο υπό περιορισμούς παραγωγής. Ο συνδυασμός επαληθεύσιμων QA και δεδομένων εκπαίδευσης βασισμένων σε κανόνες, μαζί με τη συνάθροιση ανταμοιβής με πύλες και την αγκυρωμένη διαμόρφωση αποδοτικότητας, επιτρέπει τη σταθερή πολυ-στόχο βελτιστοποίηση χωρίς να θυσιάζεται η ακρίβεια αναζήτησης ή η συμμόρφωση με τις δικλείδες ασφαλείας.

Αρκετές κατευθύνσεις αξίζουν περαιτέρω διερεύνηση. Όπως φαίνεται στο Σχήμα 4, η divergence KL εκπαίδευσης–εξαγωγής παρουσιάζει μια επίμονη ανοδική μετατόπιση σε εκτεταμένα βήματα εκπαίδευσης. Αν και η διόρθωση IS σε επίπεδο διακριτικού αποδεικνύεται επαρκής υπό το τρέχον μας πλαίσιο, το αν αυτό παραμένει αληθές σε μεγαλύτερη κλίμακα δεν είναι σαφές· μια πιο θεμελιωμένη θεωρητική αντιμετώπιση αυτής της αναντιστοιχίας — που να περιλαμβάνει αποκλίσεις σε επίπεδο υποδομής και παράγοντες ειδικούς της αρχιτεκτονικής, όπως η δρομολόγηση MoE — μαζί με ποσοτικές εμπειρικές συγκρίσεις στρατηγικών μετριασμού, παραμένει ένα σημαντικό ανοικτό ερώτημα. Ειδικά για το multi-objective RL, υποσχόμενες κατευθύνσεις περιλαμβάνουν sequential training (Zeng et al., 2026) με on-policy distillation για τη βελτιστοποίηση στόχων σε στάδια ενώ μετριάζεται η καταστροφική λήθη· και model merging (Fu et al., 2025; Yang et al., 2026) για τον διαχωρισμό της βελτιστοποίησης ειδικά ανά εργασία από τη συγκέντρωση ικανοτήτων. Τέλος, η κλιμάκωση σε ρεαλιστικές ροές εργασίας πολλαπλών εργαλείων με μακροχρόνιες τροχιές παραμένει μια σημαντική ανοιχτή πρόκληση, που πιθανότατα απαιτεί καλύτερη απόδοση πιστώσεων, υποστήριξη για μερικά rollouts και αξιολογήσεις.

Βιβλιογραφία

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Παραπομπή

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}