קידום מודלי שפה מוגברי חיפוש

כיצד אנו מבצעים פוסט-אימון למודלים פתוחים לסוכני חיפוש העונים בדיוק רב יותר עם פחות קריאות כלים.

מחבריםPerplexity Research

מבוא

אימון סוכני חיפוש אינטרנטי חזיתיים דורש אופטימיזציה משותפת של מספר יעדים: דיוק עובדתי, יעילות מסלול והתאמה להעדפות המשתמש. עם זאת, שיפור של ממד בודד כלשהו בבידוד לרוב פוגע באחרים: מודלים המאומנים אך ורק עבור דיוק נוטים להשתמש לרעה בכלים, בעוד שמודלים הממוטבים לתמצות עלולים להקריב אמינות או שלמות. ב-Perplexity, אף אחת מהתוצאות הללו אינה קבילה.

מאמר זה מתאר את צינור ה-post-training של Perplexity לפיתוח סוכני חיפוש אינטרנט חדישים המבוססים על מודלים בקוד פתוח. רעיון מרכזי הוא שבאימון של סוכני חיפוש, תיוג הנתונים ועיצוב התגמול חייבים להיבנות יחד: הנתונים קובעים אילו התנהגויות ניתנות לצפייה ולאימות, והתגמול קובע כיצד אותות אלה מתורגמים לאות אופטימיזציה. עיקרון זה מניע את צינור העבודה הדו-שלבי שלנו: תחילה אנו מבצעים warmup של Supervised Fine-Tuning ‏(SFT) כדי לאתחל את מודל המדיניות, ולאחר מכן אנו משפרים את מודל המדיניות באמצעות Reinforcement Learning ‏(RL) על פני מערך נתונים שאוּצר בקפידה ותגמולים שעוצבו בקפידה. גישה דו-שלבית זו מאפשרת שיפורים אמינים בדיוק, ביעילות ובאיכות התגובה תחת אילוצי production.

אנו מתארים תחילה את צנרת האימון הדו-שלבית שלנו (SFT ← RL בתוך מדיניות), ולאחר מכן את בניית נתוני האימון מסוג RL, המכסה הן שאלות-תשובות (QA) של סוכני חיפוש הניתנות לאימות והן צ׳אט כללי מבוסס רובריקות. לאחר מכן אנו מציגים עיצוב תגמול מרוכב הנגזר מסביבת נתונים הטרוגנית זו, המאזן בין איכות ויעילות תוך מיתון פריצת תגמולים. לבסוף, אנו מנתחים את דינמיקת האימון ואת תוצאות מדדי ההשוואה.

צנרת אימון דו-שלבית

אנו מאמצים מתכון פוסט-אימון דו-שלבי: (i) SFT כדי לבסס התנהגויות הקריטיות לפריסה כגון מנגנוני הגנה (למשל, הימנעות), ציות להנחיות ועקביות שפה, ו-(ii) RL מבוסס מדיניות כדי לשפר את יכולת החיפוש, כולל דיוק התשובות ויעילות השימוש בכלים, תוך שימור ההתנהגויות מהשלב הראשון.

למה שני שלבים? אופטימיזציה משותפת של איכות החיפוש ומגבלות הפריסה במסגרת שלב RL יחיד קשה מבלי לפגות בלפחות יעד אחד. אמפירית, אימון RL בלבד משפר את ביצועי החיפוש אך נוטה להציג ביצועים נמוכים במנגנוני ההגנה של הפריסה, בעוד ש-SFT משפר את הציות על חשבון ביצועי החיפוש. הפרדת היעדים מאפשרת לשלב ה-SFT לטפל תחילה בדרישות שאינן ניתנות למשא ומתן, ולאחר מכן ה-RL יכול להתרכז בעיקר בשיפור יכולת החיפוש.

שלב SFT

אנו מאתחלים ממשפחת המודלים Qwen3 (Qwen3.5-122B-A10B ו-Qwen3.5-397B-A17B) (Yang et al., 2025, פוסט בבלוג של Qwen3.5) ובונים מערך נתונים תערובת SFT דו-רכיבי המכוון להתנהגויות הקריטיות לפריסה שתוארו לעיל, תוך שימור יכולת החיפוש הכללית של מודל הבסיס.

דוגמאות מוטות-העדפה. אנו אוצרים דוגמאות ממוקדות ציות להנחיות וסגנון המתמקדות בטון, עקביות שפה, בהירות ועיצוב. דוגמאות אלו אינן חייבות להוביל לאמת יחידה מוחלטת; במקום זאת, הן נבחרות כדי לשקף את דרישות כתיבת המוצר ולהבטיח עקביות סגנונית על פני סוגי שאילתות מגוונים.

מסלולי שימוש בכלים בפורמט ייצור. אמפירית, אנו מוצאים ש-SFT ללא אוצרת נתונים זהירה עלול לפגום משמעותית ביכולת החיפוש של מודל הבסיס. כדי למתן זאת, אנו דוגמים שאילתות ומשימות פנימיות על פני דפוסי אינטראקציה מגוונים (תור אחד, שני תורים וריבי-תורים) ומעירים אותן באמצעות רתמת קריאת הכלים שלנו.

שלב RL

החל מנקודת הביקורת של ה-SFT, אנו מפעילים RL מבוסס מדיניות כדי לשפר את דיוק החיפוש ויעילותו. אנו ממטבים את מודל המדיניות באמצעות אופטימיזציית מדיניות יחסית לקבוצה (GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

כאשר GG הוא גודל הקבוצה, oio_{i} מציין את הפלט ה-ii שנדגם, ו-A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} הוא היתרון. עיצוב התגמול מפורט בסעיף עיצוב התגמול; בקצרה, אנו משלבים נכונות בסיס עם עיצוב יעילות מעוגן ומבוסס העדפה. בעקבות עבודה קודמת (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), אנו מפעילים דגימת חשיבות ברמת הטוקן (IS) כדי לתקן את חוסר ההתאמה בין אימון להסקה:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

אנו מעריכים מספר גישות למיתון חוסר ההתאמה בין אימון להסקה, כולל IS ברמת הרצף (Zheng et al., 2025b), ניתוב מחדש של הפעלה (Ma et al., 2025; Zheng et al., 2025b), ואימון עקבי סיביות המשלב את הליבה של מנוע ההסקה במהלך האימון (צוותי vLLM ו-TorchTitan, 2025). אמפירית, תחת הגדרת המדיניות שלנו, אנו מוצאים ש-IS ברמת הטוקן מספיק כדי למנוע קריסת אימון תוך שמירה על פשטות יישום; הדבר עולה בקנה אחד עם הממצאים מ- Zheng et al (2025a).

נתוני אימון RL

נתוני אימון ה-RL שלנו מורכבים משני רכיבים משלימים: שאלות-תשובות (QA) של סוכני חיפוש הניתנות לאימות המכוונות ליכולת חיפוש כללית, וצ׳אט כללי מבוסס רובריקות המחזק במפורש מנגנוני הגנה של פריסה כדי למנוע נסיגה במהלך שלב אימון ה-RL.

נתוני סוכני חיפוש הניתנים לאימות

בניית מערך נתונים. בעקבות שיטת ההרחבה הסדרתית (Tao et al., 2025), אנו בונים מערך נתונים סינתטי פנימי של שאלות-תשובות מתוך שאילתות זרע פנימיות מבלי להסתמך על גרף ידע אוצר, מה ששומר על הצנרת קלה וקלה לרענון. כל דוגמה סינתטית נוצרת באמצעות השלבים הבאים:

  1. בחירת זרע. אנו שולפים מסמכים עבור שאילתות זרע ובוחרים ישויות עם אישור עובדות ממקורות מרובים כנקודות התחלה, ומחלצים עליהן הצהרות אטומיות.
  2. בניית שרשרת רב-שלבית. מתוך ההצהרות של ישות הזרע, אנו בוחרים אחת המציגה ישות שנייה (למשל, עבור הזרע "מבחן האמא", ההצהרה "נכתב על ידי רוב פיצפטריק" מציגה את המחבר כישות הבאה). אנו חוזרים על תהליך קישור זה 2–4 פעמים, ומוודאים שכל ישות נבדלת וששום הצהרה בודדת אינה חושפת את התשובה הסופית באופן טריוויאלי
  3. סינתזת שאלות ללא שמות. אנו ממירים את שרשרת הישויות לשאלה על ידי החלפה רקורסיבית של שמות ישויות בהצהרות המחברות ביניהן, ומייצרים שאלה מקוננת הדורשת הסקה רב-שלבית
  4. אימות. אנו שומרים רק שאלות עם תשובות ייחודיות המאומתות על ידי פותרים מרובים עצמאיים המותנים באינטרנט.

דוגמה (3-דילוגים)

שקלו את שאילתת ה-seed “The Mom Test”. אנו מאחזרים מסמכים ומזהים ספר זה כישות ה-seed, ואז מחלצים אמירות עובדתיות אטומיות ובונים באופן איטרטיבי שרשרת ישויות: (i) The Mom Test נכתב על ידי Rob Fitzpatrick, ובכך מוצג Rob Fitzpatrick; (ii) ה-startup הראשון של Rob Fitzpatrick עבר דרך Y Combinator ‏(Summer 2007), ובכך מוצג Y Combinator; (iii) Y Combinator הושק במרץ 2005. החלפה רקורסיבית של שם כל ישות במתאר שלה מניבה את השאלה נטולת השמות: “איזה ספר נכתב על ידי האדם שה-startup הראשון שלו עבר דרך המאיץ שהושק במרץ 2005, במחזור Summer 2007 שלו?” עם התשובה “The Mom Test”.

העשרת מגוון פורמטים. מודלים המאומנים אך ורק על שאלות-תשובות סינתטיות גולמיות נוטים להתעלם מהעדפות עיצוב ולחזור למבנה תגובה קבוע, ללא קשר לאופן שבו השאילתות מנוסחות. כדי לשפר את מגוון הפורמטים, אנו מעשירים את מערך הנתונים בשאילתות הכוללות הוראות עיצוב מפורשות (למשל, "הצג רשימה של . . . " או "סכם . . . בטבלה"), תוך שמירה על התשובה הבסיסית ללא שינוי.

שאלות-תשובות ציבוריות הניתנות לאימות (בסיס השוואה). אנו בונים מערך נתונים בסיסי של שאלות-תשובות הניתנות לאימות מחמישה מערכי נתונים בקוד פתוח (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), המאוחדים תחת פורמט ההנחיה המועשר שלנו עם סינון איכות. תערובת זו משמשת כבסיס ההשוואה העיקרי בניסויי האימות שלנו. עבור השוואות מבוקרות, אנו מתאימים את היקף מערך הנתונים הסינתטי הפנימי של שאלות-תשובות לתערובת קוד פתוח זו.

אימות מהיר. אנו מאמתים את יעילותה של צנרת זו באמצעות Qwen3-30B-A3B-Instruct-2507 כדי לאפשר איטרציה מהירה; התוצאות מסוכמות בטבלה 1.

אימות מערך נתונים סינתטי של שאלות-תשובות הניתנות לאימות

נתוני צ׳אט כללי מבוססי רובריקה

בעוד ששאלות-תשובות הניתנות לאימות מספקות אות אימון נקי עבור שאילתות ממוקדות חיפוש, חלק ניכר מתעבורת הייצור אינו ניתן לאימות ייחודי (למשל, שכתוב, תכנון ועזרה פתוחה). החרגת שאילתות כאלה מ-RL תשאיר את המדיניות בלתי ממוטבת עבור אינטראקציות אמיתיות של משתמשים. علاوة על כך, בעוד ששלב ה-SFT מבסס מנגנוני הגנה הקריטיים לפריסה, RL עלול לסגת מהם אלא אם כן הם מחזקים במפורש על ידי הנתונים.

אנו משלבים שאילתות שאינן ניתנות לאימות באימון ה-RL על ידי המרת דרישות קריטיות לפריסה — ציות להנחיות, מגבלות עיצוב ומוסכמות בטיחות — לרובריקות: קריטריונים אטומיים וניתנים לבדיקה אובייקטיבית שתשובה חייבת לספק. אנו מאמצים בניית נתונים מבוססת רובריקות (Gunjal et al., 2025; Liu et al., 2025b), המייצרת קבוצות רובריקות לכל שאילתה.

יצירת רובריקות. בהינתן היסטוריית השיחה המלאה, אנו מנחים מודל שפה גדול (LLM) לייצר תשובת ייחוס וקבוצת רובריקות תואמת. רובריקות נגזרות תחת סדר עדיפויות קבוע: דרישות שהוצהרו במפורש על ידי המשתמש מקבלות עדיפות, אחריהן מגבלות פנימיות, ולבסוף דרישות תוכן נחוצות המוסקות מתשובת הייחוס. כל רובריקה חייבת להיות:

  • אטומית: בדיקה יחידה ומוגדרת היטב;
  • אובייקטיבית: ניתנת לאימות ללא שיפוט סובייקטיבי;
  • הכרחית: נדרשת למענה על השאילתה, ולא סתם העדפה סגנונית.

דוגמה

שאילתה.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

רובריקות.

  • The response is written in English.
  • The corrected wording contains the words "lodging" and "boarding".
  • The corrected wording uses "manpower" as a single word (for example, "manpower plan" or "manpower planning") rather than "man power".
  • The corrected wording does not contain the informal shorthand tokens "u" or "Plz", and it does not contain the ampersand character "&".
  • The response does not contain citation markers of the form \\[type:idx\\], where type denotes a data source (for example, web, chart, memory, attached_file).

כיול רובריקות. כדי להימנע מקבוצות רובריקות מחמירות מדי או מקלות מדי, אנו מפעילים מסנן pass@4. עבור כל שאילתה, אנו דוגמים ארבע תשובות עצמאיות ומעריכים אותן מול קבוצת הרובריקות המלאה באמצעות שופט ציות להנחיות. אנו זורקים שאילתות שעבורן אף תשובה אינה ממלאת את קבוצת הרובריקות או שכל התשובות ממלאות אותן, ושומרים רק את אלו המניבות אות אימון מעשיר.

תערובת הנחיות ואיזון שונות

אתגר מעשי ב-RL רב-יעדים הוא חוסר איזון בשונות בין רכיבי הנתונים (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). אף על פי ששאלות-תשובות הניתנות לאימות ונתונים מבוססי רובריקות מניבים שניהם תגמולים בינאריים, הם נבדלים מהותית בקושי המשימה: סיפוק רובריקות קל בדרך כלל להשגה בשלב מוקדם של האימון, מה שמייצר עדכוני גרדיאנט גדולים ותכופים יותר שיכולים לשלוט באופן לא פרופורציונלי באופטימיזציית המדיניות ביחס לאות שאלות-תשובות הניתנות לאימות הקשה יותר. כדי לטפל בכך, אנו מתמחרים מחדש את תערובת ההנחיות ברמת מערך הנתונים, כאשר אנו דוגמים 90% משאלות-תשובות הניתנות לאימות ו-10% מנתונים מבוססי רובריקות כדי לאזן את אות האופטימיזציה על פני הרכיבים.

עיצוב תגמול

עיצוב התגמול שלנו נובע ישירות מבניית הנתונים המתוארת לעיל. למרות שהוא משתרע על פני שאלות-תשובות הניתנות לאימות ומשימות רובריקה, כל נתוני האימון חולקים מבנה תגמול בסיסי משותף: הרצה מקבלת קרדיטים אם היא מייצרת תשובה נכונה למשימות שאלות-תשובות, או מספקת את כל הרובריקות המצוינות עבור צ׳אט כללי. בהתבסס על יסוד משותף זה, אנו בונים תגמול מרוכב לשילוב ניקוד מבוסס העדפה ועיצוב יעילות.

אתגר מרכזי שנצפה בניסויים מוקדמים היה פריצת תגמולים: צירוף לינארי פשוט של תגמולים אפשר לאותות העדפה חזקים לפצות על כישלונות עובדתיים או של הנחיות. לכן אנו מאמצים צבירה מושהית (gated aggregation) כעיקרון עיצוב ליבה, המוגדר רשמית כ:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

כאשר rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} מציין נכונות שאלות-תשובות או סיפוק רובריקות, s(τi)∈[0,1]s(\tau_i)\in[0,1] הוא ציון ההעדפה, ו-pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) הוא עונש יעילות מעוגן. הדבר הופך את הנכונות לתנאי הכרחי לקבלת קרדיטים של העדפה, תוך שהוא עדיין הרתעה משימוש מיותר בכלים ובמילות יתר. איור 1 ממחיש את צנרת התגמול המלאה, שאת רכיביה אנו מתארים להלן:

סקירת עיצוב תגמול. אנו משלבים אות נכונות בסיסי (ניתן לאימות/רובריקה), ציון העדפה של ברדלי-טרי (Bradley-Terry), ועונשי יעילות מעוגנים. ההעדפה מבוקרת על ידי נכונות הבסיס למניעת פריצת תגמולים.

תגמול בסיס

אנו מגדירים אות בסיס בינרי rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\} שמלכד נכונות משימה או עמידה בהוראות. עבור נתוני סוכן חיפוש ניתנים לאימות, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 אם התשובה הסופית תואמת את האמת הקרקעית, ו-00 אחרת. עבור נתוני צ'אט כלליים המבוססים על rubrics, rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1 אם כל ה-rubrics מתקיימים, ו-00 אחרת. אות בסיס זה משמש כשער הקשיח בכלל הצבירה המותנית Eq. 2.

מידול העדפה

אנו שואפים להתאים את מודל המדיניות להעדפות החבויות של המשתמשים לגבי איכות התשובה — אינפורמטיביות, בהירות וטון מקצועי — שקשה ללכוד באמצעות הנחיות שופט-LLM. לכן אנו מאמנים מודל תגמול העדפה נלמד כדי לדרג תכונות אלו ישירות.

אנו מנסחים למידת העדפה תחת מסגרת ברדלי-טרי (Bradley–Terry). בהינתן הקשר xx ושתי תשובות מועמדות ya,yby_a, y_b, המודל מייצר ציונים סקלריים sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} וממזער,

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

כאשר r∈{0,1}r \in \{0, 1\} מציין אם yay_a מועדף. כדי לבטל הטיה מיקומית, כל זוג אימון מועשר בשתי הסדרות וממוטב באופן סימטרי,

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

בעת ההסקה, אנו משיגים ציון העדפה בלתי תלוי במיקום על ידי מיצוע שתי התמורות:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

ציון ההעדפה של ההרצה מוגדר לאחר מכן כ-s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1], כלומר, ההסתברות שהרצת המדיניות yiy_i עדיפה על פני הרצת מודל הייחוס עבור אותה הנחיה.

נתוני האימון למידול העדפות נשאבים ממערכי נתונים בקוד פתוח שאוּצרו, ממשוב השוואתי של משתמשים ומביאורים פנימיים. כדי להתמודד עם רעש בתוויות, אנו מפעילים צינור סינון וכיול קל משקל בהשראת Datbench (DatologyAI, 2026), ושומרים רק דוגמאות עם הסכמה עקבית בין מודלים. מודל התגמול חולק את אותו backbone כמו מודל המדיניות, כאשר ראש המידול הלשוני מוחלף ב-value head. אף שמודלי תגמול קטנים יותר משיגים דיוק דומה ב-hold-out, אנו מוצאים אמפירית שהם אינם מצליחים ללכוד העדפות עדינות ויכולים לחזק התנהגויות לא רצויות של המדיניות.

עונש יעילות

בהיעדר shaping מפורש של יעילות, המדיניות נוטה לעשות שימוש-יתר בכלים גם בהנחיות פשוטות. עונשים לא-מותנים (למשל כאלה שגדלים ליניארית עם מספר קריאות הכלי או עם אורך הפלט) הם baseline טבעי, אך אנו מגלים שהם מדכאים חקירה נחוצה ופוגעים בלמידה. לכן אנו מאמצים עונשים יחסיים לקבוצה, מעוגנים שמבצעים רגולריזציה לשימוש בכלים ולאורך התגובה ביחס לפתרונות יעילים בתוך כל קבוצת GRPO. עבור קבוצה 𝑔, אנו מגדירים את קבוצת המנצחים כך:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

עונש קריאת כלי מעוגן. עבור כל הרצה τi\tau_i, יהי cic_i מציין את מספר קריאות הכלים ו-eie_i את מספר כשלונות ביצוע הכלים. אנו מגדירים את ספירת קריאות הכלים האפקטיבית c~i=ci−ei\tilde{c}_i = c_i - e_i ודוגמים באופן אחיד בסיס קבוצתי:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

אנו מחשבים את החריגה Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right), ומגדירים סקלר עונש חלק pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). עונש הכלים הוא אפוא:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

עונש אורך מעוגן. יהיו LiL_i ו-LirefL_i^{\mathrm{ref}} מציינים את אורכי הטוקן של יצירות המודל המועמד והייחוס, בהתאמה. אנו מגדירים את קבוצת העיצוב (shaping set) W^g\widehat{W}_g כהסרות שהן גם נכונות וגם מועדפות:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

לאחר מכן אנו מחשבים בסיסי אורך ספציפיים לקבוצה:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

עונש האורך מוגדר כ:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

כאשר השורה הראשונה היא תקרה קשיחה; השנייה מענישה זוכים מפורטים מדי; והשלישית מענישה מפסידים קצרים מדי.

עונש יעילות משולב. עונש היעילות המשולב הוא סכום משוקלל של שני הרכיבים:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

תוצאות עיקריות

אנו מעריכים את צנרת הפוסט-אימון שלנו לאורך שני צירים: (i) דינמיקת אימון, כדי להעריך יציבות אופטימיזציה وهل אותות התגמול מתנהגים כמצופה, ו-(ii) מדדי השוואה לא מקוונים (offline benchmarks), כדי למדוד איכות במורד הזרם, בטיחות ויעילות תחת הגדרות הערכה מבוקרות.

הגדרות אימון ברירת מחדל. מודל המדיניות מקיים אינטראקציה עם כלי חיפוש אינטרנטי (search_web); כל קריאת כלי שולפת עד 10 תוצאות, כאשר שאילתות מוגבלות ל-250 תווים ועד 5 שאילתות להרצה.

דינמיקת אימון

אנו בוחנים את דינמיקת האופטימיזציה, תוך התמקדות בהתקדמות התגמול ובהתנהגות היעילות. אנו משתמשים ב-Qwen3.5-397B-A11B למען פשטות ההמחשה.

התפתחות אותות הבסיס וההעדפה במהלך האימון.

איור 2 מציג שיפור מתמיד בתגמול הבסיס (שאלות-תשובות הניתנות לאימות וסיפוק רובריקות) לצד ציוני העדפה עולים, מה שמעיד על רווחים עקביים בנכונות, בציות ובאיכות התשובה.

התנהגות יעילות ועונשי עיצוב מעוגנים במהלך האימון.

איור 3 מדגים שגם תדירות קריאות הכלים וגם אורך היצירה נשארים מבוקרים היטב לאורך כל האימון. יש לציין שגם עונשי קריאות הכלים וגם עונשי האורך יורדים באופן מונוטוני לאורך מהלך האימון, מה שמשקף את ההתאמה ההדרגתית של המודל לעבר יצירה תמציתית יותר והפעלה סלקטיבית יותר של כלים.

מחווני יציבות אופטימיזציה.

איור 4 מראה כי נורמות הגרדיאנט נותרות יציבות מלבד קפיצות חולפות, בעוד ש-KL divergence בין אימון להסקה מציג מגמת עלייה מתונה, ונשאר בתחום הסקאלה של 1e-3. דפוס ה-drift הזה תואם תצפיות במסגרת אימון RL אחרות; מאחר שהאימון נשאר יציב לכל אורכו, אנו שומרים על רגולריזציית IS פשוטה ב-Eq. 1 ללא התערבות נוספת.

הערכות לא מקוונות

אנו מדווחים על תוצאות בסדרת מדדי השוואה המשתרעים על פני דיוק חיפוש, אמינות עובדתית, ציות להנחיות ובטיחות, הכוללים גם מדדי השוואה ציבוריים וגם מדדים פנימיים של Perplexity (PPLX). מדדי השוואה ציבוריים כוללים את SimpleQA, FRAMES ו-Facts Open.

  • pplx-sbs-search: הערכת העדפה צד-לצד באמצעות מודל תגמול פנימי. מועמדים מוסוים מול בסיס השוואה חזק.
  • pplx-abstention: היכולת לסרב כראוי כאשר אין ראיות אמינות זמינות.
  • pplx-language-mismatch: עקביות שפה תחת הגדרות זנב-ארוך ורבי-תורים.
  • pplx-broken-tool-calls (↓): ציות לסכמת קריאות הכלים וציות למגבלות, לדוגמה, tool_choice=none.

הגדרות הערכה ברירת מחדל. עבור מדדי השוואה ציבוריים, אנו מתירים רק את כלי החיפוש האינטרנטי, עם תקציב של עד 5 קריאות כלים לדוגמה ועד 10 תוצאות לקריאה, תוך ייצור של עד 8192 טוקני פלט בטמפרטורה 0.6.

תוצאות הערכה לא מקוונות. המספרים בסוגריים מציינים שימוש ממוצע בכלים. אנו מציינים את Qwen3.5-397B-A17B כ-Qwen3.5-Large, ואת Qwen3.5-122B-A10B כ-Qwen3.5-Medium.

טבלה 2 מראה כי Qwen3.5-Large-SFT-RL משיג דיוק חיפוש חזק על פני מדדי השוואה ציבוריים, תוך התאמה או חריגה מ-gpt-5.4 ב-FRAMES וב-Facts Open תוך שימוש בתקציבי כלים דומים. ביחס למודל הבסיס, הגישה שלנו מניבה רווחים מהותיים במדדים פנימיים, במיוחד בהעדפה (pplx-sbs-search: 0.602 → 0.742), בעקביות שפה ובהימנעות, מה שמוכיח שצנרת הדו-שלבית משפרת ביעילות התנהגויות הקריטיות לפריסה מבלי לפגוע ביכולת החיפוש.

הערכות יעילות שימוש בכלים

כדי למוד זאת, אנו מעצבים פרוטוקול הערכה מאולץ תקציב (budget-forced). לכל מודל ניתנת גישה לכלי חיפוש אינטרנטי (search_web) ולהנחיית מערכת המציינת תקציב קשיח על מספר קריאות הכלים המותרות ("התקציב"). אנו סורקים תקציב זה מ-0 (ללא שימוש בכלים, ידע פרמטרי טהור) ועד 10 (שליפה רב-שלבית נדיבה), ורושמים את הדיוק בכל רמה. הדבר מייצר עקומת יעילות כלים: ציון המודל כפונקציה של תקציב השליפה המותר לו. אנו מעריכים על שני מדדי השוואה של שאלות-תשובות עובדתיות, FRAMES ו-Facts Open.

דיוק מדד השוואה מול מספר מקסימלי של קריאות כלים.

מספר דפוסים בולטים משני מדדי השוואה אלו:

  • Qwen3.5-397B-SFT-RL המאומן שלנו משיג את דיוק החיפוש הטוב ביותר בשני מדדי ההשוואה. אפילו עם קריאת כלי יחידה, הוא משיג ציון של 57.3% ב-FRAMES, גבוה ב-5.7 נקודות מ-GPT-5.4 וב-4.7 נקודות מ-Sonnet 4.6.
    • היתרון בולט ביותר בתקציבים בינוניים (b=2-7), המהווים את טווח הפעולה המעשי לפריסות ייצור.
  • מתכון הפוסט-אימון שלנו (SFT + RL) משפר משמעותית את יעילות השימוש בכלים בהשוואה לנקודת הביקורת הבסיסית; ראה קווים רציפים (פוסט-מאומנים) לעומת קווים מקווקווים (נקודת ביקורת מתחילה) באיור 5.
  • עבור כל המודלים, אנו צופים תשואות פוחתות סביב תקציב=7, עקבי על פני שני מדדי השוואה וכל המודלים, מה שמרמז כי זו תכונה של המשימות המחפשות עובדות ולא של המודלים.

התוצאות לעיל מראות כי Qwen3.5-397B-SFT-RL משיג דיוק גבוה יותר עם פחות קריאות כלים. אך כיצד הדבר מתורגם לעלות בפועל? אנו ממירים מדידות ברמת טוקן לעלויות בדולרים תוך שימוש בתמחור API שפורסם (Alibaba DashScope, OpenAI, Anthropic) כדי להפוך את ההשוואה למוחשית.

עלות לשאילתה מול דיוק.

בפרופיל הבינוני (b=4), Qwen3.5-397B-SFT-RL משיג ציון של 73.9% ב-FRAMES בעלות של 2.0 סנט לשאילתה, בעוד ש-GPT-5.4 משיג 67.8% בעלות של 8.5 סנט ו-Sonnet 4.6 משיג 62.4% בעלות של 15.3 סנט. כלומר +6 נקודות דיוק בעלות נמוכה פי 4 בהשוואה ל-GPT-5.4, ו-+11.5 נקודות בעלות נמוכה פי 7.5 בהשוואה ל-Sonnet 4.6.

אומדנים אלו משתמשים בתמחור API של מחירון ללא מטמון. עם אופטימיזציות הסקה פנימיות כגון שימוש חוזר במטמון KV, מטמון קידומת והגשת MoE מכומת (397B משתמש רק ב-17B פרמטרים פעילים), ניתן לצמצם את העלות האפקטיבית הרבה מתחת לתמחור ה-API של המחירון.

סיכום

הפרדת ציות הפריסה מאופטימיזציית החיפוש באמצעות צנרת SFT ו-RL דו-שלבית מניבה מודל שהוא גם בעל יכולת וגם אמינים תחת מגבלות ייצור. השילוב של שאלות-תשובות הניתנות לאימות ונתוני אימון מבוססי רובריקה, יחד עם צבירת תגמולים מושהית ועיצוב יעילות מעוגן, מאפשר אופטימיזציה רב-יעדים יציבה מבלי להקריב את דיוק החיפוש או ציות למנגנוני הגנה.

מספר כיוונים ראויים לחקירה נוספת. כפי שנצפה באיור 4, סטיית הקול-לייבל (KL divergence) בין אימון להסקה מציגה סחיפה עקבית כלפי מעלה בשלבי אימון מורחבים. בעוד ותיקון IS ברמת הטוקן מוכיח את עצמו כמספיק תחת ההגדרה הנוכחית שלנו, האם הדבר נותר בעינו בקנה מידה גדול יותר אינו ברור; טיפול תיאורטי מבוסס יותר לחוסר התאמה זה — המקיף פערים ברמת התשתית וגורמים ספציפיים לארכיטקטורה כגון ניתוב MoE — לצד השוואות אמפיריות כמותיות של אסטרטגיות מיתון, נותר שאלה פתוחה חשובה. עבור RL רב-יעדים במיוחד, אפיקים מבטיחים כוללים אימון סדרתי (Zeng et al., 2026) עם זיקוק בתוך מדיניות כדי למטב יעדים בשלבים תוך מיתון שכחה קטסטרופלית; ומיזוג מודלים (Fu et al., 2025; Yang et al., 2026) כדי לנתק אופטימיזציה ספציפית למשימה מצבירת יכולות. לבסוף, התרחבות לעבודה מרובת כלים מציאותית עם מסלולים ארוכי טווח נותרה אתגר פתוח חשוב, הדורש ככל הנראה הקצאת קרדיטים טובה יותר, תמיכה בהרצות חלקיות והערכות.

מקורות

DatologyAI. Datbench: הערכות מודל ראייה-שפה מבחינות, נאמנות ויעילות. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, ינו׳ 2026. פורסם ב-6 בינו׳ 2026. גישה: 2026-03-04.

J. Duchi and H. Namkoong. רגולריזציה מבוססת שונות עם יעדים קמורים. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. מיזוג LLM ללא אימון עבור למידה רב-משימתית. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. רובריקות כתגמולים: למידת חיזוק מעבר לתחומים הניתנים לאימות. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. כאשר מהירות הורגת יציבות: פירוק קריסת RL מחוסר ההתאמה בין אימון להסקה. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: אופטימיזציית מדיניות נורמליזציה מבוססת תגמול קבוצתי מנותק עבור אופטימיזציית RL רב-תגמולים. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: לקראת יצירת רובריקה סינתטית ניתנת להרחבה עבור מידול תגמול והתאמת LLM. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: קידום סוכני חיפוש עמוק עם גרפי ידע ו-RL רב-תורים. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. ייצוב למידת חיזוק MoE על ידי יישור נתבים של אימון והסקה. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: העלאת הרף להסקה במודלי שפה מוגברי חיפוש. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. מדידה וצמצום של פער הקומפוזיציוניות במודלי שפה. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. חשיבה מחדש על אזור האמון בלמידת חיזוק של LLM. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: דחיפת גבולות ההסקה המתמטית במודלי שפה פתוחים. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: סינתזת נתונים סוכנית באמצעות פורמליזציה של חיפוש מידע. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. אין עוד חוסר התאמה בין אימון להסקה: למידת חיזוק עקבית סיביות בתוך מדיניות עם vLLM ו-TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, נוב׳ 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: השוואת ביצועי LLM במעבר אתרים, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. דוח טכני של Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. מיזוג מודלים ב-LLMs, MLLMs ומעבר להם: שיטות, תיאוריות, יישומים והזדמנויות. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. מסגרת ה-RL היעילה שלך מביאה לך בסתר אימון RL מחוץ למדיניות, אוג׳ 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: מעֲרִיכַת קוד וייב להנדסה סוכנית. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. ייצוב למידת חיזוק עם LLMs: ניסוח ופרקטיקות. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. אופטימיזציית מדיניות רצף קבוצתי. arXiv preprint arXiv:2507.18071, 2025b.

ציטוט

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://perplexity.coolkeypoint.com/hub/blog/advancing-search-augmented-language-models}
}