pplx-embed: מודלי הטמעה מתקדמים לשליפה בהיקף אינטרנטי

היום אנו משחררים את pplx-embed-v1 ואת pplx-embed-context-v1, שני מודלים מתקדמים ביותר של הטמעת טקסט שנבנו עבור שליפה בעולם האמיתי ובהיקף כלל-אינטרנטי. pplx-embed-v1 מותאם לשליפת טקסט צפוף סטנדרטית, בעוד ש-pplx-embed-context-v1 מטמיע קטעי טקסט בהתחשבות בהקשר המסמך הסובב.

גם pplx-embed-v1 וגם pplx-embed-context-v1 זמינים בסקלות פרמטרים של 0.6B ו-4B. המודלים בגודל 0.6B מיועדים ליצירת embeddings קלה ובעלת השהיה נמוכה, בעוד שהמודלים בגודל 4B ממקסמים את איכות האחזור. בהערכות שלנו, משפחת pplx-embed מובילה במגוון מדדי benchmark ציבוריים, כולל MTEB(Multilingual, v2), BERGEN, ToolRet, ו-ConTEB. נוסף על כך, pplx-embed-v1 מספקת תוצאות מהמובילות בקטגוריה במדדי ה-benchmark הפנימיים שלנו בקנה מידה של הרשת: PPLXQuery2Query, PPLXQuery2Doc.

המודלים מפיקים הטמעות INT8 ו-בינאריות, המפחיתות את דרישות האחסון פי 4 ופי 32 בהתאמה, בהשוואה ל-FP32. קומפקטיות זו הופכת אחזור ואחסון של הטמעות בהיקף אינטרנטי למעשיים משמעותית.

ממדי המודל, אורך ההקשר, הקוונטיזציה ותצורת ה-pooling של pplx-embed.

עיין ב-דוח הטכני, ב-מודלי Hugging Face וב-תיעוד ה-API שלנו.

מוטיבציה

הטמעות טקסט צפופות ממפות שאילתות ומסמכים למרחב סמנטי משותף שבו אחזור מצטמצם לחיפוש השכנים הקרובים ביותר בקירוב. בסקייל של Perplexity, הטמעות הן השלב הראשון בצינור השליפה שלנו, וקובעות אילו מסמכים מתוך מיליארדי דפי אינטרנט ייבחנו על ידי מדרגים במורד הזרם ומודלי שפה.

רוב מודלי ההטמעה המובילים כיום בנויים על מודלי שפה מבוססי מפענח בלבד (decoder-only LLMs) עם מסיכת קשב סיבתית (causal attention masking), שבה כל טוקן יכול להפנות רק לטוקנים קודמים. עבור שליפה, זוהי מגבלה בסיסית: הבנת קטע דורשת לעיתים קרובות הקשר דו-כיווני. אנו פותרים זאת באמצעות אימון מקדים נמשך מבוסס דיפוזיה, ההופך מודל שפה סיבתי למקודד דו-כיווני. קשב דו-כיווני מלא מאפשר איגום ממוצע (mean pooling) על פני כל הייצוגים של הטוקנים ותומך בפיצול מאוחר (late chunking) עבור הטמעות הקשריות, שבהן ההטמעה של כל פיסת טקסט מקבלת מידע מהמסמך המלא שבו היא מופיעה.

בקנה מידה אינטרנטי, אחסון הטמעות ב-FP32 יקר באופן בלתי סביר. במקום החלת קוונטיזציה כשלב דחיסה פוסט-הוק, המודלים שלנו משתמשים באימון מודע קוונטיזציה (quantization-aware training) כדי לייצר הטמעות INT8 באופן טבעי, מה שמפחית את האחסון פי 4 ללא פגיעה בביצועים. קוונטיזציה בינארית מפחיתה את האחסון פי 32 עם אובדן איכות מינימלי, במיוחד בקנה המידה של 4B.

מודלי הטמעה מודרניים רבים דורשים קידומות הנחיה (instruction prefixes) המצורפות לכל קלט. למרות שזה יכול לייצר שיפורים קטנים במדדים, בפועל זה מוסיף חיכוך: הנחיות לא תואמות בין זמן יצירת האינדקס לזמן השאילתה פוגעות בשליפה בשקט, ובחירת ההנחיה הנכונה לכל מקרה שימוש הופכת לעוד דבר שצריך לדייק. המודלים שלנו אינם דורשים הנחיות כלל, מה שהופך את השילוב לפשוט.

אימון

pplx-embed-v1 ו-pplx-embed-context-v1 מאומנים דרך צינור עבודה מרובה שלבים שמעצב בהדרגה ייצוגי טקסט לצורך שליפה.

הגדלה

אימון מקדים נמשך מבוסס דיפוזיה

אנו מתחילים ממודלי בסיס מאומנים מראש מסוג Qwen3 (0.6B ו-4B) וממירים אותם ממפַענחים סיבתיים למקודדים דו-כיווניים על ידי ביטול מסיכת הקשב הסיבתי ואימון עם מטרת הסרת רעש דיפוזיה. בניגוד למודלים אוטורגרסיביים החוזים טוקנים משמאל לימין, אימון דיפוזיה מחייב את המודל לשחזר טוקנים מוסווים באקראי תוך שימוש בהקשר הדו-כיווני המלא סביב כל מיקום מוסווה. המשמעות היא שעד לתחילת הכוונון העדין הניגודי (contrastive fine-tuning), הייצוגים כבר מקודדים סמנטיקה דו-כיוונית, מה שמספק בסיס חזק יותר לשליפה מאשר נקודת מוצא סיבתית. אנו מבצעים אימון מקדים על כ-250 מיליארד טוקנים של טקסט רב-לשוני המשתרע על פני 30 שפות. בניתוחי השוואה (ablations), עמוד השדרה שעבר אימון מקדים בדיפוזיה משיג הפסד אימון ניגודי נמוך משמעותית בהשוואה לעמיתיו הסיבתיים, מה שמתורגם לשיפור של בערך נקודת אחוז אחת במשימות שליפה.

אימון ניגודי

לאחר האימון המקדים, אנו מבצעים שלושה שלבי למידה ניגודית. אימון זוגות קובע התאמה סמנטית בסיסית בין שאילתות למסמכים תוך שימוש בהפסד InfoNCE עם שליליים בתוך-האצווה (in-batch negatives). עם גדלי אצווה גדולים, חלק מהשליליים בתוך-האצווה הם למעשה כמעט-כפילויות של החיובי, ולכן אנו מיישמים מסיכה מבוססת דמיון כדי למנוע משליליים שקריים אלו לפגוע באות האימון. האימון מתקדם בשלבים – אנגלית בלבד, לאחר מכן רב-לשוני חוצה-שפות, ולבסוף רב-לשוני לחלוטין – ובאמצעות כך בונה יכולת בהדרגה במקום בבת אחת. אימון הקשרי מלמד לאחר מכן את המודל סמנטיקה ברמת הפיסת-טקסט (chunk-level) ביחס להקשר ברמת המסמך, תוך שימוש בהפסד כפול המשלב ניגודיות בתוך-הרצף ובתוך-האצווה ברמת הפיסה ורמת המסמך גם יחד – שלב זה מפיק את pplx-embed-context-v1. לבסוף, אימון שלשות (triplet training) עם שליליים קשים מנוסחים מחדש מעדכן את הגבולות בין מסמכים דומים אך לא רלוונטיים. מודל ה-pplx-embed-v1 הסופי ממוזג על ידי מיזוג נקודות הביקורת ההקשריות והשלושיות באמצעות אינטרפולציה ליניארית כדורית (SLERP).

קוונטיזציה טבעית

בכל שלבי ה-contrastive, ה-embeddings מכומתים ל-INT8 הן במהלך האימון והן במהלך ההסקה. אנו מיישמים פעולת pooling ממוצעת מבוססת tanh, ולאחריה עיגול, ומשתמשים בהערכת גרדיאנט straight-through כדי לבצע backpropagate דרך שלב הכימות שאינו ניתן להפרדה. כך המודל לומד ייצוגים המותאמים לדיוק מופחת כבר מההתחלה, במקום לסבול מפגיעה עקב דחיסה בדיעבד. עבור כימות בינארי, המודלים בגודל 4B חזקים בהרבה מאשר 0.6B: ממד ה-embedding הגדול יותר שלהם (2560 לעומת 1024) משמר יותר מידע לאחר binarization, ומגביל את ירידת הביצועים לפחות מ-1.6 נקודות אחוז, לעומת 2–4 נקודות בסקאלה הקטנה יותר.

מדדים ציבוריים

הגדלה

במדד השליפה MTEB (רב-לשוני, v2), מודל ה-pplx-embed-v1-4B (INT8) משיג ציון nDCG@10 ממוצע של 69.66%, משתווה ל-Qwen3-Embedding-4B (69.60%) ועובר את gemini-embedding-001 (67.71%), תוך דרישת אחסון נמוכה משמעותית לכל הטמעה. מודל ה-0.6B שלנו עולה על עמיתו מבית Qwen3 באותו קנה מידה של פרמטרים.

הגדלה

ביצועי שליפה הקשרית במדד ConTEB. משמאל: מודלים הקשריים. מימין: מודלים שאינם הקשריים. pplx-embed-context-v1-4B (INT8) משיג את הציון הגבוה ביותר של 81.96, ואחריו voyage-context-3 (79.45) ו-pplx-embed-context-v1-0.6B (INT8) עם 76.53.

עבור שליפה הקשרית, pplx-embed-context-v1-4B קובע שיא חדש במדד ConTEB עם ציון nDCG@10 ממוצע של 81.96%, ועוקף את voyage-context-3 (79.45%) ואת Anthropic Contextual (72.4%). על ידי אימון ייצוגים ברמת הפיסה המשלבים סמנטיקה ברמת המסמך, המודלים שלנו שולפים את הקטע הנכון גם כאשר המשמעות שלו תלויה בהקשר הסובב.

אנו מעריכים את המודלים שלנו גם ב-RAG מקצה לקצה באמצעות מדד BERGEN, שבו קטעים נשלפים מועברים למודל שפה כדי לייצר תשובות. pplx-embed-v1-4B עולה על Qwen3-Embedding-4B בארבע מתוך חמש משימות מענה על שאלות שנבדקו. ראוי לציין ש-pplx-embed-v1-0.6B עולה על מודל ה-Qwen3-Embedding-4B הגדול יותר בשלוש מתוך חמש המשימות, מה שמדגים שהמודל הקטן יותר שלנו יכול להתאים או לעלות על מתחרה בקנה מידה פרמטרי גדול משמעותית בהגדרות RAG מעשיות. לפרטים נוספים על הערכה זו, אנו מפנים ל-דוח הטכני.

שליפה בעולם האמיתי בהיקף רחב

מדדים ציבוריים שימושיים, אך הם אינם ללכוד במלואם את אתגרי השליפה בהיקף אינטרנטי: שאילתות זנב-ארוך (long-tail queries), מסמכים רועשים ושינויי התפלגות המאפיינים סביבות ייצור. כדי למוד מה חשוב בפועל, בנינו שני מדדים פנימיים עם עד 115 אלף שאילתות מהעולם האמיתי שהוערכו מול יותר מ-30 מיליון מסמכים שנאספו מיותר ממיליארד דפי אינטרנט. PPLXQuery2Query מעריך האם מודל הטמעה יכול לזהות שאילתות שקולות סמנטית מתעבורת חיפוש אמיתית; PPLXQuery2Doc מודד שליפת מסמכים מקורפוס של 30 מיליון דפים.

ב-PPLXQuery2Query (קורפוס של 2.4 מיליון), pplx-embed-v1-4B משיג 73.5% Recall@10, ועובר את Qwen3-Embedding-4B (67.9%) ב-5.6 נקודות אחוז. מודל ה-0.6B שלנו משיג 71.1% Recall@10, ועולה באופן משמעותי על BGE-M3 (61.8%) ועל Qwen3-Embedding-0.6B (55.1%).

הגדלה

במשימת PPLXQuery2Doc הרב-לשונית (קורפוס של 30 מיליון), pplx-embed-v1-4B משיג 91.7% Recall@1000, בהשוואה ל-88.6% עבור Qwen3-Embedding-4B. Recall גבוה בעומקי שליפה גדולים הוא קריטי עבור מודלי הטמעה המשמשים כמחזירים בשלב ראשון בצינורות דירוג רב-שלביים, שבהם ממקסימום מספר המועמדים הרלוונטיים המועברים למדרגים חוזרים במורד הזרם משפיע ישירות על איכות התוצאה הסופית.

איך מתחילים

כל המודלים זמינים ב-Hugging Face (תחת רישיון MIT) ובאמצעות Perplexity API. אנו תומכים בהסקה באמצעות Transformers, SentenceTransformers, Text Embeddings Inference, ו-ONNX. לפרטים מלאים על כל אפשרות, ראו את אוסף המודלים ב-Hugging Face.

לפרטים טכניים מקיפים ולתוצאות הערכה מלאות, עיין בדוח הטכני שלנו.

ציטוט

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}