pplx-embed: वेब-स्केल रिट्रीवल के लिए अत्याधुनिक एम्बेडिंग मॉडल

आज हम pplx-embed-v1 और pplx-embed-context-v1 जारी कर रहे हैं, जो वास्तविक दुनिया में वेब-स्केल रिट्रीवल (पुनर्प्राप्ति) के लिए निर्मित दो अत्याधुनिक टेक्स्ट एम्बेडिंग मॉडल हैं। pplx-embed-v1 को मानक सघन टेक्स्ट रिट्रीवल के लिए अनुकूलित किया गया है, जबकि pplx-embed-context-v1 आसपास के दस्तावेज़-स्तरीय संदर्भ के संबंध में पैसेजों को एम्बेड करता है।

pplx-embed-v1 और pplx-embed-context-v1 दोनों 0.6B और 4B पैरामीटर स्केल पर उपलब्ध हैं। 0.6B मॉडल हल्के, कम-विलंबता वाले एम्बेडिंग जनरेशन को लक्षित करते हैं, जबकि 4B मॉडल रिट्रीवल की गुणवत्ता को अधिकतम करते हैं। हमारे मूल्यांकन में, pplx-embed परिवार MTEB(बहुभाषी, v2), BERGEN, ToolRet, और ConTEB सहित कई सार्वजनिक बेंचमार्क में अग्रणी है। इसके अतिरिक्त, pplx-embed-v1 हमारे आंतरिक वेब-स्केल बेंचमार्क: PPLXQuery2Query, PPLXQuery2Doc पर सर्वश्रेष्ठ परिणाम प्रदान करता है।

ये मॉडल INT8 और बाइनरी एम्बेडिंग उत्पन्न करते हैं, जो FP32 की तुलना में भंडारण आवश्यकताओं को क्रमशः 4x और 32x तक कम करते हैं। यह सघनता वेब-स्केल एम्बेडिंग भंडारण और पुनर्प्राप्ति को काफी अधिक व्यावहारिक बनाती है।

pplx-embed मॉडल के आयाम, संदर्भ लंबाई, क्वांटाइज़ेशन, और पूलिंग कॉन्फ़िगरेशन।

हमारी तकनीकी रिपोर्ट, Hugging Face मॉडल, और API दस्तावेज़ देखें।

प्रेरणा

सघन टेक्स्ट एम्बेडिंग क्वेरी और दस्तावेज़ों को एक साझा अर्थ संबंधी स्पेस में मैप करती हैं जहाँ रिट्रीवल लगभग निकटतम पड़ोसी खोज में बदल जाता है। Perplexity के स्तर पर, एम्बेडिंग हमारी रिट्रीवल पाइपलाइन का पहला चरण हैं, जो यह निर्धारित करती हैं कि अरबों वेब पेजों में से किन दस्तावेज़ों को डाउनस्ट्रीम रैंकर और भाषा मॉडल द्वारा विचार किया जाएगा।

आज अधिकांश अग्रणी एम्बेडिंग मॉडल कैजुअल अटेंशन मास्किंग वाले केवल-डिकोडर LLM पर निर्मित हैं, जहाँ प्रत्येक टोकन केवल पूर्ववर्ती टोकन पर ध्यान दे सकता है। रिट्रीवल के लिए, यह एक मूलभूत सीमा है: पैसेज को समझने के लिए अक्सर द्वि-दिशात्मक संदर्भ की आवश्यकता होती है। हम इसे डिफ्यूजन-आधारित निरंतर प्री-ट्रेनिंग के माध्यम से संबोधित करते हैं, जो एक कैजुअल LLM को द्वि-दिशात्मक एनकोडर में परिवर्तित करती है। पूर्ण द्वि-दिशात्मक अटेंशन सभी टोकन अभ्यावेदन पर माध्य पूलिंग को सक्षम बनाती है और प्रासंगिक एम्बेडिंग के लिए लेट चंकिंग का समर्थन करती है, जहाँ प्रत्येक चंक की एम्बेडिंग उस संपूर्ण दस्तावेज़ द्वारा सूचित होती है जिसमें वह दिखाई देता है।

वेब स्केल पर, FP32 में एम्बेडिंग संग्रहीत करना बहुत महंगा है। पोस्ट-हॉक कम्प्रेशन चरण के रूप में क्वांटाइजेशन लागू करने के बजाय, हमारे मॉडल INT8 एम्बेडिंग को स्वाभाविक रूप से उत्पन्न करने के लिए क्वांटाइजेशन-अवेयर ट्रेनिंग का उपयोग करते हैं, जिससे प्रदर्शन में बिना किसी समझौते के भंडारण 4 गुना कम हो जाता है। बाइनरी क्वांटाइजेशन विशेष रूप से 4B स्केल पर न्यूनतम गुणवत्ता हानि के साथ भंडारण को 32 गुना कम कर देता है।

कई आधुनिक एम्बेडिंग मॉडलों को प्रत्येक इनपुट से पहले निर्देश प्रीफिक्स की आवश्यकता होती है। हालाँकि इससे बेंचमार्क पर छोटे सुधार मिल सकते हैं, लेकिन व्यवहार में यह घर्षण पैदा करता है: इंडेक्सिंग और क्वेरी समय के बीच बेमेल निर्देश चुपचाप रिट्रीवल को खराब कर देते हैं, और प्रत्येक उपयोग के मामले के लिए सही प्रॉम्प्ट चुनना एक और कार्य बन जाता है। हमारे मॉडलों को किसी निर्देश की आवश्यकता नहीं है, जिससे एकीकरण सीधा हो जाता है।

ट्रेनिंग

pplx-embed-v1 और pplx-embed-context-v1 को एक बहु-चरणीय पाइपलाइन के माध्यम से प्रशिक्षित किया जाता है जो रिट्रीवल के लिए टेक्स्ट अभ्यावेदन को धीरे-धीरे आकार देती है।

बड़ा करें

निरंतर डिफ्यूजन प्री-ट्रेनिंग

हम प्री-ट्रेन किए गए Qwen3 बेस मॉडल (0.6B और 4B) से शुरुआत करते हैं और उन्हें कैजुअल अटेंशन मास्क को अक्षम करके और डिफ्यूजन डीनोइजिंग ऑब्जेक्टिव के साथ प्रशिक्षण देकर कैजुअल डिकोडर से द्वि-दिशात्मक एनकोडर में परिवर्तित करते हैं। ऑटोरेग्रेसिव मॉडलों के विपरीत जो बाएं से दाएं टोकन की भविष्यवाणी करते हैं, डिफ्यूजन प्रशिक्षण मॉडल को प्रत्येक मास्क्ड स्थिति के चारों ओर पूर्ण द्वि-दिशात्मक संदर्भ का उपयोग करके यादृच्छिक रूप से मास्क्ड टोकन को पुनर्निर्माण करने के लिए मजबूर करता है। इसका मतलब है कि जब तक कंट्रास्टिव फाइन-ट्यूनिंग शुरू होती है, तब तक अभ्यावेदन पहले से ही द्वि-दिशात्मक अर्थविज्ञान को एनकोड करते हैं, जो कैजुअल शुरुआती बिंदु की तुलना में रिट्रीवल के लिए एक मजबूत आधार प्रदान करते हैं। हम 30 भाषाओं में फैले लगभग 250 बिलियन टोकन के बहुभाषी टेक्स्ट पर प्री-ट्रेन करते हैं। एब्लेशन में, डिफ्यूजन-प्री-ट्रेन बैकबोन अपने कैजुअल समकक्षों की तुलना में काफी कम कंट्रास्टिव प्रशिक्षण हानि प्राप्त करते हैं, जो रिट्रीवल कार्यों पर लगभग 1 प्रतिशत अंक के सुधार में अनुवादित होता है।

कंट्रास्टिव ट्रेनिंग

प्री-ट्रेनिंग के बाद, हम कंट्रास्टिव लर्निंग के तीन चरण निष्पादित करते हैं। पेयर ट्रेनिंग इन-बैच नेगेटिव्स के साथ InfoNCE लॉस का उपयोग करके क्वेरी और दस्तावेज़ों के बीच मूलभूत अर्थ संबंधी संरेखण स्थापित करती है। बड़े बैच आकारों के साथ, कुछ इन-बैच नेगेटिव वास्तव में पॉजिटिव के निकट-डुप्लिकेट होते हैं, इसलिए हम इन गलत नेगेटिव्स को प्रशिक्षण सिग्नल को दूषित करने से रोकने के लिए समानता-आधारित मास्क लागू करते हैं। प्रशिक्षण चरणों में आगे बढ़ता है—केवल-अंग्रेजी, फिर क्रॉस-लिंगुअल, फिर पूरी तरह से बहुभाषी—जो एक बार में सभी के बजाय धीरे-धीरे क्षमता का निर्माण करता है। संदर्भित प्रशिक्षण फिर मॉडल को दस्तावेज़-स्तरीय संदर्भ के संबंध में चंक-स्तरीय अर्थविज्ञान सिखाता है, एक दोहरे नुकसान का उपयोग करके जो चंक और दस्तावेज़ दोनों स्तरों पर इन-सीक्वेंस और इन-बैच कंट्रास्ट को जोड़ता है—यह चरण pplx-embed-context-v1 उत्पन्न करता है। अंत में, माइन किए गए हार्ड नेगेटिव्स के साथ ट्रिपलेट ट्रेनिंग समान लेकिन अप्रासंगिक दस्तावेज़ों के बीच की सीमाओं को परिष्कृत करती है। अंतिम pplx-embed-v1 स्फेरिकल लीनियर इंटरपोलेशन (SLERP) के माध्यम से संदर्भित और ट्रिपलेट चेकपॉइंट्स को विलय करके प्राप्त किया जाता है।

नेटिव क्वांटाइजेशन

सभी कंट्रास्टिव चरणों के दौरान, एम्बेडिंग को प्रशिक्षण और अनुमान दोनों के दौरान INT8 में क्वांटाइज किया जाता है। हम एक टैन-आधारित माध्य पूलिंग ऑपरेशन लागू करते हैं जिसके बाद राउंडिंग होती है, और गैर-विभेदक क्वांटाइजेशन चरण के माध्यम से बैकप्रोपैगेट करने के लिए स्ट्रेट-थ्रू ग्रेडिएंट अनुमान का उपयोग करते हैं। यह सुनिश्चित करता है कि मॉडल शुरू से ही कम सटीकता के लिए अनुकूलित अभ्यावेदन सीखता है, न कि पोस्ट-हॉक कम्प्रेशन से गिरावट का शिकार होता है। बाइनरी क्वांटाइजेशन के लिए, 4B मॉडल 0.6B की तुलना में काफी अधिक मजबूत हैं: उनका बड़ा एम्बेडिंग आयाम (2560 बनाम 1024) बाइनरीकरण के बाद अधिक जानकारी सुरक्षित रखता है, जिससे प्रदर्शन में गिरावट 1.6 प्रतिशत अंक से कम तक सीमित हो जाती है, जबकि छोटे पैमाने पर यह 2–4 अंक होती है।

सार्वजनिक बेंचमार्क

बड़ा करें

MTEB (बहुभाषी, v2) रिट्रीवल बेंचमार्क पर, pplx-embed-v1-4B (INT8) 69.66% का औसत nDCG@10 प्राप्त करता है, जो Qwen3-Embedding-4B (69.60%) से मेल खाता है और gemini-embedding-001 (67.71%) से आगे निकल जाता है, जबकि प्रति एम्बेडिंग काफी कम भंडारण की आवश्यकता होती है। हमारा 0.6B मॉडल उसी पैरामीटर स्केल पर अपने Qwen3 समकक्ष से बेहतर प्रदर्शन करता है।

बड़ा करें

ConTEB बेंचमार्क पर संदर्भित रिट्रीवल प्रदर्शन। बाएं: संदर्भित मॉडल। दाएं: गैर-संदर्भित मॉडल। pplx-embed-context-v1-4B (INT8) 81.96 का उच्चतम स्कोर प्राप्त करता है, जिसके बाद voyage-context-3 (79.45) और 76.53 पर pplx-embed-context-v1-0.6B (INT8) है।

संदर्भित रिट्रीवल के लिए, pplx-embed-context-v1-4B ConTEB बेंचमार्क पर 81.96% के औसत nDCG@10 के साथ एक नया अत्याधुनिक स्तर स्थापित करता है, जो voyage-context-3 (79.45%) और Anthropic Contextual (72.4%) से बेहतर प्रदर्शन करता है। चंक-स्तरीय अभ्यावेदन को प्रशिक्षित करके जो दस्तावेज़-स्तरीय अर्थविज्ञान को शामिल करते हैं, हमारे मॉडल सही पैसेज को तब भी पुनर्प्राप्त करते हैं जब उसका अर्थ आसपास के संदर्भ पर निर्भर करता है।

हम BERGEN बेंचमार्क का उपयोग करके एंड-टू-एंड RAG में अपने मॉडलों का मूल्यांकन भी करते हैं, जहाँ पुनर्प्राप्त पैसेज को उत्तर उत्पन्न करने के लिए एक भाषा मॉडल को खिलाया जाता है। pplx-embed-v1-4B पांच मूल्यांकन किए गए प्रश्न-उत्तर कार्यों में से चार पर Qwen3-Embedding-4B से बेहतर प्रदर्शन करता है। विशेष रूप से, pplx-embed-v1-0.6B तीन कार्यों में से पांच पर बड़े Qwen3-Embedding-4B से बेहतर प्रदर्शन करता है, यह प्रदर्शित करता है कि हमारा छोटा मॉडल व्यावहारिक RAG सेटिंग्स में काफी बड़े पैरामीटर स्केल पर एक प्रतियोगी से मेल खा सकता है या उससे आगे निकल सकता है। इस मूल्यांकन पर अधिक विवरण के लिए, हम तकनीकी रिपोर्ट को संदर्भित करते हैं।

स्केल पर वास्तविक दुनिया की रिट्रीवल

सार्वजनिक बेंचमार्क उपयोगी हैं, लेकिन वे पूरी तरह से वेब-स्केल रिट्रीवल चुनौतियों को कैप्चर नहीं करते हैं: लॉन्ग-टेल क्वेरी, शोर वाले दस्तावेज़, और डिस्ट्रीब्यूशन शिफ्ट जो उत्पादन वातावरण की विशेषता हैं। व्यवहार में जो मायने रखता है उसे मापने के लिए, हमने 1 बिलियन से अधिक वेब पेजों से एकत्र किए गए 30 मिलियन से अधिक दस्तावेज़ों के खिलाफ मूल्यांकन की गई 115K वास्तविक दुनिया की क्वेरी के साथ दो आंतरिक बेंचमार्क बनाए। PPLXQuery2Query यह मूल्यांकन करता है कि क्या एक एम्बेडिंग मॉडल वास्तविक खोज ट्रैफ़िक से अर्थपूर्ण रूप से समतुल्य क्वेरी की पहचान कर सकता है; PPLXQuery2Doc 30M-पेज कॉर्पस से दस्तावेज़ रिट्रीवल को मापता है।

PPLXQuery2Query (2.4M कॉर्पस) पर, pplx-embed-v1-4B 73.5% Recall@10 प्राप्त करता है, जो Qwen3-Embedding-4B (67.9%) से 5.6 प्रतिशत अधिक है। हमारा 0.6B मॉडल 71.1% Recall@10 प्राप्त करता है, जो BGE-M3 (61.8%) और Qwen3-Embedding-0.6B (55.1%) से काफी बेहतर है।

बड़ा करें

बहुभाषी PPLXQuery2Doc कार्य (30M कॉर्पस) पर, pplx-embed-v1-4B 91.7% Recall@1000 प्राप्त करता है, जबकि Qwen3-Embedding-4B के लिए यह 88.6% है। बहु-चरणीय रैंकिंग पाइपलाइनों में पहले चरण के रिट्रीवर्स के रूप में कार्य करने वाले एम्बेडिंग मॉडल के लिए बड़ी रिट्रीवल गहराई पर उच्च रिकॉल महत्वपूर्ण है, जहाँ डाउनस्ट्रीम रिंकर्स को भेजे गए प्रासंगिक उम्मीदवारों की संख्या को अधिकतम करना सीधे अंतिम परिणाम की गुणवत्ता को प्रभावित करता है।

शुरुआत करना

सभी मॉडल Hugging Face (MIT लाइसेंस के तहत) पर और Perplexity API के माध्यम से उपलब्ध हैं। हम ट्रांसफॉर्मर, सेंटेंसट्रांसफॉर्मर, Text Embeddings Inference, और ONNX के माध्यम से अनुमान का समर्थन करते हैं। प्रत्येक विकल्प पर पूर्ण विवरण के लिए, Hugging Face मॉडल संग्रह देखें।

व्यापक तकनीकी विवरण और पूर्ण मूल्यांकन परिणामों के लिए, हमारी तकनीकी रिपोर्ट देखें।

उद्धरण

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}