pplx-embed: वेब-स्केल पुनर्प्राप्तीसाठी अत्याधुनिक एम्बेडिंग मॉडेल्स

आज आम्ही pplx-embed-v1 आणि pplx-embed-context-v1 रिलीज करत आहोत, जे वास्तविक जगातील, वेब-स्केल पुनर्प्राप्तीसाठी बनवलेले दोन अत्याधुनिक मजकूर एम्बेडिंग मॉडेल्स आहेत. pplx-embed-v1 हे मानक घन मजकूर पुनर्प्राप्तीसाठी ऑप्टिमाइझ केलेले आहे, तर pplx-embed-context-v1 हे आसपासच्या दस्तऐवज-स्तरीय संदर्भाच्या संदर्भात पॅसेज एम्बेड करते.

pplx-embed-v1 आणि pplx-embed-context-v1 दोन्ही 0.6B आणि 4B पॅरामीटर स्केलवर उपलब्ध आहेत. 0.6B मॉडेल्स हलक्या वजनाच्या, कमी-विलंब एम्बेडिंग जनरेशनला लक्ष करतात, तर 4B मॉडेल्स पुनर्प्राप्ती गुणवत्ता जास्तीत जास्त वाढवतात. आमच्या मूल्यांकनांमध्ये, pplx-embed कुटुंब MTEB (मल्टीलिंग्व्हल, v2), BERGEN, ToolRet, आणि ConTEB यांसारख्या सार्वजनिक बेंचमार्कच्या श्रेणीचे नेतृत्व करते. शिवाय, pplx-embed-v1 आमच्या अंतर्गत वेब-स्केल बेंचमार्कवर सर्वोत्तम परिणाम देते: PPLXQuery2Query, PPLXQuery2Doc.

ही मॉडेल्स INT8 आणि बायनरी एम्बेडिंग्ज तयार करतात, ज्यामुळे FP32 च्या तुलनेत स्टोरेज आवश्यकता अनुक्रमे 4x आणि 32x ने कमी होते. या कॉम्पॅक्टनेसमुळे वेब-स्केल एम्बेडिंग स्टोरेज आणि पुनर्प्राप्ती लक्षणीयरीत्या अधिक व्यावहारिक बनते.

pplx-embed मॉडेलचे परिमाण, संदर्भ लांबी, क्वांटायझेशन, आणि पूलिंग संरचना.

आमचा तांत्रिक अहवाल, हगिंग फेस मॉडेल्स आणि API कागदपत्रे पहा.

प्रेरणा

घन मजकूर एम्बेडिंग्ज क्वेरी आणि दस्तऐवजांना सामायिक अर्थपूर्ण स्पेसमध्ये मॅप करतात जिथे पुनर्प्राप्ती अंदाजे सर्वात जवळच्या शेजाऱ्यांच्या शोधात कमी होते. Perplexity च्या स्केलवर, एम्बेडिंग्ज हा आमच्या पुनर्प्राप्ती पाइपलाइनचा पहिला टप्पा आहे, जो हे ठरवतो की अब्जावधी वेब पेजेसपैकी कोणते दस्तऐवज डाऊनस्ट्रीम रँकर्स आणि भाषा मॉडेल्सद्वारे विचारात घेतले जातात.

आज बहुतेक आघाडीची एम्बेडिंग मॉडेल्स causal attention masking असलेल्या decoder-only LLMs वर आधारित आहेत, जिथे प्रत्येक token फक्त त्यापूर्वीच्या tokenकडेच लक्ष देऊ शकतो. retrieval साठी ही एक मूलभूत मर्यादा आहे: एखाद्या passage चे आकलन करण्यासाठी अनेकदा द्विदिशात्मक context आवश्यक असतो. आम्ही diffusion-based continued pretraining द्वारे यावर उपाय करतो, जे causal LLM ला bidirectional encoder मध्ये रूपांतरित करते. पूर्ण bidirectional attention मुळे सर्व token representations वर mean pooling शक्य होते आणि contextual embeddings साठी late chunking ला समर्थन मिळते, जिथे प्रत्येक chunk चे embedding तो ज्या संपूर्ण document मध्ये दिसतो त्याद्वारे माहितीपूर्ण बनते.

वेब स्केलवर, FP32 मध्ये एम्बेडिंग्ज साठवणे खूप महाग आहे. पोस्ट-हॉक कॉम्प्रेसन चरण म्हणून क्वांटायझेशन लागू करण्याऐवजी, आमची मॉडेल्स मुळात INT8 एम्बेडिंग्ज तयार करण्यासाठी क्वांटायझेशन-अववेर ट्रेनिंग वापरतात, ज्यामुळे कार्यक्षमतेशी कोणतीही तडजोड न करता स्टोरेज 4x ने कमी होते. बायनरी क्वांटायझेशन स्टोरेज 32x ने कमी करते आणि गुणवत्तेचे नुकसान किमान होते, विशेषतः 4B स्केलवर.

बऱ्याच आधुनिक एम्बेडिंग मॉडेल्सना प्रत्येक इनपुटच्या आधी सूचना उपसर्ग जोडणे आवश्यक असते. यामुळे बेंचमार्कवर थोडे फायदे मिळू शकतात, परंतु प्रत्यक्षात यामुळे अडचण निर्माण होते: इंडेक्सिंग आणि क्वेरी वेळेच्या दरम्यान जुळत नसलेल्या सूचना मूकपणे पुनर्प्राप्ती खराब करतात आणि प्रत्येक युझ केससाठी योग्य प्रॉम्प्ट निवडणे ही आणखी एक गोष्ट बनते जी बरोबर मिळवणे आवश्यक असते. आमच्या मॉडेल्सना कोणत्याही सूचनेची आवश्यकता नसते, ज्यामुळे एकात्मता सोपी होते.

प्रशिक्षण

pplx-embed-v1 आणि pplx-embed-context-v1 हे मल्टी-स्टेज पाइपलाइनद्वारे प्रशिक्षित केले जातात जे पुनर्प्राप्तीसाठी मजकूर प्रतिनिधित्व प्रगतीशीलपणे आकार देतात.

विस्तृत करा

सतत डिफ्यूजन प्रीट्रेनिंग

आम्ही pretrained Qwen3 base models (0.6B आणि 4B) पासून सुरुवात करतो आणि causal attention mask निष्क्रिय करून व diffusion denoising objective सह training करून त्यांना causal decoders मधून bidirectional encoders मध्ये रूपांतरित करतो. डावीकडून उजवीकडे tokens ची भविष्यवाणी करणाऱ्या autoregressive models च्या विपरीत, diffusion training मॉडेलला प्रत्येक masked position भोवतीच्या पूर्ण bidirectional context चा वापर करून randomly masked tokens पुन्हा तयार करण्यास भाग पाडते. याचा अर्थ असा की contrastive fine-tuning सुरू होईपर्यंत representations आधीच bidirectional semantics encode करतात, ज्यामुळे retrieval साठी causal starting point पेक्षा अधिक मजबूत पाया मिळतो. आम्ही सुमारे 250 अब्ज tokens च्या multilingual text वर, 30 languages व्यापून, pretrain करतो. Ablations मध्ये, diffusion-pretrained backbones त्यांच्या causal counterparts पेक्षा contrastive training loss लक्षणीयरीत्या कमी साध्य करतात, ज्यामुळे retrieval tasks वर सुमारे 1 percentage point सुधारणा होते.

Contrastive training

प्रीट्रेनिंगनंतर, आम्ही कॉन्ट्रास्टिव्ह लर्निंगचे तीन टप्पे पार पाडतो. जोडी प्रशिक्षण (Pair training) इन्बॅच निगेटिव्हसह InfoNCE लॉस वापरून क्वेरी आणि दस्तऐवजांमधील मूलभूत अर्थपूर्ण संरेखन स्थापित करते. मोठ्या बॅच आकारांसह, काही इन्बॅच निगेटिव्ह हे खरोखरच पॉझिटिव्हच्या जवळचे डुप्लिकेट असतात, म्हणून आम्ही या खोट्या निगेटिव्हना प्रशिक्षण सिग्नल दूषित करण्यापासून रोखण्यासाठी समानता-आधारित मास्क लागू करतो. प्रशिक्षण टप्प्याटप्प्याने पुढे जाते - केवळ इंग्रजी, नंतर क्रॉस-लिंग्व्हल, नंतर पूर्णपणे बहुभाषिक - सर्वकाही एकाच वेळी करण्याऐवजी क्षमता हळूहळू तयार करते. संदर्भात्मक प्रशिक्षण (Contextual training) नंतर मॉडेलला चंक आणि दस्तऐवज या दोन्ही स्तरांवर इन-सिक्वेन्स आणि इन-बॅच कॉन्ट्रास्ट एकत्र करणारा ड्युल लॉस वापरून, दस्तऐवज-स्तरीय संदर्भाच्या संदर्भात चंक-स्तरीय अर्थशास्त्र शिकवते - हा टप्पा pplx-embed-context-v1 तयार करतो. शेवटी, मायन केलेल्या हार्ड निगेटिव्हसह ट्रिपलेट ट्रेनिंग समान परंतु विना-संबंधित दस्तऐवजांमधील सीमा परिष्कृत करते. अंतिम pplx-embed-v1 हे गोलाकार रेखीय इंटरपोलेशन (SLERP) द्वारे संदर्भात्मक आणि ट्रिपलेट चेकपॉइंट्स विलीन करून प्राप्त केले जाते.

नेटिव्ह क्वांटायझेशन

सर्व कॉन्ट्रास्टिव्ह टप्प्यांमध्ये, प्रशिक्षण आणि अनुक्रम (inference) दोन्ही दरम्यान एम्बेडिंग्ज INT8 मध्ये क्वांटाईज केले जातात. आम्ही टँथ-आधारित मीन पूलियन ऑपरेशन नंतर राउंडिंग लागू करतो, आणि गैर-भेदक क्वांटायझेशन चरणातून बॅकप्रोपॅगेट करण्यासाठी स्ट्रेट-थ्रू ग्रेडिएंट एस्टीमेशन वापरतो. यामुळे हे सुनिश्चित होते कि मॉडेल पोस्ट-हॉक कॉम्प्रेसनमुळे होणाऱ्या ऱ्हासाचा त्रास सहन करण्याऐवजी सुरुवातीपासूनच कमी अचूकतेसाठी ऑप्टिमाइझ केलेले प्रतिनिधीत्व शिकते. बायनरी क्वांटायझेशनसाठी, 4B मॉडेल्स 0.6B पेक्षा लक्षणीयरीत्या अधिक मजबूत आहेत: त्यांचा मोठा एम्बेडिंग डायमेंशन (2560 विरुद्ध 1024) बायनरायझेशननंतर अधिक माहिती जतन करतो, लहान स्केलवरील 2-4 गुणांच्या तुलनेत कार्यक्षमतेची घट 1.6 टक्केवारी गुणांपेक्षा कमी मर्यादित ठेवतो.

सार्वजनिक बेंचमार्क

विस्तृत करा

MTEB (मल्टीलिंग्व्हल, v2) पुनर्प्राप्ती बेंचमार्कवर, pplx-embed-v1-4B (INT8) हे 69.66% चे सरासरी nDCG@10 प्राप्त करते, जे Qwen3-Embedding-4B (69.60%) शी जुळते आणि gemini-embedding-001 (67.71%) पेक्षा जास्त आहे, तर प्रति एम्बेडिंग लक्षणीयरीत्या कमी स्टोरेज आवश्यक असते. आमचे 0.6B मॉडेल समान पॅरामीटर स्केलवर त्याच्या Qwen3 समकक्षापेक्षा सरस कामगिरी करते.

विस्तृत करा

ConTEB बेंचमार्कवर संदर्भात्मक पुनर्प्राप्ती कार्यक्षमता. डावीकडे: संदर्भीय मॉडेल्स. उजवीकडे: गैर-संदर्भीय मॉडेल्स. pplx-embed-context-v1-4B (INT8) सर्वाधिक 81.96 गुण प्राप्त करते, त्यानंतर voyage-context-3 (79.45) आणि pplx-embed-context-v1-0.6B (INT8) 76.53 गुण प्राप्त करते.

Contextual retrieval साठी, pplx-embed-context-v1-4B ConTEB benchmark वर सरासरी nDCG@10 81.96% सह state of the art निर्माण करते, voyage-context-3 (79.45%) आणि Anthropic Contextual (72.4%) यांना मागे टाकत. document-level semantics समाविष्ट करणाऱ्या chunk-level representations चे प्रशिक्षण देऊन, आमची models आसपासच्या context वर अर्थ अवलंबून असतानाही योग्य passage retrieve करतात.

BERGEN बेंचमार्क वापरून आम्ही आमच्या मॉडेल्सचे एंड-टू-एंड RAG मध्ये मूल्यांकन देखील करतो, जेथे पुनर्प्राप्त केलेले पॅसेज उत्तरे तयार करण्यासाठी भाषा मॉडेलला दिले जातात. pplx-embed-v1-4B हे मूल्यांकित केलेल्या पाच प्रश्न-उत्तरे पैकी चार कार्यांवर Qwen3-Embedding-4B पेक्षा सरस आहे. उल्लेखनीय म्हणजे, pplx-embed-v1-0.6B हे पाचपैकी तीन कार्यांवर मोठ्या Qwen3-Embedding-4B पेक्षा सरस आहे, जे दर्शवते की आमचे लहान मॉडेल व्यावहारिक RAG सेटिंग्जमध्ये लक्षणीयरीत्या मोठ्या पॅरामीटर स्केलवर प्रतिस्पर्ध्याशी जुळू शकते किंवा ओलांडू शकते. या मूल्यांकनाविषयी अधिक तपशीलांसाठी, आम्ही तांत्रिक अहवाल चा संदर्भ घेतो.

स्केलवर वास्तविक जगाची पुनर्प्राप्ती

सार्वजनिक बेंचमार्क उपयुक्त आहेत, परंतु ते वेब-स्केल पुनर्प्राप्ती आव्हानांना पूर्णपणे कॅप्चर करत नाहीत: लांब-शेपटीच्या क्वेरी (long-tail queries), गोंधळात टाकणारे दस्तऐवज आणि उत्पादन वातावरणाचे वैशिष्ट्य असलेले वितरण शिफ्ट्स. प्रत्यक्षात काय महत्त्वाचे आहे मोजण्यासाठी, आम्ही 1 अब्ज पेक्षा जास्त वेब पेजेसवरून गोळा केलेल्या 30 दशलक्षाहून अधिक दस्तऐवजांच्या विरोधात मूल्यांकन केलेल्या 115K वास्तविक जगातील क्वेरींसह दोन अंतर्गत बेंचमार्क तयार केले. PPLXQuery2Query हे मूल्यांकन करते की एम्बेडिंग मॉडेल वास्तविक शोध ट्रॅफिकमधून अर्थपूर्णपणे समतुल्य क्वेरी ओळखू शकते का; PPLXQuery2Doc 30M-पेज कॉर्पसमधୁन दस्तऐवज पुनर्प्राप्ती मोजते.

PPLXQuery2Query (2.4M कॉर्पस) वर, pplx-embed-v1-4B हे 73.5% Recall@10 प्राप्त करते, Qwen3-Embedding-4B (67.9%) ला 5.6 टक्केवारी गुणांनी मागे टाकते. आमचे 0.6B मॉडेल 71.1% Recall@10 प्राप्त करते, जे BGE-M3 (61.8%) आणि Qwen3-Embedding-0.6B (55.1%) पेक्षा लक्षणीयरीत्या सरस आहे.

विस्तृत करा

बहुभाषिक PPLXQuery2Doc कार्यावर (30M कॉर्पस), pplx-embed-v1-4B हे 91.7% Recall@1000 प्राप्त करते, Qwen3-Embedding-4B साठी 88.6% च्या तुलनेत. मल्टी-स्टेज रँकिंग पाइपलाइनमध्ये फर्स्ट-स्टेज र्‍हीट्रिव्हर म्हणून काम करणाऱ्या एम्बेडिंग मॉडेल्ससाठी मोठ्या पुनर्प्राप्ती खोलीवर उच्च रिकॉल महत्त्वपूर्ण आहे, जिथे डाऊनस्ट्रीम रीरँकर्सना पास केलेल्या संबंधित उमेदवारांची संख्या जास्तीत जास्त वाढवणे थेट अंतिम निकालाच्या गुणवत्तेवर प्रभाव पाडते.

सुरुवात करणे

सर्व मॉडेल्स हगिंग फेस वर (MIT लायसन्स अंतर्गत) आणि Perplexity API द्वारे उपलब्ध आहेत. आम्ही Transformers, SentenceTransformers, Text Embeddings Inference आणि ONNX द्वारे अनुक्रम (inference) चे समर्थन करतो. प्रत्येक पर्यायावरील संपूर्ण तपशीलांसाठी, हगिंग फेस मॉडेल संग्रह पहा.

सर्वसमावेशक तांत्रिक तपशील आणि संपूर्ण मूल्यांकनाचे निकाल यासाठी, आमच्या तांत्रिक अहवालाचा संदर्भ घ्या.

उद्धरण

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}