pplx-embed: இணைய அளவிலான மீட்டெடுப்பிற்கான அதிநவீன உட்பொதிப்பு மாதிரிகள்

இன்று நாங்கள் pplx-embed-v1 மற்றும் pplx-embed-context-v1 ஆகியவற்றை வெளியிடவுள்ளோம். இவை நிஜ உலக, இணைய அளவிலான மீட்டெடுப்பிற்காக உருவாக்கப்பட்ட இரண்டு அதிநவீன உரை உட்பোதிப்பு (text embedding) மாதிரிகள் ஆகும். pplx-embed-v1 நிலையான அடர்த்தியான உரை மீட்டெடுப்பிற்கு உகந்ததாக்கப்பட்டுள்ளது, அதேசமயம் pplx-embed-context-v1 சுற்றியுள்ள ஆவண மட்ட சூழலைப் பொறுத்து பத்திகளை உட்பொதிக்கிறது.

pplx-embed-v1 மற்றும் pplx-embed-context-v1 இரண்டும் 0.6B மற்றும் 4B அளவுரு அளவுகளில் கிடைக்கின்றன. 0.6B மாதிரிகள் இலகுரக, குறைந்த தாமத உட்பொதிப்பு உருவாக்கத்தை இலக்காகக் கொண்டுள்ளன, அதே நேரத்தில் 4B மாதிரிகள் மீட்டெடுப்பு தரத்தை அதிகப்படுத்துகின்றன. எங்கள் மதிப்பீடுகளில், pplx-embed குடும்பம் MTEB(Multilingual, v2), BERGEN, ToolRet, மற்றும் ConTEB உள்ளிட்ட பல பொதுவான அளவுகோல்களில் முன்னணியில் உள்ளது. மேலும், pplx-embed-v1 எங்கள் உள் இணைய அளவிலான அளவுகோல்களில் சிறந்த முடிவுகளை வழங்குகிறது: PPLXQuery2Query, PPLXQuery2Doc.

இந்த மாதிரிகள் INT8 மற்றும் பைனரி உட்பொதிப்புகளை உருவாக்குகின்றன, FP32 உடன் ஒப்பிடும்போது சேமிப்பக தேவைகளை முறையே 4x மற்றும் 32x குறைக்கின்றன. இந்த சுருக்கமானது இணைய அளவிலான உட்பொதிப்பு சேமிப்பு மற்றும் மீட்டெடுப்பை மிகவும் நடைமுறைப்படுத்துகிறது.

pplx-embed மாதிரியின் பரிமாணங்கள், சூழல் நீளம், குவாண்டைசேஷன், மற்றும் பூலிங் கட்டமைப்பு.

எங்கள் தொழில்நுட்ப அறிக்கையை, Hugging Face மாதிரிகளை, மற்றும் API ஆவணங்களைப் பார்க்கவும்.

உந்துதல்

அடர்த்தியான உரை embeddings வினவல்கள் மற்றும் ஆவணங்களை பகிர்ந்த அர்த்தவியல் இடத்தில் வரைபடமிடுகின்றன; அங்கு retrieval என்பது approximate nearest neighbor search ஆக மாறுகிறது. Perplexity-யின் அளவில், embeddings எங்கள் retrieval pipeline-இன் முதல் கட்டமாக இருந்து, பில்லியன் கணக்கான web pages-லிருந்து downstream rankers மற்றும் language models பரிசீலிக்கும் ஆவணங்களைத் தீர்மானிக்கின்றன.

இன்றைய பெரும்பாலான முன்னணி embedding models, causal attention masking கொண்ட decoder-only LLMs மீது கட்டமைக்கப்பட்டுள்ளன; இதில் ஒவ்வொரு token-மும் அதற்கு முந்தைய token-களையே கவனிக்க முடியும். retrieval-க்கு இது ஒரு அடிப்படை வரம்பாகும்: ஒரு passage-ஐ புரிந்துகொள்ள பெரும்பாலும் bidirectional context தேவைப்படுகிறது. இதை நாங்கள் diffusion-based continued pretraining மூலம் சமாளிக்கிறோம்; இது ஒரு causal LLM-ஐ bidirectional encoder-ஆக மாற்றுகிறது. முழு bidirectional attention, அனைத்து token representations-மீதும் mean pooling-ஐ செயல்படுத்துகிறது மற்றும் contextual embeddings-க்கு late chunking-ஐ ஆதரிக்கிறது; இதில் ஒவ்வொரு chunk-இன் embedding, அது இடம்பெறும் முழு document-ஆல் தகவலளிக்கப்படுகிறது.

வலை அளவில், FP32 இல் உட்பொதிப்புகளை சேமிப்பது மிகவும் விலை உயர்ந்தது. போஸ்ட்-ஹாக் சுருக்கப் படியாக அளவாக்கத்தைப் பயன்படுத்துவதற்குப் பதிலாக, எங்கள் மாதிரிகள் INT8 உட்பொதிப்புகளை சொந்தமாக உருவாக்க அளவாக்க-விழிப்புணர்வு பயிற்சியைப் பயன்படுத்துகின்றன, செயல்திறன் சமரசம் இல்லாமல் சேமிப்பகத்தை 4x குறைக்கின்றன. பைனரி அளவாக்கம் சேமிப்பகத்தை 32x குறைக்கிறது, குறிப்பாக 4B அளவில் குறைந்தபட்ச தர இழப்புடன்.

பல நவீன உட்பொதிப்பு மாதிரிகளுக்கு ஒவ்வொரு உள்ளீட்டிற்கும் முன் வழிமுறை முன்னொட்டுகள் (instruction prefixes) தேவைப்படுகின்றன. இது அளவுகோல்களில் சிறிய உயர்வுகளை ஏற்படுத்தக்கூடும் என்றாலும், நடைமுறையில் இது உராய்வைச் சேர்க்கிறது: குறியீட்டு மற்றும் வினவல் நேரத்திற்கு இடையில் பொருந்தாத வழிமுறைகள் மீட்டெடுப்பை அமைதியாகக் குறைக்கின்றன, மேலும் ஒவ்வொரு பயன்பாட்டு வழக்கிற்கும் சரியான ப்ராம்ட்டைத் தேர்ந்தெடுப்பது சரியாகப் பெற வேண்டிய மற்றொரு விஷயமாக மாறுகிறது. எங்கள் மாதிரிகளுக்கு எந்த வழிமுறைகளும் தேவையில்லை, ஒருங்கிணைப்பை எளிதாக்குகிறது.

பயிற்சி

pplx-embed-v1 மற்றும் pplx-embed-context-v1 ஆகியவை retrieval-க்காக text representations-ஐ படிப்படியாக வடிவமைக்கும் multi-stage pipeline மூலம் பயிற்றுவிக்கப்படுகின்றன.

விரிவாக்கு

தொடர்ச்சியான பரவல் முற்பயிற்சி

நாங்கள் முற்பயிற்சி பெற்ற Qwen3 அடிப்படை மாதிரிகளிலிருந்து (0.6B மற்றும் 4B) தொடங்கி, காரண கவன முகமூடியை முடக்குவதன் மூலமும் பரவல் denosing நோக்கத்துடன் பயிற்றுவிப்பதன் மூலமும் அவற்றை காரண டிகோடர்களிலிருந்து இருதிசை என்கோடர்களாக மாற்றுகிறோம். இடமிருந்து வலமாக டோக்கன்களைக் கணிக்கும் தன்னியக்க மாதிரிகள் போலல்லாமல், ஒவ்வொரு முகமூடி இடத்தைச் சுற்றியும் உள்ள முழு இருதிசைக் சூழலைப் பயன்படுத்தி தோராயமாக முகமூடிமிடப்பட்ட டோக்கன்களை மீண்டும் உருவாக்க பரவல் பயிற்சி மாதிரியை கட்டாயப்படுத்துகிறது. இதன் பொருள் மாறுபட்ட நேர்த்தியான-சரிசெய்தல் தொடங்கும் நேரத்திற்குள், பிரதிநிதித்துவங்கள் ஏற்கனவே இருதிசை சொற்பொருளை குறியாக்கம் செய்கின்றன, இது காரண தொடக்க புள்ளியைக் காட்டிலும் மீட்டெடுப்பிற்கு வலுவான அடிப்படையை வழங்குகிறது. 30 மொழிகளில் பரவியுள்ள சுமார் 250 பில்லியன் பன்மொழி டோக்கன்களில் நாங்கள் முற்பயிற்சி செய்கிறோம். நீக்குதல்களில், பரவல்-முற்பயிற்சி பெற்ற பேக்போன்கள் அவற்றின் காரண சகாக்களை விட கணிசமாக குறைந்த மாறுபட்ட பயிற்சி இழப்பை அடைகின்றன, இது மீட்டெடுப்பு பணிகளில் தோராயமாக 1 சதவீத புள்ளை மேம்பாட்டிற்கு மொழிபெயர்க்கிறது.

மாறுபட்ட பயிற்சி

pretraining-க்கு பின்னர், நாங்கள் மூன்று கட்ட contrastive learning-ஐ மேற்கொள்கிறோம். Pair training InfoNCE loss மற்றும் in-batch negatives-ஐ பயன்படுத்தி queries மற்றும் documents இடையே அடிப்படை semantic alignment-ஐ நிறுவுகிறது. பெரிய batch sizes-இல், சில in-batch negatives உண்மையில் positive-இன் near-duplicates ஆக இருக்கும்; ஆகவே training signal-ஐ இவை கெடுக்காமல் தடுப்பதற்காக similarity-based mask-ஐ பயன்படுத்துகிறோம். பயிற்சி கட்டங்களாக முன்னேறுகிறது—முதலில் English-only, பின்னர் cross-lingual, பின்னர் fully multilingual—இதனால் திறன் அனைத்தும் ஒரே நேரத்தில் அல்லாது படிப்படியாக உருவாக்கப்படுகிறது. Contextual training பின்னர் chunk அளவில் உள்ள semantics-ஐ document அளவிலான context-ஐ கருத்தில் கொண்டு மாதிரிக்கு கற்பிக்கிறது; இதில் in-sequence மற்றும் in-batch contrast-ஐ chunk மற்றும் document நிலைகளில் இணைக்கும் dual loss பயன்படுத்தப்படுகிறது—இந்த கட்டம் pplx-embed-context-v1-ஐ உருவாக்குகிறது. இறுதியாக, mined hard negatives உடன் செய்யப்படும் triplet training ஒத்த ஆனால் தொடர்பில்லாத documents-களுக்கிடையிலான எல்லைகளை நுணுக்கப்படுத்துகிறது. இறுதி pplx-embed-v1 contextual மற்றும் triplet checkpoints-ஐ spherical linear interpolation (SLERP) மூலம் merging செய்வதன் மூலம் பெறப்படுகிறது.

சொந்த அளவாக்கம்

அனைத்து மாறுபட்ட கட்டங்களிலும், பயிற்சி மற்றும் அனுமானம் இரண்டின் போதும் உட்பொதிப்புகள் INT8 க்கு அளவாக்கம் செய்யப்படுகின்றன. நாங்கள் tanh-அடிப்படையிலான சராசரி பூலிங் செயல்பாட்டைத் தொடர்ந்து வட்டமிடுதலைப் பயன்படுத்துகிறோம், மேலும் வேறுபடுத்த முடியாத அளவாக்கப் படி மூலம் பின்னோக்கிச் செல்ல நேராக சாய்வு மதிப்பீட்டைப் பயன்படுத்துகிறோம். இது போஸ்ட்-ஹாக் சுருக்கத்திலிருந்து சிதைவை அனுபவிப்பதை விட, குறைக்கப்பட்ட துல்லியத்திற்காக உகந்ததாக்கப்பட்ட பிரதிநிதித்துவங்களை மாதிரி கற்றுக்கொள்வதை உறுதி செய்கிறது. பைனரி அளவாக்கத்திற்கு, 4B மாதிரிகள் 0.6B ஐ விட கணிசமாக மிகவும் வலுவானவை: அவற்றின் பெரிய உட்பொதிப்பு பரிமாணம் (2560 vs. 1024) பைனரைசேஷனுக்குப் பிறகு அதிக தகவலைப் பாதுகாக்கிறது, சிறிய அளவில் 2-4 புள்ளிகளுடன் ஒப்பிடுகையில் செயல்திறன் வீழ்ச்சியைக் 1.6 சதவீத புள்ளிகளுக்குக் கீழே கட்டுப்படுத்துகிறது.

பொது அளவுகோல்கள்

விரிவாக்கு

MTEB (Multilingual, v2) மீட்டெடுப்பு அளவுகோலில், pplx-embed-v1-4B (INT8) 69.66% சராசரி nDCG@10 ஐ அடைகிறது, இது Qwen3-Embedding-4B (69.60%) உடன் பொருந்துகிறது மற்றும் gemini-embedding-001 (67.71%) ஐ விட அதிகமாக உள்ளது, அதே நேரத்தில் ஒரு உட்பொதிப்பிற்கு கணிசமாக குறைவான சேமிப்பகம் தேவைப்படுகிறது. எங்களது 0.6B மாதிரி அதே அளவுரு அளவில் அதன் Qwen3 சகாக்களை விஞ்சுகிறது.

விரிவாக்கு

ConTEB அளவுகோலில் சூழல்சார் மீட்டெடுப்பு செயல்திறன். இடது: சூழல்சார் மாதிரிகள். வலது: சூழல்சார் அல்லாத மாதிரிகள். pplx-embed-context-v1-4B (INT8) அதிகபட்ச மதிப்பெண்ணான 81.96 ஐ அடைகிறது, அதைத் தொடர்ந்து voyage-context-3 (79.45) மற்றும் pplx-embed-context-v1-0.6B (INT8) 76.53 இல் உள்ளன.

சூழல்சார் மீட்டெடுப்பிற்கு, pplx-embed-context-v1-4B 81.96% சராசரி nDCG@10 உடன் ConTEB அளவுகோலில் ஒரு புதிய அதிநவீனத்தை அமைக்கிறது, voyage-context-3 (79.45%) மற்றும் Anthropic Contextual (72.4%) ஐ விஞ்சுகிறது. ஆவண மட்ட சொற்பொருளை உள்ளடக்கிய துண்டு மட்ட பிரதிநிதித்துவங்களைப் பயிற்றுவிப்பதன் மூலம், சுற்றியுள்ள சூழலைப் பொறுத்து அதன் அர்த்தம் இருந்தாலும் எங்கள் மாதிரிகள் சரியான பத்தியை மீட்டெடுக்கின்றன.

நாங்கள் BERGEN benchmark-ஐ பயன்படுத்தி end-to-end RAG-இல் எங்கள் models-ஐயும் மதிப்பீடு செய்கிறோம்; இதில் retrieved passages ஒரு language model-க்கு வழங்கப்பட்டு answers உருவாக்கப்படுகின்றன. pplx-embed-v1-4B மதிப்பீடு செய்யப்பட்ட ஐந்து question-answering tasks-களில் நான்கு tasks-களில் Qwen3-Embedding-4B-ஐ விட மேலோங்கி செயல்படுகிறது. குறிப்பிடத்தக்க வகையில், pplx-embed-v1-0.6B மூன்று tasks-களில் பெரிய Qwen3-Embedding-4B-ஐ விட மேலோங்கி செயல்படுகிறது; இது நடைமுறை RAG settings-இல் எங்கள் சிறிய model, குறிப்பிடத்தக்க வகையில் பெரிய parameter அளவில் உள்ள ஒரு competitor-ஐ சமப்படுத்தவோ மீறவோ முடியும் என்பதை காட்டுகிறது. இந்த மதிப்பீடு குறித்த கூடுதல் விவரங்களுக்கு, technical report-ஐப் பார்க்கவும்.

அளவில் நிஜ உலக மீட்டெடுப்பு

பொது அளவுகோல்கள் útiles ஆனால் அவை இணைய அளவிலான மீட்டெடுப்பு சவால்களை முழுமையாகப் பிடிக்கவில்லை: நீண்ட வால் வினவல்கள், சத்தமிட்ட ஆவணங்கள் மற்றும் உற்பத்தி சூழல்களை வகைப்படுத்தும் விநியோக மாற்றங்கள். நடைமுறையில் முக்கியமானதை அளவிட, 1 பில்லியனுக்கும் அதிகமான வலைப் பக்கங்களிலிருந்து தொகுக்கப்பட்ட 30 மில்லியனுக்கும் அதிகமான ஆவணங்களுக்கு எதிராக மதிப்பீடு செய்யப்பட்ட 115K நிஜ உலக வினவல்கள் வரை இரண்டு உள் அளவுகோல்களை நாங்கள் உருவாக்கினோம். PPLXQuery2Query ஒரு உட்பொதிப்பு மாதிரி உண்மையான தேடல் போக்குவரத்திலிருந்து சொற்பொருளில் சமமான வினவல்களை அடையாளம் காண முடியுமா என்பதை மதிப்பிடுகிறது; PPLXQuery2Doc 30M-பக்க கார்பஸிலிருந்து ஆவண மீட்டெடுப்பை அளவிடுகிறது.

PPLXQuery2Query (2.4M கார்பஸ்) இல், pplx-embed-v1-4B 73.5% Recall@10 ஐ அடைகிறது, Qwen3-Embedding-4B (67.9%) ஐ 5.6 சதவீத புள்ளிகளால் விஞ்சுகிறது. எங்களது 0.6B மாதிரி 71.1% Recall@10 ஐ அடைகிறது, BGE-M3 (61.8%) மற்றும் Qwen3-Embedding-0.6B (55.1%) ஐ கணிசமாக விஞ்சுகிறது.

விரிவாக்கு

பலமொழி PPLXQuery2Doc task-இல் (30M corpus), pplx-embed-v1-4B 91.7% Recall@1000-ஐ பெறுகிறது; அதே நேரத்தில் Qwen3-Embedding-4B 88.6% பெறுகிறது. multi-stage ranking pipelines-இல் first-stage retrievers ஆக செயல்படும் embedding models-க்கு, பெரிய retrieval depths-இல் உயர் recall மிக முக்கியமானது; ஏனெனில் downstream rerankers-க்கு அனுப்பப்படும் தொடர்புடைய candidates எண்ணிக்கையை அதிகப்படுத்துவது இறுதி முடிவின் தரத்தை நேரடியாக பாதிக்கிறது.

தொடங்குதல்

அனைத்து models-மும் Hugging Face-இல் (MIT License கீழ்) மற்றும் Perplexity API-மூலம் கிடைக்கின்றன. Transformers, SentenceTransformers, Text Embeddings Inference, மற்றும் ONNX வழியாக inference-ஐ நாங்கள் ஆதரிக்கிறோம். ஒவ்வொரு விருப்பத்திற்குமான முழு விவரங்களுக்கு, Hugging Face model collection-ஐப் பார்க்கவும்.

விரிவான தொழில்நுட்ப விவரங்கள் மற்றும் முழுமையான மதிப்பீட்டு முடிவுகளுக்கு, எங்கள் தொழில்நுட்ப அறிக்கையைப் பார்க்கவும்.

மேற்கோள்

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}