pplx-embed: ওয়েব-স্কেল রিট্রিভালের জন্য অত্যাধুনিক এম্বেডিং মডেল

আজ আমরা রিলিজ করছি pplx-embed-v1 এবং pplx-embed-context-v1, বাস্তব জগতের, ওয়েব-স্কেল রিট্রিভালের জন্য তৈরি দুটি অত্যাধুনিক টেক্সট এম্বেডিং মডেল। pplx-embed-v1 স্ট্যান্ডার্ড ডেন্স টেক্সট রিট্রিভালের জন্য অপ্টিমাইজ করা, অন্যদিকে pplx-embed-context-v1 হলো এমন মডেল যা পার্শ্ববর্তী ডকুমেন্ট-স্তরের সাপেক্ষে প্যাসেজ এম্বেড করে।

pplx-embed-v1 এবং pplx-embed-context-v1 উভয়ই ০.৬বি এবং ৪বি প্যারামিটার স্কেলে উপলব্ধ। ০.৬বি মডেলগুলো হালকা ওজনের, কম লেটেন্সি বিশিষ্ট এম্বেডিং জেনারেশনকে লক্ষ্য করে, অন্যদিকে ৪বি মডেলগুলো রিট্রিভালের মান সর্বোচ্চ করে। আমাদের মূল্যায়নে, pplx-embed পরিবার MTEB(Multilingual, v2), BERGEN, ToolRet, এবং ConTEB সহ বিভিন্ন পাবলিক বেঞ্চমার্কে এগিয়ে রয়েছে। এছাড়া, pplx-embed-v1 আমাদের অভ্যন্তরীণ ওয়েব-স্কেল বেঞ্চমার্কে সেরা ফলাফল প্রদান করে: PPLXQuery2Query, PPLXQuery2Doc।

মডেলগুলো INT8 এবং বাইনারি এম্বেডিং তৈরি করে, যা FP32-এর তুলনায় যথাক্রমে ৪ গুণ এবং ৩২ গুণ স্টোরেজ প্রয়োজনীয়তা কমায়। এই কমপ্যাক্টনেস ওয়েব-স্কেল এম্বেডিং স্টোরেজ এবং রিট্রিভালকে উল্লেখযোগ্যভাবে আরও বাস্তবসম্মত করে তোলে।

pplx-embed মডেলের মাত্রা, কনটেক্সট দৈর্ঘ্য, কোয়ান্টাইজেশন, এবং পুলিং কনফিগারেশন।

আমাদের টেকনিক্যাল রিপোর্ট, হাগিং ফেস মডেল, এবং এপিআই ডক্স দেখে নিন।

প্রেরণা

ডেন্স টেক্সট এম্বেডিং কুয়েরি এবং ডকুমেন্টগুলোকে একটি যৌথ সেমান্টিক স্পেস-এ ম্যাপ করে যেখানে রিট্রিভাল আনুমানিক নিকটতম প্রতিবেশী অনুসন্ধানে (nearest neighbor search) রূপ নেয়। Perplexity-এর স্কেলে, এম্বেডিং হলো আমাদের রিট্রিভাল পাইপলাইনের প্রথম ধাপ, যা নির্ধারণ করে বিলিয়ন বিলিয়ন ওয়েব পেজ থেকে কোন ডকুমেন্টগুলো ডাউনস্ট্রিম র‍্যাঙ্কার এবং ল্যাঙ্গুয়েজ মডেল দ্বারা বিবেচনা করা হবে।

আজকের বেশিরভাগ শীর্ষস্থানীয় এম্বেডিং মডেল কজ্যাল অ্যাটেনশন মাস্কিং সহ ডিকোডার-অনলি এলএলএম-এর ওপর তৈরি, যেখানে প্রতিটি টোকেন কেবল পূর্ববর্তী টোকেনগুলোকে অ্যাটেন্ড করতে পারে। রিট্রিভালের ক্ষেত্রে এটি একটি মৌলিক সীমাবদ্ধতা: একটি প্যাসেজ বোঝার জন্য প্রায়শই দ্বিমুখী (bidirectional) কনটেক্সটের প্রয়োজন হয়। আমরা ডিফিউশন-ভিত্তিক কন্টিনিউড প্রিট্রেনিং-এর মাধ্যমে এর সমাধান করি, যা একটি কজ্যাল এলএলএম-কে দ্বিমুখী এনকোডারে রূপান্তর করে। সম্পূর্ণ দ্বিমুখী অ্যাটেনশন সমস্ত টোকেন রিপ্রেজেন্টেশনের ওপর মিন পুলিং সক্ষম করে এবং কনটেক্সচুয়াল এম্বেডিংয়ের জন্য লেট চাকিং সমর্থন করে, যেখানে প্রতিটি চংকের এম্বেডিং এটি যে সম্পূর্ণ ডকুমেন্টে উপস্থিত রয়েছে তার দ্বারা পরিচালিত হয়।

ওয়েব স্কেলে, FP32-এ এম্বেডিং সংরক্ষণ করা অত্যন্ত ব্যয়বহুল। পরবর্তীতে কম্প্রেশন ধাপ হিসেবে কোয়ান্টাইজেশন প্রয়োগ করার পরিবর্তে, আমাদের মডেলগুলো নেটিভভাবে INT8 এম্বেডিং তৈরি করতে কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিং ব্যবহার করে, যার ফলে পারফরম্যান্সের কোনো ক্ষতি না করে স্টোরেজ ৪ গুণ কমে যায়। বাইনারি কোয়ান্টাইজেশন স্টোরেজ ৩২ গুণ কমিয়ে দেয় এবং বিশেষ করে ৪বি স্কেলে মানের খুব সামান্যই ক্ষতি হয়।

অনেক আধুনিক এম্বেডিং মডেলের জন্য প্রতিটি ইনপুটের আগে নির্দেশিকা প্রিফিক্স যোগ করার প্রয়োজন হয়। যদিও এটি বেঞ্চমার্কে সামান্য উন্নতি ঘটাতে পারে, তবে অনুশীলনে এটি জটিলতা বাড়ায়: ইনডেক্সিং এবং কুয়েরি সময়ের মধ্যে অমিল থাকা নির্দেশিকাগুলো নীরবে রিট্রিভালের মান কমিয়ে দেয়, এবং প্রতিটি ব্যবহারের ক্ষেত্রের জন্য সঠিক প্রম্পট নির্বাচন করা সঠিক করার আরেকটি বিষয় হয়ে দাঁড়ায়। আমাদের মডেলগুলোর কোনো নির্দেশনার প্রয়োজন হয় না, ফলে ইন্টিগ্রেশন সহজ হয়।

ট্রেনিং

pplx-embed-v1 এবং pplx-embed-context-v1 একটি মাল্টি-স্টেপ পাইপলাইনের মাধ্যমে ট্রেন করা হয়েছে যা রিট্রিভালের জন্য টেক্সট রিপ্রেজেন্টেশনকে ক্রমান্বয়ে রূপ দেয়।

বড় করুন

কন্টিনিউড ডিফিউশন প্রিট্রেনিং

আমরা প্রি-ট্রেইনড Qwen3 বেস মডেল (0.6B এবং 4B) থেকে শুরু করি এবং causal attention mask নিষ্ক্রিয় করে এবং diffusion denoising objective দিয়ে প্রশিক্ষণ দিয়ে সেগুলোকে causal decoder থেকে bidirectional encoder-এ রূপান্তর করি। বাম থেকে ডানে টোকেন ভবিষ্যদ্বাণী করা autoregressive মডেলের বিপরীতে, diffusion training মডেলকে প্রতিটি masked অবস্থানের চারপাশের পূর্ণ bidirectional context ব্যবহার করে এলোমেলোভাবে masked token পুনর্গঠন করতে বাধ্য করে। এর মানে হলো contrastive fine-tuning শুরু হওয়ার সময় পর্যন্ত representations ইতিমধ্যেই bidirectional semantics encode করে, যা causal starting point-এর তুলনায় retrieval-এর জন্য আরও শক্তিশালী ভিত্তি দেয়। আমরা প্রায় 250 বিলিয়ন multilingual text token-এ pretrain করি, যা 30টি ভাষা জুড়ে বিস্তৃত। ablation-এ, diffusion-pretrained backbone তাদের causal counterpart-এর তুলনায় উল্লেখযোগ্যভাবে কম contrastive training loss অর্জন করে, যা retrieval task-এ প্রায় 1 percentage point উন্নতির সমান।

কনট্রাস্টিভ ট্রেনিং

প্রিট্রেনিংয়ের পরে, আমরা কনট্রাস্টিভ লার্নিংয়ের তিনটি ধাপ সম্পাদন করি। পেয়ার ট্রেনিং ইন-ব্যাচ নেগেটিভ সহ একটি InfoNCE লস ব্যবহার করে কুয়েরি এবং ডকুমেন্টের মধ্যে মৌলিক সেমান্টিক অ্যালাইনমেন্ট স্থাপন করে। বড় ব্যাচ সাইজের সাথে, কিছু ইন-ব্যাচ নেগেটিভ আসলে পজিটিভের প্রায়-ডুপ্লিকেট হয়, তাই আমরা এই ফলস নেগেটিভগুলোকে ট্রেনিং সিগন্যাল নষ্ট করা থেকে বিরত রাখতে একটি সিমিলারিটি-ভিত্তিক মাস্ক প্রয়োগ করি। ট্রেনিং ধাপে ধাপে এগিয়ে চলে—শুধুমাত্র ইংরেজি, তারপর ক্রস-লিঙ্গুয়াল, এবং তারপর সম্পূর্ণ মাল্টিলিঙ্গুয়াল—একসাথে সব না করে ধীরে ধীরে ক্ষমতা তৈরি করে। কনটেক্সচুয়াল ট্রেনিং তখন ডকুমেন্ট-স্তরের কনটেক্সটের সাপেক্ষে মডেলকে চংক-স্তরের সেমান্টিকস শেখায়, একটি ডুয়াল লস ব্যবহার করে যা চংক এবং ডকুমেন্ট উভয় স্তরে ইন-সিকোয়েন্স এবং ইন-ব্যাচ কনট্রাস্ট একত্রিত করে—এই ধাপটি pplx-embed-context-v1 তৈরি করে। পরিশেষে, মাইনড হার্ড নেগেটিভ সহ ট্রিপলেট ট্রেনিং অনুরূপ কিন্তু অ-প্রাসঙ্গিক ডকুমেন্টগুলির মধ্যে সীমানা পরিশুদ্ধ করে। স্ফেরিক্যাল লিনিয়ার ইন্টারপোলেশন (SLERP) এর মাধ্যমে কনটেক্সচুয়াল এবং ট্রিপলেট চেকপয়েন্ট মার্জ করে চূড়ান্ত pplx-embed-v1 প্রাপ্ত হয়।

নেটিভ কোয়ান্টাইজেশন

সমস্ত কনট্রাস্টিভ ধাপ জুড়ে, ট্রেনিং এবং ইনফারেন্স উভয় সময়েই এম্বেডিংগুলোকে INT8-এ কোয়ান্টাইজ করা হয়। আমরা ট্যান-ভিত্তিক মিন পুলিং অপারেশন প্রয়োগ করি এবং তারপরে রাউন্ডিং করি, এবং নন-ডিফারেন্সিয়েবল কোয়ান্টাইজেশন ধাপের মাধ্যমে ব্যাকপ্রোপাগেট করতে স্ট্রেইট-থ্রু গ্রেডিয়েন্ট এস্টিমেশন ব্যবহার করি। এটি নিশ্চিত করে যে মডেলটি পোস্ট-হক কম্প্রেশন থেকে অবনতির শিকার না হয়ে শুরু থেকেই হ্রাসের উদ্দেশ্যে অপ্টিমাইজ করা রিপ্রেজেন্টেশন শেখে। বাইনারি কোয়ান্টাইজেশনের জন্য, 4B মডেলগুলি 0.6B-এর তুলনায় উল্লেখযোগ্যভাবে বেশি শক্তিশালী: তাদের বৃহত্তর এম্বেডিং ডাইমেনশন (2560 বনাম 1024) বাইনারাইজেশনের পরে আরও বেশি তথ্য সংরক্ষণ করে, ছোট স্কেলে ২-৪ পয়েন্টের তুলনায় পারফরম্যান্স ড্রপ ১.৬ শতাংশ পয়েন্টের নিচে সীমিত রাখে।

পাবলিক বেঞ্চমার্কস

বড় করুন

MTEB(Multilingual, v2) রিট্রিভাল বেঞ্চমার্কে, pplx-embed-v1-4B(INT8) ৬৯.৬৬% এর গড় nDCG@10 অর্জন করে, যা Qwen3-Embedding-4B (৬৯.৬০%) এর সাথে মিলে যায় এবং gemini-embedding-001 (৬৭.৭১%) কে ছাড়িয়ে যায়, পাশাপাশি প্রতি এম্বেডিংয়ে উল্লেখযোগ্যভাবে কম স্টোরেজের প্রয়োজন হয়। আমাদের 0.6B মডেল একই প্যারামিটার স্কেলে এর Qwen3 প্রতিপক্ষকে ছাড়িয়ে গেছে।

বড় করুন

ConTEB বেঞ্চমার্কে কনটেক্সচুয়াল রিট্রিভাল পারফরম্যান্স। বামে: কনটেক্সচুয়ালাইজড মডেল। ডানে: নন-কনটেক্সচুয়ালাইজড মডেল। pplx-embed-context-v1-4B (INT8) সর্বোচ্চ ৮১.৯৬ স্কোর অর্জন করেছে, তারপরে রয়েছে voyage-context-3 (৭৯.৪৫) এবং pplx-embed-context-v1-0.6B (INT8) ৭৬.৫৩ এ।

কনটেক্সচুয়াল রিট্রিভালের জন্য, pplx-embed-context-v1-4B ConTEB বেঞ্চমার্কে ৮১.৯৬% এর গড় nDCG@10 সহ একটি নতুন অত্যাধুনিক মান স্থাপন করেছে, যা voyage-context-3 (৭৯.৪৫%) এবং Anthropic Contextual (৭২.৪%) কে ছাড়িয়ে গেছে। ডকুমেন্ট-স্তরের সেমান্টিকস অন্তর্ভুক্ত করে এমন চংক-স্তরের রিপ্রেজেন্টেশন ট্রেনের মাধ্যমে, আমাদের মডেলগুলি সঠিক প্যাসেজ রিট্রিভ করে এমনকি যখন এর অর্থ পার্শ্ববর্তী কনটেক্সটের ওপর নির্ভর করে।

আমরা BERGEN বেঞ্চমার্ক ব্যবহার করে এন্ড-টু-এন্ড RAG-এ আমাদের মডেলগুলোর মূল্যায়নও করি, যেখানে উত্তর জেনারেট করার জন্য রিট্রিভ করা প্যাসেজগুলোকে ল্যাঙ্গুয়েজ মডেলে ইনপুট দেওয়া হয়। pplx-embed-v1-4B পাঁচটি মূল্যায়িত প্রশ্ন-উত্তর টাস্কের মধ্যে চারে Qwen3-Embedding-4B কে ছাড়িয়ে গেছে। উল্লেখযোগ্যভাবে, pplx-embed-v1-0.6B পাঁচটি টাস্কের তিনটিতে বড় Qwen3-Embedding-4B কে ছাড়িয়ে গেছে, যা প্রদর্শন করে যে আমাদের ছোট মডেলটি বাস্তবসম্মত RAG সেটিংয়ে উল্লেখযোগ্যভাবে বড় প্যারামিটার স্কেলের প্রতিপক্ষের সাথে মিল থাকতে পারে বা তাকে ছাড়িয়ে যেতে পারে। এই মূল্যায়ন সম্পর্কে আরও বিশদের জন্য, আমরা টেকনিক্যাল রিপোর্ট রেফার করছি।

স্কেলে বাস্তব জগতের রিট্রিভাল

পাবলিক বেঞ্চমার্কগুলো দরকারী, তবে সেগুলো ওয়েব-স্কেল রিট্রিভালের চ্যালেঞ্জগুলোকে সম্পূর্ণরূপে ক্যাপচার করে না: লং-টেইল কুয়েরি, নয়েসি ডকুমেন্ট এবং ডিস্ট্রিবিউশন শিফট যা প্রোডাকশন এনভায়রনমেন্টের বৈশিষ্ট্য। অনুশীলনে যা গুরুত্বপূর্ণ তা পরিমাপ করার জন্য, আমরা ১ বিলিয়নেরও বেশি ওয়েব পেজ থেকে পউল করা ৩০ মিলিয়নেরও বেশি ডকুমেন্টের বিপরীতে মূল্যায়িত ১১৫ হাজার পর্যন্ত বাস্তব জগতের কুয়েরি সহ দুটি অভ্যন্তরীণ বেঞ্চমার্ক তৈরি করেছি। PPLXQuery2Query মূল্যায়ন করে যে একটি এম্বেডিং মডেল বাস্তব সার্চ ট্রাফিক থেকে সেমান্টিকালি সমকক্ষ কুয়েরি সনাক্ত করতে পারে কিনা; PPLXQuery2Doc ৩০-মিলিয়ন পেজের কর্পাস থেকে ডকুমেন্ট রিট্রিভাল পরিমাপ করে।

PPLXQuery2Query (২.৪এম কর্পাস)-এ, pplx-embed-v1-4B ৭৩.৫% Recall@10 অর্জন করে, যা Qwen3-Embedding-4B (৬৭.৯%) কে ৫.৬ শতাংশ পয়েন্টে ছাড়িয়ে যায়। আমাদের 0.6B মডেল ৭১.১% Recall@10 অর্জন করে, যা BGE-M3 (৬১.৮%) এবং Qwen3-Embedding-0.6B (৫৫.১%) কে উল্লেখযোগ্যভাবে ছাড়িয়ে যায়।

বড় করুন

মাল্টিলিঙ্গুয়াল PPLXQuery2Doc টাস্কে (৩০এম কর্পাস), pplx-embed-v1-4B ৯১.৭% Recall@1000 অর্জন করে, যেখানে Qwen3-Embedding-4B এর জন্য ৮৮.৬%। মাল্টি-স্টেপ র‍্যাঙ্কিং পাইপলাইনে প্রথম-পর্যায়ের রিট্রিভার হিসেবে কাজ করা এম্বেডিং মডেলগুলির জন্য বড় রিট্রিভাল ডেপথে উচ্চ রিকল অত্যন্ত গুরুত্বপূর্ণ, যেখানে ডাউনস্ট্রিম রের্যাঙ্কারগুলিতে পাস করা প্রাসঙ্গিক ক্যান্ডিডেটের সংখ্যা সর্বাধিক করা সরাসরি চূড়ান্ত ফলাফলের মানকে প্রভাবিত করে।

শুরু করা

সমস্ত মডেল Hugging Face-এ (MIT License এর অধীনে) এবং Perplexity API-এর মাধ্যমে উপলব্ধ। আমরা Transformers, SentenceTransformers, Text Embeddings Inference, এবং ONNX-এর মাধ্যমে ইনফারেন্স সমর্থন করি। প্রতিটি বিকল্পের সম্পূর্ণ বিবরণের জন্য, Hugging Face model collection দেখুন।

ব্যাপক প্রযুক্তিগত বিবরণ এবং সম্পূর্ণ মূল্যায়ন ফলাফলের জন্য, আমাদের টেকনিক্যাল রিপোর্ট দেখুন।

উদ্ধৃতি

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}