टेक्स्ट एम्बेडिंग को समझें: ये कैसे काम करती हैं [+उदाहरण]

अगर आप टेक्स्ट एम्बेडिंग की बुनियादी अवधारणा से परिचित हैं, लेकिन सोच रहे हैं कि इन्हें काम में कैसे लाया जाए, तो आप सही जगह पर आए हैं। हम वेक्टर, टोकनाइज़ेशन और समानता की गणना को बारीकी से समझेंगे, एम्बेडिंग मॉडल के मूल्यांकन की गहराई में उतरेंगे, और आपको वास्तविक दुनिया के उपयोग के उदाहरण दिखाएँगे।

टेक्स्ट एम्बेडिंग क्या हैं?

टेक्स्ट एम्बेडिंग शब्दों, वाक्यों या दस्तावेज़ों के संख्यात्मक निरूपण हैं, जो उनके अर्थ और आपसी संबंधों को दर्शाते हैं। इन्हें एम्बेडिंग मॉडल तैयार करते हैं, जो टेक्स्ट को वेक्टर में बदलते हैं — यानी संख्याओं की ऐसी सरणियाँ जिन्हें मशीन लर्निंग एल्गोरिदम प्रोसेस कर सकते हैं और आपस में तुलना कर सकते हैं।

ML इंजीनियर टेक्स्ट एम्बेडिंग का उपयोग सॉफ़्टवेयर ऐप्लिकेशन को शब्दों और वाक्यों के बीच के संबंध पहचानने में मदद करने के लिए करते हैं, जिससे बड़ी मात्रा में डेटा को खोजना, वर्गीकृत करना और उसका विश्लेषण करना आसान हो जाता है।

मान लीजिए आपको हर दिन हज़ारों सपोर्ट टिकट मिलते हैं। ग्राहक हर तरह की समस्याएँ बताते हैं, लेकिन आपको उन्हें वर्गीकृत करना और उन पर लेबल लगाना होता है। इस प्रक्रिया को स्वचालित करने का एक तरीका है कि हर टिकट को वेक्टर में बदलने के लिए पहले से प्रशिक्षित टेक्स्ट एम्बेडिंग मॉडल का उपयोग किया जाए।

उदाहरण के लिए, दो ग्राहक ये संदेश भेजते हैं:

• “मुझसे मेरी सदस्यता के लिए दो बार शुल्क लिया गया”: [0.21, -0.47, 0.83, ...]
• “मेरे खाते में एक डुप्लिकेट भुगतान दिख रहा है”: [0.19, -0.45, 0.80, ...]

ये सरलीकृत, केवल उदाहरण के लिए दिए गए वेक्टर हैं।

हालाँकि ग्राहक अलग-अलग शब्दों का इस्तेमाल करते हैं, लेकिन वे एक ही समस्या बता रहे हैं। एम्बेडिंग मॉडल उनके वेक्टर को गणितीय स्पेस में एक-दूसरे के पास रखकर इस संबंध को पकड़ लेता है। दोनों टिकट वर्गीकृत होकर बिलिंग टीम के पास भेज दिए जाते हैं।

व्यवसाय में टेक्स्ट एम्बेडिंग के उपयोग

टेक्स्ट एम्बेडिंग का उपयोग नेचुरल लैंग्वेज प्रोसेसिंग (NLP) के कई कार्यों में किया जाता है, जिनमें शामिल हैं:

• सिमेंटिक सर्च: अर्थ के आधार पर प्रासंगिक जानकारी खोजना। Delivery Hero किराना ग्राहकों को प्रासंगिक उत्पाद खोजने में मदद करने के लिए कीवर्ड सर्च के साथ-साथ उत्पाद और क्वेरी एम्बेडिंग का उपयोग करता है। उदाहरण के लिए, “लो फ़ैट योगर्ट” खोजने पर ग्रीक योगर्ट या 0.5% फ़ैट वाला योगर्ट भी दिख सकता है, भले ही शब्द हूबहू मेल न खाते हों।
• टेक्स्ट वर्गीकरण: टेक्स्ट को श्रेणियों में बाँटना, जैसे स्पैम ईमेल की पहचान करना या दस्तावेज़ों को विषय के अनुसार छाँटना। MindCraft.ai ने एक दस्तावेज़ वर्गीकरण सिस्टम विकसित किया है, जो कॉर्पोरेट दस्तावेज़ों को वर्गीकृत करने और GDPR अनुपालन के लिए संवेदनशील जानकारी की पहचान करने हेतु ट्रांसफ़ॉर्मर-आधारित टेक्स्ट एम्बेडिंग और मशीन लर्निंग का उपयोग करता है।
• क्लस्टरिंग: पैटर्न पहचानने के लिए मिलते-जुलते दस्तावेज़ों या टेक्स्ट के अंशों को समूहों में रखना। Doczy.ai अनुबंध के टेक्स्ट को एम्बेडिंग में बदलता है और अर्थ की दृष्टि से संबंधित क्लॉज़ और अवधारणाओं को एक साथ समूहित करता है, तब भी जब अलग-अलग अनुबंध मिलते-जुलते दायित्वों को अलग-अलग शब्दों में व्यक्त करते हों।
• रिट्रीवल-ऑगमेंटेड जनरेशन (RAG): ऐसी प्रासंगिक जानकारी प्राप्त करना जिसका उपयोग LLM अधिक सटीक और संदर्भ के अनुरूप जवाब तैयार करने के लिए कर सके। Ring एक बहुभाषी RAG चैटबॉट में Amazon Titan टेक्स्ट एम्बेडिंग का उपयोग करता है, ताकि अंतरराष्ट्रीय बाज़ारों में ग्राहकों के सवालों के जवाब तैयार करने से पहले प्रासंगिक सपोर्ट दस्तावेज़ प्राप्त किए जा सकें।
• रिकमेंडेशन सिस्टम: टेक्स्ट की समानता के आधार पर संबंधित लेख, उत्पाद या अन्य कंटेंट सुझाना। LinkedIn का JUDE सिस्टम नौकरियों की सिफ़ारिशें बेहतर बनाने के लिए जॉब डिस्क्रिप्शन और सदस्य प्रोफ़ाइल के LLM-जनित टेक्स्ट एम्बेडिंग का उपयोग करता है, जिससे उम्मीदवारों की पृष्ठभूमि और उपलब्ध पदों के बीच के संबंध पकड़े जा सकें।
• नेम्ड एंटिटी रिकग्निशन (NER): टेक्स्ट में लोगों, संगठनों और स्थानों के नाम पहचानने और उन्हें वर्गीकृत करने में मदद करना। Amazon Health Services ग्राहकों की क्वेरी में बीमारियों, लक्षणों, दवाओं और उपचारों जैसी चिकित्सा अवधारणाओं की पहचान के लिए NER का उपयोग करता है। यह इस समझ को एम्बेडिंग-आधारित समानता खोज के साथ जोड़कर क्वेरी को प्रासंगिक स्वास्थ्य उत्पादों और सेवाओं से जोड़ता है।
• मशीन ट्रांसलेशन: उन मॉडलों को सहायता देना जो टेक्स्ट का एक भाषा से दूसरी भाषा में अनुवाद करते हैं। Transglot सिमेंटिक ट्रांसलेशन मेमोरी में टेक्स्ट एम्बेडिंग का उपयोग करके मिलते-जुलते अर्थ वाले पहले से अनूदित अंशों की पहचान करता है, जिससे लोकलाइज़ेशन वर्कफ़्लो में मौजूदा अनुवादों का दोबारा उपयोग किया जा सके।

टेक्स्ट एम्बेडिंग कैसे काम करते हैं?

तो एम्बेडिंग मॉडल यह कैसे तय करता है कि टेक्स्ट के किसी अंश को कौन-से संख्यात्मक मान दिए जाएँ, और हमें उस पर भरोसा क्यों करना चाहिए?

इसकी शुरुआत प्रशिक्षण से होती है। एम्बेडिंग मॉडल टेक्स्ट के बड़े संग्रहों से सीखते हैं और यह देखते हैं कि शब्द एक साथ किस तरह इस्तेमाल होते हैं। उदाहरण के लिए, Word2Vec जैसे पारंपरिक मॉडल किसी शब्द का अनुमान उसके आसपास के शब्दों से लगाकर सीखते हैं, या इसका उल्टा। आधुनिक, रिट्रीवल-केंद्रित मॉडल अक्सर कॉन्ट्रास्टिव लर्निंग का उपयोग करते हैं। उन्हें इस तरह प्रशिक्षित किया जाता है कि वे असंबंधित क्वेरी-दस्तावेज़ जोड़ियों की तुलना में प्रासंगिक जोड़ियों को अधिक समानता स्कोर दें।

बड़ा करें

मॉडल के प्रशिक्षित हो जाने के बाद, जब आप उसे टेक्स्ट का कोई नया अंश देते हैं, तो यह होता है:

1. टोकनाइज़ेशन। मॉडल सबसे पहले टेक्स्ट को छोटे-छोटे हिस्सों में तोड़ता है, जिन्हें टोकन कहा जाता है। ये पूरे शब्द, शब्दों के हिस्से या विराम चिह्न हो सकते हैं। हर टोकन को मॉडल की शब्दावली से एक संख्यात्मक ID मिलती है, जिसका अपने आप में कोई अर्थ नहीं होता।
2. एनकोडिंग और पूलिंग। मॉडल प्रशिक्षण के दौरान सीखे गए पैटर्न के आधार पर इन टोकन को प्रोसेस करता है और एक वेक्टर तैयार करता है। वेक्टर की हर संख्या एक निर्देशांक या घटक होती है, और आयाम वह अक्ष है जिसके साथ वह संख्या वेक्टर की स्थिति तय करती है। हर मान गणितीय स्पेस में टेक्स्ट की स्थिति तय करने में योगदान देता है, जिसे एम्बेडिंग स्पेस कहा जाता है।
3. समानता की गणना। संबंधित टेक्स्ट खोजने के लिए, रिट्रीवल सिस्टम कोसाइन समानता या डॉट प्रोडक्ट जैसे समानता माप का उपयोग करके क्वेरी एम्बेडिंग की तुलना दस्तावेज़ एम्बेडिंग से करता है

उदाहरण के लिए, ऑनलाइन स्टोर इसी तरह उपयोगकर्ता की क्वेरी से मेल खाने वाले आइटम दिखाते हैं।

शब्द, वाक्य और दस्तावेज़ एम्बेडिंग में क्या अंतर है?

बड़ा करें

मुख्य अंतर यह है कि हर एम्बेडिंग एक ही वेक्टर में कितने टेक्स्ट को दर्शाता है। आप कौन-सी जानकारी पकड़ना चाहते हैं, इसके आधार पर अलग-अलग शब्दों, पूरे वाक्यों या पूरे दस्तावेज़ों के लिए एम्बेडिंग बना सकते हैं।

• शब्द एम्बेडिंग अलग-अलग शब्दों के बीच संबंधों को पकड़ते हैं और यह पहचानते हैं कि “आउटेज” और “डाउनटाइम” संबंधित अवधारणाएँ हैं।
• वाक्य एम्बेडिंग पूरे वाक्यों का अर्थ समझते हैं, तब भी जब वे एक ही विचार को अलग-अलग शब्दों में व्यक्त करते हों।
• दस्तावेज़ एम्बेडिंग हर वाक्य के लिए अलग वेक्टर बनाने के बजाय पूरे दस्तावेज़ को एक वेक्टर के रूप में दर्शाते हैं। इससे सामान्य विषय बना रहता है और उसी विषय पर अन्य दस्तावेज़ खोजने में मदद मिलती है; हालाँकि, बारीक विवरण प्राप्त करना कठिन (अगर असंभव नहीं तो) हो सकता है।

आपको कितने बारीक स्तर तक जाना चाहिए? सही स्तर आपके डेटा पर और इस बात पर निर्भर करता है कि आप क्या हासिल करना चाहते हैं।

बड़े दस्तावेज़ों के लिए, एक आम तरीका है टेक्स्ट को छोटे चंक में बाँटना और हर चंक के लिए अलग एम्बेडिंग बनाना। इस तरह आपको दस्तावेज़ का समग्र अर्थ तो मिलेगा ही, साथ ही वे विशिष्ट विवरण भी मिलेंगे जो दस्तावेज़ एम्बेडिंग में खो सकते हैं।

चंक का आकार एम्बेडिंग की गुणवत्ता को कितना प्रभावित करता है?

काफ़ी हद तक। Rahul Kumar के अनुसार, जो Xenoss में AI इंजीनियरिंग के VP हैं, चुनौती ऐसा चंक आकार ढूँढने की है जो किसी अहम संदर्भ को खोए बिना एक पूरे विचार को समेट सके। वे इस ट्रेड-ऑफ़ को इस तरह समझाते हैं:

“चंक का आकार तय करता है कि एक एम्बेडिंग में कितना अर्थगत संदर्भ होगा। बड़ा चंक वेक्टर को ज़्यादा संदर्भ देता है, लेकिन वह ज़्यादा विषयों को भी एक ही वेक्टर में औसत कर देता है। तीन विषयों को कवर करने वाला चंक बीच में कहीं पहुँच जाता है और उनमें से किसी से भी ठीक से मेल नहीं खाता। छोटा चंक अर्थ को स्पष्ट रखता है, लेकिन वह उस संदर्भ को खो सकता है जिसकी वजह से उसे खोजा जा सकता था।”

इसीलिए Kumar सलाह देते हैं कि किसी एक निश्चित आकार पर टिके रहने के बजाय कंटेंट के आधार पर चंकिंग रणनीति चुनी जाए। उनके शब्दों में, “ओवरलैप के साथ फ़िक्स्ड-साइज़ चंकिंग सिर्फ़ ईमेल या स्क्रैप किए गए वेब पेज जैसे एक-समान टेक्स्ट के लिए ही ठीक है।”

अनुबंधों या नीतियों जैसे संरचित दस्तावेज़ों के लिए, रिकर्सिव और संरचना को ध्यान में रखने वाला विभाजन बेहतर रहता है। वहीं, सिमेंटिक चंकिंग ट्रांसक्रिप्ट के लिए अच्छा काम कर सकती है, क्योंकि यह टेक्स्ट को वहाँ बाँटती है जहाँ विषय या अर्थ बदलता है।

टेक्स्ट एम्बेडिंग बनाम कीवर्ड सर्च

जब आप सीधे कीवर्ड खोज सकते हैं, तो टेक्स्ट एम्बेडिंग का उपयोग क्यों करें? क्योंकि कीवर्ड सर्च शब्दों के मिलान पर निर्भर करता है, जबकि एम्बेडिंग-आधारित सिमेंटिक सर्च तब भी प्रासंगिक जानकारी खोज सकता है जब क्वेरी और दस्तावेज़ में अलग-अलग शब्दों का उपयोग हुआ हो।

लेकिन अर्थगत समानता का मतलब हमेशा प्रासंगिकता नहीं होता। AI Builder Academy के संस्थापक Shaw Talebi एक रिज़्यूमे सर्च सिस्टम के ज़रिए इस सीमा को दिखाते हैं। Talebi के उदाहरण में, “Apache Airflow के अनुभव वाले डेटा इंजीनियर” की खोज करने पर शीर्ष पाँच परिणामों में से सिर्फ़ एक में Apache Airflow का ज़िक्र था, और वह तीसरे स्थान पर था — जबकि डेटासेट के तीन अन्य रिज़्यूमे में यह कौशल दर्ज था।

इसका मतलब है कि सिमेंटिक सर्च अवधारणा के स्तर पर संबंधित जानकारी खोजने के लिए उपयोगी है, लेकिन यह तकनीकी कौशल, उत्पाद आइडेंटिफ़ायर या एरर कोड जैसी सटीक ज़रूरतों से चूक सकता है।

इस समस्या को दूर करने के लिए, Rahul Kumar सलाह देते हैं कि रिट्रीवल का तरीका इस आधार पर चुना जाए कि रिट्रीवल सिस्टम कहाँ कमज़ोर पड़ता है:

• हाइब्रिड सर्च (कीवर्ड मिलान और सिमेंटिक सर्च का संयोजन) तब डिफ़ॉल्ट विकल्प है, जब क्वेरी में SKU, एरर कोड या कानूनी संदर्भ जैसे सटीक शब्द हों।
• रीरैंकर तब अपनी लागत के लायक साबित होते हैं, जब सिर्फ़ शीर्ष कुछ परिणाम मायने रखते हों, जैसे प्राप्त संदर्भ से तैयार किए गए जवाब।
• ग्राफ़ रिट्रीवल तब मदद करता है, जब जवाब कई जुड़े हुए डेटा स्रोतों में फैला हो।

Kumar ने यह भी बताया कि उनकी टीम ने इन तरीकों को व्यवहार में कैसे लागू किया। एक प्रोजेक्ट में, उन्होंने BM25 कीवर्ड सर्च और वेक्टर सर्च को साथ-साथ चलाया, रेसिप्रोकल रैंक फ़्यूज़न (RRF) का उपयोग करके परिणामों को मिलाया, और शीर्ष 124 परिणामों को रीरैंक करके 6 तक सीमित करने के लिए LLM का उपयोग किया।

“ग्राफ़-फ़र्स्ट रिट्रीवल अपनाने से, जिसमें वेक्टर सर्च मिलते-जुलते लेटेंट स्पेस खोजता है और फिर दो-हॉप ग्राफ़ वॉक होता है, रैंकिंग गुणवत्ता (nDCG) 0.58 से बढ़कर 0.67 हो गई और p90 रिट्रीवल समय 19 सेकंड से घटकर 3 सेकंड से भी कम रह गया,” Kumar आगे कहते हैं।

टेक्स्ट एम्बेडिंग मॉडल के प्रकार

मोटे तौर पर, सभी एम्बेडिंग मॉडल एक ही काम करते हैं — टेक्स्ट में संबंधों को सीखना। हालाँकि, वे इस आधार पर अलग होते हैं कि उन्हें किस काम के लिए प्रशिक्षित किया गया है, वे किस जानकारी को ध्यान में रखते हैं, और उन्हें किन कार्यों के लिए डिज़ाइन किया गया है।

स्टैटिक शब्द एम्बेडिंग मॉडल

पारंपरिक शब्द एम्बेडिंग मॉडल बड़े टेक्स्ट संग्रहों में शब्दों के उपयोग के पैटर्न के आधार पर शब्दों के डेंस संख्यात्मक निरूपण सीखते हैं। ये एम्बेडिंग स्टैटिक होते हैं, यानी किसी खास संदर्भ में शब्द का अर्थ चाहे जो हो, हर शब्द को एक ही वेक्टर मिलता है।

दो जाने-माने तरीके हैं:

• Word2Vec: 2013 में Google द्वारा विकसित यह तरीका दो आर्किटेक्चर का उपयोग करके पड़ोसी शब्दों से निरूपण सीखता है: Continuous Bag of Words (CBOW), जो पड़ोसी शब्दों से किसी शब्द का अनुमान लगाता है, और skip-gram, जो दिए गए शब्द से उसके पड़ोसी शब्दों का अनुमान लगाता है।
• GloVe (Global Vectors for Word Representation): 2014 में Stanford में विकसित यह तरीका शब्दों के बीच संबंध सीखने के लिए शब्दों के सह-घटन (co-occurrence) आँकड़ों का उपयोग करता है।

संदर्भ-आधारित भाषा मॉडल

स्टैटिक एम्बेडिंग के विपरीत, सामान्य उद्देश्य वाले भाषा मॉडल संदर्भ-आधारित निरूपण बनाते हैं, जो आसपास के टेक्स्ट के अनुसार बदलते हैं। इससे मॉडल एक ही शब्द के अलग-अलग अर्थों में फ़र्क कर पाते हैं।

• BERT (2018, Google): किसी टोकन के दोनों ओर के शब्दों को ध्यान में रखने के लिए बाइडायरेक्शनल सेल्फ़-अटेंशन का उपयोग करता है। उदाहरण के लिए, यह “I deposited money at the bank” और “I sat on the bank of a river” में “bank” शब्द के लिए अलग-अलग निरूपण बनाता है।
• GPT (2018, OpenAI): ट्रांसफ़ॉर्मर-आधारित निरूपणों का उपयोग करता है, जो अगले टोकन का अनुमान लगाते समय पहले आए टेक्स्ट को ध्यान में रखते हैं। GPT मॉडल मुख्य रूप से भाषा जनरेशन के लिए डिज़ाइन किए गए हैं।

वाक्य और दस्तावेज़ एम्बेडिंग मॉडल

ये अलग-अलग वाक्यों से लेकर अनुच्छेदों और पूरे दस्तावेज़ों तक, टेक्स्ट के लंबे अंशों को वेक्टर के रूप में दर्शाते हैं।

• Doc2Vec: Word2Vec जैसी लर्निंग को वाक्यों, अनुच्छेदों और दस्तावेज़ों तक विस्तारित करता है। यह संबंधित लेखों को समूहित करने या दस्तावेज़ों को विषय के अनुसार वर्गीकृत करने में मदद कर सकता है।
• Universal Sentence Encoder (USE): 2018 में Google ने इसे सिमेंटिक समानता और टेक्स्ट वर्गीकरण के लिए वाक्यों और छोटे अनुच्छेदों के निश्चित लंबाई वाले निरूपण बनाने हेतु विकसित किया।
• Sentence-BERT (SBERT, 2019): Technical University Darmstadt में Nils Reimers और Iryna Gurevych द्वारा विकसित यह मॉडल Google के BERT मॉडल पर आधारित है और आमतौर पर सिमेंटिक सर्च, पैराफ़्रेज़ डिटेक्शन और क्लस्टरिंग के लिए इस्तेमाल किया जाता है।
• pplx-embed-v1 (2026, Perplexity): वास्तविक दुनिया के वेब-स्केल रिट्रीवल के लिए बनाई गई अत्याधुनिक टेक्स्ट एम्बेडिंग मॉडल की यह फ़ैमिली, कॉज़ल लैंग्वेज मॉडल को बाइडायरेक्शनल एनकोडर में बदलने के लिए डिफ़्यूज़न-आधारित प्रीट्रेनिंग का उपयोग करती है। यह स्वतंत्र रूप से एनकोड की गई क्वेरी और दस्तावेज़ों के लिए डेंस एम्बेडिंग बनाती है, और स्टोरेज लागत कम करने के लिए क्वांटाइज़ेशन-अवेयर ट्रेनिंग का उपयोग करती है। हमारे 4B INT8 मॉडल ने बहुभाषी MTEB रिट्रीवल बेंचमार्क पर 69.66 nDCG@10 हासिल किया, जबकि Google के gemini-embedding-001 का स्कोर 67.71 रहा।
• pplx-embed-context-v1 (2026, Perplexity): दस्तावेज़ चंकिंग की एक आम समस्या का समाधान करता है: आसपास के टेक्स्ट से अलग होने पर अंश अपना अर्थ खो सकते हैं। लेट चंकिंग का उपयोग करते हुए, यह मॉडल संदर्भ-आधारित टोकन निरूपणों को अलग-अलग चंक एम्बेडिंग में पूल करने से पहले पूरे दस्तावेज़ को प्रोसेस करता है। हमारे 4B मॉडल ने ConTEB पर 81.96 nDCG@10 हासिल किया, जबकि voyage-context-3 का स्कोर 79.45 रहा।
• pplx-embed-v2-context (2026, Perplexity): कॉन्टेक्स्चुअल रिट्रीवल को और आगे ले जाता है। सिर्फ़ जवाब वाले अंश को खोजने के लिए प्रशिक्षित होने के बजाय, यह उन सहायक अंशों की पहचान करना सीखता है जो उस जवाब को समझाने या सत्यापित करने में मदद करते हैं। प्रशिक्षण के दौरान यह मॉडल एक कॉन्टेक्स्ट कम्प्रेशन मॉडल से डिस्टिल किए गए प्रासंगिकता संकेतों का उपयोग करता है, और इनफ़रेंस के समय उस टीचर मॉडल की ज़रूरत नहीं पड़ती। हमारे 9B प्रीव्यू ने context-bench पर 10 परिणामों पर 45.5% जवाब रिकॉल और 40.6% साक्ष्य रिकॉल हासिल किया।

Perplexity के मॉडल बड़े पैमाने पर एम्बेडिंग स्टोर करना भी संभव बनाते हैं। ये मॉडल INT8 और बाइनरी एम्बेडिंग बनाते हैं, जिससे FP32 की तुलना में स्टोरेज की ज़रूरत क्रमशः 4 गुना और 32 गुना कम हो जाती है।

pplx-embed मॉडल के आयाम, कॉन्टेक्स्ट लंबाई, क्वांटाइज़ेशन और पूलिंग कॉन्फ़िगरेशन

डेंस, स्पार्स और मल्टी-वेक्टर एम्बेडिंग

एक और अंतर समझना ज़रूरी है, खासकर सिमेंटिक सर्च के लिए। एम्बेडिंग मॉडल इस बात में अलग हो सकते हैं कि वे टेक्स्ट को किस तरह दर्शाते हैं और प्रासंगिकता की गणना कैसे करते हैं।

• डेंस एम्बेडिंग: टेक्स्ट को ऐसे कॉम्पैक्ट वेक्टर से दर्शाते हैं जिनके ज़्यादातर मान शून्य से भिन्न होते हैं।
• स्पार्स एम्बेडिंग: ऐसे वेक्टर का उपयोग करते हैं जिनके ज़्यादातर मान शून्य होते हैं, और महत्वपूर्ण शब्दों के साथ सीखे गए वेट जुड़े होते हैं। SPLADE (2021) जैसे मॉडल यह सीखते हैं कि प्रासंगिक दस्तावेज़ खोजने के लिए कौन-से शब्द मायने रखते हैं।
• मल्टी-वेक्टर एम्बेडिंग: टेक्स्ट के किसी अंश के लिए कई वेक्टर रखते हैं, जिससे क्वेरी और दस्तावेज़ों के बीच ज़्यादा विस्तृत तुलना संभव होती है। ColBERT (2020) जैसे मॉडल क्वेरी और दस्तावेज़ की ज़्यादा विस्तृत तुलना के लिए इन निरूपणों का उपयोग करते हैं।
• कई तरीकों को मिलाने वाले मॉडल: BAAI द्वारा विकसित BGE-M3 (2024) एक ही मॉडल में डेंस, स्पार्स और मल्टी-वेक्टर रिट्रीवल को सपोर्ट करता है।

टेक्स्ट एम्बेडिंग मॉडल कैसे चुनें और उसका मूल्यांकन कैसे करें

MTEB जैसे सार्वजनिक बेंचमार्क शुरुआत के लिए अच्छे हैं। इनकी मदद से ऐसे दो या तीन मॉडल शॉर्टलिस्ट करें जो आपकी भाषाओं, इनपुट लंबाई और डिप्लॉयमेंट आवश्यकताओं को सपोर्ट करते हों। लेकिन अभी विजेता न चुनें। हम इस बात पर जितना ज़ोर दें, कम है कि उन मॉडलों को अपने डेटा पर परखना बेहद ज़रूरी है।

मूल्यांकन का एक व्यावहारिक वर्कफ़्लो यह है:

1. एक टेस्ट डेटासेट बनाएँ। शुरुआती मूल्यांकन सेट के रूप में 50-100 प्रतिनिधि सर्च क्वेरी इकट्ठा करें (आपको इससे ज़्यादा की ज़रूरत पड़ सकती है), जिनमें पैराफ़्रेज़, तकनीकी शब्दावली और सटीक एरर कोड जैसे मुश्किल मामले शामिल हों। हर क्वेरी के लिए पहचानें कि किन दस्तावेज़ों या अंशों में प्रासंगिक जवाब हैं। प्रासंगिकता के ये लेबल आपका ग्राउंड ट्रुथ बन जाते हैं।
2. रिट्रीवल की गुणवत्ता मापें। हर मॉडल को एक ही इवैल्यूएशन डेटासेट पर टेस्ट करें। डॉक्यूमेंट तैयार करने और रिट्रीवल की स्थितियों को तुलनीय रखें, और साथ ही क्वेरी फ़ॉर्मेटिंग, नॉर्मलाइज़ेशन और सिमिलैरिटी स्कोरिंग के लिए मॉडल-विशिष्ट आवश्यकताओं का पालन करें। फिर Sentence Transformers के InformationRetrievalEvaluator का उपयोग करके इन मेट्रिक्स की गणना करें:
   • Recall@k: यह बताता है कि प्रासंगिक पैसेज का कितना अनुपात शीर्ष k परिणामों में दिखाई देता है।
   • MRR: यह मापता है कि पहला प्रासंगिक परिणाम रैंकिंग में कितना ऊपर दिखाई देता है।
   • nDCG@k: यह मापता है कि शीर्ष k परिणामों को उनकी प्रासंगिकता के आधार पर कितनी अच्छी तरह रैंक किया गया है।
3. लेटेंसी और थ्रूपुट का बेंचमार्क करें। मापें कि हर मॉडल को किसी क्वेरी को एम्बेड करने में कितना समय लगता है। बेहतर होगा कि आप यथार्थवादी लोड के तहत मीडियन (p50) और 95वें पर्सेंटाइल (p95) की लेटेंसी रिपोर्ट करें।
4. स्टोरेज और संचालन लागत की गणना करें। वेक्टर स्टोरेज एम्बेडिंग की संख्या, उनके डाइमेंशन और न्यूमेरिकल प्रिसिज़न पर निर्भर करता है। उदाहरण के लिए, 768 डाइमेंशन वाली दस लाख FP32 एम्बेडिंग के लिए, इंडेक्सिंग ओवरहेड को छोड़कर, लगभग 3.1 GB रॉ वेक्टर स्टोरेज की ज़रूरत होती है। स्टोरेज की ज़रूरत कम करने के लिए, आप वेक्टर को कम न्यूमेरिकल प्रिसिज़न पर क्वांटाइज़ कर सकते हैं। मसलन, FP32 से INT8 पर जाने से रॉ वेक्टर स्टोरेज लगभग 4 गुना कम हो जाता है। हालाँकि, कम्प्रेशन से रिट्रीवल की गुणवत्ता पर असर पड़ सकता है, इसलिए इस ट्रेड-ऑफ़ को जाँचने के लिए अपने इवैल्यूएशन दोबारा चलाएँ।

आख़िर में, नतीजों की साथ-साथ तुलना करें: रिट्रीवल मेट्रिक्स, p95 लेटेंसी, थ्रूपुट, स्टोरेज और लागत। वह मॉडल चुनें जो आपकी प्रोडक्शन सीमाओं के भीतर आपकी गुणवत्ता संबंधी आवश्यकताओं को पूरा करता हो।

आपको LLM के बजाय एम्बेडिंग का उपयोग कब करना चाहिए?

जब LLM डॉक्यूमेंट विश्लेषण से लेकर जटिल रीज़निंग तक सब कुछ संभाल रहे हैं, तो यह काफ़ी लुभावना लगता है कि अपना सारा टेक्स्ट किसी मॉडल को सौंप दें और बाकी उसी पर छोड़ दें। लेकिन शायद इसके लिए भुगतान करना आपको अच्छा नहीं लगेगा।

इसके अलावा, LLM आकलन करने और लिखने में बेहतर होते हैं, लेकिन एक ही प्रॉम्प्ट में कितनी जानकारी समा सकती है, इससे उनकी सीमा तय होती है। दूसरी ओर, एम्बेडिंग सस्ती, तेज़ और एकसमान होती हैं, और लाखों आइटम पर काम करती हैं।

“सर्च, रिकमेंडेशन (“इस जैसे और”), डुप्लिकेट पहचानने (जैसे बार-बार आने वाले सपोर्ट टिकट) और बड़ी मात्रा में कंटेंट को विषय के अनुसार समूहित करने में एम्बेडिंग आगे रहती हैं। ये अलग-अलग भाषाओं में भी अच्छा प्रदर्शन करती हैं। जब किसी काम में रीज़निंग की ज़रूरत होती है, जैसे सारांश बनाना, विकल्पों की तुलना करना या कोई जवाब लिखना, तब LLM आगे रहता है। ज़्यादातर वास्तविक सिस्टम को दोनों की ज़रूरत होती है, और हर एक वह हिस्सा संभालता है जिसमें वह अच्छा है,” कुमार निष्कर्ष के तौर पर कहते हैं।

टेक्स्ट एम्बेडिंग के बारे में डेवलपर कहाँ ग़लती करते हैं

यह जानने के लिए कि डेवलपर अक्सर किन बातों को नज़रअंदाज़ कर देते हैं, मैंने राहुल कुमार और Xibeijia Guan से बात की, जो Ahrefs में डेटा साइंटिस्ट हैं। उन्होंने ऐसी छह ग़लतियों की ओर ध्यान दिलाया जिनसे सावधान रहना चाहिए:

• टेक्स्ट प्रीप्रोसेसिंग छोड़ देना। अगर इनपुट डेटा में HTML, नेविगेशन मेन्यू, विज्ञापन या अन्य अप्रासंगिक कंटेंट है, तो बॉयलरप्लेट हटाने जैसे प्रीप्रोसेसिंग चरण अनावश्यक जानकारी हटाकर एम्बेडिंग की गुणवत्ता सुधारने में मदद कर सकते हैं।
• मॉडल की अधिकतम इनपुट लंबाई को नज़रअंदाज़ करना। अलग-अलग मॉडल की टोकन सीमाएँ और ट्रंकेशन का तरीका अलग-अलग होता है। सीमा से लंबा टेक्स्ट काटा जा सकता है, जिससे महत्वपूर्ण जानकारी छूट सकती है।
• मॉडल-विशिष्ट आवश्यकताओं का पालन न करना। कुछ एम्बेडिंग मॉडल को query: और passage: जैसे विशिष्ट प्रीफ़िक्स, या अलग-अलग कामों के लिए अलग-अलग निर्देशों की ज़रूरत होती है। इन आवश्यकताओं का पालन न करने से रिट्रीवल का प्रदर्शन घट सकता है।
• असंगत सिमिलैरिटी माप का उपयोग करना। कोसाइन सिमिलैरिटी और डॉट प्रोडक्ट को हमेशा एक-दूसरे की जगह इस्तेमाल नहीं किया जा सकता। जाँचें कि एम्बेडिंग नॉर्मलाइज़्ड हैं या नहीं, और मॉडल तथा वेक्टर इंडेक्स के लिए सुझाई गई स्कोरिंग विधि का उपयोग करें।
• विषयगत समानता को प्रासंगिकता समझ लेना। सीमित डोमेन वाले कलेक्शन में कई डॉक्यूमेंट एक ही सवाल का जवाब दिए बिना भी सिमेंटिक रूप से समान हो सकते हैं। विफल क्वेरी और रैंकिंग डिस्ट्रीब्यूशन की जाँच करें। जब यूज़र को सटीक जानकारी चाहिए हो, तो लेक्सिकल या हाइब्रिड रिट्रीवल, रीरैंकिंग और मेटाडेटा फ़िल्टर को टेस्ट करें।
• एम्बेडिंग नॉर्मलाइज़ेशन को नज़रअंदाज़ करना। अलग-अलग एम्बेडिंग मॉडल नॉर्मलाइज़्ड या अननॉर्मलाइज़्ड वेक्टर आउटपुट कर सकते हैं। आप जिस सिमिलैरिटी मेट्रिक का उपयोग करते हैं, उसके आधार पर जाँचें कि एम्बेडिंग नॉर्मलाइज़्ड हैं या नहीं, और क्या अतिरिक्त नॉर्मलाइज़ेशन की ज़रूरत है।

टेक्स्ट एम्बेडिंग से जुड़े अक्सर पूछे जाने वाले सवाल

1. मैं टेक्स्ट एम्बेडिंग कैसे जनरेट करूँ?

सबसे आसान तरीका है किसी प्रीट्रेन्ड एम्बेडिंग मॉडल का उपयोग करना। उदाहरण के लिए, Python की Sentence Transformers लाइब्रेरी के साथ आप all-MiniLM-L6-v2 जैसा मॉडल लोड कर सकते हैं, अपना टेक्स्ट model.encode() में पास कर सकते हैं, और बदले में एक न्यूमेरिकल वेक्टर पा सकते हैं। इसके अलावा, आप किसी API के ज़रिए भी एम्बेडिंग जनरेट कर सकते हैं।

सिमेंटिक सर्च या RAG के लिए आप आमतौर पर अपने डॉक्यूमेंट को चंक में बाँटते हैं, हर चंक के लिए एक एम्बेडिंग जनरेट करते हैं, और वेक्टर को एक सर्च करने योग्य इंडेक्स में स्टोर करते हैं।

2. टेक्स्ट के लिए सबसे अच्छे एम्बेडिंग मॉडल कौन-से हैं?

आप क्या बना रहे हैं, इसके आधार पर कई मॉडल पर विचार किया जा सकता है:

• Perplexity का pplx-embed-v1: बड़े पैमाने पर डेंस रिट्रीवल के लिए बनाया गया है, और इसमें INT8 और बाइनरी एम्बेडिंग हैं जो वेक्टर स्टोरेज की ज़रूरत को कम करती हैं।
• Perplexity का pplx-embed-context-v1: लंबे डॉक्यूमेंट से पैसेज रिट्रीव करने के लिए उपयोगी है, जहाँ अलग-अलग चंक अपने आसपास के संदर्भ के बिना अपना अर्थ खो देते हैं।
• all-MiniLM-L6-v2: हल्के, लोकल सिमेंटिक सर्च, क्लस्टरिंग और वाक्य समानता के कामों के लिए अच्छा है। यह कॉम्पैक्ट 384-डाइमेंशनल वेक्टर बनाता है, लेकिन 256 वर्ड पीस से लंबे इनपुट को काट देता है।
• BGE-M3: बहुभाषी RAG और हाइब्रिड रिट्रीवल के लिए उपयोगी है। यह 100 से ज़्यादा भाषाओं को सपोर्ट करता है और डेंस, स्पार्स और मल्टी-वेक्टर रिप्रेज़ेंटेशन को एक साथ जोड़ता है।
• Qwen3-Embedding: बहुभाषी सर्च, कोड रिट्रीवल और टास्क-विशिष्ट एम्बेडिंग के लिए एक मज़बूत विकल्प। यह इंस्ट्रक्शन सपोर्ट के साथ 0.6B, 4B और 8B के ओपन-वेट मॉडल उपलब्ध कराता है।
• OpenAI का text-embedding-3-large: जब आप खुद कोई मॉडल होस्ट नहीं करना चाहते, तब सिमेंटिक सर्च और डॉक्यूमेंट रिट्रीवल के लिए एक API-आधारित विकल्प। यह 3,072 डाइमेंशन तक सपोर्ट करता है, जिन्हें स्टोरेज बचाने के लिए आप कम कर सकते हैं।
• Google के Gemini Embedding मॉडल: मैनेज्ड रिट्रीवल ऐप्लिकेशन के लिए उपयोगी। Gemini Embedding 2 एक साझा एम्बेडिंग स्पेस में टेक्स्ट, इमेज, ऑडियो, वीडियो और PDF में सर्च करने को भी सपोर्ट करता है।

3. क्या मैं किसी LLM को एम्बेडिंग मॉडल के रूप में इस्तेमाल कर सकता हूँ?

हाँ, लेकिन सामान्य उद्देश्य वाले LLM और एम्बेडिंग के लिए ऑप्टिमाइज़ किए गए LLM में अंतर होता है। LLM टेक्स्ट के आंतरिक वेक्टर रिप्रेज़ेंटेशन बनाते हैं, जिन्हें आप निकालकर और पूल करके एक सिंगल एम्बेडिंग बना सकते हैं। हालाँकि, अतिरिक्त ट्रेनिंग के बिना ये वेक्टर सिमेंटिक सर्च के लिए ज़रूरी नहीं कि उपयोगी हों।

उदाहरण के लिए, Qwen3-Embedding एक LLM बैकबोन का उपयोग करता है, जिसे एम्बेडिंग और रिट्रीवल के कामों के लिए आगे ट्रेन किया गया है। इसलिए, भले ही आप एम्बेडिंग जनरेट करने के लिए किसी LLM को ढाल सकते हैं, लेकिन आमतौर पर एक समर्पित एम्बेडिंग मॉडल से शुरुआत करना ज़्यादा व्यावहारिक होता है।