உரை உட்பொதிவுகள் (text embeddings) விளக்கம்: அவை எவ்வாறு செயல்படுகின்றன [+எடுத்துக்காட்டுகள்]

உரை எம்பெடிங்குகளின் (text embeddings) அடிப்படைக் கருத்து உங்களுக்குப் பரிச்சயமானது, ஆனால் அவற்றை எப்படிப் பயன்படுத்துவது என்று யோசிக்கிறீர்கள் என்றால், நீங்கள் சரியான இடத்திற்கு வந்துள்ளீர்கள். வெக்டர்கள், டோக்கனைசேஷன், ஒற்றுமைக் கணக்கீடு ஆகியவற்றை விரிவாகப் பிரித்துப் பார்ப்போம்; எம்பெடிங் மாடல்களை மதிப்பீடு செய்வதன் ஆழத்திற்குள் செல்வோம்; நிஜ உலகப் பயன்பாடுகளையும் உங்களுக்குக் காட்டுவோம்.

உரை எம்பெடிங்குகள் என்றால் என்ன?

உரை எம்பெடிங்குகள் என்பவை சொற்கள், வாக்கியங்கள் அல்லது ஆவணங்களின் சொற்பொருள் அர்த்தத்தையும் அவற்றுக்கிடையேயான உறவுகளையும் உள்ளடக்கிய எண்ணியல் பிரதிநிதித்துவங்கள். உரையை வெக்டர்களாக — அதாவது இயந்திரக் கற்றல் அல்காரிதங்கள் செயலாக்கி ஒப்பிடக்கூடிய எண்களின் வரிசைகளாக — மாற்றும் எம்பெடிங் மாடல்கள் இவற்றை உருவாக்குகின்றன.

சொற்கள் மற்றும் வாக்கியங்களுக்கு இடையிலான உறவுகளை மென்பொருள் பயன்பாடுகள் அடையாளம் காண உதவ, ML பொறியாளர்கள் உரை எம்பெடிங்குகளைப் பயன்படுத்துகின்றனர்; இதனால் பெரிய அளவிலான தரவைத் தேடுவது, வகைப்படுத்துவது, பகுப்பாய்வு செய்வது எளிதாகிறது.

உங்களுக்குத் தினமும் ஆயிரக்கணக்கான ஆதரவு டிக்கெட்டுகள் வருகின்றன என்று வைத்துக்கொள்வோம். வாடிக்கையாளர்கள் கற்பனை செய்யக்கூடிய எல்லா வகைப் பிரச்சினைகளையும் தெரிவிக்கிறார்கள், ஆனால் நீங்கள் அவற்றை வகைப்படுத்தி லேபிள் இட வேண்டும். இந்தச் செயல்முறையைத் தானியக்கமாக்க ஒரு வழி, முன்பயிற்சி பெற்ற உரை எம்பெடிங் மாடலைப் பயன்படுத்தி ஒவ்வொரு டிக்கெட்டையும் ஒரு வெக்டராக மாற்றுவது.

எடுத்துக்காட்டாக, இரண்டு வாடிக்கையாளர்கள் பின்வரும் செய்திகளைச் சமர்ப்பிக்கிறார்கள்:

• “என் சந்தாவுக்கு இரண்டு முறை கட்டணம் வசூலிக்கப்பட்டது”: [0.21, -0.47, 0.83, ...]
• “என் கணக்கில் ஒரு நகல் கட்டணம் பதிவாகியுள்ளது”: [0.19, -0.45, 0.80, ...]

இவை எளிமைப்படுத்தப்பட்ட, விளக்கத்துக்கான வெக்டர்கள்.

வாடிக்கையாளர்கள் வெவ்வேறு சொற்களைப் பயன்படுத்தினாலும், அவர்கள் ஒரே பிரச்சினையைத்தான் விவரிக்கிறார்கள். எம்பெடிங் மாடல் அவர்களின் வெக்டர்களை ஒரு கணித வெளியில் அருகருகே வைப்பதன் மூலம் இந்த உறவை உள்வாங்குகிறது. இரண்டு டிக்கெட்டுகளும் வகைப்படுத்தப்பட்டு பில்லிங் குழுவிற்கு அனுப்பப்படுகின்றன.

வணிகத்தில் உரை எம்பெடிங்குகளின் பயன்பாடுகள்

உரை எம்பெடிங்குகள் பல்வேறு இயற்கை மொழிச் செயலாக்க (NLP) பணிகளில் பயன்படுத்தப்படுகின்றன, அவற்றில் சில:

• சொற்பொருள் தேடல்: அர்த்தத்தின் அடிப்படையில் தொடர்புடைய தகவல்களைக் கண்டறிதல். மளிகை வாடிக்கையாளர்கள் தொடர்புடைய தயாரிப்புகளைக் கண்டறிய உதவ, Delivery Hero முக்கியச்சொல் தேடலுடன் சேர்த்து தயாரிப்பு மற்றும் வினவல் எம்பெடிங்குகளைப் பயன்படுத்துகிறது. எடுத்துக்காட்டாக, “குறைந்த கொழுப்பு யோகர்ட்” என்று தேடினால், சொற்கள் துல்லியமாகப் பொருந்தாவிட்டாலும், கிரீக் யோகர்ட் அல்லது 0.5% கொழுப்பு கொண்ட யோகர்ட் முடிவுகளில் தோன்றலாம்.
• உரை வகைப்படுத்தல்: ஸ்பேம் மின்னஞ்சல்களை அடையாளம் காண்பது அல்லது ஆவணங்களைத் தலைப்பு வாரியாக வரிசைப்படுத்துவது போன்று உரையை வகைப்படுத்துதல். MindCraft.ai நிறுவனம், டிரான்ஸ்ஃபார்மர் அடிப்படையிலான உரை எம்பெடிங்குகள் மற்றும் இயந்திரக் கற்றலைப் பயன்படுத்தி நிறுவன ஆவணங்களை வகைப்படுத்தி, GDPR இணக்கத்திற்காக முக்கியமான தகவல்களை அடையாளம் காணும் ஆவண வகைப்படுத்தல் அமைப்பை உருவாக்கியுள்ளது.
• குழுவாக்கம் (Clustering): வடிவங்களை அடையாளம் காண ஒத்த ஆவணங்கள் அல்லது உரைப் பகுதிகளை ஒன்றாகக் குழுவாக்குதல். Doczy.ai ஒப்பந்த உரையை எம்பெடிங்குகளாக மாற்றி, வெவ்வேறு ஒப்பந்தங்கள் ஒத்த கடமைகளை வெவ்வேறு சொற்களில் வெளிப்படுத்தினாலும், சொற்பொருள் ரீதியாகத் தொடர்புடைய உட்பிரிவுகளையும் கருத்துகளையும் ஒன்றாகக் குழுவாக்குகிறது.
• மீட்டெடுப்பு-மேம்படுத்தப்பட்ட உருவாக்கம் (RAG): LLM மேலும் துல்லியமான, சூழலுக்கு ஏற்ற பதில்களை உருவாக்கப் பயன்படுத்தக்கூடிய தொடர்புடைய தகவல்களை மீட்டெடுத்தல். சர்வதேசச் சந்தைகளில் வாடிக்கையாளர்களின் கேள்விகளுக்குப் பதில்களை உருவாக்கும் முன் தொடர்புடைய ஆதரவு ஆவணங்களை மீட்டெடுக்க, Ring தனது பன்மொழி RAG சாட்பாட்டில் Amazon Titan உரை எம்பெடிங்குகளைப் பயன்படுத்துகிறது.
• பரிந்துரை அமைப்புகள்: உரை ஒற்றுமைகளின் அடிப்படையில் தொடர்புடைய கட்டுரைகள், தயாரிப்புகள் அல்லது பிற உள்ளடக்கங்களைப் பரிந்துரைத்தல். LinkedIn-இன் JUDE அமைப்பு, வேலை விவரங்கள் மற்றும் உறுப்பினர் சுயவிவரங்களின் LLM-உருவாக்கிய உரை எம்பெடிங்குகளைப் பயன்படுத்தி, விண்ணப்பதாரர்களின் பின்னணிக்கும் கிடைக்கக்கூடிய பணியிடங்களுக்கும் இடையிலான உறவுகளைப் பிடித்து, வேலைப் பரிந்துரைகளை மேம்படுத்துகிறது.
• பெயரிடப்பட்ட பொருள் அடையாளம் காணல் (NER): உரையில் உள்ள நபர்கள், நிறுவனங்கள், இடங்களின் பெயர்களை அடையாளம் கண்டு வகைப்படுத்த உதவுதல். Amazon Health Services, வாடிக்கையாளர் வினவல்களில் உள்ள நோய்கள், அறிகுறிகள், மருந்துகள், சிகிச்சைகள் போன்ற மருத்துவக் கருத்துகளை அடையாளம் காண NER-ஐப் பயன்படுத்துகிறது. அந்தப் புரிதலை எம்பெடிங் அடிப்படையிலான ஒற்றுமைத் தேடலுடன் இணைத்து, வினவல்களைத் தொடர்புடைய சுகாதாரத் தயாரிப்புகள் மற்றும் சேவைகளுடன் இணைக்கிறது.
• இயந்திர மொழிபெயர்ப்பு: மொழிகளுக்கு இடையே உரையை மொழிபெயர்க்கும் மாடல்களுக்கு ஆதரவளித்தல். Transglot, ஒத்த அர்த்தங்களைக் கொண்ட, முன்பு மொழிபெயர்க்கப்பட்ட பகுதிகளை அடையாளம் காண சொற்பொருள் மொழிபெயர்ப்பு நினைவகத்தில் உரை எம்பெடிங்குகளைப் பயன்படுத்துகிறது; இது உள்ளூர்மயமாக்கல் பணிப்பாய்வுகள் ஏற்கனவே உள்ள மொழிபெயர்ப்புகளை மீண்டும் பயன்படுத்த உதவுகிறது.

உரை எம்பெடிங்குகள் எப்படிச் செயல்படுகின்றன?

அப்படியானால், ஒரு உரைப் பகுதிக்கு எந்த எண் மதிப்புகளை ஒதுக்க வேண்டும் என்பதை எம்பெடிங் மாடல் எப்படித் தீர்மானிக்கிறது, அதை நாம் ஏன் நம்ப வேண்டும்?

இவை அனைத்தும் பயிற்சியிலிருந்து தொடங்குகின்றன. எம்பெடிங் மாடல்கள் பெரிய உரைத் தொகுப்புகளிலிருந்து கற்றுக்கொள்கின்றன; சொற்கள் ஒன்றாக எப்படிப் பயன்படுத்தப்படுகின்றன என்பதில் உள்ள வடிவங்களைத் தேடுகின்றன. எடுத்துக்காட்டாக, Word2Vec போன்ற பாரம்பரிய மாடல்கள், ஒரு சொல்லை அதைச் சுற்றியுள்ள சொற்களிலிருந்து (அல்லது நேர்மாறாக) கணிப்பதன் மூலம் கற்றுக்கொள்கின்றன. மீட்டெடுப்பை மையமாகக் கொண்ட நவீன மாடல்கள் பெரும்பாலும் மாறுபாட்டுக் கற்றலை (contrastive learning) பயன்படுத்துகின்றன. தொடர்பில்லாத வினவல்-ஆவண இணைகளை விட, தொடர்புடைய இணைகளுக்கு அதிக ஒற்றுமை மதிப்பெண்களை ஒதுக்கும் வகையில் அவை பயிற்றுவிக்கப்படுகின்றன.

விரிவாக்கு

மாடல் பயிற்றுவிக்கப்பட்ட பிறகு, அதற்கு ஒரு புதிய உரைப் பகுதியைக் கொடுக்கும்போது நடப்பது இதுதான்:

1. டோக்கனைசேஷன். மாடல் முதலில் உரையை டோக்கன்கள் எனப்படும் சிறிய துண்டுகளாகப் பிரிக்கிறது. இவை முழுச் சொற்களாகவோ, சொற்களின் பகுதிகளாகவோ, நிறுத்தற்குறிகளாகவோ இருக்கலாம். ஒவ்வொரு டோக்கனுக்கும் மாடலின் சொற்களஞ்சியத்திலிருந்து ஒரு எண் ID கிடைக்கிறது; அதற்குத் தனியாக எந்த அர்த்தமும் இல்லை.
2. என்கோடிங் மற்றும் பூலிங். பயிற்சியின்போது கற்ற வடிவங்களைப் பயன்படுத்தி மாடல் இந்த டோக்கன்களைச் செயலாக்கி ஒரு வெக்டரை உருவாக்குகிறது. வெக்டரில் உள்ள ஒவ்வொரு எண்ணும் ஒரு ஆயத்தொலைவு அல்லது கூறு ஆகும்; பரிமாணம் என்பது அந்த எண் வெக்டரின் நிலையை வரையறுக்கும் அச்சு. ஒவ்வொரு மதிப்பும், எம்பெடிங் வெளி எனப்படும் ஒரு கணித வெளியில் உரையின் நிலைக்குப் பங்களிக்கிறது.
3. ஒற்றுமைக் கணக்கீடு. தொடர்புடைய உரையைக் கண்டறிய, மீட்டெடுப்பு அமைப்பு கொசைன் ஒற்றுமை அல்லது புள்ளிப் பெருக்கம் (dot product) போன்ற ஒற்றுமை அளவீட்டைப் பயன்படுத்தி வினவல் எம்பெடிங்கை ஆவண எம்பெடிங்குகளுடன் ஒப்பிடுகிறது.

எடுத்துக்காட்டாக, ஆன்லைன் கடைகள் பயனரின் வினவலுக்குப் பொருந்தும் பொருட்களை இப்படித்தான் வழங்குகின்றன.

சொல், வாக்கியம் மற்றும் ஆவண எம்பெடிங்குகளுக்கு இடையிலான வேறுபாடு என்ன?

விரிவாக்கு

முக்கிய வேறுபாடு, ஒவ்வொரு எம்பெடிங்கும் ஒரே வெக்டரில் எவ்வளவு உரையைப் பிரதிநிதித்துவப்படுத்துகிறது என்பதுதான். நீங்கள் எந்தத் தகவலைப் பிடிக்க விரும்புகிறீர்கள் என்பதைப் பொறுத்து, தனிச் சொற்கள், முழு வாக்கியங்கள் அல்லது முழு ஆவணங்களுக்கு எம்பெடிங்குகளை உருவாக்கலாம்.

• சொல் எம்பெடிங்குகள் தனிச் சொற்களுக்கு இடையிலான உறவுகளை உள்வாங்குகின்றன; எடுத்துக்காட்டாக, “சேவைத் தடை”யும் “செயலிழப்பு நேரம்”மும் தொடர்புடைய கருத்துகள் என்பதை அவை அடையாளம் காண்கின்றன.
• வாக்கிய எம்பெடிங்குகள் முழு வாக்கியங்களின் அர்த்தத்தைப் புரிந்துகொள்கின்றன; அவ்வாக்கியங்கள் ஒரே கருத்தை வெவ்வேறு சொற்களில் வெளிப்படுத்தினாலும் கூட.
• ஆவண எம்பெடிங்குகள் ஒவ்வொரு வாக்கியத்திற்கும் தனி வெக்டரை உருவாக்குவதற்குப் பதிலாக, முழு ஆவணத்தையும் ஒரே வெக்டராகப் பிரதிநிதித்துவப்படுத்துகின்றன. இது பொதுவான பொருளைப் பாதுகாக்கவும், அதே பொருளைப் பற்றிய பிற ஆவணங்களைக் கண்டறியவும் உதவுகிறது; இருப்பினும், விவரங்களை மீட்டெடுப்பது கடினமாக (ஏன், சாத்தியமற்றதாகக் கூட) இருக்கலாம்.

எவ்வளவு நுணுக்கமாகச் செல்ல வேண்டும்? சரியான நிலை உங்கள் தரவையும், நீங்கள் எதைச் சாதிக்க முயல்கிறீர்கள் என்பதையும் பொறுத்தது.

பெரிய ஆவணங்களுக்கு, உரையை சிறிய துண்டுகளாகப் பிரித்து ஒவ்வொன்றுக்கும் தனி எம்பெடிங்கை உருவாக்குவது பொதுவான நடைமுறை. இதன் மூலம், ஆவணத்தின் ஒட்டுமொத்த அர்த்தம், ஆவண எம்பெடிங்கின்போது இழக்கப்படக்கூடிய குறிப்பிட்ட விவரங்கள் — இரண்டையுமே பெறுவீர்கள்.

துண்டின் அளவு எம்பெடிங்குகளின் தரத்தை எவ்வளவு பாதிக்கிறது?

கணிசமாகவே பாதிக்கிறது. Rahul Kumar (Xenoss நிறுவனத்தின் AI பொறியியல் துணைத் தலைவர்) கூற்றுப்படி, முக்கியமான சூழலை இழக்காமல் ஒரு முழுமையான கருத்தைப் பிடிக்கும் துண்டு அளவைக் கண்டறிவதே சவால். இந்தச் சமரசத்தை அவர் இப்படி விளக்குகிறார்:

“ஒரு எம்பெடிங் எவ்வளவு சொற்பொருள் சூழலைச் சுமக்கிறது என்பதைத் துண்டின் அளவே தீர்மானிக்கிறது. பெரிய துண்டு வெக்டருக்கு அதிகச் சூழலைத் தருகிறது, ஆனால் அது அதிகத் தலைப்புகளை ஒரே வெக்டரில் சராசரியாக்கவும் செய்கிறது. மூன்று தலைப்புகளை உள்ளடக்கிய ஒரு துண்டு நடுவில் வந்து விழுகிறது; அவற்றில் எதனுடனும் நன்றாகப் பொருந்துவதில்லை. சிறிய துண்டு அர்த்தத்தைக் கூர்மையாக வைத்திருக்கிறது, ஆனால் அதைக் கண்டறியக்கூடியதாக மாற்றிய சூழலை அது இழக்கக்கூடும்.”

அதனால்தான், ஒரே நிலையான அளவைப் பின்பற்றுவதற்குப் பதிலாக, உள்ளடக்கத்தின் அடிப்படையில் துண்டாக்க உத்தியைத் தேர்ந்தெடுக்குமாறு Kumar பரிந்துரைக்கிறார். அவர் சொல்வது போல, “மேற்பொருந்துதலுடன் (overlap) கூடிய நிலையான அளவுத் துண்டாக்கம், மின்னஞ்சல்கள் அல்லது ஸ்க்ரேப் செய்யப்பட்ட வலைப்பக்கங்கள் போன்ற சீரான உரைக்கு மட்டுமே பொருத்தமானது.”

ஒப்பந்தங்கள் அல்லது கொள்கைகள் போன்ற கட்டமைக்கப்பட்ட ஆவணங்களுக்கு, கட்டமைப்பைக் கணக்கில் கொள்ளும் சுழல்நிலை (recursive) பிரிப்பு சிறப்பாகப் பொருந்தும். அதேசமயம், சொற்பொருள் துண்டாக்கம் தலைப்பு அல்லது அர்த்தம் மாறும் இடத்தில் உரையைப் பிரிப்பதால், உரைப் பதிவுகளுக்கு (transcripts) நன்றாகச் செயல்படும்.

உரை எம்பெடிங்குகள் vs. முக்கியச்சொல் தேடல்

முக்கியச்சொற்களை எளிமையாகத் தேட முடியும்போது, உரை எம்பெடிங்குகளை ஏன் பயன்படுத்த வேண்டும்? ஏனெனில், முக்கியச்சொல் தேடல் சொற்கள் பொருந்துவதைச் சார்ந்துள்ளது; ஆனால் எம்பெடிங் அடிப்படையிலான சொற்பொருள் தேடல், வினவலும் ஆவணமும் வெவ்வேறு சொற்களைப் பயன்படுத்தினாலும் தொடர்புடைய தகவல்களை மீட்டெடுக்க முடியும்.

ஆனால் சொற்பொருள் ஒற்றுமை எப்போதும் பொருத்தத்தைக் குறிப்பதில்லை. AI Builder Academy நிறுவனர் Shaw Talebi, ஒரு ரெஸ்யூம் தேடல் அமைப்பைப் பயன்படுத்தி இந்த வரம்பை விளக்கிக் காட்டுகிறார். Talebi-யின் சோதனையில், “Apache Airflow அனுபவம் கொண்ட தரவுப் பொறியாளர்” என்று தேடியபோது, முதல் ஐந்து முடிவுகளில் ஒன்று மட்டுமே Apache Airflow-ஐக் குறிப்பிட்டது, அதுவும் மூன்றாவது இடத்தில்தான் வந்தது — தரவுத்தொகுப்பில் இருந்த வேறு மூன்று ரெஸ்யூம்கள் அந்தத் திறனைப் பட்டியலிட்டிருந்தபோதிலும்.

அதாவது, கருத்தியல் ரீதியாகத் தொடர்புடைய தகவல்களைக் கண்டறிய சொற்பொருள் தேடல் பயனுள்ளதாக இருக்கும், ஆனால் தொழில்நுட்பத் திறன்கள், தயாரிப்பு அடையாளங்காட்டிகள் அல்லது பிழைக் குறியீடுகள் போன்ற துல்லியமான தேவைகளை அது தவறவிடக்கூடும்.

இந்தச் சிக்கலைச் சரிசெய்ய, மீட்டெடுப்பு அமைப்பு எங்கே பின்தங்குகிறது என்பதன் அடிப்படையில் மீட்டெடுப்பு அணுகுமுறையைத் தேர்ந்தெடுக்குமாறு Rahul Kumar பரிந்துரைக்கிறார்:

• SKU-கள், பிழைக் குறியீடுகள் அல்லது சட்டக் குறிப்புகள் போன்ற துல்லியமான சொற்களை வினவல்கள் கொண்டிருக்கும்போது, கலப்புத் தேடல் (முக்கியச்சொல் பொருத்தத்தையும் சொற்பொருள் தேடலையும் இணைப்பது) இயல்புநிலைத் தேர்வாகும்.
• மீட்டெடுக்கப்பட்ட சூழலிலிருந்து உருவாக்கப்படும் பதில்கள் போல, முதல் சில முடிவுகள் மட்டுமே முக்கியமாக இருக்கும்போது, மறுதரவரிசைப்படுத்திகள் (rerankers) அவற்றின் செலவுக்குத் தகுந்த பலனைத் தருகின்றன.
• பதில் பல இணைக்கப்பட்ட தரவு மூலங்களில் பரவியிருக்கும்போது கிராஃப் மீட்டெடுப்பு உதவுகிறது.

தனது குழு இந்த அணுகுமுறைகளை எப்படி நடைமுறைப்படுத்தியது என்பதையும் Kumar பகிர்ந்துகொண்டார். ஒரு திட்டத்தில், அவர்கள் BM25 முக்கியச்சொல் தேடலையும் வெக்டர் தேடலையும் இணையாக இயக்கி, பரஸ்பரத் தரவரிசை இணைவு (RRF) மூலம் முடிவுகளை ஒன்றிணைத்து, முதல் 124 முடிவுகளை 6 ஆகக் குறைக்கும் வகையில் மறுதரவரிசைப்படுத்த ஒரு LLM-ஐப் பயன்படுத்தினர்.

“ஒத்த மறைந்த (latent) வெளிகளைக் கண்டறியும் வெக்டர் தேடலும், அதைத் தொடர்ந்து இரண்டு-தாவல் கிராஃப் நடையும் கொண்ட கிராஃப்-முதன்மை மீட்டெடுப்புக்கு மாறியது, தரவரிசைத் தரத்தை (nDCG) 0.58-இலிருந்து 0.67-ஆக உயர்த்தியது; p90 மீட்டெடுப்பு நேரத்தை 19 வினாடிகளிலிருந்து 3 வினாடிகளுக்குக் கீழ் குறைத்தது,” என்கிறார் Kumar.

உரை எம்பெடிங் மாடல்களின் வகைகள்

பொதுவாகப் பார்த்தால், எல்லா எம்பெடிங் மாடல்களும் ஒரே வேலையைத்தான் செய்கின்றன — உரையில் உள்ள உறவுகளைக் கற்றுக்கொள்கின்றன. இருப்பினும், அவை எந்தப் பணிக்காகப் பயிற்றுவிக்கப்படுகின்றன, எந்தத் தகவல்களைக் கருத்தில் கொள்கின்றன, எந்தப் பணிகளைக் கையாள வடிவமைக்கப்பட்டுள்ளன என்பதில் வேறுபடுகின்றன.

நிலையான சொல் எம்பெடிங் மாடல்கள்

பாரம்பரிய சொல் எம்பெடிங் மாடல்கள், பெரிய உரைத் தொகுப்புகளில் சொற்கள் பயன்படுத்தப்படும் வடிவங்களின் அடிப்படையில், சொற்களின் அடர்த்தியான எண்ணியல் பிரதிநிதித்துவங்களைக் கற்றுக்கொள்கின்றன. இந்த எம்பெடிங்குகள் நிலையானவை; அதாவது, ஒரு குறிப்பிட்ட சூழலில் ஒரு சொல்லின் அர்த்தம் எதுவாக இருந்தாலும், அதற்கு எப்போதும் ஒரே வெக்டர்தான் கிடைக்கும்.

நன்கு அறியப்பட்ட இரண்டு முறைகள்:

• Word2Vec: 2013-இல் Google உருவாக்கிய இது, இரண்டு கட்டமைப்புகளைப் பயன்படுத்தி அண்டைச் சொற்களிலிருந்து பிரதிநிதித்துவங்களைக் கற்றுக்கொள்கிறது: ஒரு சொல்லை அதன் அண்டைச் சொற்களிலிருந்து கணிக்கும் Continuous Bag of Words (CBOW), கொடுக்கப்பட்ட ஒரு சொல்லிலிருந்து அண்டைச் சொற்களைக் கணிக்கும் skip-gram.
• GloVe (Global Vectors for Word Representation): 2014-இல் Stanford-இல் உருவாக்கப்பட்ட இது, சொற்களுக்கு இடையிலான உறவுகளைக் கற்றுக்கொள்ள சொல் இணை-நிகழ்வுப் புள்ளிவிவரங்களைப் பயன்படுத்துகிறது.

சூழல்சார் மொழி மாடல்கள்

நிலையான எம்பெடிங்குகளைப் போலல்லாமல், பொது நோக்கு மொழி மாடல்கள் சுற்றியுள்ள உரையைப் பொறுத்து மாறும் சூழல்சார் பிரதிநிதித்துவங்களை உருவாக்குகின்றன. இது ஒரே சொல்லின் வெவ்வேறு அர்த்தங்களை வேறுபடுத்திப் பார்க்க மாடல்களுக்கு உதவுகிறது.

• BERT (2018, Google): ஒரு டோக்கனின் இரு பக்கங்களிலும் உள்ள சொற்களைக் கருத்தில் கொள்ள இருதிசை சுய-கவனத்தை (bidirectional self-attention) பயன்படுத்துகிறது. எடுத்துக்காட்டாக, “I deposited money at the bank” (நான் வங்கியில் பணம் செலுத்தினேன்), “I sat on the bank of a river” (நான் ஆற்றங்கரையில் அமர்ந்தேன்) ஆகிய வாக்கியங்களில் உள்ள “bank” என்ற சொல்லுக்கு அது வெவ்வேறு பிரதிநிதித்துவங்களை உருவாக்குகிறது.
• GPT (2018, OpenAI): அடுத்த டோக்கனைக் கணிக்கும்போது முந்தைய உரையைக் கணக்கில் கொள்ளும் டிரான்ஸ்ஃபார்மர் அடிப்படையிலான பிரதிநிதித்துவங்களைப் பயன்படுத்துகிறது. GPT மாடல்கள் முதன்மையாக மொழி உருவாக்கத்திற்காக வடிவமைக்கப்பட்டவை.

வாக்கிய மற்றும் ஆவண எம்பெடிங் மாடல்கள்

தனிப்பட்ட வாக்கியங்கள் முதல் பத்திகள், முழு ஆவணங்கள் வரை, நீளமான உரைப் பகுதிகளை வெக்டர்களாகப் பிரதிநிதித்துவப்படுத்துகின்றன.

• Doc2Vec: Word2Vec பாணிக் கற்றலை வாக்கியங்கள், பத்திகள், ஆவணங்களுக்கு விரிவுபடுத்துகிறது. இது தொடர்புடைய கட்டுரைகளைக் குழுவாக்க அல்லது ஆவணங்களைப் பொருள் வாரியாக வகைப்படுத்த உதவும்.
• Universal Sentence Encoder (USE): சொற்பொருள் ஒற்றுமை மற்றும் உரை வகைப்படுத்தலுக்காக, வாக்கியங்கள் மற்றும் சிறு பத்திகளின் நிலையான நீளப் பிரதிநிதித்துவங்களை உருவாக்க 2018-இல் Google இதை உருவாக்கியது.
• Sentence-BERT (SBERT, 2019): Technical University Darmstadt-இல் Nils Reimers மற்றும் Iryna Gurevych ஆகியோரால் உருவாக்கப்பட்ட இது, Google-இன் BERT மாடலை அடிப்படையாகக் கொண்டது; சொற்பொருள் தேடல், பொழிப்புரை (paraphrase) கண்டறிதல், குழுவாக்கம் ஆகியவற்றுக்குப் பொதுவாகப் பயன்படுத்தப்படுகிறது.
• pplx-embed-v1 (2026, Perplexity): நிஜ உலக, வலை அளவிலான மீட்டெடுப்புக்காக உருவாக்கப்பட்ட அதிநவீன உரை எம்பெடிங் மாடலான இந்தத் தொகுப்பு, ஒரு காரண (causal) மொழி மாடலை இருதிசை என்கோடராக மாற்ற டிஃப்யூஷன் அடிப்படையிலான முன்பயிற்சியைப் பயன்படுத்துகிறது. இது தனித்தனியாக என்கோட் செய்யப்பட்ட வினவல்கள் மற்றும் ஆவணங்களுக்கு அடர்த்தியான எம்பெடிங்குகளை உருவாக்குகிறது; சேமிப்புச் செலவுகளைக் குறைக்க குவான்டைசேஷன்-விழிப்புணர்வுப் பயிற்சியையும் பயன்படுத்துகிறது. பன்மொழி MTEB மீட்டெடுப்பு பெஞ்ச்மார்க்கில் எங்கள் 4B INT8 மாடல் 69.66 nDCG@10 மதிப்பெண்ணைப் பெற்றது; Google-இன் gemini-embedding-001 பெற்றது 67.71.
• pplx-embed-context-v1 (2026, Perplexity): ஆவணத் துண்டாக்கத்தில் உள்ள ஒரு பொதுவான சிக்கலைத் தீர்க்கிறது: சுற்றியுள்ள உரையிலிருந்து பிரிக்கப்படும்போது பத்திகள் தங்கள் அர்த்தத்தை இழக்கக்கூடும். தாமதத் துண்டாக்கம் (late chunking) முறையைப் பயன்படுத்தி, சூழல்சார் டோக்கன் பிரதிநிதித்துவங்களைத் தனித்தனி துண்டு எம்பெடிங்குகளாகப் பூலிங் செய்வதற்கு முன், மாடல் ஆவணத்தைச் செயலாக்குகிறது. ConTEB-இல் எங்கள் 4B மாடல் 81.96 nDCG@10 மதிப்பெண்ணைப் பெற்றது; voyage-context-3 பெற்றது 79.45.
• pplx-embed-v2-context (2026, Perplexity): சூழல்சார் மீட்டெடுப்பை மேலும் முன்னெடுத்துச் செல்கிறது. பதிலைக் கொண்டிருக்கும் பத்தியைக் கண்டறிய மட்டுமே பயிற்றுவிக்கப்படுவதற்குப் பதிலாக, அந்தப் பதிலை விளக்க அல்லது சரிபார்க்க உதவும் துணைப் பத்திகளை அடையாளம் காண இது கற்றுக்கொள்கிறது. பயிற்சியின்போது, சூழல் சுருக்க மாடலிலிருந்து வடித்தெடுக்கப்பட்ட பொருத்தச் சமிக்ஞைகளை இந்த மாடல் பயன்படுத்துகிறது; இன்ஃபெரன்ஸ் நேரத்தில் அந்த ஆசிரியர் (teacher) மாடல் தேவையில்லை. context-bench-இல் 10 முடிவுகளில், எங்கள் 9B முன்னோட்டப் பதிப்பு 45.5% பதில் ரீகாலையும் 40.6% சான்று ரீகாலையும் எட்டியது.

Perplexity-இன் மாடல்கள் பெரிய அளவில் எம்பெடிங்குகளைச் சேமிக்கவும் உதவுகின்றன. இந்த மாடல்கள் INT8 மற்றும் பைனரி எம்பெடிங்குகளை உருவாக்குகின்றன; இவை FP32-உடன் ஒப்பிடும்போது சேமிப்புத் தேவைகளை முறையே 4 மடங்கு மற்றும் 32 மடங்கு குறைக்கின்றன.

pplx-embed மாடல்களின் பரிமாணங்கள், சூழல் நீளம், குவான்டைசேஷன் மற்றும் பூலிங் உள்ளமைவு

அடர்த்தியான (dense), ஐதான (sparse) மற்றும் பல-வெக்டர் எம்பெடிங்குகள்

குறிப்பாகச் சொற்பொருள் தேடலுக்கு, புரிந்துகொள்ள வேண்டிய இன்னொரு வேறுபாடும் உள்ளது. எம்பெடிங் மாடல்கள் உரையை எப்படிப் பிரதிநிதித்துவப்படுத்துகின்றன, பொருத்தத்தை எப்படிக் கணக்கிடுகின்றன என்பதில் வேறுபடலாம்.

• அடர்த்தியான எம்பெடிங்குகள்: பெரும்பாலான மதிப்புகள் பூஜ்ஜியமற்றவையாக இருக்கும் கச்சிதமான வெக்டர்களைப் பயன்படுத்தி உரையைப் பிரதிநிதித்துவப்படுத்துகின்றன.
• ஐதான எம்பெடிங்குகள்: பெரும்பாலும் பூஜ்ஜிய மதிப்புகளைக் கொண்ட வெக்டர்களைப் பயன்படுத்துகின்றன; முக்கியமான சொற்களுடன் கற்றுக்கொள்ளப்பட்ட எடைகள் தொடர்புபடுத்தப்படுகின்றன. SPLADE (2021) போன்ற மாடல்கள், தொடர்புடைய ஆவணங்களை மீட்டெடுப்பதற்கு எந்தச் சொற்கள் முக்கியம் என்பதைக் கற்றுக்கொள்கின்றன.
• பல-வெக்டர் எம்பெடிங்குகள்: ஒரு உரைப் பகுதிக்குப் பல வெக்டர்களைத் தக்கவைத்து, வினவல்களுக்கும் ஆவணங்களுக்கும் இடையே மேலும் விரிவான ஒப்பீடுகளைச் சாத்தியமாக்குகின்றன. ColBERT (2020) போன்ற மாடல்கள், மேலும் விரிவான வினவல்-ஆவண ஒப்பீடுகளுக்கு இந்தப் பிரதிநிதித்துவங்களைப் பயன்படுத்துகின்றன.
• பல அணுகுமுறைகளை இணைக்கும் மாடல்கள்: BAAI உருவாக்கிய BGE-M3 (2024), ஒரே மாடலில் அடர்த்தியான, ஐதான மற்றும் பல-வெக்டர் மீட்டெடுப்பை ஆதரிக்கிறது.

உரை எம்பெடிங் மாடலைத் தேர்ந்தெடுத்து மதிப்பீடு செய்வது எப்படி

MTEB போன்ற பொது பெஞ்ச்மார்க்குகள் ஒரு நல்ல தொடக்கப் புள்ளி. உங்கள் மொழிகள், உள்ளீட்டு நீளங்கள், பயன்படுத்தல் (deployment) தேவைகளை ஆதரிக்கும் இரண்டு அல்லது மூன்று மாடல்களைத் தேர்வுப் பட்டியலில் சேர்க்க அவற்றைப் பயன்படுத்துங்கள். ஆனால் இப்போதே வெற்றியாளரைத் தேர்ந்தெடுக்காதீர்கள். அந்த மாடல்களை உங்கள் சொந்தத் தரவில் சோதிப்பதன் முக்கியத்துவத்தை எவ்வளவு வலியுறுத்தினாலும் போதாது.

நடைமுறைக்கு ஏற்ற ஒரு மதிப்பீட்டுப் பணிப்பாய்வு இதோ:

1. சோதனைத் தரவுத்தொகுப்பை உருவாக்குங்கள். ஆரம்ப மதிப்பீட்டுத் தொகுப்பாக, உண்மையான பயன்பாட்டைப் பிரதிபலிக்கும் 50-100 தேடல் வினவல்களைச் சேகரியுங்கள் (உங்களுக்கு இன்னும் அதிகம் தேவைப்படலாம்); இவற்றில் பொழிப்புரைகள், தொழில்நுட்பச் சொற்கள், துல்லியமான பிழைக் குறியீடுகள் போன்ற சிக்கலான நிகழ்வுகளையும் சேருங்கள். ஒவ்வொரு வினவலுக்கும், எந்த ஆவணங்கள் அல்லது பத்திகளில் தொடர்புடைய பதில்கள் உள்ளன என்பதை அடையாளம் காணுங்கள். இந்தப் பொருத்த லேபிள்கள்தான் உங்கள் அடிப்படை உண்மையாக (ground truth) அமையும்.
2. மீட்டெடுப்புத் தரத்தை அளவிடுங்கள். ஒவ்வொரு மாடலையும் ஒரே மதிப்பீட்டுத் தரவுத்தொகுப்பைக் கொண்டு சோதியுங்கள்; வினவல் வடிவமைப்பு, இயல்பாக்கம் (normalization), ஒற்றுமை மதிப்பெண் கணக்கீடு ஆகியவற்றுக்கான மாடல் சார்ந்த தேவைகளைப் பின்பற்றும் அதே வேளையில், ஆவணத் தயாரிப்பு மற்றும் மீட்டெடுப்பு நிலைமைகளை ஒப்பிடக்கூடியவையாக வைத்திருங்கள். பின்னர் Sentence Transformers-இன் InformationRetrievalEvaluator-ஐப் பயன்படுத்தி பின்வரும் அளவீடுகளைக் கணக்கிடுங்கள்:
   • Recall@k: முதல் k முடிவுகளில் இடம்பெறும் தொடர்புடைய பத்திகளின் விகிதத்தைத் தருகிறது.
   • MRR: முதல் தொடர்புடைய முடிவு தரவரிசையில் எவ்வளவு மேலே தோன்றுகிறது என்பதை அளவிடுகிறது.
   • nDCG@k: முதல் k முடிவுகள் அவற்றின் தொடர்புத்தன்மையின் அடிப்படையில் எவ்வளவு சிறப்பாகத் தரவரிசைப்படுத்தப்பட்டுள்ளன என்பதை அளவிடுகிறது.
3. தாமதம் (latency) மற்றும் செயல்திறன் வீதத்தை (throughput) அளவீடு செய்யுங்கள். ஒவ்வொரு மாடலும் ஒரு வினவலை உட்பொதிவாக மாற்ற எவ்வளவு நேரம் எடுக்கிறது என்பதை அளவிடுங்கள்; இயன்றவரை, யதார்த்தமான சுமையின் கீழ் இடைநிலை (p50) மற்றும் 95-ஆம் சதமான (p95) தாமதத்தைப் பதிவு செய்யுங்கள்.
4. சேமிப்பு மற்றும் இயக்கச் செலவுகளைக் கணக்கிடுங்கள். வெக்டர் சேமிப்பு என்பது உட்பொதிவுகளின் எண்ணிக்கை, அவற்றின் பரிமாணங்கள், எண்ணியல் துல்லியம் ஆகியவற்றைப் பொறுத்தது. எடுத்துக்காட்டாக, 768 பரிமாணங்கள் கொண்ட பத்து லட்சம் FP32 உட்பொதிவுகளுக்கு, அட்டவணையிடலுக்கான (indexing) கூடுதல் சுமையைத் தவிர்த்து, ஏறத்தாழ 3.1 GB மூல வெக்டர் சேமிப்பிடம் தேவைப்படும். சேமிப்புத் தேவைகளைக் குறைக்க, வெக்டர்களைக் குறைந்த எண்ணியல் துல்லியத்திற்கு குவாண்டைஸ் (quantize) செய்யலாம். உதாரணமாக, FP32-இலிருந்து INT8-க்கு மாறுவது மூல வெக்டர் சேமிப்பை ஏறத்தாழ 4 மடங்கு குறைக்கிறது. இருப்பினும், சுருக்குதல் (compression) மீட்டெடுப்புத் தரத்தைப் பாதிக்கக்கூடும் என்பதால், இந்தச் சமரசத்தைச் சரிபார்க்க உங்கள் மதிப்பீடுகளை மீண்டும் இயக்குங்கள்.

இறுதியாக, முடிவுகளை அருகருகே வைத்து ஒப்பிடுங்கள்: மீட்டெடுப்பு அளவீடுகள், p95 தாமதம், செயல்திறன் வீதம், சேமிப்பு, செலவு. உங்கள் உற்பத்திச் சூழலின் (production) கட்டுப்பாடுகளுக்குள் உங்கள் தரத் தேவைகளைப் பூர்த்தி செய்யும் மாடலைத் தேர்ந்தெடுங்கள்.

LLM-க்குப் பதிலாக உட்பொதிவுகளை எப்போது பயன்படுத்த வேண்டும்?

ஆவணப் பகுப்பாய்வு முதல் சிக்கலான பகுத்தறிவு வரை அனைத்தையும் LLM-கள் கையாளும் நிலையில், உங்கள் உரை முழுவதையும் ஒரு மாடலிடம் கொடுத்து, அதுவே எல்லாவற்றையும் கண்டறியட்டும் என்று விட்டுவிடத் தோன்றுவது இயல்பே. ஆனால் அதற்கான கட்டணத்தைச் செலுத்துவதில் உங்களுக்குப் பெரும்பாலும் மகிழ்ச்சி இருக்காது.

மேலும், LLM-கள் மதிப்பிடுவதிலும் எழுதுவதிலும் சிறந்தவை; ஆனால் ஒரே ப்ராம்ப்ட்டில் எவ்வளவு தகவலைப் பொருத்த முடியும் என்பதைப் பொறுத்து அவற்றுக்கு வரம்பு உண்டு. மறுபுறம், உட்பொதிவுகள் மலிவானவை, வேகமானவை, சீரானவை, மேலும் மில்லியன் கணக்கான உருப்படிகளில் செயல்படக்கூடியவை.

“தேடல், பரிந்துரைகள் (“இது போன்ற மேலும்”), மீண்டும் மீண்டும் வரும் ஆதரவு டிக்கெட்டுகள் போன்ற நகல்களைக் கண்டறிதல், பெரிய அளவிலான உள்ளடக்கத்தைத் தலைப்பு வாரியாகக் குழுவாக்குதல் ஆகியவற்றில் உட்பொதிவுகளே வெல்கின்றன. பல மொழிகளிலும் அவை வலுவானவை. சுருக்கி எழுதுதல், விருப்பங்களை ஒப்பிடுதல், அல்லது ஒரு பதிலை எழுதுதல் போன்ற பகுத்தறிவு தேவைப்படும் பணிகளில் LLM வெல்கிறது. பெரும்பாலான நடைமுறை அமைப்புகளுக்கு இரண்டுமே தேவை; ஒவ்வொன்றும் தான் சிறப்பாகச் செய்யும் பகுதியைச் செய்கிறது,” என்று முடிக்கிறார் Kumar.

உரை உட்பொதிவுகள் பற்றி டெவலப்பர்கள் செய்யும் தவறுகள்

டெவலப்பர்கள் பொதுவாக எதைக் கவனிக்கத் தவறுகிறார்கள் என்பதை அறிய, Rahul Kumar மற்றும் Xibeijia Guan (Ahrefs நிறுவனத்தின் தரவு அறிவியலாளர்) ஆகியோரிடம் பேசினேன். கவனிக்க வேண்டிய ஆறு தவறுகளை அவர்கள் சுட்டிக்காட்டினர்:

• உரை முன்செயலாக்கத்தைத் தவிர்ப்பது. உள்ளீட்டுத் தரவில் HTML, வழிசெலுத்தல் மெனுக்கள், விளம்பரங்கள் அல்லது பிற தொடர்பற்ற உள்ளடக்கம் இருந்தால், boilerplate நீக்கம் போன்ற முன்செயலாக்கப் படிகள் தேவையற்ற தகவல்களை அகற்றி உட்பொதிவுத் தரத்தை மேம்படுத்த உதவும்.
• மாடலின் அதிகபட்ச உள்ளீட்டு நீளத்தைப் புறக்கணிப்பது. வெவ்வேறு மாடல்களுக்கு வெவ்வேறு டோக்கன் வரம்புகளும் துண்டிப்பு (truncation) நடத்தைகளும் உள்ளன. வரம்பை மீறும் உரை துண்டிக்கப்படலாம்; இதனால் முக்கியமான தகவல்கள் இழக்கப்படக்கூடும்.
• மாடல் சார்ந்த தேவைகளைப் பின்பற்றாதது. சில உட்பொதிவு மாடல்களுக்கு query:, passage: போன்ற குறிப்பிட்ட முன்னொட்டுகள் அல்லது வெவ்வேறு பணிகளுக்கு வெவ்வேறு அறிவுறுத்தல்கள் தேவைப்படுகின்றன. இந்தத் தேவைகளைப் பின்பற்றாவிட்டால் மீட்டெடுப்புச் செயல்திறன் குறையக்கூடும்.
• பொருந்தாத ஒற்றுமை அளவீட்டைப் பயன்படுத்துவது. கொசைன் ஒற்றுமை (cosine similarity), புள்ளிப் பெருக்கம் (dot product) ஆகியவற்றை எப்போதும் ஒன்றுக்கொன்று மாற்றாகப் பயன்படுத்த முடியாது. உட்பொதிவுகள் இயல்பாக்கப்பட்டுள்ளனவா என்பதைச் சரிபார்த்து, மாடலுக்கும் வெக்டர் அட்டவணைக்கும் (vector index) பரிந்துரைக்கப்பட்ட மதிப்பெண் முறையைப் பயன்படுத்துங்கள்.
• தலைப்பு ஒற்றுமையைத் தொடர்புத்தன்மை என்று தவறாகக் கருதுவது. குறுகிய துறை சார்ந்த தொகுப்புகளில், பல ஆவணங்கள் ஒரே கேள்விக்குப் பதிலளிக்காமலேயே பொருள்ரீதியாக ஒத்திருக்கலாம். தோல்வியடைந்த வினவல்களையும் தரவரிசைப் பரவல்களையும் ஆராயுங்கள். பயனர்களுக்குத் துல்லியமான தகவல் தேவைப்படும்போது, சொல்சார் (lexical) அல்லது கலப்பு (hybrid) மீட்டெடுப்பு, மறுதரவரிசைப்படுத்தல் (reranking), மெட்டாடேட்டா வடிப்பான்கள் ஆகியவற்றைச் சோதியுங்கள்.
• உட்பொதிவு இயல்பாக்கத்தைப் புறக்கணிப்பது. வெவ்வேறு உட்பொதிவு மாடல்கள் இயல்பாக்கப்பட்ட அல்லது இயல்பாக்கப்படாத வெக்டர்களை வெளியிடலாம். நீங்கள் பயன்படுத்தும் ஒற்றுமை அளவீட்டைப் பொறுத்து, உட்பொதிவுகள் இயல்பாக்கப்பட்டுள்ளனவா, கூடுதல் இயல்பாக்கம் தேவையா என்பதைச் சரிபார்த்துக்கொள்ளுங்கள்.

உரை உட்பொதிவுகள்: அடிக்கடி கேட்கப்படும் கேள்விகள்

1. உரை உட்பொதிவுகளை எவ்வாறு உருவாக்குவது?

முன்பயிற்சி பெற்ற (pretrained) உட்பொதிவு மாடலைப் பயன்படுத்துவதே எளிய வழி. எடுத்துக்காட்டாக, Python-இன் Sentence Transformers லைப்ரரியைக் கொண்டு all-MiniLM-L6-v2 போன்ற ஒரு மாடலை ஏற்றி, model.encode(), மூலம் உங்கள் உரையை அனுப்பி, ஓர் எண்ணியல் வெக்டரைத் திரும்பப் பெறலாம். மாற்றாக, API மூலமாகவும் உட்பொதிவுகளை உருவாக்கலாம்.

பொருள்சார் தேடல் (semantic search) அல்லது RAG-க்கு, பொதுவாக உங்கள் ஆவணங்களைத் துண்டுகளாக (chunks) பிரித்து, ஒவ்வொன்றுக்கும் ஓர் உட்பொதிவை உருவாக்கி, வெக்டர்களைத் தேடக்கூடிய ஓர் அட்டவணையில் சேமிப்பீர்கள்.

2. உரைக்கான சிறந்த உட்பொதிவு மாடல்கள் எவை?

நீங்கள் எதை உருவாக்குகிறீர்கள் என்பதைப் பொறுத்து, கருத்தில் கொள்ளத்தக்க பல மாடல்கள் உள்ளன:

• Perplexity-இன் pplx-embed-v1: பெரிய அளவிலான அடர்த்தியான (dense) மீட்டெடுப்புக்காக உருவாக்கப்பட்டது; வெக்டர் சேமிப்புத் தேவைகளைக் குறைக்கும் INT8 மற்றும் பைனரி உட்பொதிவுகளைக் கொண்டது.
• Perplexity-இன் pplx-embed-context-v1: தனித்தனித் துண்டுகள் அவற்றைச் சுற்றியுள்ள சூழல் இல்லாமல் பொருளை இழக்கும் நீண்ட ஆவணங்களிலிருந்து பத்திகளை மீட்டெடுக்கப் பயனுள்ளது.
• all-MiniLM-L6-v2: இலகுவான, உள்ளூர் கணினியில் இயங்கும் பொருள்சார் தேடல், கொத்தாக்கம் (clustering), வாக்கிய ஒற்றுமைப் பணிகளுக்கு ஏற்றது. கச்சிதமான 384-பரிமாண வெக்டர்களை உருவாக்குகிறது; ஆனால் 256 word piece-களுக்கு மேற்பட்ட உள்ளீடுகளைத் துண்டிக்கிறது.
• BGE-M3: பன்மொழி RAG மற்றும் கலப்பு மீட்டெடுப்புக்குப் பயனுள்ளது. 100-க்கும் மேற்பட்ட மொழிகளை ஆதரிக்கிறது; அடர்த்தியான (dense), அடர்த்தியற்ற (sparse), பல-வெக்டர் (multi-vector) பிரதிநிதித்துவங்களை ஒருங்கிணைக்கிறது.
• Qwen3-Embedding: பன்மொழித் தேடல், குறியீடு மீட்டெடுப்பு, பணி சார்ந்த உட்பொதிவுகள் ஆகியவற்றுக்கு வலுவான தேர்வு. அறிவுறுத்தல் ஆதரவுடன் கூடிய 0.6B, 4B, 8B திறந்த எடை (open-weight) மாடல்களை வழங்குகிறது.
• OpenAI-இன் text-embedding-3-large: நீங்களே ஒரு மாடலை ஹோஸ்ட் செய்ய விரும்பாதபோது, பொருள்சார் தேடலுக்கும் ஆவண மீட்டெடுப்புக்குமான API அடிப்படையிலான தேர்வு. 3,072 பரிமாணங்கள் வரை ஆதரிக்கிறது; சேமிப்பிடத்தை மிச்சப்படுத்த இவற்றைக் குறைக்கலாம்.
• Google-இன் Gemini Embedding மாடல்கள்: நிர்வகிக்கப்படும் (managed) மீட்டெடுப்புப் பயன்பாடுகளுக்குப் பயனுள்ளவை. பகிரப்பட்ட உட்பொதிவு வெளியில் உரை, படங்கள், ஆடியோ, வீடியோ, PDF-கள் ஆகியவற்றுக்கு இடையே தேடுவதையும் Gemini Embedding 2 ஆதரிக்கிறது.

3. LLM-ஐ உட்பொதிவு மாடலாகப் பயன்படுத்த முடியுமா?

முடியும், ஆனால் பொதுப் பயன்பாட்டு LLM-க்கும் உட்பொதிவுகளுக்காக மேம்படுத்தப்பட்ட LLM-க்கும் இடையே வேறுபாடு உண்டு. LLM-கள் உரையின் உள் வெக்டர் பிரதிநிதித்துவங்களை உருவாக்குகின்றன; அவற்றைப் பிரித்தெடுத்து, pooling மூலம் ஒரே உட்பொதிவாகத் திரட்டலாம். இருப்பினும், கூடுதல் பயிற்சி இல்லாமல் அந்த வெக்டர்கள் பொருள்சார் தேடலுக்கு அவசியம் பயனுள்ளவையாக இருக்கும் என்று சொல்ல முடியாது.

எடுத்துக்காட்டாக, Qwen3-Embedding ஒரு LLM அடித்தளத்தைப் (backbone) பயன்படுத்துகிறது; அது உட்பொதிவு மற்றும் மீட்டெடுப்புப் பணிகளுக்காகக் கூடுதலாகப் பயிற்றுவிக்கப்பட்டுள்ளது. எனவே, உட்பொதிவுகளை உருவாக்க ஒரு LLM-ஐத் தகவமைக்க முடிந்தாலும், பிரத்யேக உட்பொதிவு மாடலே பொதுவாக நடைமுறைக்கு ஏற்ற தொடக்கப் புள்ளியாக இருக்கும்.