Textové embeddingy srozumitelně: jak fungují [+příklady]

Pokud znáte základní koncept textových embeddingů, ale nevíte, jak je využít v praxi, jste na správném místě. Rozebereme vektory, tokenizaci a výpočet podobnosti, ponoříme se do hloubky hodnocení embeddingových modelů a ukážeme vám reálné případy použití.

Co jsou textové embeddingy?

Textové embeddingy jsou číselné reprezentace slov, vět nebo dokumentů, které zachycují jejich sémantický význam a vztahy. Generují je embeddingové modely, které převádějí text na vektory – pole čísel, která mohou algoritmy strojového učení zpracovávat a porovnávat.

ML inženýři používají textové embeddingy k tomu, aby softwarové aplikace dokázaly rozpoznat vztahy mezi slovy a větami, což usnadňuje vyhledávání, kategorizaci a analýzu velkých objemů dat.

Řekněme, že denně dostáváte tisíce požadavků na podporu. Zákazníci hlásí všechny myslitelné problémy, ale vy je potřebujete roztřídit do kategorií a označit. Jedním ze způsobů, jak tento proces automatizovat, je použít předtrénovaný model textových embeddingů a převést každý požadavek na vektor.

Například dva zákazníci pošlou tyto zprávy:

• „Předplatné mi bylo strženo dvakrát“: [0.21, -0.47, 0.83, ...]
• „Na mém účtu je duplicitní platba“: [0.19, -0.45, 0.80, ...]

Jde o zjednodušené, ilustrativní vektory.

Přestože zákazníci používají různá slova, popisují stejný problém. Embeddingový model tento vztah zachytí tak, že jejich vektory umístí v matematickém prostoru blízko sebe. Oba požadavky se zařadí do stejné kategorie a předají se týmu pro fakturaci.

Případy použití textových embeddingů ve firmách

Textové embeddingy se používají v řadě úloh zpracování přirozeného jazyka (NLP), například:

• Sémantické vyhledávání: Hledání relevantních informací na základě významu. Společnost Delivery Hero využívá embeddingy produktů a dotazů spolu s vyhledáváním podle klíčových slov, aby zákazníci nakupující potraviny snáze našli relevantní produkty. Například při hledání „nízkotučný jogurt“ se může zobrazit řecký jogurt nebo jogurt s 0,5 % tuku, i když se formulace přesně neshoduje.
• Klasifikace textu: Kategorizace textu, například rozpoznávání spamových e-mailů nebo třídění dokumentů podle témat. Společnost MindCraft.ai vyvinula systém klasifikace dokumentů, který pomocí textových embeddingů založených na transformerech a strojového učení třídí firemní dokumenty a identifikuje citlivé informace kvůli souladu s GDPR.
• Shlukování: Seskupování podobných dokumentů nebo částí textu za účelem odhalení vzorců. Platforma Doczy.ai převádí text smluv na embeddingy a seskupuje sémanticky související klauzule a pojmy, i když různé smlouvy vyjadřují podobné závazky odlišnými slovy.
• Generování rozšířené o vyhledávání (RAG): Vyhledávání relevantních informací, které může LLM použít k vytváření přesnějších odpovědí zohledňujících kontext. Společnost Ring používá textové embeddingy Amazon Titan ve vícejazyčném chatbotu RAG k vyhledání relevantní dokumentace podpory předtím, než vygeneruje odpovědi na otázky zákazníků na mezinárodních trzích.
• Doporučovací systémy: Navrhování souvisejících článků, produktů nebo jiného obsahu na základě textové podobnosti. Systém JUDE společnosti LinkedIn používá textové embeddingy popisů pracovních pozic a profilů členů generované pomocí LLM ke zlepšení doporučování pracovních nabídek a zachycuje vztahy mezi profesním zázemím kandidátů a volnými pozicemi.
• Rozpoznávání pojmenovaných entit (NER): Pomoc při identifikaci a klasifikaci jmen osob, názvů organizací a míst v textu. Společnost Amazon Health Services používá NER k identifikaci lékařských pojmů v dotazech zákazníků, jako jsou nemoci, příznaky, léky a léčba. Toto porozumění kombinuje s vyhledáváním podle podobnosti založeným na embeddingech, aby propojila dotazy s relevantními zdravotnickými produkty a službami.
• Strojový překlad: Podpora modelů, které překládají text mezi jazyky. Transglot používá textové embeddingy v sémantické překladové paměti k identifikaci dříve přeložených pasáží s podobným významem, což v lokalizačních pracovních postupech pomáhá opakovaně využívat existující překlady.

Jak fungují textové embeddingy?

Jak tedy embeddingový model rozhoduje, jaké číselné hodnoty přiřadí danému úseku textu, a proč bychom mu měli věřit?

Vše začíná tréninkem. Embeddingové modely se učí z rozsáhlých kolekcí textu a hledají vzorce v tom, jak se slova používají společně. Například tradiční modely jako Word2Vec se učí předpovídat slovo z okolních slov nebo naopak. Moderní modely zaměřené na vyhledávání často využívají kontrastivní učení. Jsou trénovány tak, aby relevantním dvojicím dotaz–dokument přiřazovaly vyšší skóre podobnosti než nesouvisejícím dvojicím.

Zvětšit

Jakmile je model natrénovaný, při zadání nového textu proběhne následující:

1. Tokenizace. Model nejprve rozdělí text na menší části zvané tokeny. Mohou to být celá slova, části slov nebo interpunkční znaménka. Každý token dostane číselné ID ze slovníku modelu, které samo o sobě žádný význam nenese.
2. Kódování a pooling. Model tyto tokeny zpracuje pomocí vzorců, které se naučil během tréninku, a vytvoří vektor. Každé číslo ve vektoru je souřadnice neboli složka a dimenze je osa, podél které toto číslo určuje polohu vektoru. Každá hodnota přispívá k poloze textu v matematickém prostoru, kterému se říká embeddingový prostor.
3. Výpočet podobnosti. K nalezení souvisejícího textu porovná vyhledávací systém embedding dotazu s embeddingy dokumentů pomocí míry podobnosti, jako je kosinová podobnost nebo skalární součin.

Takto například internetové obchody vracejí uživatelům položky odpovídající jejich dotazu.

Jaký je rozdíl mezi embeddingy slov, vět a dokumentů?

Zvětšit

Hlavní rozdíl spočívá v tom, kolik textu každý embedding reprezentuje v jediném vektoru. Embeddingy můžete vytvářet pro jednotlivá slova, celé věty nebo celé dokumenty – podle toho, jaké informace chcete zachytit.

• Embeddingy slov zachycují vztahy mezi jednotlivými slovy a rozpoznávají, že „výpadek“ a „odstávka“ jsou související pojmy.
• Embeddingy vět chápou význam celých vět, i když vyjadřují stejnou myšlenku jinými slovy.
• Embeddingy dokumentů reprezentují celý dokument jedním vektorem, místo aby vytvářely samostatný vektor pro každou větu. To pomáhá zachovat obecné téma a najít další dokumenty, které se týkají stejného tématu; konkrétní detaily však může být obtížnější (ne-li nemožné) dohledat.

Jak jemnou granularitu zvolit? Správná úroveň závisí na vašich datech a na tom, čeho chcete dosáhnout.

U rozsáhlejších dokumentů se text běžně rozděluje na menší části (chunky) a pro každou z nich se generuje samostatný embedding. Získáte tak celkový význam dokumentu A ZÁROVEŇ konkrétní detaily, které by se při embeddingu celého dokumentu mohly ztratit.

Jak moc ovlivňuje velikost chunku kvalitu embeddingů?

Docela výrazně. Podle Rahula Kumara, viceprezidenta pro AI inženýrství ve společnosti Xenoss, spočívá výzva v nalezení takové velikosti chunku, která zachytí jednu ucelenou myšlenku, aniž by se ztratil důležitý kontext. Kompromis vysvětluje takto:

„Velikost chunku určuje, kolik sémantického kontextu nese jeden embedding. Větší chunk dává vektoru víc kontextu, ale zároveň do jednoho vektoru zprůměruje víc témat. Chunk pokrývající tři témata skončí uprostřed a žádnému z nich dobře neodpovídá. Menší chunk udržuje význam ostrý, ale může ztratit kontext, díky kterému byl dohledatelný.“

Proto Kumar doporučuje volit strategii chunkingu podle obsahu a nedržet se jedné pevné velikosti. Jak sám říká: „Pevná velikost s překryvem se hodí jen pro jednotný text, jako jsou e-maily nebo stažené webové stránky.“

Pro strukturované dokumenty, jako jsou smlouvy nebo zásady, se lépe hodí rekurzivní dělení zohledňující strukturu. Sémantický chunking naopak může dobře fungovat u přepisů, protože text rozděluje tam, kde se mění téma nebo význam.

Textové embeddingy vs. vyhledávání podle klíčových slov

Proč používat textové embeddingy, když můžete jednoduše vyhledávat podle klíčových slov? Protože vyhledávání podle klíčových slov spoléhá na shodu výrazů, zatímco sémantické vyhledávání založené na embeddingech dokáže najít relevantní informace, i když dotaz a dokument používají různá slova.

Sémantická podobnost ale nemusí vždy znamenat relevanci. Shaw Talebi, zakladatel AI Builder Academy, demonstruje toto omezení na systému pro vyhledávání životopisů. V Talebiho příkladu se při hledání „datového inženýra se zkušenostmi s Apache Airflow“ objevila zmínka o Apache Airflow jen v jednom z pěti nejlepších výsledků, a to až na třetím místě – přestože tuto dovednost uváděly v datové sadě další tři životopisy.

To znamená, že sémantické vyhledávání je užitečné pro hledání koncepčně souvisejících informací, ale může přehlédnout přesné požadavky, jako jsou technické dovednosti, identifikátory produktů nebo chybové kódy.

K vyřešení tohoto problému Rahul Kumar doporučuje zvolit přístup k vyhledávání podle toho, v čem vyhledávací systém selhává:

• Hybridní vyhledávání (kombinace shody klíčových slov se sémantickým vyhledáváním) je výchozí volbou, když dotazy obsahují přesné výrazy, jako jsou kódy SKU, chybové kódy nebo právní odkazy.
• Rerankery se vyplatí, když záleží jen na několika nejlepších výsledcích, například u odpovědí generovaných z vyhledaného kontextu.
• Grafové vyhledávání pomáhá, když odpověď zasahuje do více propojených zdrojů dat.

Kumar také popsal, jak jeho tým tyto přístupy uplatnil v praxi. V jednom projektu spouštěli souběžně vyhledávání podle klíčových slov BM25 a vektorové vyhledávání, výsledky sloučili pomocí metody reciprocal rank fusion (RRF) a pomocí LLM přeřadili 124 nejlepších výsledků a vybrali z nich 6.

„Přechod na vyhledávání primárně založené na grafu, kdy vektorové vyhledávání najde podobné latentní prostory a následuje průchod grafem o dvou krocích, zvýšil kvalitu řazení (nDCG) z 0,58 na 0,67 a zkrátil dobu vyhledávání na 90. percentilu (p90) z 19 s na méně než 3 s,“ dodává Kumar.

Typy modelů textových embeddingů

Všechny embeddingové modely v zásadě dělají totéž – učí se vztahy v textu. Liší se však tím, k jakému účelu jsou trénovány, jaké informace berou v úvahu a pro jaké úlohy jsou navrženy.

Modely statických embeddingů slov

Tradiční modely embeddingů slov se učí husté číselné reprezentace slov na základě vzorců jejich použití ve velkých kolekcích textu. Tyto embeddingy jsou statické, což znamená, že každé slovo dostane stejný vektor bez ohledu na svůj význam v konkrétním kontextu.

Dvě dobře známé metody:

• Word2Vec: Metoda vyvinutá společností Google v roce 2013 se učí reprezentace ze sousedních slov pomocí dvou architektur: Continuous Bag of Words (CBOW), která předpovídá slovo z jeho sousedů, a skip-gram, která předpovídá sousední slova z daného slova.
• GloVe (Global Vectors for Word Representation): Metoda vyvinutá na Stanfordově univerzitě v roce 2014 využívá statistiky společného výskytu slov k učení vztahů mezi slovy.

Kontextové jazykové modely

Na rozdíl od statických embeddingů vytvářejí univerzální jazykové modely kontextové reprezentace, které se mění v závislosti na okolním textu. To modelům pomáhá rozlišovat mezi různými významy téhož slova.

• BERT (2018, Google): Využívá obousměrnou self-attention, aby zohlednil slova na obou stranách tokenu. Například vytváří odlišné reprezentace pro slovo „bank“ ve větách „I deposited money at the bank“ (uložil jsem peníze v bance) a „I sat on the bank of a river“ (seděl jsem na břehu řeky).
• GPT (2018, OpenAI): Využívá reprezentace založené na transformerech, které při předpovídání dalšího tokenu zohledňují předchozí text. Modely GPT jsou primárně určeny ke generování jazyka.

Modely embeddingů vět a dokumentů

Reprezentují delší úseky textu – od jednotlivých vět po odstavce a celé dokumenty – jako vektory.

• Doc2Vec: Rozšiřuje učení ve stylu Word2Vec na věty, odstavce a dokumenty. Může pomoci seskupovat související články nebo klasifikovat dokumenty podle tématu.
• Universal Sentence Encoder (USE): Model vyvinutý společností Google v roce 2018 ke generování reprezentací pevné délky pro věty a krátké odstavce, které slouží k určování sémantické podobnosti a klasifikaci textu.
• Sentence-BERT (SBERT, 2019): Model vyvinutý Nilsem Reimersem a Irynou Gurevych na Technické univerzitě v Darmstadtu vychází z modelu BERT od společnosti Google a běžně se používá pro sémantické vyhledávání, detekci parafrází a shlukování.
• pplx-embed-v1 (2026, Perplexity): Tato rodina špičkových modelů textových embeddingů, vytvořená pro reálné vyhledávání ve webovém měřítku, využívá předtrénování založené na difuzi, které z kauzálního jazykového modelu dělá obousměrný enkodér. Generuje husté embeddingy pro nezávisle kódované dotazy a dokumenty a díky tréninku s ohledem na kvantizaci snižuje náklady na úložiště. Náš model 4B INT8 dosáhl v benchmarku vícejazyčného vyhledávání MTEB skóre 69,66 nDCG@10, zatímco model gemini-embedding-001 od společnosti Google dosáhl 67,71.
• pplx-embed-context-v1 (2026, Perplexity): Řeší častý problém dělení dokumentů na chunky: pasáže mohou ztratit svůj význam, když se oddělí od okolního textu. Díky pozdnímu chunkingu model nejprve zpracuje celý dokument a teprve poté sdruží kontextové reprezentace tokenů do samostatných embeddingů chunků. Náš model 4B dosáhl v benchmarku ConTEB skóre 81,96 nDCG@10, zatímco voyage-context-3 dosáhl 79,45.
• pplx-embed-v2-context (2026, Perplexity): Posouvá kontextové vyhledávání ještě dál. Místo toho, aby se učil pouze najít pasáž obsahující odpověď, učí se identifikovat podpůrné pasáže, které pomáhají tuto odpověď vysvětlit nebo ověřit. Během tréninku model využívá signály relevance destilované z modelu pro kompresi kontextu, aniž by tento model učitele potřeboval při inferenci. Naše preview verze modelu 9B dosáhla v benchmarku context-bench recallu odpovědí 45,5 % a recallu důkazů 40,6 % při 10 výsledcích.

Modely Perplexity také umožňují ukládat embeddingy ve velkém měřítku. Vytvářejí embeddingy ve formátu INT8 a binární embeddingy, čímž oproti FP32 snižují nároky na úložiště 4krát, resp. 32krát.

Dimenze, délka kontextu, kvantizace a konfigurace poolingu modelů pplx-embed

Husté, řídké a vícevektorové embeddingy

Existuje ještě jeden rozdíl, kterému stojí za to porozumět, zejména u sémantického vyhledávání. Embeddingové modely se mohou lišit v tom, jak reprezentují text a počítají relevanci.

• Husté embeddingy: Reprezentují text pomocí kompaktních vektorů, v nichž je většina hodnot nenulová.
• Řídké embeddingy: Používají vektory s převážně nulovými hodnotami a s naučenými vahami přiřazenými důležitým výrazům. Modely jako SPLADE (2021) se učí, které výrazy jsou důležité pro vyhledání relevantních dokumentů.
• Vícevektorové embeddingy: Uchovávají pro úsek textu několik vektorů, což umožňuje podrobnější porovnání dotazů a dokumentů. Modely jako ColBERT (2020) tyto reprezentace využívají k podrobnějšímu porovnávání dotazů s dokumenty.
• Modely kombinující více přístupů: Model BGE-M3 (2024) vyvinutý institutem BAAI podporuje v rámci jednoho modelu husté, řídké i vícevektorové vyhledávání.

Jak vybrat a vyhodnotit model textových embeddingů

Veřejné benchmarky, jako je MTEB, jsou dobrým výchozím bodem. Použijte je k výběru dvou nebo tří modelů, které podporují vaše jazyky, délky vstupů a požadavky na nasazení. Vítěze ale zatím nevybírejte. Nemůžeme dostatečně zdůraznit, jak důležité je otestovat tyto modely na vlastních datech.

Zde je praktický pracovní postup hodnocení:

1. Vytvořte testovací datovou sadu. Shromážděte 50–100 reprezentativních vyhledávacích dotazů jako počáteční hodnoticí sadu (možná jich budete potřebovat víc), včetně záludných případů, jako jsou parafráze, odborná terminologie a přesné chybové kódy. U každého dotazu určete, které dokumenty nebo pasáže obsahují relevantní odpovědi. Tyto štítky relevance se stanou vaší referenční pravdou (ground truth).
2. Změřte kvalitu vyhledávání. Otestujte každý model na stejné evaluační datové sadě. Přípravu dokumentů a podmínky vyhledávání udržujte srovnatelné, ale dodržujte požadavky jednotlivých modelů na formátování dotazů, normalizaci a výpočet podobnosti. Poté pomocí třídy InformationRetrievalEvaluator z knihovny Sentence Transformers vypočítejte následující metriky:
   • Recall@k: Udává podíl relevantních pasáží, které se objeví mezi prvními k výsledky.
   • MRR: Měří, jak vysoko se v pořadí objeví první relevantní výsledek.
   • nDCG@k: Měří, jak dobře je prvních k výsledků seřazeno podle relevance.
3. Otestujte latenci a propustnost. Změřte, jak dlouho každému modelu trvá vytvořit embedding dotazu. Ideálně uveďte medián (p50) a 95. percentil (p95) latence při realistické zátěži.
4. Spočítejte náklady na úložiště a provoz. Velikost úložiště pro vektory závisí na počtu embeddingů, jejich dimenzi a numerické přesnosti. Například milion 768rozměrných embeddingů ve formátu FP32 vyžaduje přibližně 3,1 GB úložiště pro samotné vektory, bez režie indexování. Chcete-li nároky na úložiště snížit, můžete vektory kvantizovat na nižší numerickou přesnost. Přechod z FP32 na INT8 například sníží objem úložiště pro samotné vektory zhruba čtyřnásobně. Komprese však může ovlivnit kvalitu vyhledávání, proto evaluace zopakujte a ověřte, zda se tento kompromis vyplatí.

Nakonec porovnejte výsledky vedle sebe: metriky vyhledávání, latenci p95, propustnost, úložiště a náklady. Vyberte model, který splní vaše požadavky na kvalitu v rámci omezení produkčního prostředí.

Kdy použít embeddingy místo LLM?

Když LLM zvládají vše od analýzy dokumentů až po složité uvažování, je docela lákavé předhodit modelu veškerý text a nechat ho, ať si s tím poradí. Účet za to vás ale nejspíš nepotěší.

LLM jsou navíc lepší v posuzování a tvorbě obsahu, ale omezuje je množství informací, které se vejde do jednoho promptu. Embeddingy jsou naproti tomu levné, rychlé, konzistentní a fungují napříč miliony položek.

„Embeddingy vítězí ve vyhledávání, doporučování (‚více podobných‘), odhalování duplicit, například opakovaných tiketů podpory, a seskupování velkých objemů obsahu podle témat. Silné jsou také napříč jazyky. LLM vítězí tam, kde úloha vyžaduje uvažování: při shrnování, porovnávání možností nebo psaní odpovědí. Většina reálných systémů potřebuje obojí, přičemž každá z technologií dělá to, v čem je dobrá,“ uzavírá Kumar.

Co vývojáři u textových embeddingů dělají špatně

Abychom zjistili, co vývojáři obvykle přehlížejí, mluvili jsme s Rahulem Kumarem a Xibeijia Guan (data scientist ve společnosti Ahrefs). Upozornili na šest chyb, na které je dobré si dát pozor:

• Vynechání předzpracování textu. Pokud vstupní data obsahují HTML, navigační menu, reklamy nebo jiný irelevantní obsah, mohou kroky předzpracování, jako je odstranění šablonového obsahu (boilerplate), zlepšit kvalitu embeddingů tím, že odstraní nepotřebné informace.
• Ignorování maximální délky vstupu modelu. Různé modely mají různé limity tokenů a různě zkracují text. Text přesahující limit může být oříznut, čímž se ztratí důležité informace.
• Nedodržení požadavků konkrétního modelu. Některé embeddingové modely vyžadují specifické prefixy, například query: a passage:, nebo odlišné instrukce pro různé úlohy. Nedodržení těchto požadavků může zhoršit výkon vyhledávání.
• Použití nekompatibilní míry podobnosti. Kosinová podobnost a skalární součin nejsou vždy zaměnitelné. Ověřte, zda jsou embeddingy normalizované, a použijte metodu skórování doporučenou pro daný model a vektorový index.
• Záměna tematické podobnosti s relevancí. V kolekcích z úzce vymezené oblasti může být mnoho dokumentů sémanticky podobných, aniž by odpovídaly na stejnou otázku. Prozkoumejte neúspěšné dotazy a rozložení pořadí výsledků. Pokud uživatelé potřebují přesné informace, otestujte lexikální nebo hybridní vyhledávání, přeřazování výsledků (reranking) a filtry metadat.
• Ignorování normalizace embeddingů. Různé embeddingové modely mohou vracet normalizované i nenormalizované vektory. Ověřte, zda jsou embeddingy normalizované a zda je v závislosti na použité metrice podobnosti potřeba další normalizace.

Časté dotazy k textovým embeddingům

1. Jak vygenerovat textové embeddingy?

Nejjednodušší je použít předtrénovaný embeddingový model. S knihovnou Sentence Transformers pro Python můžete například načíst model jako all-MiniLM-L6-v2 a předat text metodě model.encode(), která vrátí číselný vektor. Embeddingy můžete generovat také prostřednictvím API.

Pro sémantické vyhledávání nebo RAG byste dokumenty obvykle rozdělili na části (chunky), pro každou z nich vygenerovali embedding a vektory uložili do prohledávatelného indexu.

2. Jaké jsou nejlepší embeddingové modely pro text?

V závislosti na tom, co vytváříte, stojí za zvážení několik modelů:

• pplx-embed-v1 od Perplexity: Navržený pro rozsáhlé husté vyhledávání (dense retrieval), s embeddingy ve formátu INT8 a binárními embeddingy, které snižují nároky na úložiště vektorů.
• pplx-embed-context-v1 od Perplexity: Užitečný pro vyhledávání pasáží v dlouhých dokumentech, kde jednotlivé části bez okolního kontextu ztrácejí význam.
• all-MiniLM-L6-v2: Vhodný pro odlehčené lokální sémantické vyhledávání, shlukování a úlohy podobnosti vět. Vytváří kompaktní 384rozměrné vektory, ale vstupy delší než 256 slovních částí (word pieces) zkracuje.
• BGE-M3: Užitečný pro vícejazyčné RAG a hybridní vyhledávání. Podporuje více než 100 jazyků a kombinuje husté, řídké a vícevektorové reprezentace.
• Qwen3-Embedding: Silný kandidát pro vícejazyčné vyhledávání, vyhledávání v kódu a embeddingy pro konkrétní úlohy. Nabízí modely s otevřenými vahami o velikosti 0,6B, 4B a 8B s podporou instrukcí.
• text-embedding-3-large od OpenAI: Možnost založená na API pro sémantické vyhledávání a vyhledávání dokumentů, pokud nechcete model hostovat sami. Podporuje až 3 072 dimenzí, jejichž počet můžete snížit a ušetřit tak úložiště.
• Modely Gemini Embedding od společnosti Google: Užitečné pro spravované vyhledávací aplikace. Gemini Embedding 2 navíc podporuje vyhledávání napříč textem, obrázky, zvukem, videem a soubory PDF ve sdíleném embeddingovém prostoru.

3. Mohu jako embeddingový model použít LLM?

Ano, ale mezi univerzálním LLM a modelem optimalizovaným pro embeddingy je rozdíl. LLM vytvářejí interní vektorové reprezentace textu, které můžete extrahovat a pomocí poolingu sloučit do jediného embeddingu. Bez dalšího trénování však tyto vektory nemusí být pro sémantické vyhledávání užitečné.

Například Qwen3-Embedding používá jako základ LLM, který je dále trénován pro úlohy embeddingu a vyhledávání. Přestože tedy LLM můžete přizpůsobit ke generování embeddingů, praktičtějším výchozím bodem je obvykle specializovaný embeddingový model.