pplx-embed: Špičkové modely na vnorenie pre vyhľadávanie vo webovom meradle

Dnes vydávame pplx-embed-v1 a pplx-embed-context-v1, dva špičkové modely na vnorenie textu vytvorené pre reálne vyhľadávanie vo webovom meradle. pplx-embed-v1 je optimalizovaný pre štandardné husté vyhľadávanie textu, zatiaľ čo pplx-embed-context-v1 vnáša pasáže s ohľadom na okolitý kontext na úrovni dokumentu.

Modely pplx-embed-v1 aj pplx-embed-context-v1 sú k dispozícii v mierkach 0,6B a 4B parametrov. Modely s 0,6B sa zameriavajú na ľahkú generáciu vnorenia s nízkou latenciou, zatiaľ čo modely s 4B maximalizujú kvalitu vyhľadávania. V našich hodnoteniach rodina pplx-embed vedie v rôznych verejných benchmarkoch vrátane MTEB(Multilingual, v2), BERGEN, ToolRet a ConTEB. pplx-embed-v1 navyše prináša najlepšie výsledky vo svojej triede v našich interných benchmarkoch vo webovom meradle: PPLXQuery2Query, PPLXQuery2Doc.

Modely produkujú INT8 a binárne vnorenia, čím znižujú požiadavky na úložisko 4-krát (4x) a 32-krát (32x) v porovnaní s FP32. Táto kompaktne vyhotovená štruktúra robí ukladanie a vyhľadávanie vnorení vo webovom meradle výrazne praktickejším.

rozmery modelu pplx-embed, dĺžka kontextu, kvantizácia a konfigurácia pooling-u.

Pozrite si našu technickú správu, modely Hugging Face a dokumentáciu k rozhraniu API.

Motivácia

Husté vnorenia textu mapujú dotazy a dokumenty do zdieľaného sémantického priestoru, kde sa vyhľadávanie redukuje na približné vyhľadávanie najbližších susedov. V mierke Perplexity sú vnorenia prvou fázou nášho vyhľadávacieho kanála a určujú, ktoré dokumenty z miliárd webových stránok budú zohľadnené následnými hodnotiacimi modelmi a jazykovými modelmi.

Väčšina popredných modelov na vnorenie je dnes postavená na LLM modeloch iba s dekodérom s kauzálnym maskovaním pozornosti, kde každý token môže venovať pozornosť iba predchádzajúcim tokenom. Pre vyhľadávanie je to zásadné obmedzenie: porozumenie pasáži často vyžaduje obojsmerný kontext. Toto riešime prostredníctvom kontinuálneho predtrénovania založeného na difúzii, ktoré konvertuje kauzálny LLM na obojsmerný encoder. Úplná obojsmerná pozornosť umožňuje spriemerovanie (mean pooling) všetkých reprezentácií tokenov a podporuje neskoré delenie na bloky (late chunking) pre kontextové vnorenia, kde vnorenie každého bloku je ovplyvnené úplným dokumentom, v ktorom sa nachádza.

Vo webovom meradle je ukladanie vnorení vo formáte FP32 neúmerne drahé. Namiesto aplikácie kvantovania ako dodatočného kompresného kroku naše modely využívajú trénovanie s ohľadom na kvantovanie na prirodzené vytváranie INT8 vnorení, čo znižuje úložisko 4-krát bez kompromisov vo výkone. Binárne kvantovanie znižuje úložisko 32-krát s minimálnou stratou kvality, najmä v mierke 4B.

Mnohé moderné modely na vnorenie vyžadujú predpony inštrukcií pridané na začiatok každého vstupu. Hoci to môže priniesť malé zlepšenia v benchmarkoch, v praxi to pridáva trenie: nezhodujúce sa inštrukcie medzi časom indexovania a dotazu potichu zhoršujú vyhľadávanie a výber správneho promptu pre každý prípad použitia sa stáva ďalšou vecou, ktorú treba zvládnuť. Naše modely nevyžadujú žiadne inštrukcie, vďaka čomu je integrácia priamočiara.

Trénovanie

pplx-embed-v1 a pplx-embed-context-v1 sú trénované pomocou viacfázového kanála, ktorý progresívne tvaruje textové reprezentácie na vyhľadávanie.

Zväčšiť

Kontinuálne difúzne predtrénovanie

Začíname s predtrénovanými základnými modelmi Qwen3 (0.6B a 4B) a konvertujeme ich z kauzálnych dekodérov na obojsmerné encodery vypnutím kauzálnej masky pozornosti a trénovaním s difúznym odšumovacím cieľom. Na rozdiel od autoregresívnych modelov, ktoré predikujú tokeny zľava doprava, difúzne trénovanie núti model rekonstruovať náhodne maskované tokeny pomocou úplného obojsmerného kontextu okolo každej maskovanej pozície. To znamená, že v čase, keď sa začína kontrastné jemné doladenie, reprezentácie už kódujú obojsmernú sémantiku, čo poskytuje silnejší základ pre vyhľadávanie než kauzálny východiskový bod. Predtrénujeme na približne 250 miliardách tokenov multilingválneho textu pokrývajúceho 30 jazykov. V abláciách dosahujú difúzne predtrénované kostry podstatne nižšiu stratu pri kontrastnom trénovaní ako ich kauzálne náprotivky, čo sa premieta do približne 1-percentného zlepšenia pri úlohách vyhľadávania.

Kontrastné trénovanie

Po predtrénovaní vykonávame tri fázy kontrastného učenia. Párové trénovanie ustanovuje základnú sémantickú zarovnanosť medzi dotazmi a dokumentmi pomocou InfoNCE straty s negatívami v rámci dávky (in-batch negatives). Pri veľkých veľkostiach dávok sú niektoré negatíva v rámci dávky v skutočnosti takmer duplikátmi pozitívneho, preto aplikujeme masku založenú na podobnosti, aby sme zabránili týmto falošným negatívam narušiť tréningový signál. Trénovanie prebieha vo fázach – najprv iba v angličtine, potom medzijazykovo a nakoniec plne multilingválne – pričom schopnosti buduje postupne, a nie naraz. Kontextové trénovanie potom učí model sémantiku na úrovni blokov vzhľadom na kontext na úrovni dokumentu, a to pomocou duálnej straty, ktorá kombinuje kontrast v rámci sekvencie a dávky na úrovni blokov aj dokumentov – táto fáza produkujú pplx-embed-context-v1. Nakoniec tripletové trénovanie s vyťaženými ťažkými negatívami spresňuje hranice medzi podobnými, ale relevantnými dokumentmi. Konečný model pplx-embed-v1 sa získava zlúčením kontextových a tripletových kontrolných bodov pomocou sférickej lineárnej interpolácie (SLERP).

Natívne kvantovanie

Počas všetkých kontrastných fáz sú vnorenia kvantované na INT8 počas trénovania aj inferencie. Aplikujeme operáciu spriemerovania založenú na tanh (tanh-based mean pooling), po ktorej nasleduje zaokrúhlenie, a používame odhad gradientu priamym prechodom (straight-through gradient estimation) na spätné šírenie cez nediferencovateľný krok kvantovania. To zabezpečuje, že model sa od začiatku učí reprezentácie optimalizované pre zníženú presnosť, namiesto toho, aby trpel zhoršením výkonu v dôsledku dodatočnej kompresie. Pre binárne kvantovanie sú modely 4B citeľne odolnejšie ako 0.6B: ich väčší rozmer vnorenia (2560 oproti 1024) zachováva viac informácií po binarizácii, čím obmedzuje pokles výkonu pod 1,6 percentuálneho bodu v porovnaní s 2–4 bodmi pri menšej mierke.

Verejné benchmarky

Zväčšiť

V benchmarku vyhľadávania MTEB(Multilingual, v2) dosahuje pplx-embed-v1-4B (INT8) priemernú hodnotu nDCG@10 na úrovni 69,66 %, čím vyrovnáva Qwen3-Embedding-4B (69,60 %) a prekonáva gemini-embedding-001 (67,71 %), pričom vyžaduje podstatne menšie úložisko na jedno vnorenie. Náš 0.6B model prekonáva svoj náprotivok Qwen3 v rovnakej mierke parametrov.

Zväčšiť

Výkon kontextového vyhľadávania na benchmarku ConTEB. Vľavo: kontextualizované modely. Vpravo: nekontextualizované modely. pplx-embed-context-v1-4B (INT8) dosahuje najvyššie skóre 81,96, nasuvaný modelmi voyage-context-3 (79,45) a pplx-embed-context-v1-0.6B (INT8) so skóre 76,53.

Pre kontextové vyhľadávanie nastavuje pplx-embed-context-v1-4B nový štandard v benchmarku ConTEB s priemerným nDCG@10 na úrovni 81,96 %, čím prekonáva voyage-context-3 (79,45 %) a Anthropic Contextual (72,4 %). Trénovaním reprezentácií na úrovni blokov, ktoré zahŕňajú sémantiku na úrovni dokumentu, naše modely vyhľadajú správnu pasáž aj vtedy, keď jej význam závisí od okolitého kontextu.

Naše modely hodnotíme aj v end-to-end RAG pomocou benchmarku BERGEN, kde sú vyhľadávané pasáže posielané do jazykového modelu na generovanie odpovedí. pplx-embed-v1-4B prekonáva Qwen3-Embedding-4B v štyroch z piatich hodnotených úloh odpovedania na otázky. pplx-embed-v1-0.6B pozoruhodne prekonáva väčší model Qwen3-Embedding-4B v troch z piatich úloh, čím preukazuje, že náš menší model dokáže v praktických prostrediach RAG vyrovnať alebo prekonať konkurenta v podstatne väčšej mierke parametrov. Ďalšie podrobnosti o tomto hodnotení nájdete v technickej správe.

Reálne vyhľadávanie vo veľkom meradle

Verejné benchmarky sú užitočné, ale úplne nezohľadňujú výzvy vyhľadávania vo webovom meradle: dotazy s dlhým chvostom, zašumené dokumenty a posuny v distribúcii, ktoré charakterizujú produkčné prostredia. Aby sme merali to, na čom v praxi záleží, vytvorili sme dva interné benchmarky s až 115 tisíc reálnymi dotazmi hodnotenými oproti viac ako 30 miliónom dokumentov zhromaždeným z viac ako 1 miliardy webových stránok. PPLXQuery2Query vyhodnocuje, či model vnorenia dokáže identifikovať sémanticky ekvivalentné dotazy zo skutočnej vyhľadávacej prevádzky; PPLXQuery2Doc meria vyhľadávanie dokumentov z korpusu s 30 miliónmi stránok.

V úlohe PPLXQuery2Query (korpus 2,4M) dosahuje pplx-embed-v1-4B hodnotu Recall@10 na úrovni 73,5 %, čím prekonáva Qwen3-Embedding-4B (67,9 %) o 5,6 percentuálneho bodu. Náš 0.6B model dosahuje Recall@10 na úrovni 71,1 %, čím podstatne prekonáva BGE-M3 (61,8 %) a Qwen3-Embedding-0.6B (55,1 %).

Zväčšiť

V multilingválnej úlohe PPLXQuery2Doc (korpus 30M) dosahuje pplx-embed-v1-4B hodnotu Recall@1000 na úrovni 91,7 %, v porovnaní s 88,6 % pre Qwen3-Embedding-4B. Vysoká úspešnosť pri veľkých hĺbkach vyhľadávania je kritická pre modely vnorenia slúžiace ako vyhľadávače prvej fázy vo viacfázových hodnotiacich kanáloch, kde maximalizácia počtu relevantných kandidátov odovzdaných následným pre-hodnocovacím modelom (rerankerom) priamo ovplyvňuje kvalitu konečného výsledku.

Začíname

Všetky modely sú k dispozícii na Hugging Face (pod licenciou MIT) a prostredníctvom Perplexity API. Podporujeme inferenciu prostredníctvom knižníc Transformers, SentenceTransformers, Text Embeddings Inference a ONNX. Úplné podrobnosti o každej možnosti nájdete v zbierke modelov Hugging Face.

Podrobné technické informácie a kompletné výsledky hodnotenia nájdete v našej technickej správe.

Citácia

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}