pplx-embed: Legmodernebb szövegbeágyazási modellek webléptékű visszakereséshez

Ma adtuk ki a pplx-embed-v1 és a pplx-embed-context-v1 modelleket, amelyek két legmodernebb szövegbeágyazási modell valós idejű, webléptékű visszakereséshez. A pplx-embed-v1 a szabványos sűrű szövegvisszakeresésre van optimalizálva, míg a pplx-embed-context-v1 a környező dokumentumszintű kontextus alapján ágyazza be a szakaszokat.

Mind a pplx-embed-v1, mind a pplx-embed-context-v1 elérhető 0,6B és 4B paraméteres méretben. A 0,6B modellek a könnyűsúlyú, kis késleltetésű beágyazásgenerálást célozzák, míg a 4B modellek maximalizálják a visszakeresési minőséget. Értékeléseink során a pplx-embed család számos nyilvános benchmarkot vezet, beleértve az alábbiakat: MTEB(Multilingual, v2), BERGEN, ToolRet és ConTEB. Ráadásul a pplx-embed-v1 kategóriájában a legjobb eredményeket nyújtja belső webléptékű benchmarkjainkon: PPLXQuery2Query, PPLXQuery2Doc.

A modellek INT8 és bináris beágyazásokat készítenek, amelyek az FP32-höz képest 4x, illetve 32x-re csökkentik a tárolási igényt. Ez a tömörség jelentősen praktikusabbá teszi a webléptékű beágyazások tárolását és visszakeresését.

pplx-embed modellméretek, kontextushossz, kvantálás és pooling konfiguráció.

Tekintse meg a technikai jelentést, a Hugging Face modelleket és az API-dokumentációt.

Motiváció

A sűrű szövegbeágyazások a lekérdezéseket és a dokumentumokat egy közös szemantikai térbe képezik le, ahol a visszakeresés közelítő legközelebbi szomszéd kereséssé egyszerűsödik. A Perplexity méreténél a beágyazások a visszakeresési folyamatunk első szakaszát képezik, meghatározva, hogy mely dokumentumokat veszik figyelembe a milliárdnyi weboldal közül a későbbi rangsorolók és nyelvi modellek.

A legtöbb mai vezető beágyazási modell kizárólag dekódolón alapuló LLM-eken épül, okozati (causal) figyelemmaszkolással, ahol minden token csak az előző tokenekre figyelhet. A visszakeresés szempontjából ez alapvető korlát: egy szakasz megértése gyakran kétirányú kontextust igényel. Ezt diffúziós alapú, folyamatos előtanítással kezeljük, amely az okozati LLM-et kétirányú enkóderré alakítja. A teljes kétirányú figyelem lehetővé teszi az átlagpoolingot az összes token-reprezentáció felett, és támogatja a késői darabolást (late chunking) a kontextuális beágyazásokhoz, ahol az egyes darabok beágyazását a teljes dokumentum határozza meg, amelyben megjelennek.

Webléptékben az FP32 formátumú beágyazások tárolása rendkívül költséges. Ahelyett, hogy a kvantálást utólagos tömörítési lépésként alkalmaznánk, modelljeink kvantálástudatos tanítást használnak az INT8 beágyazások natív előállításához, 4-szeresére csökkentve a tárolási igényt a teljesítményromlás nélkül. A bináris kvantálás 32-szeresére csökkenti a tárolási igényt minimális minőségromlás mellett, különösen a 4B méretarányban.

Számos modern beágyazási modell igényli, hogy az egyes bemenetek előtt utasítások (prefixek) szerepeljenek. Bár ez kisebb teljesítménynövekedést eredményezhet a benchmarkokon, a gyakorlatban súrlódást okoz: az indexelési és a lekérdezési idő közötti eltérő utasítások észrevétlenül rontják a visszakeresést, és a megfelelő prompt kiválasztása az egyes felhasználási eseményekhez újabb megoldandó feladattá válik. Modelljeink nem igényelnek utasításokat, így az integráció egyszerű.

Tanítás

A pplx-embed-v1 és a pplx-embed-context-v1 tanítása egy többlépcsős folyamaton keresztül történik, amely fokozatosan alakítja ki a szövegreprezentációkat a visszakereséshez.

Nagyítás

Folyamatos diffúziós előtanítás

Előre tanított Qwen3 alapmodellekből (0,6B és 4B) indulunk ki, és az okozati dekódereket kétirányú enkóderekké alakítjuk át az okozati figyelemmaszk letiltásával és egy diffúziós zajcsökkentési céllal történő tanítással. Ellentétben az autoregresszív modellekkel, amelyek balról jobbra jósolják meg a tokeneket, a diffúziós tanítás arra kényszeríti a modellt, hogy az egyes maszkolt pozíciók körüli teljes kétirányú kontextus felhasználásával rekonstruálja a véletlenszerűen maszkolt tokeneket. Ez azt jelenti, hogy mire a kontrasztív finomhangolás megkezdődik, a reprezentációk már kódolják a kétirányú szemantikát, erősebb alapot biztosítva a visszakereséshez, mint az okozati kiindulópont. Körülbelül 250 milliárd, 30 nyelvet felölelő, többnyelvű szövegből álló tokenen előtanítjuk a modellt. Az ablációk során a diffúziós előtanítású magok lényegesen alacsonyabb kontrasztív tanítási veszteséget érnek el, mint okozati társaik, ami nagyjából 1 százalékpontos javulást eredményez a visszakeresési feladatokban.

Kontrasztív tanítás

Az előtanítást követően a kontrasztív tanulás három szakaszát hajtjuk végre. A páros tanítás megalapozza az alapvető szemantikai illeszkedést a lekérdezések és a dokumentumok között, InfoNCE veszteséget használva a kötegen belüli negatívokkal. Nagy kötegméretek esetén a kötegen belüli negatívok egy része a pozitív közel azonos másolata, ezért hasonlóságon alapuló maszkot alkalmazunk, hogy megakadályozzuk e hamis negatívok jelromboló hatását. A tanítás fázisokban zajlik – csak angol, majd többnyelvű, végül teljesen többnyelvű –, fokozatosan építve a képességeket ahelyett, hogy egyszerre történne. A kontextuális tanítás ezután megtanítja a modellnek a darabszintű szemantikát a dokumentumszintű kontextushoz viszonyítva, egy olyan kettős veszteség használatával, amely egyesíti a szekencián belüli és kötegen belüli kontrasztot mind a darab-, mind a dokumentumszinten – ez a szakasz hozza létre a pplx-embed-context-v1-et. Végül a bányászott nehéz negatívokkal végzett triplet tanítás finomítja a hasonló, de nem releváns dokumentumok közötti határokat. A végső pplx-embed-v1 a kontextuális és triplet ellenőrzési pontok gömb alakú lineáris interpolációval (SLERP) történő egyesítésével jön létre.

Natív kvantálás

Az összes kontrasztív szakasz során a beágyazások INT8-ra vannak kvantálva a tanítás és a következtetés során is. Tanh-alapú átlagpooling műveletet, majd kerekítést alkalmazunk, és egyenesen áthaladó (straight-through) gradiens-becslést használunk a nem differenciálható kvantálási lépésen való visszaterjesztéshez. Ez biztosítja, hogy a modell eleve a csökkentett pontosságra optimalizált reprezentációkat sajátítson el, ahelyett, hogy az utólagos tömörítés miatti teljesítményromlást szenvedne el. A bináris kvantálás terén a 4B modellek lényegesen robusztusabbak, mint a 0,6B-sek: nagyobb beágyazási dimenziójuk (2560 az 1024-gyel szemben) több információt őriz meg a binarizálás után, így a teljesítménycsökkenés 1,6 százalékpont alatt marad a kisebb méretarányban tapasztalt 2–4 ponttal szemben.

Nyilvános benchmarkok

Nagyítás

Az MTEB(Multilingual, v2) visszakeresési benchmarkon a pplx-embed-v1-4B (INT8) 69,66%-os átlagos nDCG@10 értéket ér el, ami megegyezik a Qwen3-Embedding-4B (69,60%) értékével, és meghaladja a gemini-embedding-001 (67,71%) eredményét, miközben beágyazásonként lényegesen kevesebb tárhelyet igényel. 0,6B modellünk felülmúlja a Qwen3 megfelelőjét ugyanolyan paraméterméret mellett.

Nagyítás

Kontextuális visszakeresési teljesítmény a ConTEB benchmarkon. Balra: kontextualizált modellek. Jobbra: nem kontextualizált modellek. A pplx-embed-context-v1-4B (INT8) éri el a legmagasabb, 81,96-os pontszámot,at követi a voyage-context-3 (79.45) és a pplx-embed-context-v1-0.6B (INT8) 76,53-mal.

A kontextuális visszakeresés terén a pplx-embed-context-v1-4B új csúcsteljesítményt (state of the art) állít fel a ConTEB benchmarkon, 81,96%-os átlagos nDCG@10 értézzel, felülmúlva a voyage-context-3-at (79,45%) és az Anthropic Contextual-t (72,4%). Olyan darabszintű reprezentációk tanításával, amelyek magukban foglalják a dokumentumszintű szemantikát, modelljeink még akkor is a megfelelő szakaszt keresik vissza, amikor annak jelentése a környező kontextustól függ.

A modeljeinket a BERGEN benchmark segítségével end-to-end RAG környezetben is értékeljük, ahol a lekért szövegrészleteket egy nyelvi modell kapja bemenetként a válaszok generálásához. A pplx-embed-v1-4B négyből négyen felülmúlja a Qwen3-Embedding-4B-t az értékelt öt kérdés-válasz feladaton. Figyelemre méltó, hogy a pplx-embed-v1-0.6B az öt feladatból hármon a nagyobb Qwen3-Embedding-4B-t is felülmúlja, ami azt mutatja, hogy a kisebb modellünk gyakorlati RAG környezetben is képes egy jóval nagyobb paraméterszámú versenytárs teljesítményét elérni vagy meghaladni. Az értékelés további részleteiért lásd a technical report-ot.

Valós idejű visszakeresés léptékben

A nyilvános benchmarkok hasznosak, de nem ragadják meg teljesen a webléptékű visszakeresés kihívásait: a hosszúfarkú (long-tail) lekérdezéseket, a zajos dokumentumokat és az eloszlásbeli eltolódásokat, amelyek a termelési környezeteket jellemzik. Annak mérésére, hogy mi számít a gyakorlatban, két belső benchmarkot építettünk fel legfeljebb 115 ezer valós lekérdezéssel, amelyeket több mint 30 millió, több mint 1 milliárd weboldalból összegyűjtött dokumentum ellenében értékeltünk. A PPLXQuery2Query azt értékeli, hogy egy beágyazási modell képes-e azonosítani a szemantikailag egyenértékű lekérdezéseket a valós keresési adatforgalomból; a PPLXQuery2Doc pedig a dokumentumok visszakeresését méri egy 30 millió oldalas korpuszból.

A PPLXQuery2Query (2,4 millió oldalas korpusz) esetében a pplx-embed-v1-4B 73,5%-os Recall@10 értéket ér el, 5,6 százalékponttal megelőzve a Qwen3-Embedding-4B-t (67,9%). 0,6B modellünk 71,1%-os Recall@10 értéket ér el, jelentősen felülmúlva a BGE-M3-at (61,8%) és a Qwen3-Embedding-0.6B-t (55,1%).

Nagyítás

A többnyelvű PPLXQuery2Doc feladaton (30M korpusz) a pplx-embed-v1-4B 91,7%-os Recall@1000 értéket ér el a Qwen3-Embedding-4B 88,6%-ával szemben. A nagy visszahívási arány a nagy visszakeresési mélységekben kritikus fontosságú azon beágyazási modellek számára, amelyek első szakaszbeli visszakeresőként szolgálnak a többlépcsős rangsorolási folyamatokban, ahol a későbbi újrarangsorolóknak átadott releváns jelöltek számának maximalizálása közvetlenül befolyásolja a végső eredmény minőségét.

Első lépések

Minden modell elérhető a Hugging Face-en (MIT licenc alatt) és a Perplexity API-on keresztül. Támogatjuk a következtetést a Transformers, SentenceTransformers, Text Embeddings Inference és ONNX eszközökön keresztül. Az egyes opciók részleteiért lásd a Hugging Face modellgyűjteményt.

Az átfogó technikai részletekért és a teljes értékelési eredményekért tekintse meg technikai jelentésünket.

Idézet

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}