pplx-embed: Fullkomin innfellingarlíkön fyrir vefskalaleit

Í dag gefum við út pplx-embed-v1 og pplx-embed-context-v1, tvö fullkomin textainnfellingarlíkön sem eru hönnuð fyrir raunheimaleit í vefskala. pplx-embed-v1 er fínstillt fyrir staðlaða þétta textaleit, á meðan pplx-embed-context-v1 innfellir textabúta miðað við samhengi skjala á heildarstiginu.

Bæði pplx-embed-v1 og pplx-embed-context-v1 eru fáanleg með 0,6B og 4B færibreytustærðum. 0,6B-líkönin miða að léttri og lágvirku innfellingarmyndun, á meðan 4B-líkönin hámarka leitargæði. Í okkar mati leiðir pplx-embed-fjölskyldan fjölda opinberra viðmiðanna, þar á meðal MTEB(Multilingual, v2), BERGEN, ToolRet og ConTEB. Að auki skilar pplx-embed-v1 frábærum árangri á okkar innri vefskalaviðmiðum: PPLXQuery2Query, PPLXQuery2Doc.

Líkönin skila INT8- og tvíundarlegum innfellingum, sem dregur úr geymsluþörf um 4x og 32x í röð miðað við FP32. Þessi þjjöppun gerir geymslu og leit á innfellingum í vefskala mun raunhæfari.

pplx-embed líkamsvíddir, samhengislengd, magngreining og samanlagningarskipan.

Skoðaðu tækniskýrsluna okkar, Hugging Face-líkön og API-skjöl.

Hvatning

Þéttar textainnfellingar vörpunum fyrirspurnum og skjölum yfir í sameiginlegt merkingarvinnusvæði þar sem leit einfaldast í nálgun á næsta nágranna. Á kvarða Perplexity eru innfellingar fyrsta þrepið í leitarleiðslunni okkar og ákvarða hvaða skjöl af milljörðum vefsíðna eru tekin til greina af niðurstreymisröðunartækjum og tungumálalíkönum.

Flest helstu innfellingarlíkön dagsins í dag eru byggð á afkóðara-einum LLM með orsakasamhengisgrímu, þar sem hvert tákn getur aðeins skoðað undanfarandi tákn. Fyrir leit er þetta grundvallartakmörkun: skilningur á textabút krefst oft tvíhliða samhengis. Við tökumst á við þetta með dreifingarbyggðri áframhaldandi forskórun, sem breytir orsaka-LLM í tvíhliða kóðara. Full tvíhliða athygli gerir kleift að nota meðalsamtengingu yfir allar táknmyndanir og styður síðbúna bútskiptingu fyrir samhengisbundnar innfellingar, þar sem innfelling hvers búts mótast af því skjali sem hann birtist í.

Á vefskala er geymsla innfellinga í FP32 gríðarlega dýr. Í stað þess að beita kvantun sem eftir-á þjöppunarskrefi nota líkönin okkar kvantunarvitaða þjálfun til að framleiða INT8-innfellingar náttúrulega, sem dregur úr geymslu um 4x án þess að fórna afköstum. Tvíundarkvantun dregur úr geymslu um 32x með lágmarks gæðatapi, sérstaklega á 4B kvarðanum.

Mörg nútímaleg innfellingarlíkan krefjast þess að leiðbeiningaforskeyti séu sett undan hverju inntaki. Þó að þetta geti skilað litlum bata á viðmiðum, veldur það í raun núningi: ósamræmdar leiðbeiningar milli skráningar og leitar draga hljóðlega úr gæðum leitar, og valið á réttu sniðmáti fyrir hvert notkunartilvik verður enn ein áskorunin. Líkönin okkar krefjast enginna leiðbeininga, sem gerir samþættingu einfalda.

Þjálfun

pplx-embed-v1 og pplx-embed-context-v1 eru þjálfuð í gegnum fjölþrepa leiðslu sem mótar textamyndanir stöðugt fyrir leit.

Stækka

Áframhaldandi dreifingarforskórun

Við byrjum á forskóruðum Qwen3-grunnlíkönum (0.6B og 4B) og breytum þeim úr orsakaafkóðurum í tvíhliða kóðara með því að slökkva á orsakasamhengisgrímunni og þjálfa með dreifingaraðhreinsunarmarkmiði. Ólíkt sjálfskörfunarlíkönum sem spá fyrir um tákn frá vinstri til hægri, neyðir dreifingarþjálfun líkanið til að endurbyggja handahófskennt grímusett tákn með því að nota alla tvíhliða samhengisstöðuna í kringum hverja grímusetta stöð. Þetta þýðir að þegar andstæðufínstilling hefst, þá tákna framsetningarnar nú þegar tvíhliða merkingar, sem gefur sterkari grunn fyrir leit en orsakahafnarpunktur. Við forskórum á um það bil 250 milljörðum tákna af fjöltyngdum texta sem nær yfir 30 tungumál. Í brotningum ná dreifingarforskóruð stoðkerfi verulega lægra andstæðuþjálfunartapi en hliðstæður þeirra, sem skilar sér í um það bil 1 prósentustigs bata á leitarverkefnum.

Andstæðuþjálfun

Í kjölfar forskórunar framkvæmum við þrjú þrep andstæðunáms. Paraþjálfun komir á grunnmerkjasamræmi milli fyrirspurna og skjala með InfoNCE-tapi með neikvæðum þáttum í lotu. Með stórum lotustærðum eru sumir neikvæðir þættir í lotu í raun nánast afrit af þeim jákvæðu, þannig að við beitum líkindatengdri grímu til að koma í veg fyrir að þessir fölsku neikvæðu þættir spilltu þjálfunarmerkinu. Þjálfunin fer fram í áföngum – eingöngu ensku, síðan þvert á tungumál, og að lokum fullkomlega fjöltyngd – þar sem geta byggist upp smám saman í stað þess að gerast allt í einu. Samhengisþjálfun kennir líkaninu síðan búts-stigs merkingar miðað við samhengi skjala, með tvöföldu tapi sem sameinar andstæðu innan raðar og innan lotu bæði á bút- og skjalastigi – þetta þrep skilar pplx-embed-context-v1. Að lokum fínstillir þrenningarþjálfun með náðum erfiðum neikvæðum þáttum mörkin milli svipaðra en óskyldra skjala. Endanlegu pplx-embed-v1 er náð með því að sameina samhengis- og þrenningarathugunarpunkta í gegnum kúluulaust línulegt innskot (SLERP).

Náttúruleg kvantun

Í öllum andstæðuþrepum eru innfellingar kvantaðar í INT8 bæði við þjálfun og ályktun. Við beitum tanh-bundinni meðalsamtengingaraðgerð fylgt eftir af ávölun, og notum beina-í-gegnum stigulsmat til að bakfæra í gegnum ógreinanlega kvantunarskrefið. Þetta tryggir að líkanið lærir framsetningar sem eru fínstilltar fyrir minnkaða nákvæmni frá upphafi, í stað þess að þjást af rýrnun frá eftir-á þjöppun. Fyrir tvíundarkvantun eru 4B-líkönin töluvert öflugri en 0.6B: stærri innfellingarvídd þeirra (2560 á móti 1024) varðveitir meiri upplýsingar eftir tvíundun, sem takmarkar afkastatap niður fyrir 1,6 prósentustig miðað við 2–4 stig á smærri kvarðanum.

Opinber viðmið

Stækka

Á MTEB(Multilingual, v2)-leitarviðmiðinu nær pplx-embed-v1-4B (INT8) meðaltali nDCG@10 upp á 69,66%, sem jafnast á við Qwen3-Embedding-4B (69,60%) og fer yfir gemini-embedding-001 (67,71%), á meðan það krefst verulega minni geymslu á hverja innfellingu. 0,6B-líkanið okkar stendur sig betur en Qwen3-hliðstæða þess á sömu færibreytustærð.

Stækka

Samhengisbundin leitarafköst á ConTEB-viðmiðinu. Vinstri: samhengisbundin líkön. Hægri: ó-samhengisbundin líkön. pplx-embed-context-v1-4B (INT8) nær hæsta skorinu 81,96, á eftir kemur voyage-context-3 (79.45) og pplx-embed-context-v1-0.6B (INT8) á 76,53.

Fyrir samhengisbundna leit setur pplx-embed-context-v1-4B nýtt tæknimet á ConTEB-viðmiðinu með meðaltali nDCG@10 upp á 81,96%, og skilar betri árangri en voyage-context-3 (79,45%) og Anthropic Contextual (72,4%). Með því að þjálfa bút-stigs framsetningar sem innlima skjalastigs samhengisfræði, sækja líkönin okkar rétta bútinn jafnvel þegar merking hans veltur á umlykjandi samhengi.

Við metum einnig líkönin okkar í end-to-end RAG með því að nota BERGEN-viðmiðið, þar sem sóttu bútar eru sendir í tungumálalíkan til að búa til svör. pplx-embed-v1-4B skilar betri árangri en Qwen3-Embedding-4B á fjórum af fimm metnum spurninga- og svaraverkefnum. Athyglisvert er að pplx-embed-v1-0.6B stendur sig betur en stærra Qwen3-Embedding-4B á þremur af fimm verkefnum, sem sýnir að minnkaða líkanið okkar getur passað eða farið yfir keppinaut á verulega stærri færibreytustyrk í hagnýtum RAG-stillingum. Fyrir frekari upplýsingar um þetta mat vísum við til tækniskýrslunnar.

Raunheimaleit í stórum stíl

Opinber viðmið eru gagnleg, en þau ná ekki að fullu yfir leitaráskoranir í vefskala: langar hala-fyrirspurnir, hávaðasöm skjöl og dreifingarbreytingar sem einkenna framleiðsluumhverfi. Til að mæla það sem skiptir máli í framkvæmd byggðum við tvö innri viðmið með allt að 115K raunheimafyrirspurnum metnum gegn meira en 30 milljónum skjala sem safnað er saman af yfir 1 milljarði vefsíðna. PPLXQuery2Query metur hvort innfellingarlíkan geti borið kennsl á merkingarlega jafngildar fyrirspurnir úr raunverulegri leitarumferð; PPLXQuery2Doc mælir skjalaleit úr 30 milljóna síðna safni.

Á PPLXQuery2Query (2.4M safni) nær pplx-embed-v1-4B 73,5% Recall@10, og fer fram úr Qwen3-Embedding-4B (67,9%) um 5,6 prósentustig. 0,6B-líkanið okkar nær 71,1% Recall@10, og stendur sig verulega betur en BGE-M3 (61,8%) og Qwen3-Embedding-0.6B (55,1%).

Stækka

Á hinu fjöltyngda PPLXQuery2Doc-verkefni (30M safn) nær pplx-embed-v1-4B 91,7% Recall@1000, samanborið við 88,6% fyrir Qwen3-Embedding-4B. Mikil endurheimt við mikla leitardýpt er mikilvæg fyrir innfellingarlíkön sem þjóna sem fyrsta þreps leitarvélar í fjölþrepa röðunarleiðslum, þar sem hámörkun á fjölda viðeigandi frambjóðenda sem sendir eru til niðurstreymis endurröðunartækja hefur bein áhrif á gæði endanlegrar niðurstöðu.

Að byrja

Öll líkön eru fáanleg á Hugging Face (undir MIT-leyfi) og í gegnum Perplexity API. Við styðjum ályktun í gegnum Transformers, SentenceTransformers, Text Embeddings Inference og ONNX. Fyrir öll smáatriði um hvern valkost, sjá Hugging Face-líkansafnið.

Fyrir alhliða tæknilegar upplýsingar og fullkomnar matsniðurstöður, vísum við til tækniskýrslunnar okkar.

Tilvitnun

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}