pplx-embed: tipptasemel manustamismudelid veebimõõtmetes otsinguks

Täna avaldame mudelid pplx-embed-v1 ja pplx-embed-context-v1, mis on kaks tipptasemel tekstimanustamismudelit, mis on loodud reaalsete ja veebimõõtmetes otsingute jaoks. pplx-embed-v1 on optimeeritud standardse tiheda teksti otsingu jaoks, samas kui pplx-embed-context-v1 manustab lõike ümbritseva dokumenditaseme konteksti arvesse võttes.

Mõlemad mudelid, pplx-embed-v1 ja pplx-embed-context-v1, on saadaval 0,6B ja 4B parameetri skaalal. 0,6B mudelid on suunatud kergetele ja madala latentsusega manustamiste genereerimisele, samas kui 4B mudelid maksimeerivad otsingukvaliteeti. Meie hinnangul juhib pplx-embed perekond mitmeid avalikke võrdlusaluseid, sealhulgas MTEB(Multilingual, v2), BERGEN, ToolRet ja ConTEB. Lisaks pakub pplx-embed-v1 oma klassi parimaid tulemusi meie sisemistes veebimõõtmetes võrdlusalustes: PPLXQuery2Query ja PPLXQuery2Doc.

Mudelid toodavad INT8- ja binaarmanuseid, mis vähendavad salvestusvajadust FP32-ga võrreldes vastavalt 4 korda ja 32 korda. See kompaktsus teeb veebimõõtmetes manuste salvestamise ja otsingu märkimisväärselt praktilisemaks.

pplx-embed mudeli mõõtmed, konteksti pikkus, kvantimine ja koondamise konfiguratsioon.

Tutvuge meie tehnilise aruandega, Hugging Face mudelitega ja API dokumentatsiooniga.

Motivatsioon

Tihedad tekstimanused kaardistavad päringud ja dokumendid ühisesse semantilisse ruumi, kus otsing taandub ligikaudse lähima naabri otsingule. Perplexity mastaabis on manused meie otsingutoru esimene etapp, mis määrab, milliseid dokumente miljarditest veebilehtedest arvestavad allavoolu paiknevad järjestajad ja keelemudelid.

Enamik tänapäevaseid juhtivaid manustamismudeleid on üles ehitatud ainult dekoodriga LLM-idele, millel on põhjuslik tähelepanu maskeerimine (causal attention masking), kus iga token saab pöörduda ainult eelnevate tokenite poole. Otsingu jaoks on see fundamentaalne piirang: lõigu mõistmine nõuab sageli kahepoolset (bidirectionaalset) konteksti. Me lahendame selle difusioonipõhise jätkuva eelkoolituse kaudu, mis muudab põhjusliku LLM-i kahepoolseks kodeerijaks. Täielik kahepoolne tähelepanu võimaldab kõigi tokenite esituste puhul keskmistamist (mean pooling) ning toetab kontekstuaalsete manuste jaoks hilist tükeldamist (late chunking), kus iga tüki manuse kujundamisel on aluseks täielik dokument, milles see esineb.

Veebimõõtmetes on manuste salvestamine FP32 vormingus liiga kulukas. Selle asemel, et rakendada kvantimist tagantjärele tihendamisetapina, kasutavad meie mudelid kvantimisteadlikku koolitust, et luua INT8-manused otse, vähendades salvestusruumi 4 korda ilma jõudluses järeleandmisi tegemata. Binaarne kvantimine vähendab salvestusruumi 32 korda minimaalse kvaliteedikaoga, eriti 4B skaalal.

Paljud kaasaegsed manustamismudelid nõuavad igale sisendile lisatavaid juhise prefikseid. Kuigi see võib võrdlusalustel anda väikseid eeliseid, tekitab see praktikas takistusi: sobimatud juhised indekseerimise ja päringu tegemise ajal halvendavad märkamatult otsingut ning õige viiba valimine iga kasutusjuohu jaoks muutub veel üheks asjaks, millega tuleb eksimatult hakkama saada. Meie mudelid ei vaja mingeid juhiseid, mis teeb integreerimise lihtsaks.

Koolitus

Mudelid pplx-embed-v1 ja pplx-embed-context-v1 on koolitatud mitmeetapilise toru abil, mis kujundab järk-järgult teksti esitusi otsingu jaoks.

Suurenda

Jätkuv difusiooni eelkoolitus

Alustame eelkoolitatud Qwen3 baasmudelitest (0,6B ja 4B) ja muudame need põhjuslikest dekoodritest kahepoolseteks kodeerijateks, keelates põhjusliku tähelepanu maski ja koolitades difusiooni müra eemaldamise eesmärgiga. Erinevalt autoregressiivsetest mudelitest, mis ennustavad tokeneid vasakult paremale, sunnib difusioonikoolitus mudelit rekonstrueerima juhuslikult maskeeritud tokeneid, kasutades iga maskeeritud positsiooni ümber olevat täielikku kahepoolset konteksti. See tähendab, et ajaks, mil kontrastne peenhäälestus algab, kodeerivad esitused juba kahepoolset semantikat, pakkudes otsinguks tugevamat alust kui põhjuslik lähtepunkt. Eelkoolitame umbes 250 miljardil mitmekeelsel tokenil, mis hõlmavad 30 keelt. Ableerimistes saavutavad difusiooni eelkoolitatud selgrood oluliselt madalama kontrastse koolituse kao kui nende põhjuslikud vastandid, mis tähendab otsinguülesannetes umbes 1 protsendipunktist paranemist.

Kontrastne koolitus

Eelkoolitusele järgneb kolm kontrastse õppimise etappi. Paariskoolitus loob päringute ja dokumentide vahel põhilise semantilise joonduse, kasutades InfoNCE kadu koos partiisisese negatiividega. Suurte partiisuuruste korral on mõned partiisisese negatiivid tegelikult positiivse peaaegu-duplikaadid, seega rakendame sarnasusel põhinevat maski, et takistada nendel valenegatiividel koolitussignaali rikkumist. Koolitus toimub faasides – algul ainult inglise keel, seejärel mitmekeelne ja lõpuks täielikult mitmekeelne –, ehitades võimekust järk-järgult, mitte korraga. Kontekstuaalne koolitus õpetab seejärel mudelile tüki taseme semantikat dokumenditaseme konteksti suhtes, kasutades kahekordset kadu, mis ühendab järjestusesisese ja partiisisese kontrasti nii tüki kui ka dokumendi tasemel – see etapp loob mudeli pplx-embed-context-v1. Lõpuks täpsustab raskete negatiividega kolmikkoolitus (triplet training) sarnaste, kuid mitteasjakohaste dokumentide vahelisi piire. Lõplik pplx-embed-v1 saadakse kontekstuaalsete ja kolmiku kontrollpunktide ühendamise teel sfäärilise lineaarse interpoleerimise (SLERP) abil.

Natiivne kvantimine

Kõikide kontrastsete etappide vältel kvanditakse manused INT8 vormingusse nii koolituse kui ka järelduse (inference) ajal. Rakendame tanh-põhist keskmistamise operatsiooni, millele järgneb ümardamine, ning kasutame otseläbivat gradiendi hindamist (straight-through gradient estimation), et levitada tagasi läbi mitte-diferentseeruva kvantimisetapi. See tagab, et mudel õpib algusest peale vähendatud täpsuse jaoks optimeeritud esitusi, selle asemel et kannatada tagantjärele tihendamisest tingitud kvaliteedilanguse all. Binaarse kvantimise puhul on 4B mudelid märgatavalt tugevamad kui 0.6B: nende suurem manustusmõõde (2560 vs 1024) säilitab pärast binariseerimist rohkem teavet, piirates jõudluse langust alla 1,6 protsendipunkti võrreldes 2–4 punktiga väiksemal skaalal.

Avalikud võrdlusalused

Suurenda

MTEB(Multilingual, v2) otsingu võrdlusalusel saavutab pplx-embed-v1-4B (INT8) keskmise nDCG@10 tulemuse 69,66%, ühtides mudeliga Qwen3-Embedding-4B (69,60%) ja ületades mudelit gemini-embedding-001 (67.71%), nõudes samal ajal manuse kohta oluliselt vähem salvestusruumi. Meie 0,6B mudel edestab oma Qwen3 vastet samal parameetri skaalal.

Suurenda

Kontekstuaalse otsingu jõudlus ConTEB võrdlusalusel. Vasakul: kontekstuaaliga mudelid. Paremal: ilma kontekstita mudelid. pplx-embed-context-v1-4B (INT8) saavutab kõrgeima skoori 81,96, millele järgnevad voyage-context-3 (79.45) ja pplx-embed-context-v1-0.6B (INT8) skooriga 76,53.

Kontekstuaalse otsingu puhul seab pplx-embed-context-v1-4B ConTEB võrdlusalusel uue tipptaseme, mille keskmine nDCG@10 on 81,96%, edestades mudeleid voyage-context-3 (79.45%) ja Anthropic Contextual (72.4%). Koolitades tüki taseme esitusi, mis sisaldavad dokumenditaseme semantikat, otsivad meie mudelid õige lõigu üles isegi siis, kui selle tähendus sõltub ümbritsevast kontekstist.

Hindame oma mudeleid ka otsast-lõpuni RAG-is, kasutades BERGENi võrdlusalust, kus otsitud lõigud antakse vastuste genereerimiseks keelemudelile. pplx-embed-v1-4B edestab mudelit Qwen3-Embedding-4B neljas viiest hinnatud küsimustele vastamise ülesandest. Nimelt edestab pplx-embed-v1-0.6B suuremat Qwen3-Embedding-4B mudelit kolmes ülesandes viiest, näidates, et meie väiksem mudel suudab praktilistes RAG-keskkondades konkureerida või ületada konkurenti märgatavalt suuremal parameetri skaalal. Selle hindamise kohta lisateabe saamiseks viitame tehnilisele aruandele.

Reaalse maailma otsing mastaabis

Avalikud võrdlusalused on kasulikud, kuid need ei kata täielikult veebimõõtmetes otsingu väljakutseid: pika saba päringuid (long-tail queries), mürarikkaid dokumente ja jaotusnihkeid, mis iseloomustavad tootmiskeskkondi. Selle mõõtmiseks, mis praktikas loeb, ehitasime kaks sisemist võrdlusalust, mis sisaldavad kuni 115 000 reaalse maailma päringut, mida hinnatakse enam kui 30 miljoni dokumendi vastu, mis on kokku kogutud üle 1 miljardist veebilehest. PPLXQuery2Query hindab, kas manustamismudel suudab realsest otsinguliiklusest tuvastada semantiliselt ekvivalentseid päringuid; PPLXQuery2Doc mõõdab dokumentide otsingut 30 miljoni leheküljelisest korpusest.

PPLXQuery2Query-l (2,4M korpus) saavutab pplx-embed-v1-4B 73,5% Recall@10, ületades mudelit Qwen3-Embedding-4B (67,9%) 5,6 protsendipunktiga. Meie 0.6B mudel saavutab 71,1% Recall@10, edestades oluliselt mudeleid BGE-M3 (61,8%) ja Qwen3-Embedding-0.6B (55,1%).

Suurenda

Mitmekeelsel PPLXQuery2Doc ülesandel (30M korpus) saavutab pplx-embed-v1-4B 91,7% Recall@1000, võrreldes Qwen3-Embedding-4B 88,6%-ga. Suur tagasikutse suurtes otsingusügavustes on kriitilise tähtsusega manustamismudelite jaoks, mis toimivad esimese etapi otsijatena mitmeetapilistes järjestustorudes, kus allavoolu paiknevatele ümberjärjestajatele edastatavate asjakohaste kandidaatide arvu maksimeerimine mõjutab otseselt lõpptulemuse kvaliteeti.

Alustamine

Kõik mudelid on saadaval saidil Hugging Face (MIT litsentsi alusel) ja Perplexity API kaudu. Toetame järeldust (inference) Transformers, SentenceTransformers, Text Embeddings Inference ja ONNX kaudu. Iga valiku täielike üksikasjade saamiseks vaadake Hugging Face mudelite kollektsiooni.

Põhjalike tehniliste üksikasjade ja täielike hindamistulemuste saamiseks vaadake meie tehnilist aruannet.

Tsitaat

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}