pplx-embed: modernākie iegulšanas modeļi tīmekļa meklēšanai

Šodien mēs izlaižam pplx-embed-v1 un pplx-embed-context-v1 — divus modernākos teksta iegulšanas modeļus, kas izveidoti reālās pasaules meklēšanai tīmekļa mērogā. pplx-embed-v1 ir optimizēts standarta blīvā teksta meklēšanai, savukārt pplx-embed-context-v1 iegulst fragmentus attiecībā pret apkārtējo dokumenta līmeņa kontekstu.

Gan pplx-embed-v1, gan pplx-embed-context-v1 ir pieejami ar 0.6B un 4B parametru mērogiem. 0.6B modeļi ir paredzēti vieglai, zema latentuma iegulšanas ģenerēšanai, savukārt 4B modeļi maksimāli palielina meklēšanas kvalitāti. Mūsu novērtējumos pplx-embed saime ieņem vadošo pozīciju vairākos publiskos salīdzinātajos testos, tostarp MTEB(Multilingual, v2), BERGEN, ToolRet un ConTEB. Turklāt pplx-embed-v1 nodrošina savā klasē labākos rezultātus mūsu iekšējos tīmekļa mēroga salīdzinātajos testos: PPLXQuery2Query, PPLXQuery2Doc.

Modeļi ģenerē INT8 un binārās iegulšanas, attiecīgi samazinot glabāšanas prasības par 4x un 32x salīdzinājumā ar FP32. Šis kompakums padara tīmekļa mēroga iegulšanu glabāšanu un meklēšanu ievērojami praktiskāku.

pplx-embed modeļa dimensijas, konteksta garums, kvantizācija un pooling konfigurācija.

Iepazīstieties ar mūsu tehnisko ziņojumu, Hugging Face modeļiem un API dokumentāciju.

Motivācija

Blīva teksta iegulumi kartē vaicājumus un dokumentus kopīgā semantiskajā telpā, kur meklēšana reducējas uz aptuvenu tuvāko kaimiņu meklēšanu. Perplexity mērogā iegulumi ir mūsu meklēšanas konveijera pirmais posms, kas nosaka, kurus dokumentus no miljardiem tīmekļa lapu ņem vērā pakārtotie ranga noteicēji un valodas modeļi.

Lielākā daļa mūsdienu vadošo iegulšanas modeļu ir veidoti uz dekodētāju balstītu LLM bāzes ar cēloņsakarības uzmanības maskēšanu, kur katrs tokens var pievērst uzmanību tikai iepriekšējiem tokeniem. Meklēšanai tas ir būtisks ierobežojums: lai izprastu fragmentu, bieži vien ir nepieciešams divvirzienu konteksts. Mēs to risinām, izmantojot difuzijā balstītu turpmāko iepriekšēju apmācību, kas pārvērš cēloņsakarību LLM par divvirzienu kodētāju. Pilnīga divvirzienu uzmanība nodrošina vidējo apvienošanu visos tokenu attēlojumos un atbalsta vēlīnu sagriešanu kontekstuāliem iegulumiem, kur katra fragmenta iegulumu informē pilns dokuments, kurā tas parādās.

Tīmekļa mērogā iegulumu glabāšana FP32 formātā ir pārmērīgi dārga. Tā vietā, lai kvantēšanu izmantotu kā pēcapstrādes kompresijas soli, mūsu modeļi izmanto kvantēšanas apzinātu apmācību, lai dabiski ģenerētu INT8 iegulumus, samazinot glabāšanu 4 reizes bez veiktspējas zuduma. Binārā kvantēšana samazina glabāšanu 32 reizes ar minimālu kvalitātes zudumu, jo īpaši 4B mērogā.

Daudziem mūsdienu iegulšanas modeļiem pirms katras ievades ir jāpievieno instrukciju prefiksi. Lai gan tas var sniegt nelielu uzlabojumu salīdzinātajos testos, praksē tas rada berzi: neatbilstošas instrukcijas indeksēšanas un vaicājuma laikā nemanāmi pasliktina meklēšanu, un pareizā uzvednes izvēle katram lietošanas gadījumam kļūst par vēl vienu lietu, kas jāizdara pareizi. Mūsu modeļiem nav nepieciešamas instrukcijas, padarot integrāciju vienkāršu.

Apmācība

pplx-embed-v1 un pplx-embed-context-v1 tiek apmācīti, izmantojot daudzposmu konveijeru, kas pakāpeniski veido teksta attēlojumus meklēšanai.

Izvērst

Turpmāka difuzijas iepriekšēja apmācība

Mēs sākam no iepriekš apmācītiem Qwen3 bāzes modeļiem (0.6B un 4B) un pārveidojam tos no cēloņsakarību dekodētājiem par divvirzienu kodētājiem, atspējojot cēloņsakarības uzmanības masku un apmācot ar difuzijas denudācijas mērķi. Atšķirībā no autoregresīvajiem modeļiem, kas prognozē tokenus no kreisās uz labo pusi, difuzijas apmācība piespiež modeli rekonstruēt nejauši maskētus tokenus, izmantojot pilnu divvirzienu kontekstu ap katru maskēto pozīciju. Tas nozīmē, ka līdz brīdim, kad sākas kontrastējoša smalkā regulēšana, attēlojumi jau kodē divvirzienu semantiku, nodrošinot spēcīgāku pamatu meklēšanai nekā cēloņsakarību sākumpunkts. Mēs iepriekš apmācām aptuveni 250 miljardus daudzvalodu teksta tokenu, kas aptver 30 valodas. Ablācijās ar difuziju iepriekš apmācītas mugurkaula struktūras sasniedz ievērojami zemākus kontrastējošas apmācības zudumus nekā to cēloņsakarības līdzinieki, kas pārvēršas aptuveni par 1 procentpunkta uzlabojumu meklēšanas uzdevumos.

Kontrastējoša apmācība

Pēc iepriekšējas apmācības mēs veicam trīs kontrastējošās mācīšanās posmus. Pāru apmācība izveido pamata semantisko saskaņošanu starp vaicājumiem un dokumentiem, izmantojot InfoNCE zudumu ar partijas iekšējiem negatīviem elementiem. Lielu partijas izmēru gadījumā daži partijas iekšējie negatīvie elementi patiesībā ir pozitīvā elementa gandrīz dublikāti, tāpēc mēs lietojam uz līdzību balstītu masku, lai novērstu šo viltus negatīvo elementu bojāšanu mācību signālam. Apmācība norit fāzēs — tikai angļu valodā, pēc tam starpvalodu un visbeidzot pilnībā daudzvalodu —, pakāpeniski veidojot spējas, nevis visu uzreiz. Kontekstuālā apmācība pēc tam māca modelim fragmenta līmeņa semantiku attiecībā pret dokumenta līmeņa kontekstu, izmantojot dubultu zudumu, kas apvieno secības iekšējo un partijas iekšējo kontrastu gan fragmenta, gan dokumenta līmenī — šis posms rada pplx-embed-context-v1. Visbeidzot, trīskāršā apmācība ar iegūtiem smagiem negatīviem elementiem precizē robežas starp līdzīgiem, bet neattiecināmiem dokumentiem. Galīgais pplx-embed-v1 tiek iegūts, apvienojot kontekstuālos un trīskāršos kontrolpunktus, izmantojot sfērisko lineāro interpolāciju (SLERP).

Nativā kvantēšana

Visos kontrastējošajos posmos iegulumi tiek kvantēti līdz INT8 gan apmācības, gan secināšanas laikā. Mēs lietojam uz tanh balstītu vidējās apvienošanas darbību, kam seko noapaļošana, un izmantojam taisnvirziena gradienta novērtējumu, lai atgrieztos caur nediferencējamo kvantēšanas soli. Tas nodrošina, ka modelis apgūst attēlojumus, kas optimizēti samazinātai precizitātei jau no paša sākuma, nevis cieš no pēcapstrādes kompresijas pasliktināšanās. Binārajai kvantēšanai 4B modeļi ir ievērojami izturīgāki nekā 0.6B: to lielākā iegulšanas dimensija (2560 pret 1024) saglabā vairāk informācijas pēc binarizācijas, ierobežojot veiktspējas kritumu zem 1,6 procentpunktiem, salīdzinot ar 2–4 punktiem mazākajā mērogā.

Publiskie salīdzinātie testi

Izvērst

MTEB(Multilingual, v2) meklēšanas salīdzinātajā testā pplx-embed-v1-4B(INT8) sasniedz vidējo nDCG@10 69,66%, kas atbilst Qwen3-Embedding-4B (69.60%) un pārsniedz gemini-embedding-001 (67.71%), vienlaikus prasot ievērojami mazāku krātuvi uz vienu iegulumu. Mūsu 0.6B modelis pārspēj savu Qwen3 līdzinieku tajā pašā parametru mērogā.

Izvērst

Kontekstuālās meklēšanas veiktspēja ConTEB salīdzinātajā testā. Pa kreisi: kontekstualizētie modeļi. Pa labi: nekontekstualizētie modeļi. pplx-embed-context-v1-4B (INT8) sasniedz augstāko rezultātu 81.96, kam seko voyage-context-3 (79.45) un pplx-embed-context-v1-0.6B (INT8) ar 76.53.

Kontekstuālai meklēšanai pplx-embed-context-v1-4B nosaka jaunu mākslas līmeni ConTEB salīdzinātajā testā ar vidējo nDCG@10 81,96%, pārspējot voyage-context-3 (79.45%) un Anthropic Contextual (72.4%). Apmācot fragmenta līmeņa attēlojumus, kas ietver dokumenta līmeņa semantiku, mūsu modeļi atrod pareizo fragmentu pat tad, ja tā nozīme ir atkarīga no apkārtējā konteksta.

Mēs arī novērtējam savus modeļus galu galā RAG, izmantojot BERGEN salīdzināto testu, kur izgūtie fragmenti tiek padoti valodas modelim, lai ģenerētu atbildes. pplx-embed-v1-4B pārspēj Qwen3-Embedding-4B četros no pieciem novērtētajiem jautājumu un atbilžu uzdevumiem. Jo īpaši pplx-embed-v1-0.6B pārspēj lielāku Qwen3-Embedding-4B trijos no pieciem uzdevumiem, parādot, ka mūsu mazākais modelis var līdzināties vai pārspēt konkurentu ar ievērojami lielāku parametru mērogā praktiskos RAG iestatījumos. Sīkāku informāciju par šo novērtējumu skatiet tehniskajā ziņojumā.

Reālās pasaules meklēšana mērogā

Publiskie salīdzinātie testi ir noderīgi, bet tie pilnībā neatspoguļo tīmekļa mēroga meklēšanas izaicinājumus: garās astes vaicājumus, trokšņainus dokumentus un sadalījuma maiņas, kas raksturo ražošanas vidi. Lai izmērītu to, kas ir svarīgi praksē, mēs izveidojām divus iekšējos salīdzinātos testus ar līdz pat 115K reālās pasaules vaicājumiem, kas novērtēti pret vairāk nekā 30 miljoniem dokumentu, kas apvienoti no vairāk nekā 1 miljarda tīmekļa lapu. PPLXQuery2Query novērtē, vai iegulšanas modelis var identificēt semantiski ekvivalentus vaicājumus no reālas meklēšanas datplūsmas; PPLXQuery2Doc mēra dokumentu meklēšanu no 30M lapu korpusa.

PPLXQuery2Query (2.4M korpuss) pplx-embed-v1-4B sasniedz 73.5% Recall@10, apsteidzot Qwen3-Embedding-4B (67.9%) par 5.6 procentpunktiem. Mūsu 0.6B modelis sasniedz 71.1% Recall@10, būtiski pārspējot BGE-M3 (61.8%) un Qwen3-Embedding-0.6B (55.1%).

Izvērst

Daudzvalodu PPLXQuery2Doc uzdevumā (30M korpuss) pplx-embed-v1-4B sasniedz 91.7% Recall@1000, salīdzinājumā ar 88.6% Qwen3-Embedding-4B. Augsta atsaukšana lielos meklēšanas dziļumos ir izšķiroša iegulšanas modeļiem, kas kalpo kā pirmā posma meklētāji daudzposmu ranga konveijeros, kur attiecīgo kandidātu skaita maksimāla palielināšana, kas tiek padoti pakārtotajiem pārranga noteicējiem, tieši ietekmē galīgo rezultātu kvalitāti.

Darba sākšana

Visi modeļi ir pieejami Hugging Face (saskaņā ar MIT licenci) un, izmantojot Perplexity API. Mēs atbalstām secināšanu, izmantojot Transformers, SentenceTransformers, Text Embeddings Inference un ONNX. Sīkāku informāciju par katru opciju skatiet Hugging Face modeļu kolekcijā.

Lai iegūtu visaptverošas tehniskās detaļas un pilnīgus novērtējuma rezultātus, skatiet mūsu tehnisko ziņojumu.

Citāts

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}