pplx-embed: Vrhunski modeli za ugrađivanje za pretragu na veb-skali

Danas objavljujemo pplx-embed-v1 i pplx-embed-context-v1, dva vrhunska modela za ugrađivanje teksta napravljena za pretragu u stvarnom svetu i na veb-skali. pplx-embed-v1 je optimizovan za standardnu gustu pretragu teksta, dok pplx-embed-context-v1 vrši ugrađivanje odlomaka u odnosu na okolni kontekst na nivou dokumenta.

I pplx-embed-v1 i pplx-embed-context-v1 su dostupni u skalama parametara od 0,6B i 4B. Modeli sa 0,6B ciljaju generisanje ugrađivanja sa malom težinom i niskim kašnjenjem, dok modeli sa 4B maksimizuju kvalitet pretrage. U našim evaluacijama, porodica pplx-embed predvodi niz javnih benčmarka, uključujući MTEB (vijezični, v2), BERGEN, ToolRet i ConTEB. Štaviše, pplx-embed-v1 pruža najbolje rezultate u klasi na našim internim benčmarkima na veb-skali: PPLXQuery2Query, PPLXQuery2Doc.

Modeli proizvode INT8 i binarna ugrađivanja, čime se zahtevi za skladištenje smanjuju za 4x, odnosno 32x u poređenju sa FP32. Ova kompaktnost čini skladištenje i pretragu ugrađivanja na veb-skali znatno praktičnijim.

pplx-embed dimenzije modela, dužina konteksta, kvantizacija i konfiguracija poolinga.

Pogledajte naš tehnički izveštaj, Hugging Face modele i API dokumentaciju.

Motivacija

Gusta ugrađivanja teksta mapiraju upite i dokumente u zajednički semantički prostor gde se pretraga svodi na približnu pretragu najbližeg suseda. Na skali Perplexity-ja, ugrađivanja predstavljaju prvu fazu našeg cevovoda za pretragu, koja određuje koji dokumenti iz milijardi veb-stranica se uzimaju u obzir od strane naknadnih rangera i jezičkih modela.

Većina vodećih modela za ugrađivanje danas je izgrađena na jezičkim modelima velikog obima (LLM) koji koriste samo dekoder sa maskiranjem uzročne pažnje, gde svaki token može da obrađuje samo prethodne tokene. Za pretragu, ovo predstavlja suštinsko ograničenje: razumevanje odlomka često zahteva dvosmerni kontekst. Ovo rešavamo kroz nastavak prettreniranja zasnovan na difuziji, koji pretvara uzročni LLM u dvosmerni enkoder. Puna dvosmerna pažnja omogućava izračunavanje srednje vrednosti nad svim reprezentacijama tokena i podržava kasno deljenje na segmente (chunking) za kontekstualna ugrađivanja, gde je ugrađivanje svakog segmenta informisano punim dokumentom u kojem se pojavljuje.

Na veb-skali, skladištenje ugrađivanja u FP32 formatu je izuzetno skupo. Umesto primene kvantizacije kao naknadnog koraka kompresije, naši modeli koriste obuku svesnu kvantizacije za nativnu proizvodnju INT8 ugrađivanja, čime se skladištenje smanjuje 4 puta bez kompromisa u performansama. Binarna kvantizacija smanjuje skladištenje 32 puta uz minimalan gubitak kvaliteta, posebno na skali od 4B.

Mnogi savremeni modeli za ugrađivanje zahtevaju prefikse sa instrukcijama koji se dodaju na početak svakog unosa. Iako ovo može doneti mala poboljšanja na benčmarkima, u praksi to stvara poteškoće: neusklađene instrukcije između vremena indeksiranja i vremena upita neprimetno narušavaju pretragu, a izbor odgovarajućeg upita za svaki slučaj upotrebe postaje još jedna stvar o kojoj treba voditi računa. Naši modeli ne zahtevaju nikakve instrukcije, što integraciju čini jednostavnom.

Obuka

pplx-embed-v1 i pplx-embed-context-v1 su obučeni kroz više-fazni cevovod koji progresivno oblikuje reprezentacije teksta za pretragu.

Uvećaj

Nastavak difuzionog prettreniranja

Polazimo od pretetreniranih Qwen3 baznih modela (0.6B i 4B) i pretvaramo ih iz uzročnih dekodera u dvosmerne enkodere onemogućavanjem maske uzročne pažnje i obukom sa ciljem difuzionog uklanjanja šuma. Za razliku od autoregresivnih modela koji predviđaju tokene s leva na desno, difuziona obuka primorava model da rekonstruiše nasumično maskirane tokene koristeći pun dvosmerni kontekst oko svake maskirane pozicije. To znači da u trenutku kada počne kontrastivno fino podešavanje, reprezentacije već kodiraju dvosmernu semantiku, pružajući čvršću osnovu za pretragu nego što bi to bio uzročni polazni točku. Prettreniramo na približno 250 milijardi tokena višejezičnog teksta koji obuhvata 30 jezika. U ablacijama, difuziono pretetrenirane osnove postižu znatno manji gubitak pri kontrastivnoj obuci u odnosu na njihove uzročne ekvivalente, što se prevodi u otprilike 1 procentni poen poboljšanja na zadacima pretrage.

Kontrastivna obuka

Nakon prettreniranja, sprovodimo tri faze kontrastivnog učenja. Obuka u parovima uspostavlja osnovno semantičko usklađivanje između upita i dokumenata korišćenjem InfoNCE gubitka sa negativnim primerima unutar serije (in-batch). Sa velikim veličinama serija, neki negativni primeri u seriji su zapravo skoro duplikati pozitivnog, pa primenjujemo masku zasnovanu na sličnosti kako bismo sprečili da ovi lažni negativni primeri naruše signal obuke. Obuka se odvija u fazama – samo na engleskom, zatim višejezično, pa potpuno višejezično – gradeći sposobnost postepeno, umesto odjednom. Kontekstualna obuka zatim uči model semantici na nivou segmenata u odnosu na kontekst na nivou dokumenta, koristeći dvostruki gubitak koji kombinuje kontrast unutar sekvence i unutar serije na nivoima i segmenta i dokumenta – ova faza proizvodi pplx-embed-context-v1. Konačno, trostruka obuka (triplet training) sa izdvojenim teškim negativnim primerima pročišćava granice između sličnih, ali nepovezanih dokumenata. Konačni pplx-embed-v1 se dobija spajanjem kontekstualnih i trostrukih kontrolnih tačaka pomoću sferne linearne interpolacije (SLERP).

Nativna kvantizacija

Tokom svih kontrastivnih faza, ugrađivanja se kvantizuju u INT8 tokom obuke i inferencije. Primenjujemo operaciju izračunavanja srednje vrednosti zasnovanu na tangens hiperboličnom (tanh) praćenu zaokruživanjem, i koristimo procenu gradijenta sa direktnim prolazom (straight-through) za povratno prostiranje kroz korak kvantizacije koji nije diferencijabilan. Ovo obezbeđuje da model od početka uči reprezentacije optimizovane za smanjenu preciznost, umesto da trpi degradaciju usled naknadne kompresije. Za binarnu kvantizaciju, modeli sa 4B su primetno robustniji od onih sa 0.6B: njihova veća dimenzija ugrađivanja (2560 naspram 1024) čuva više informacija nakon binarizacije, ograničavajući pad performansi na ispod 1,6 procentnih poena u poređenju sa 2–4 poena na manjoj skali.

Javni benčmarci

Uvećaj

Na benčmarku pretrage MTEB (višestruki jezici, v2), pplx-embed-v1-4B (INT8) postiže prosečan nDCG@10 od 69,66%, čime se izjednačava sa Qwen3-Embedding-4B (69,60%) i nadmašuje gemini-embedding-001 (67,71%), uz znatno manje zahteve za skladištenje po ugrađivanju. Naš model od 0.6B nadmašuje svog Qwen3 pandana na istoj skali parametara.

Uvećaj

Performanse kontekstualne pretrage na ConTEB benčmarku. Levo: kontekstualizovani modeli. Desno: nekontekstualizovani modeli. pplx-embed-context-v1-4B (INT8) postiže najviši rezultat od 81,96, a prate ga voyage-context-3 (79,45) i pplx-embed-context-v1-0.6B (INT8) sa 76,53.

Za kontekstualnu pretragu, pplx-embed-context-v1-4B postavlja novi standard na ConTEB benčmarku sa prosečnim nDCG@10 od 81,96%, nadmašujući voyage-context-3 (79,45%) i Anthropic Contextual (72,4%). Obučavajući reprezentacije na nivou segmenata koje uključuju semantiku na nivou dokumenta, naši modeli pronalaze pravi odlomak čak i kada njegovo značenje zavisi od okolnog konteksta.

Takođe procenjujemo naše modele u end-to-end RAG-u koristeći BERGEN benchmark, gde se dohvaćeni odlomci prosleđuju jezičkom modelu radi generisanja odgovora. pplx-embed-v1-4B nadmašuje Qwen3-Embedding-4B na četiri od pet evaluiranih zadataka pitanja i odgovora. Značajno je da pplx-embed-v1-0.6B nadmašuje veći Qwen3-Embedding-4B na tri od pet zadataka, pokazujući da naš manji model može da izjednači ili nadmaši konkurenta na znatno većoj parametarskoj skali u praktičnim RAG okruženjima. Za više detalja o ovoj evaluaciji, upućujemo na tehnički izveštaj.

Pretraga u stvarnom svetu na velikoj skali

Javni benčmarci su korisni, ali ne obuhvataju u potpunosti izazove pretrage na veb-skali: upite sa dugim repom (long-tail), šumovite dokumente i distribucione pomake koji karakterišu produkcijska okruženja. Kako bismo izmerili ono što je važno u praksi, izgradili smo dva interna benčmarka sa do 115 hiljada upita iz stvarnog sveta evaluiranih na preko 30 miliona dokumenata sakupljenih sa više od 1 milijarde veb-stranica. PPLXQuery2Query procenjuje da li model za ugrađivanje može da identifikuje semantički ekvivalentne upite iz stvarnog pretraživačkog saobraćaja; PPLXQuery2Doc meri pretragu dokumenata iz korpusa od 30 miliona stranica.

Na PPLXQuery2Query (korpus od 2,4M), pplx-embed-v1-4B postiže Recall@10 od 73,5%, nadmašujući Qwen3-Embedding-4B (67,9%) za 5,6 procentnih poena. Naš model od 0.6B postiže Recall@10 od 71,1%, značajno nadmašujući BGE-M3 (61,8%) i Qwen3-Embedding-0.6B (55,1%).

Uvećaj

Na višejezičnom zadatku PPLXQuery2Doc (korpus od 30M), pplx-embed-v1-4B postiže Recall@1000 od 91,7%, u poređenju sa 88,6% za Qwen3-Embedding-4B. Visoka stopa preuzimanja pri velikim dubinama pretrage je od kritičnog značaja za modele za ugrađivanje koji služe kao pretraživači prve faze u višefaznim cevovodima rangiranja, gde maksimizovanje broja relevantnih kandidata prosleđenih naknadnim re-rankerima direktno utiče na kvalitet konačnog rezultata.

Početak korišćenja

Svi modeli su dostupni na platformi Hugging Face (pod MIT licencom) i preko Perplexity API-ja. Podržavamo inferenciju preko Transformers, SentenceTransformers, Text Embeddings Inference i ONNX. Za sve detalje o svakoj opciji, pogledajte Hugging Face kolekciju modela.

Za sveobuhvatne tehničke detalje i kompletne rezultate evaluacije, pogledajte naš tehnički izveštaj.

Citiranje

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}