pplx-embed: Vrhunski modeli za ugrađivanje za pronalaženje na web-skali

Danas izdajemo pplx-embed-v1 i pplx-embed-context-v1, dva vrhunska modela za ugrađivanje teksta stvorena za pronalaženje u stvarnom svijetu i na web-skali. pplx-embed-v1 optimiziran je za standardno pronalaženje gustog teksta, dok pplx-embed-context-v1 ugrađuje odlomke s obzirom na okolni kontekst na razini dokumenta.

I pplx-embed-v1 i pplx-embed-context-v1 dostupni su u skalama s 0,6B i 4B parametara. Modeli s 0,6B ciljaju na laganu generiranje ugrađivanja niske latencije, dok modeli s 4B maksimiziraju kvalitetu pronalaženja. U našim procjenama, obitelj pplx-embed prednjači na nizu javnih mjerila, uključujući MTEB(Multilingual, v2), BERGEN, ToolRet i ConTEB. Štoviše, pplx-embed-v1 pruža najbolje rezultate u klasi na našim internim mjerilima web-skale: PPLXQuery2Query, PPLXQuery2Doc.

Modeli proizvode INT8 i binarna ugrađivanja, čime se zahtjevi za pohranu smanjuju za 4x odnosno 32x u usporedbi s FP32. Ova zbijenost čini pohranu i pronalaženje ugrađivanja na web-skali znatno praktičnijima.

Dimenzije modela pplx-embed, duljina konteksta, kvantizacija i konfiguracija pooling-a.

Pogledajte naše tehničko izvješće, Hugging Face modele i API dokumentaciju.

Motivacija

Ugrađivanja gustog teksta preslikavaju upite i dokumente u zajednički semantički prostor gdje se pronalaženje svodi na pretragu približno najbližeg susjeda. Na Perplexityjevoj ljestvici, ugrađivanja su prva faza našeg cjevovoda pronalaženja, koja određuje koji se dokumenti iz milijardi web-stranica uzimaju u obzir od strane naknadnih rangiratelja i jezičnih modela.

Većina vodećih modela za ugrađivanje danas izgrađena je na LLM-ovima samo s dekoderom s kauzalnim maskiranjem pažnje, gdje svaki token može paziti samo na prethodne tokene. Za pronalaženje, ovo je temeljno ograničenje: razumijevanje odlomka često zahtijeva dvosmjerni kontekst. To rješavamo nastavkom predtreninga temeljenim na difuziji, koji pretvara kauzalni LLM u dvosmjerni koder. Puna dvosmjerna pažnja omogućuje sakupljanje srednje vrijednosti preko svih prikaza tokena i podržava kasno dijeljenje u komade za kontekstualna ugrađivanja, gdje je ugrađivanje svakog komada obaviješteno cijelim dokumentom u kojem se pojavljuje.

Na web-skali, pohrana ugrađivanja u FP32 skupo je pretjerana. Umjesto primjene kvantizacije kao koraka naknadne kompresije, naši modeli koriste treniranje svjesno kvantizacije za nativnu proizvodnju INT8 ugrađivanja, čime se pohrana smanjuje 4 puta bez kompromisa u performansama. Binarna kvantizacija smanjuje pohranu 32 puta uz minimalan gubitak kvalitete, posebno na skali od 4B.

Mnogi moderni modeli za ugrađivanje zahtijevaju prefikse uputa dodane na početak svakog unosa. Iako to može donijeti mala poboljšanja na mjerilima, u praksi dodaje trenje: neusklađene upute između indeksiranja i vremena upita tiho narušavaju pronalaženje, a odabir pravog upita za svaki slučaj korištenja postaje još jedna stvar koju treba pogoditi. Naši modeli ne zahtijevaju nikakve upute, čineći integraciju jednostavnom.

Treniranje

pplx-embed-v1 i pplx-embed-context-v1 trenirani su kroz višetatni cjevovodni proces koji progresivno oblikuje prikaze teksta za pronalaženje.

Povećaj

Nastavak difuzijskog predtreninga

Krećemo od preoblikovanih Qwen3 osnovnih modela (0,6B i 4B) i pretvaramo ih iz kauzalnih dekodera u dvosmjerne kodere onemogućavanjem kauzalne maske pažnje i treniranjem s difuzijskim ciljem uklanjanja šuma. Za razliku od autoregresivnih modela koji predviđaju tokene slijeva nadesno, difuzijsko treniranje prisiljava model da rekonstruira nasumično maskirane tokene koristeći puni dvosmjerni kontekst oko svake maskirane pozicije. To znači da do trenutka kada počne kontrastno fino podešavanje, prikazi već kodiraju dvosmjernu semantiku, pružajući čvršću osnovu za pronalaženje od kauzalne polazne točke. Predtreniramo na približno 250 milijardi tokena višejezičnog teksta koji obuhvaća 30 jezika. U ablacijama, difuzijski predtrenirani okosnici postižu znatno manji gubitak kontrastnog treniranja od njihovih kauzalnih parnjaka, što se prevodi u otprilike 1 postotni bod poboljšanja na zadacima pronalaženja.

Kontrastno treniranje

Nakon predtreninga, provodimo tri faze kontrastnog učenja. Uparivanje uspostavlja temeljno semantičko usklađivanje između upita i dokumenata pomoću InfoNCE gubitka s negativima unutar serije. S velikim veličinama serija, neki negativi unutar serije zapravo su bliski duplikati pozitiva, pa primjenjujemo masku temeljenu na sličnosti kako bismo spriječili da ti lažni negativi pokvare signal treniranja. Treniranje se odvija u fazama – samo na engleskom, zatim višejezično, pa potpuno višejezično – gradeći sposobnost postojano umjesto odjednom. Kontekstualno treniranje zatim uči model semantici razine komada s obzirom na kontekst razine dokumenta, koristeći dvostruki gubitak koji kombinira kontrast unutar niza i unutar serije na razini i komada i dokumenta – ova faza proizvodi pplx-embed-context-v1. Konačno, trostruko treniranje s iskopanim tvrdim negativima pročišćava granice između sličnih, ali nerelavantnih dokumenata. Konačni pplx-embed-v1 dobiva se spajanjem kontekstualnih i trostrukih kontrolnih točaka putem sferne linearne interpolacije (SLERP).

Nativna kvantizacija

Tijekom svih kontrastnih faza, ugrađivanja se kvantiziraju u INT8 tijekom i treniranja i zaključivanja. Primjenjujemo operaciju srednje vrijednosti temeljenu na tanh praćenu zaokruživanjem, te koristimo procjenu gradijenta ravnog prolaza za povratno širenje kroz nediferencijabilni korak kvantizacije. To osigurava da model uči prikaze optimizirane za smanjenu preciznost od samog početka, umjesto da trpi degradaciju od naknadne kompresije. Za binarnu kvantizaciju, modeli od 4B znatno su otporniji od onih od 0,6B: njihova veća dimenzija ugrađivanja (2560 naspram 1024) čuva više informacija nakon binarizacije, ograničavajući pad performansi na ispod 1,6 postotnih bodova u usporedbi s 2–4 boda na manjoj skali.

Javna mjerila

Povećaj

Na mjerilu pronalaženja MTEB(Multilingual, v2), pplx-embed-v1-4B (INT8) postiže prosječni nDCG@10 od 69,66%, izjednačujući se s Qwen3-Embedding-4B (69,60%) i premašujući gemini-embedding-001 (67,71%), dok zahtijeva znatno manju pohranu po ugrađivanju. Naš model od 0,6B nadmašuje svog Qwen3 parnjaka na istoj skali parametara.

Povećaj

Performanse kontekstualnog pronalaženja na mjerilu ConTEB. Lijevo: kontekstualizirani modeli. Desno: nekontekstualizirani modeli. pplx-embed-context-v1-4B (INT8) postiže najviši rezultat od 81,96, a slijede ga voyage-context-3 (79,45) i pplx-embed-context-v1-0.6B (INT8) s 76,53.

Za kontekstualno pronalaženje, pplx-embed-context-v1-4B postavlja novi vrhunski standard na mjerilu ConTEB s prosječnim nDCG@10 od 81,96%, nadmašujući voyage-context-3 (79,45%) i Anthropic Contextual (72,4%). Treniranjem prikaza razine komada koji uključuju semantiku razine dokumenta, naši modeli pronalaze pravi odlomak čak i kada njegovo značenje ovisi o okolnom kontekstu.

Također ocjenjujemo naše modele u end-to-end RAG-u koristeći BERGEN benchmark, gdje se dohvaćeni odlomci prosljeđuju jezičnom modelu za generiranje odgovora. pplx-embed-v1-4B nadmašuje Qwen3-Embedding-4B na četiri od pet evaluiranih zadataka pitanja i odgovora. Značajno je da pplx-embed-v1-0.6B nadmašuje veći Qwen3-Embedding-4B na tri od pet zadataka, pokazujući da naš manji model može dosegnuti ili nadmašiti konkurenta na znatno većoj razini broja parametara u praktičnim RAG okruženjima. Za više detalja o ovoj evaluaciji upućujemo na tehničko izvješće.

Pronalaženje u stvarnom svijetu na skali

Javna mjerila su korisna, ali u potpunosti ne obuhvaćaju izazove pronalaženja na web-skali: dugorepe upite, bučne dokumente i pomake u distribuciji koji karakteriziraju produkcijska okruženja. Kako bismo izmjerili ono što je važno u praksi, izgradili smo dva interna mjerila s do 115 tisuća upita iz stvarnog svijeta procijenjenih protiv više od 30 milijuna dokumenata spojenih s preko 1 milijarde web-stranica. PPLXQuery2Query procjenjuje može li model za ugrađivanje identificirati semantički ekvivalentne upite iz stvarnog pretraživačkog prometa; PPLXQuery2Doc mjeri pronalaženje dokumenata iz korpusa od 30 milijuna stranica.

Na PPLXQuery2Query (korpus od 2,4M), pplx-embed-v1-4B postiže 73,5% Recall@10, nadmašujući Qwen3-Embedding-4B (67,9%) za 5,6 postotnih bodova. Naš model od 0,6B postiže 71,1% Recall@10, znatno nadmašujući BGE-M3 (61,8%) i Qwen3-Embedding-0.6B (55,1%).

Povećaj

Na višejezičnom zadatku PPLXQuery2Doc (korpus 30M), pplx-embed-v1-4B postiže 91,7% Recall@1000, u usporedbi s 88,6% za Qwen3-Embedding-4B. Visok opoziv pri velikim dubinama pronalaženja ključan je za modele za ugrađivanje koji služe kao prva faza u cjevovodima rangiranja u više faza, gdje maksimiziranje broja relevantnih kandidata poslanih naknadnim ponovnim rangirateljima izravno utječe na konačnu kvalitetu rezultata.

Početak rada

Svi su modeli dostupni na Hugging Faceu (pod MIT licencom) i putem Perplexity API-ja. Podržavamo zaključivanje putem Transformerosa, SentenceTransformersa, Text Embeddings Inference i ONNX-a. Za potpune pojedinosti o svakoj opciji pogledajte Hugging Face kolekciju modela.

Za sveobuhvatne tehničke detalje i potpune rezultate procjene pogledajte naše tehničko izvješće.

Citiranje

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}