pplx-embed: Modele de încorporare de ultimă generație pentru regăsire la scară web

Astăzi lansăm pplx-embed-v1 și pplx-embed-context-v1, două modele de încorporare text de ultimă generație, construite pentru regăsire la scară largă pe web în lumea reală. pplx-embed-v1 este optimizat pentru regăsirea standard de text dens, în timp ce pplx-embed-context-v1 încorporează pasaje în raport cu contextul înconjurător de la nivel de document.

Atât pplx-embed-v1, cât și pplx-embed-context-v1 sunt disponibile în variante de 0,6B și 4B parametri. Modelele cu 0,6B vizează generarea de încorporări ușoară și cu latență redusă, în timp ce modelele cu 4B maximizează calitatea regăsirii. În evaluările noastre, familia pplx-embed conduce într-o serie de benchmark-uri publice, inclusiv MTEB(Multilingual, v2), BERGEN, ToolRet și ConTEB. În plus, pplx-embed-v1 oferă rezultate de cel mai înalt nivel în benchmark-urile noastre interne la scară web: PPLXQuery2Query, PPLXQuery2Doc.

Modelele produc încorporări INT8 și binare, reducând cerințele de stocare de 4x, respectiv de 32x în comparație cu FP32. Această compactitate face ca stocarea și regăsirea încorporărilor la scară web să fie semnificativ mai practice.

dimensiunile modelului pplx-embed, lungimea contextului, cuantizarea și configurația de pooling.

Consultați raportul tehnic, modelele Hugging Face și documentația API.

Motivație

Încorporările de text dens mapează interogările și documentele într-un spațiu semantic partajat, unde regăsirea se reduce la o căutare a celui mai apropiat vecin aproximativ. La scara Perplexity, încorporările reprezintă prima etapă a conductei noastre de regăsire, determinând ce documente din miliarde de pagini web sunt luate în considerare de către ierarhizatoarele și modelele lingvistice din aval.

Majoritatea modelelor de încorporare de top de astăzi sunt construite pe LLM-uri bazate exclusiv pe decodor, cu mascarea atenției cauzale, unde fiecare token poate acorda atenție doar tokenilor anteriori. Pentru regăsire, aceasta este o limitare fundamentală: înțelegerea unui pasaj necesită adesea un context bidirecțional. Abordăm acest lucru prin preantrenare continuă bazată pe difuzie, care convertește un LLM cauzal într-un codificator bidirecțional. Atenția bidirecțională completă permite realizarea de mean pooling pe toate reprezentările de tokeni și acceptă chunking târziu pentru încorporări contextuale, unde încorporarea fiecărui chunk este informată de documentul complet în care apare.

La scară web, stocarea încorporărilor în FP32 este extrem de costisitoare. În loc să aplicăm cuantizarea ca etapă de compresie post-hoc, modelele noastre utilizează antrenament conștient de cuantizare pentru a produce încorporări INT8 în mod nativ, reducând stocarea de 4 ori fără compromisuri de performanță. Cuantizarea binară reduce stocarea de 32 de ori cu o pierdere minimă de calitate, în special la scara de 4B.

Multe modele moderne de încorporare necesită prefixe de instrucțiuni adăugate la fiecare intrare. Deși acest lucru poate aduce mici îmbunătățiri pe benchmark-uri, în practică adaugă fricțiune: instrucțiunile nepotrivite între momentul indexării și cel al interogării degradează silențios regăsirea, iar selectarea promptului potrivit pentru fiecare caz de utilizare devine încă un lucru care trebuie făcut corect. Modelele noastre nu necesită nicio instrucțiune, făcând integrarea simplă.

Antrenament

pplx-embed-v1 și pplx-embed-context-v1 sunt antrenate printr-o conductă cu mai multe etape care modelează progresiv reprezentările textului pentru regăsire.

Extinde

Preantrenare continuă prin difuzie

Pornim de la modelele de bază Qwen3 preantrenate (0,6B și 4B) și le convertim din decodoare cauzale în codificatoare bidirecționale prin dezactivarea măștii de atenție cauzale și antrenarea cu un obiectiv de denoise prin difuzie. Spre deosebire de modelele autoregresive care prevăd tokeni de la stânga la dreapta, antrenamentul prin difuzie obligă modelul să reconstruiască tokenii mascați aleatoriu folosind contextul bidirecțional complet din jurul fiecărei poziții mascate. Aceasta înseamnă că, până în momentul în care începe reglarea fină contrastivă, reprezentările codifică deja semantica bidirecțională, oferind o fundație mai puternică pentru regăsire decât un punct de plecare cauzal. Preantrenăm pe aproximativ 250 de miliarde de tokeni de text multilingv care acoperă 30 de limbi. În experimentele de ablație, backbone-urile preantrenate prin difuzie obțin o pierdere de antrenament contrastiv substanțial mai mică decât omologii lor cauzali, traducându-se într-o îmbunătățire de aproximativ 1 punct procentual la sarcinile de regăsire.

Antrenament contrastiv

În urma preantrenamentului, efectuăm trei etape de învățare contrastivă. Antrenamentul pe perechi stabilește alinierea semantică fundamentală între interogări și documente utilizând o pierdere InfoNCE cu negative în cadrul lotului. Cu dimensiuni mari ale loturilor, unele negative din lot sunt de fapt aproape duplicate ale celui pozitiv, așa că aplicăm o mască bazată pe similiaritate pentru a împiedica aceste negative false să corupă semnalul de antrenament. Antrenamentul se desfășoară în faze – doar în engleză, apoi translingvistic, apoi complet multilingv – construind capacitatea treptat, mai degrabă decât dintr-o dată. Antrenamentul contextual învață apoi modelul semantica la nivel de chunk în raport cu contextul la nivel de document, utilizând o pierdere duală care combină contrastul în secvență și în lot atât la nivel de chunk, cât și de document – această etapă produce pplx-embed-context-v1. În cele din urmă, antrenamentul pe triplete cu negative grele extrase rafinează granițele dintre documente similare, dar nerelevante. Modelul final pplx-embed-v1 este obținut prin fuzionarea punctelor de control contextuale și de triplete prin interpolare liniară sferică (SLERP).

Cuantizare nativă

Pe parcursul tuturor etapelor contrastive, încorporările sunt cuantizate la INT8 atât în timpul antrenamentului, cât și al inferenței. Aplicăm o operație de mean pooling bazată pe tanh urmată de rotunjire și utilizăm estimarea gradientului prin trecere directă (straight-through) pentru a propaga invers prin etapa de cuantizare ne-diferențiabilă. Acest lucru asigură că modelul învață reprezentări optimizate pentru precizie redusă de la început, în loc să sufere degradări de la compresia post-hoc. Pentru cuantizarea binară, modelele de 4B sunt în mod notable mai robuste decât cele de 0,6B: dimensiunea lor mai mare de încorporare (2560 față de 1024) păstrează mai multe informații după binarizare, limitând scăderea de performanță la sub 1,6 puncte procentuale, comparativ cu 2–4 puncte la scara mai mică.

Benchmark-uri publice

Extinde

Pe benchmark-ul de regăsire MTEB(Multilingual, v2), pplx-embed-v1-4B (INT8) obține un nDCG@10 mediu de 69,66%, egalând Qwen3-Embedding-4B (69,60%) și depășind gemini-embedding-001 (67,71%), necesitând în același timp substanțial mai puțină stocare per încorporare. Modelul nostru de 0,6B depășește omologul său Qwen3 la aceeași scară de parametri.

Extinde

Performanța de regăsire contextuală pe benchmark-ul ConTEB. Stânga: modele contextualizate. Dreapta: modele necontextualizate. pplx-embed-context-v1-4B (INT8) obține cel mai mare scor, de 81,96, urmat de voyage-context-3 (79,45) și pplx-embed-context-v1-0.6B (INT8) cu 76,53.

Pentru regăsirea contextuală, pplx-embed-context-v1-4B stabilește un nou standard de referință pe benchmark-ul ConTEB cu un nDCG@10 mediu de 81,96%, depășind voyage-context-3 (79,45%) și Anthropic Contextual (72,4%). Prin antrenarea unor reprezentări la nivel de chunk care încorporează semantica la nivel de document, modelele noastre regăsesc pasajul corect chiar și atunci când sensul acestuia depinde de contextul înconjurător.

Evaluăm de asemenea modelele noastre în RAG end-to-end folosind benchmark-ul BERGEN, unde pasajele regăsite sunt trimise către un model lingvistic pentru a genera răspunsuri. pplx-embed-v1-4B depășește Qwen3-Embedding-4B la patru din cele cinci sarcini de răspuns la întrebări evaluate. În mod notable, pplx-embed-v1-0.6B depășește modelul mai mare Qwen3-Embedding-4B la trei din cele cinci sarcini, demonstrând că modelul nostru mai mic poate egala sau depăși un concurent cu o scară de parametri semnificativ mai mare în setări RAG practice. Pentru mai multe detalii despre această evaluare, consultăm raportul tehnic.

Regăsire în lumea reală la scară largă

Benchmark-urile publice sunt utile, dar nu surprind pe deplin provocările regăsirii la scară web: interogări cu coadă lungă (long-tail), documente cu zgomot și deplasări de distribuție care caracterizează mediile de producție. Pentru a măsura ceea ce contează în practică, am construit două benchmark-uri interne cu până la 115K interogări din lumea reală evaluate pe mai mult de 30 de milioane de documente reunite din peste 1 miliard de pagini web. PPLXQuery2Query evaluează dacă un model de încorporare poate identifica interogări semantic echivalente din traficul de căutare real; PPLXQuery2Doc măsoară regăsirea de documente dintr-un corpus de 30M de pagini.

Pe PPLXQuery2Query (corpus de 2,4M), pplx-embed-v1-4B obține un Recall@10 de 73,5%, depășind Qwen3-Embedding-4B (67,9%) cu 5,6 puncte procentuale. Modelul nostru de 0,6B obține un Recall@10 de 71,1%, depășind substanțial BGE-M3 (61,8%) și Qwen3-Embedding-0.6B (55,1%).

Extinde

Pe sarcina multilingvă PPLXQuery2Doc (corpus de 30M), pplx-embed-v1-4B obține un Recall@1000 de 91,7%, comparativ cu 88,6% pentru Qwen3-Embedding-4B. Un recall ridicat la adâncimi mari de regăsire este esențial pentru modelele de încorporare care servesc drept recuperatoare din prima etapă în conducte de ierarhizare cu mai multe etape, unde maximizarea numărului de candidați relevanți transmisi către ierarhizatoarele din aval influențează direct calitatea rezultatului final.

Noțiuni introductive

Toate modelele sunt disponibile pe Hugging Face (sub Licența MIT) și prin API-ul Perplexity. Acceptăm inferența prin Transformers, SentenceTransformers, Text Embeddings Inference și ONNX. Pentru detalii complete despre fiecare opțiune, consultați colecția de modele Hugging Face.

Pentru detalii tehnice cuprinzătoare și rezultate complete ale evaluării, consultați raportul nostru tehnic.

Citare

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}