pplx-embed: State-of-the-art embeddingmodellen voor retrieval

Vandaag brengen we pplx-embed-v1 en pplx-embed-context-v1 uit, twee state-of-the-art tekst-embeddingmodellen die zijn gebouwd voor real-world retrieval op web-schaal. pplx-embed-v1 is geoptimaliseerd voor standaard dense tekst-retrieval, terwijl pplx-embed-context-v1 passages inbedt met inachtneming van de omliggende context op documentniveau.

Zowel pplx-embed-v1 als pplx-embed-context-v1 zijn beschikbaar in parameterschalen van 0,6B en 4B. De 0,6B-modellen zijn gericht op lichtgewicht embeddinggeneratie met lage latentie, terwijl de 4B-modellen de retrievalkwaliteit maximaliseren. In onze evaluaties leidt de pplx-embed-familie een reeks openbare benchmarks, waaronder MTEB(Multilingual, v2), BERGEN, ToolRet en ConTEB. Bovendien levert pplx-embed-v1 toonaangevende resultaten op onze interne benchmarks op web-schaal: PPLXQuery2Query, PPLXQuery2Doc.

De modellen produceren INT8- en binaire embeddings, waardoor de opslagbehoeften met respectievelijk 4x en 32x worden verminderd in vergelijking met FP32. Deze compactheid maakt opslag en retrieval van embeddings op web-schaal aanzienlijk praktischer.

pplx-embed modelafmetingen, contextlengte, kwantisering en poolingconfiguratie.

Bekijk ons technisch rapport, Hugging Face-modellen en API-documentatie.

Motivatie

Dense tekst-embeddings brengen zoekopdrachten en documenten in kaart in een gedeelde semantische ruimte waar retrieval neerkomt op zoeken naar benaderde dichtstbijzijnde buren. Op de schaal van Perplexity zijn embeddings de eerste fase van onze retrieval-pijplijn, waarbij wordt bepaald welke documenten van miljarden webpagina's worden overwogen door downstream rankers en taalmodellen.

De meeste toonaangevende embeddingmodellen van tegenwoordig zijn gebouwd op decoder-only LLM's met causale aandachtsmaskering, waarbij elk token alleen aandacht kan schenken aan voorgaande tokens. Voor retrieval is dit een fundamentele beperking: het begrijpen van een passage vereist vaak bidirectionele context. We pakken dit aan via op diffusie gebaseerde voortgezette pre-training, die een causaal LLM omzet in een bidirectionele encoder. Volledige bidirectionele aandacht maakt mean pooling over alle tokenrepresentaties mogelijk en ondersteunt late chunking voor contextuele embeddings, waarbij de embedding van elke chunk wordt geïnformeerd door het volledige document waarin deze verschijnt.

Op web-schaal is het opslaan van embeddings in FP32 onbetaalbaar. In plaats van kwantisering toe te passen als een post-hoc compressiestap, gebruiken onze modellen kwantiseringsbewuste training om native INT8-embeddings te produceren, waardoor de opslag met 4x wordt verminderd zonder prestatieverlies. Binaire kwantisering vermindert de opslag met 32x met minimaal kwaliteitsverlies, met name op de 4B-schaal.

Veel moderne embeddingmodellen vereisen instructievoorvoegsels die aan elke invoer worden voorafgegaan. Hoewel dit kleine verbeteringen kan opleveren op benchmarks, voegt het in de praktijk wrijving toe: niet-overeenkomende instructies tussen indexering en zoekopdracht verminderen de retrieval ongemerkt, en het selecteren van de juiste prompt voor elk gebruiksscenario wordt nog iets waar men op moet letten. Onze modellen vereisen geen instructies, waardoor integratie eenvoudig is.

Training

pplx-embed-v1 en pplx-embed-context-v1 worden getraind via een meerfasige pijplijn die tekstrepresentaties progressief vormgeeft voor retrieval.

Vergroten

Voortgezette diffusie-pre-training

We beginnen bij getrainde Qwen3-basismodellen (0,6B en 4B) en zetten deze om van causale decoders in bidirectionele encoders door het causale aandachtsmasker uit te schakelen en te trainen met een diffusie-denoising-doelstelling. In tegenstelling tot autoregressieve modellen die tokens van links naar rechts voorspellen, dwingt diffusietraining het model om willekeurig gemaskeerde tokens te reconstrueren met behulp van de volledige bidirectionele context rond elke gemaskeerde positie. Dit betekent dat tegen de tijd dat contrastieve fine-tuning begint, de representaties al bidirectionele semantiek coderen, wat een sterkere basis voor retrieval biedt dan een causaal startpunt. We pre-trainen op ongeveer 250 miljard tokens aan meertalige tekst die 30 talen beslaat. In ablaties bereiken diffusie-gepretrainde backbones aanzienlijk lagere contrastieve trainingsverliezen dan hun causale tegenhangers, wat zich vertaalt in een verbetering van ongeveer 1 procentpunt op retrievaltaken.

Contrastieve training

Na de pre-training voeren we drie fasen van contrastief leren uit. Paartraining legt fundamentele semantische afstemming vast tussen zoekopdrachten en documenten met behulp van een InfoNCE-verlies met in-batch negatieven. Bij grote batchgroottes zijn sommige in-batch negatieven in feite bijna-duplicaten van het positieve resultaat, dus passen we een op gelijkenis gebaseerd masker toe om te voorkomen dat deze valse negatieven het trainingssignaal corrumperen. De training verloopt in fasen—alleen Engels, daarna cross-lingual, en vervolgens volledig meertalig—waarbij capaciteit geleidelijk wordt opgebouwd in plaats van alles tegelijk. Contextuele training leert het model vervolgens semantiek op chunk-niveau met betrekking tot context op documentniveau, met behulp van een duaal verlies dat in-sequence en in-batch contrast combineert op zowel chunk- als documentniveau—deze fase produceert pplx-embed-context-v1. Ten slotte verfijnt triplet-training met gedolven harde negatieven de grenzen tussen vergelijkbare maar niet-relevante documenten. De uiteindelijke pplx-embed-v1 wordt verkregen door de contextuele en triplet-checkpoints samen te voegen via sferische lineaire interpolatie (SLERP).

Native kwantisering

Gedurende alle contrastieve fasen worden embeddings gekwantiseerd naar INT8 tijdens zowel training als inferentie. We passen een op tanh gebaseerde mean pooling-operatie toe, gevolgd door afronding, en gebruiken straight-through gradiëntschatting om backpropagation uit te voeren door de niet-differentieerbare kwantiseringsstap. Dit zorgt ervoor dat het model vanaf het begin representaties leert die zijn geoptimaliseerd voor gereduceerde precisie, in plaats van achteruitgang te ondergaan door post-hoc compressie. Voor binaire kwantisering zijn de 4B-modellen opvallend robuuster dan de 0,6B-modellen: hun grotere embedding-dimensie (2560 versus 1024) behoudt meer informatie na binarisering, waardoor de prestatiedaling beperkt blijft tot onder de 1,6 procentpunt in vergelijking met 2–4 punten op de kleinere schaal.

Openbare benchmarks

Vergroten

Op de MTEB(Multilingual, v2) retrieval-benchmark bereikt pplx-embed-v1-4B(INT8) een gemiddelde nDCG@10 van 69,66%, wat overeenkomt met Qwen3-Embedding-4B (69,60%) en de gemini-embedding-001 (67,71%) overtreft, terwijl aanzienlijk minder opslag per embedding nodig is. Ons 0,6B-model presteert beter dan zijn Qwen3-tegenhanger op dezelfde parameterschaal.

Vergroten

Contextuele retrieval-prestaties op ConTEB-benchmark. Links: gecontextualiseerde modellen. Rechts: niet-gecontextualiseerde modellen. pplx-embed-context-v1-4B (INT8) behaalt de hoogste score van 81,96, gevolgd door voyage-context-3 (79,45) en pplx-embed-context-v1-0.6B (INT8) met 76,53.

Voor contextuele retrieval zet pplx-embed-context-v1-4B een nieuwe standaard op de ConTEB-benchmark met een gemiddelde nDCG@10 van 81,96%, waarmee voyage-context-3 (79,45%) en Anthropic Contextual (72,4%) worden overtroffen. Door representaties op chunk-niveau te trainen die semantiek op documentniveau integreren, halen onze modellen de juiste passage op, zelfs als de betekenis ervan afhangt van de omliggende context.

We evalueren onze modellen ook in end-to-end RAG met behulp van de BERGEN-benchmark, waarbij opgehaalde passages aan een taalmodel worden gevoerd om antwoorden te genereren. pplx-embed-v1-4B presteert beter dan Qwen3-Embedding-4B op vier van de vijf geëvalueerde vraag-antwoordtaken. Opvallend is dat pplx-embed-v1-0.6B beter presteert dan de grotere Qwen3-Embedding-4B op drie van de vijf taken, wat aantoont dat ons kleinere model op een aanzienlijk grotere parameterschaal kan wedijveren met of een concurrent kan overtreffen in praktische RAG-instellingen. Voor meer details over deze evaluatie verwijzen we naar het technisch rapport.

Real-world retrieval op schaal

Openbare benchmarks zijn nuttig, maar ze vangen niet volledig de uitdagingen van retrieval op web-schaal: long-tail zoekopdrachten, luidruchtige documenten en distributieverschuivingen die productieomgevingen kenmerken. Om te meten wat in de praktijk telt, hebben we twee interne benchmarks gebouwd met maximaal 115K real-world zoekopdrachten die worden geëvalueerd tegen meer dan 30 miljoen documenten die zijn verzameld uit meer dan 1 miljard webpagina's. PPLXQuery2Query evalueert of een embeddingmodel semantisch equivalente zoekopdrachten kan identificeren uit echt zoekverkeer; PPLXQuery2Doc meet documentretrieval uit een corpus van 30 miljoen pagina's.

Op PPLXQuery2Query (corpus van 2,4M) behaalt pplx-embed-v1-4B 73,5% Recall@10, waarmee Qwen3-Embedding-4B (67,9%) met 5,6 procentpunt wordt overtroffen. Ons 0,6B-model behaalt 71,1% Recall@10, wat aanzienlijk beter is dan BGE-M3 (61,8%) en Qwen3-Embedding-0.6B (55,1%).

Vergroten

Op de meertalige PPLXQuery2Doc-taak (corpus van 30M) behaalt pplx-embed-v1-4B 91,7% Recall@1000, vergeleken met 88,6% voor Qwen3-Embedding-4B. Hoge recall bij grote retrieval-dieptes is cruciaal voor embeddingmodellen die fungeren als eerste-fase retrievers in meerfasige rangschikkingspijplijnen, waarbij het maximaliseren van het aantal relevante kandidaten dat wordt doorgegeven aan downstream herrangschikkers direct van invloed is op de uiteindelijke resultaatkwaliteit.

Aan de slag

Alle modellen zijn beschikbaar op Hugging Face (onder MIT-licentie) en via de Perplexity API. We ondersteunen inferentie via Transformers, SentenceTransformers, Text Embeddings Inference en ONNX. Zie de Hugging Face-modelcollectie voor volledige details over elke optie.

Raadpleeg ons technisch rapport voor uitgebreide technische details en volledige evaluatieresultaten.

Citatie

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}