pplx-embed: Avancerede embedding-modeller til webskala-hentning

I dag udgiver vi pplx-embed-v1 og pplx-embed-context-v1, to avancerede tekst-embedding-modeller bygget til virkelighedens webskala-hentning. pplx-embed-v1 er optimeret til standard tæt tekthentning, mens pplx-embed-context-v1 embedder passager i forhold til den omgivende dokumentkontekst.

Både pplx-embed-v1 og pplx-embed-context-v1 er tilgængelige i størrelser med 0,6B og 4B parametre. 0,6B-modellerne er rettet mod letvægts, lav-latens embedding-generering, mens 4B-modellerne maksimerer hentningskvaliteten. I vores evalueringer fører pplx-embed-familien an i en række offentlige benchmarks, herunder MTEB(Multilingual, v2), BERGEN, ToolRet og ConTEB. Derudover leverer pplx-embed-v1 de bedste resultater i klassen på vores interne webskala-benchmarks: PPLXQuery2Query, PPLXQuery2Doc.

Modellerne producerer INT8- og binære embeddings, hvilket reducerer lagerkravene med henholdsvis 4x og 32x sammenlignet med FP32. Denne kompakthed gør lagring og hentning af embeddings i webskala betydeligt mere praktisk.

pplx-embed modelstørrelser, kontekstlængde, kvantisering og pooling-konfiguration.

Se vores tekniske rapport, Hugging Face-modeller og API-dokumentation.

Motivation

Tætte tekst-embeddings mapper forespørgsler og dokumenter ind i et delt semantisk rum, hvor hentning reduceres til tilnærmet søgning efter nærmeste nabo. I Perplexitys målestok er embeddings det første trin i vores hentningspipeline, som afgør, hvilke dokumenter fra milliarder af websider der tages i betragtning af downstream-rangere og sprogmodeller.

De fleste førende embedding-modeller i dag er bygget på decoder-only LLM'er med kausal opmærksomhedsmaskering, hvor hvert token kun kan forholde sig til foregående tokens. For hentning er dette en fundamental begrænsning: at forstå en passage kræver ofte tovejskontekst. Vi adresserer dette gennem diffusionsbaseret fortsat prætræning, som omdanner en kausal LLM til en tovejs-encoder. Fuld tovejsopmærksomhed muliggør gennemsnits-pooling på tværs af alle token-repræsentationer og understøtter sen chunking for kontekstuelle embeddings, hvor hvert chuncks embedding er informeret af det fulde dokument, det optræder i.

På webskala er det uoverkommeligt dyrt at lagre embeddings i FP32. I stedet for at anvende kvantisering som et post-hoc komprimeringstrin, bruger vores modeller kvantiseringsbevidst træning til at producere INT8-embeddings oprindeligt, hvilket reducerer lagerpladsen med 4x uden kompromis med ydeevnen. Binær kvantisering reducerer lagerpladsen med 32x med minimalt kvalitetstab, især i 4B-skalaen.

Mange moderne embedding-modeller kræver instruktionspræfikser sat foran hvert input. Selv det kan give små løft på benchmarks, tilføjer det i praksis friktion: ikke-matchende instruktioner mellem indeksering og forespørgselstid forringer i det stille hentningen, og det at vælge den rigtige prompt til hvert brugstilfælde bliver endnu en ting, man skal have på plads. Vores modeller kræver ingen instruktioner, hvilket gør integrationen ligetil.

Træning

pplx-embed-v1 og pplx-embed-context-v1 trænes gennem en flertrins-pipeline, der gradvist former tekstrepræsentationer til hentning.

Udvid

Fortsat diffusionsprætræning

Vi starter fra prætrænede Qwen3-basismodeller (0.6B og 4B) og omdanner dem fra kausale dekodere til tovejs-enkodere ved at deaktivere den kausale opmærksomhedsmaske og træne med et diffusions-denoising-mål. I modsætning til autoregressive modeller, der forudsiger tokens venstre-mod-højre, tvinger diffusionstræning modellen til at rekonstruere tilfældigt maskerede tokens ved hjælp af den fulde tovejskontekst omkring hver maskerede position. Det betyder, at når først kontrastiv finjustering begynder, koder repræsentationerne allerede tovejssemantik, hvilket giver et stærkere fundament for hentning end et kausalt udgangspunkt. Vi prætræner på cirka 250 milliarder tokens flersproget tekst fordelt på 30 sprog. I ablations opnår diffusions-prætrænede backbones væsentligt lavere kontrastiv træningstab end deres kausale modstykker, hvilket oversættes til en forbedring på omtrent 1 procentpoint på hentningsopgaver.

Kontrastiv træning

Efter prætræning udfører vi tre stadier af kontrastiv læring. Par-træning etablerer fundamentale semantisk tilpasning mellem forespørgsler og dokumenter ved hjælp af et InfoNCE-tab med in-batch-negativer. Med store batch-størrelser er nogle in-batch-negativer faktisk næsten-duplikater af det positive, så vi anvender en lighedsbaseret maske for at forhindre disse falske negativer i at korrumpere træningssignalet. Træningen forløber i faser – kun engelsk, derefter tværsproget og derefter fuldt flersproget – og opbygger evner gradvist frem for alt på en gang. Kontekstuel træning lærer derefter modellen chunk-niveau-semantik i forhold til dokumentniveau-kontekst ved hjælp af et dobbelt tab, der kombinerer in-sequence- og in-batch-kontrast på både chunk- og dokumentniveau – dette stadie producerer pplx-embed-context-v1. Endelig finjusterer triplet-træning med mined hard negatives grænserne mellem ensartede, men ikke-relevante dokumenter. Den endelige pplx-embed-v1 opnås ved at fusionere de kontekstuelle og triplettede checkpoints via sfærisk lineær interpolation (SLERP).

Nativ kvantisering

Gennem alle kontrastelementer kvantiseres embeddings til INT8 under både træning og inferens. Vi anvender en tanh-baseret gennemsnits-pooling-operation efterfulgt af afrunding, og bruger straight-through gradient-estimation til at backproducere gennem det ikke-differentierbare kvantiseringstrin. Dette sikrer, at modellen lærer repræsentationer optimeret til reduceret præcision fra start, i stedet for at lide under forringelse fra post-hoc-komprimering. For binær kvantisering er 4B-modellerne mærkbart mere robuste end 0.6B: deres større embedding-dimension (2560 vs. 1024) bevarer mere information efter binarisering, hvilket begrænser ydeevnefaldet til under 1,6 procentpoint sammenlignet med 2–4 point i den mindre skala.

Offentlige benchmarks

Udvid

På MTEB(Multilingual, v2)-hentningsbenchmarken opnår pplx-embed-v1-4B (INT8) et gennemsnitligt nDCG@10 på 69,66 %, hvilket matcher Qwen3-Embedding-4B (69,60 %) og overgår gemini-embedding-001 (67,71 %), samtidig med at der kræves væsentligt mindre lagerplads pr. embedding. Vores 0.6B-model overgår sin Qwen3-modpart ved samme parameter-skala.

Udvid

Kontekstuel hentningsydeevne på ConTEB-benchmark. Venstre: kontekstualiserede modeller. Højre: ikke-kontekstualiserede modeller. pplx-embed-context-v1-4B (INT8) opnår den højeste score på 81,96, efterfulgt af voyage-context-3 (79,45) og pplx-embed-context-v1-0.6B (INT8) på 76,53.

Til kontekstuel hentning sætter pplx-embed-context-v1-4B en ny standard på ConTEB-benchmarken med et gennemsnitligt nDCG@10 på 81,96 %, hvilket overgår voyage-context-3 (79,45 %) og Anthropic Contextual (72,4 %). Ved at træne chunk-niveau-repræsentationer, der inkorporerer dokumentniveau-semantik, henter vores modeller den rigtige passage, selv når dens betydning afhænger af den omgivende kontekst.

Vi evaluerer også vores modeller i end-to-end RAG ved hjælp af BERGEN-benchmarken, hvor hentede passager fødes til en sprogmodel for at generere svar. pplx-embed-v1-4B overgår Qwen3-Embedding-4B på fire af de fem evaluerede spørgsmål-svar-opgaver. Bemærkelsesværdigt overgår pplx-embed-v1-0.6B den større Qwen3-Embedding-4B på tre af de fem opgaver, hvilket viser, at vores mindre model kan matche eller overgå en konkurrent i en væsentligt større parameterskala i praktiske RAG-miljøer. For flere detaljer om denne evaluering henviser vi til den tekniske rapport.

Hentning i den virkelige verden i skala

Offentlige benchmarks er nyttige, men de fanger ikke fuldt ud udfordringerne ved hentning i webskala: long-tail-forespørgsler, støjende dokumenter og distributionsskift, der kendetegner produktionsmiljøer. For at måle det, der betyder noget i praksis, byggede vi to interne benchmarks med op til 115K virkelige forespørgsler evalueret mod mere end 30 millioner dokumenter samlet fra over 1 milliard websider. PPLXQuery2Query evaluerer, om en embedding-model kan identificere semantisk ekvivalente forespørgsler fra reel søgetrafik; PPLXQuery2Doc måler dokumenthentning fra et korpus på 30 millioner sider.

På PPLXQuery2Query (2,4M korpus) opnår pplx-embed-v1-4B 73,5 % Recall@10, hvilket overgår Qwen3-Embedding-4B (67,9 %) med 5,6 procentpoint. Vores 0.6B-model opnår 71,1 % Recall@10, hvilket væsentligt overgår BGE-M3 (61,8 %) og Qwen3-Embedding-0.6B (55,1 %).

Udvid

På den flersprogede PPLXQuery2Doc-opgave (30M korpus) opnår pplx-embed-v1-4B 91,7 % Recall@1000 sammenlignet med 88,6 % for Qwen3-Embedding-4B. Høj recall ved store hentningsdybder er afgørende for embedding-modeller, der fungerer som første-trins hentningsværktøjer i flertrins-rangeringspipeliner, hvor maksimering af antallet af relevante kandidater sendt til downstream-omrangere direkte påvirker den endelige resultatkvalitet.

Kom i gang

Alle modeller er tilgængelige på Hugging Face (under MIT-licens) og gennem Perplexity API. Vi understøtter inferens via Transformers, SentenceTransformers, Text Embeddings Inference og ONNX. For alle detaljer om hver mulighed, se Hugging Face-modelsamlingen.

For omhyggelige tekniske detaljer og komplette evalueringsresultater henviser vi til vores tekniske rapport.

Citering

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}