pplx-embed: Banbrytande inbäddningsmodeller för webbskalig sökning

Idag lanserar vi pplx-embed-v1 och pplx-embed-context-v1, två banbrytande textinbäddningsmodeller byggda för verklig, webbskalig sökning. pplx-embed-v1 är optimerad för standardiserad tät textsökning, medan pplx-embed-context-v1 bäddar in stycken med hänsyn till omgivande kontext på dokumentsnivå.

Både pplx-embed-v1 och pplx-embed-context-v1 finns tillgängliga i storlekar med 0,6B och 4B parametrar. 0,6B-modellerna riktar sig till lättviktsgenerering av inbäddningar med låg latens, medan 4B-modellerna maximerar sökvaliteten. I våra utvärderingar leder pplx-embed-familjen ett flertal publika riktmärken, inklusive MTEB(Multilingual, v2), BERGEN, ToolRet och ConTEB. Dessutom levererar pplx-embed-v1 klassens bästa resultat på våra interna webbskaliga riktmärken: PPLXQuery2Query, PPLXQuery2Doc.

Modellerna producerar INT8- och binära inbäddningar, vilket minskar lagringsbehoven med respektive 4x och 32x jämfört med FP32. Denna kompakthet gör webbskalig lagring och sökning av inbäddningar avsevärt mer praktisk.

pplx-embed modellernas dimensioner, kontextlängd, kvantisering och poolningskonfiguration.

Kolla in vår tekniska rapport, Hugging Face-modeller och API-dokumentation.

Motivation

Täta textinbäddningar avbildar frågor och dokument till ett gemensamt semantiskt utrymme där sökning reduceras till ungefärlig sökning efter närmaste grannar. I Perplexitys skala är inbäddningar det första steget i vår sökpipeline, vilket avgör vilka dokument från miljarder webbsidor som beaktas av nedströms rangordnare och språkmodeller.

De flesta ledande inbäddningsmodellerna idag är byggda på avkodar-endas LLM:er med kausal uppmärksamhetsmaskering (causal attention masking), där varje token bara kan uppmärksamma föregående tokens. För sökning är detta en grundläggande begränsning: att förstå ett stycke kräver ofta dubbelriktad kontext. Vi löser detta genom diffusionsbaserad fortsatt förträning, som omvandlar en kausal LLM till en dubbelriktad kodare. Fullständig dubbelriktad uppmärksamhet möjliggör medelvärdespoolning (mean pooling) över alla tokenrepresentationer och stöder sen styckning (late chunking) för kontextuella inbäddningar, där varje styckes inbäddning informeras av det fullständiga dokument som det förekommer i.

I webbskala är det oöverkomligt dyrt att lagra inbäddningar i FP32. Istället för att tillämpa kvantisering som ett efterföljande komprimeringssteg använder våra modeller kvantiseringsmedveten träning för att producera INT8-inbäddningar nativt, vilket minskar lagringen med 4x utan prestandakompromisser. Binär kvantisering minskar lagringen med 32x med minimal kvalitetsförlust, särskilt i 4B-skalan.

Många moderna inbäddningsmodeller kräver instruktionsprefix tillagda före varje indata. Även om detta kan ge små förbättringar på riktmärken, skapar det i praktiken friktion: felaktiga instruktioner mellan indexering och sökning försämrar sökningen i det tysta, och att välja rätt prompter för varje användningsområde blir ännu en sak att hålla reda på. Våra modeller kräver inga instruktioner, vilket gör integrationen okomplicerad.

Träning

pplx-embed-v1 och pplx-embed-context-v1 tränas genom en flerstegspipeline som successivt formar textrepresentationer för sökning.

Förstora

Fortsatt diffusionsförträning

Vi utgår från förtränade Qwen3-basmodeller (0,6B och 4B) och konverterar dem från kausala avkodare till dubbelriktade kodare genom att inaktivera den kausala uppmärksamhetsmasken och träna med ett diffusionsdenseningsmål. Till skillnad från autoregressiva modeller som förutsäger tokens från vänster till höger, tvingar diffusionsträning modellen att rekonstruera slumpmässigt maskerade tokens med hjälp av den fullständiga dubbelriktade kontexten kring varje maskerad position. Detta innebär att när kontrastiv finjustering påbörjas kodar representationerna redan dubbelriktad semantik, vilket ger en starkare grund för sökning än en kausal utgångspunkt. Vi förtränar på ungefär 250 miljarder tokens med flerspråkig text som spänner över 30 språk. I ablationstester uppnår diffusionsförtränade stommar väsentligt lägre kontrastiv träningsförlust än sina kausala motsvarigheter, vilket motsvarar ungefär 1 procentenhets förbättring på sök uppgifter.

Kontrastiv träning

Efter förträning utför vi tre steg av kontrastivt lärande. Par-träning etablerar grundläggande semantisk anpassning mellan frågor och dokument med hjälp av en InfoNCE-förlust med negativa exempel i batchen (in-batch negatives). Med stora batchstorlekar är vissa negativa exempel i batchen i själva verket nästan-dubbletter av det positiva, så vi tillämpar en likhetsbaserad mask för att förhindra att dessa falska negativa exempel korrumperar träningssignalen. Träningen fortlöper i faser – enbart engelska, sedan krispråkigt (cross-lingual), sedan helt flerspråkigt – vilket bygger upp kapacitet gradvis snarare än på en gång. Kontextuell träning lär sedan modellen styckesspecifik semantik med avseende på kontext på dokumentsnivå, med hjälp av en dubbel förlust som kombinerar in-sekvens- och in-batch-kontrast på både stycke- och dokumentsnivå – detta steg producerar pplx-embed-context-v1. Slutligen förfinar trippelträning med utvunna svåra negativa exempel (hard negatives) gränserna mellan liknande men ej relevanta dokument. Den slutgiltiga pplx-embed-v1 erhålls genom att sammanfoga de kontextuella och trippla kontrollpunkterna via sfärisk linjär interpolation (SLERP).

Nativ kvantisering

Under alla kontrastiva steg kvantiseras inbäddningar till INT8 under både träning och inferens. Vi tillämpar en tanh-baserad medelvärdespoolning följt av avrundning, och använder rakt igenom gradientuppskattning (straight-through gradient estimation) för att backpropagera genom det icke-differentierbara kvantiseringssteget. Detta säkerställer att modellen lär sig representationer som är optimerade för reducerad precision från början, snarare än att drabbas av försämring från efterföljande komprimering. För binär kvantisering är 4B-modellerna märkbart mer robusta än 0,6B: deras större inbäddningsdimension (2560 jämfört med 1024) bevarar mer information efter binarisering, vilket begränsar prestandaförsämringen till under 1,6 procentenheter jämfört med 2–4 poäng i den mindre skalan.

Publika riktmärken

Förstora

På sökriktmärket MTEB(Multilingual, v2) uppnår pplx-embed-v1-4B (INT8) ett genomsnittligt nDCG@10 på 69,66 %, vilket matchar Qwen3-Embedding-4B (69,60 %) och överträffar gemini-embedding-001 (67,71 %), samtidigt som det krävs avsevärt mindre lagring per inbäddning. Vår 0,6B-modell presterar bättre än sin Qwen3-motsvarighet i samma parameterskala.

Förstora

Kontextuell sökprestanda på ConTEB-riktmärket. Vänster: kontextualiserade modeller. Höger: icke-kontextualiserade modeller. pplx-embed-context-v1-4B (INT8) uppnår det högsta poänger på 81,96, följt av voyage-context-3 (79,45) och pplx-embed-context-v1-0.6B (INT8) på 76,53.

För kontextuell sökning sätter pplx-embed-context-v1-4B ett nytt toppresultat på ConTEB-riktmärket med ett genomsnittligt nDCG@10 på 81,96 %, vilket överträffar voyage-context-3 (79,45 %) och Anthropic Contextual (72,4 %). Genom att träna styckesbaserade representationer som integrerar semantik på dokumentsnivå, hämtar våra modeller rätt stycke även när dess betydelse beror på omgivande kontext.

Vi utvärderar även våra modeller i end-to-end RAG med hjälp av BERGEN-riktmärket, där hämtade stycken matas till en språkmodell för att generera svar. pplx-embed-v1-4B presterar bättre än Qwen3-Embedding-4B på fyra av de fem utvärderade frågesvarsuppgifterna. Noterbart är att pplx-embed-v1-0.6B presterar bättre än den större Qwen3-Embedding-4B på tre av de fem uppgifterna, vilket visar att vår mindre modell kan matcha eller överträffa en konkurrent i en betydligt större parameterskala i praktiska RAG-miljöer. För mer information om denna utvärdering hänvisar vi till den tekniska rapporten.

Verklig sökning i skalan

Publika riktmärken är användbara, men de fångar inte till fullo webbskaliga sökutmaningar: långsvansade frågor (long-tail queries), brusiga dokument och distributionsförskjutningar som kännetecknar produktionsmiljöer. För att mäta det som betyder något i praktiken byggde vi två interna riktmärken med upp till 115 000 verkliga frågor utvärderade mot mer än 30 miljoner dokument samlade från över 1 miljard webbsidor. PPLXQuery2Query utvärderar om en inbäddningsmodell kan identifiera semantiskt ekvivalenta frågor från verklig söktrafik; PPLXQuery2Doc mäter dokumentsökning från en korpus på 30 miljoner sidor.

På PPLXQuery2Query (korpus på 2,4 miljoner) uppnår pplx-embed-v1-4B 73,5 % Recall@10, vilket överträffar Qwen3-Embedding-4B (67,9 %) med 5,6 procentenheter. Vår 0,6B-modell uppnår 71,1 % Recall@10, vilket avsevärt överträffar BGE-M3 (61,8 %) och Qwen3-Embedding-0.6B (55,1 %).

Förstora

På den flerspråkiga PPLXQuery2Doc-uppgiften (korpus på 30 miljoner) uppnår pplx-embed-v1-4B 91,7 % Recall@1000, jämfört med 88,6 % för Qwen3-Embedding-4B. Hög återkallelse vid stora sökiupdjup är avgörande för inbäddningsmodeller som fungerar som förstahandssökare i flerstegsrangordningspipeliner, där maximering av antalet relevanta kandidater som skickas vidare till nedströms omrangordnare direkt påverkar slutresultatets kvalitet.

Komma igång

Alla modeller finns tillgängliga på Hugging Face (under MIT-licens) och via Perplexity API. Vi stöder inferens via Transformers, SentenceTransformers, Text Embeddings Inference och ONNX. För fullständiga detaljer om varje alternativ, se Hugging Face-modellsamlingen.

För heltäckande tekniska detaljer och fullständiga utvärderingsresultat, se vår tekniska rapport.

Citering

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}