Multimodale embeddings ud over en enkelt vektor

Siden vi udgav pplx-embed-v1 i februar, har vi arbejdet på en ny generation af embeddingmodeller. I sidste uge introducerede vi vores nye kontekstuelle embeddingmodel, pplx-embed-v2-context. I dag udvider vi familien med pplx-embed-v2-late, en samling af modeller til sen interaktion. Sammen med stærkere retrieval-egenskaber er modellerne de første til at kombinere tre kerneegenskaber:

• Multi-vektor-repræsentationer. I stedet for at komprimere hvert input til en enkelt vektor bevarer disse modeller vektorer på token-niveau for mere finkornede forespørgsel-dokument-sammenligninger. Det gør det muligt for forskellige dele af en forespørgsel at matche forskellige dele af et dokument og bevarer detaljer, som især er værdifulde for multimodal retrieval.
• Understøttelse af både tekst- og billedmodaliteter. Ud over tekst-til-tekst-retrievalen i vores tidligere modeller håndterer disse nye modeller tekst-til-billede-retrieval, hvilket gør dem i stand til direkte at søge i renderede PDF-sider uden at kræve OCR eller parsede tekster.
• Et fælles embeddingspace. Vi udgiver to modelstørrelser, 0,6B og 9B, for at understøtte forskellige krav til kvalitet, latency og compute. Hver kan bruges selvstændigt, men det fælles embeddingspace gør det også muligt for den mindre model at forespørge et indeks oprettet med den større model og dermed kombinere dokumentembeddings af højere kvalitet med billig, hurtig inferens ved forespørgselstidspunktet.

Disse nye modeller opnår resultater på højeste niveau i en række benchmarks for billed- og tekstsøgning samt i agentbaserede opgaver med besvarelse af spørgsmål. Især på ViDoRe (V3), et førende benchmark for visuel dokumentsøgning, kan vores 0,6B-model måle sig med modeller med fem gange så mange aktive parametre. Begge modeller er offentligt tilgængelige på Hugging Face. Vores tekniske rapport indeholder flere detaljer om metoden og evalueringsresultaterne.

Fra enkelte vektorer til sen interaktion

Retrievalsystemer skal finde en balance mellem effektivitet og dybden i interaktionen mellem forespørgsler og dokumenter. Tætte embeddingmodeller koder hver forespørgsel og hvert dokument uafhængigt, hvilket gør dem sammenlignelige med et billigt indre produkt. Det gør approksimativ nærmeste-nabo-søgning (ANN) over milliarder af dokumenter praktisk. I den anden ende af spektret behandler cross-encoders forespørgslen og dokumentet sammen, hvilket muliggør rigere interaktion, men kræver et separat forward pass for hver kandidat. At anvende denne beregning på et stort korpus af dokumenter for hver søgning er uoverkommeligt dyrt, så cross-encoders bruges typisk kun til reranking af et lille sæt hentede kandidater.

Begrænsninger ved tætte embeddings

At repræsentere et helt dokument med én fast vektor skaber en informationsflaskehals. Efterhånden som dokumenter bliver længere og dækker flere emner, må modellen komprimere mere indhold ind i den samme vektor, hvilket gør det sværere at bevare alt, der er relevant for en forespørgsel. Chunking kan reducere dette pres, men det fragmenterer dokumentet og kan adskille information, der kun giver mening sammen — et problem, vi også adresserer med vores kontekstuelle embeddingmodel. Denne flaskehals forværres i multimodale sammenhænge, hvor billeders informationsdensitet kræver endnu mere komprimering.

Single-vector tæt retrieval reducerer også hver sammenligning til et indre produkt mellem to vektorer, hvilket begrænser scoringsfunktionens udtrykskraft. For en fast embeddingdimension og et stort nok korpus er nogle mønstre af scorer på tværs af forespørgsel-dokument-par umulige at producere, uanset træning. LIMIT-benchmarket gør denne teoretiske bekymring til en konkret stresstest for single-vector retrieval.

Retrieval med sen interaktion

Modeller til sen interaktion placerer sig mellem de billigere tætte embeddingmodeller og de mere udtryksfulde cross-encoders. Ligesom tætte modeller koder de dokumenter uafhængigt af forespørgslen, hvilket gør det muligt at beregne dokumentrepræsentationer offline. Men i stedet for at reducere hvert input til en enkelt vektor bevarer de flere vektorer og bruger en rigere scoringsfunktion, når en forespørgsel sammenlignes med et dokument.

Vores pplx-embed-v2-late-modeller bruger en ColBERT-lignende arkitektur, der outputter embeddings på 128 dimensioner for hvert token i inputtet. Vi scorer forespørgsel-dokument-par ved hjælp af MaxSim; for hvert forespørgselstoken vælger modellen det dokumenttoken, der scorer højest, og summerer de maksimale ligheder pr. token for at producere den endelige score. Det gør det muligt for forskellige dele af en forespørgsel at matche forskellige dele af et dokument, hvor stærkere tokenmatches bidrager mere til scoren.

Udvid

Denne ekstra udtrykskraft kommer med højere lager- og kandidatscoringsomkostninger. Tæt retrieval gemmer én vektor pr. dokument og scorer en kandidat med ét indre produkt; sen interaktion gemmer vektorer for dokumenttokens og evaluerer mange token-til-token-ligheder. Omkostningen vokser med dokumentlængden, så sen interaktion kræver et andet trade-off for indeksering og serving end one-vector ANN retrieval. Til gengæld giver det rigere first-stage retrieval til kvalitetsfølsomme korpora og kan også fungere som et senere led i en større retrievalpipeline i webskala.

Én model, flere modaliteter

Denne forbedrede interaktionsdybde har vist sig at være meget nyttig til forskellige opgaver, herunder retrieval med lang kontekst, agentisk retrieval og retrieval uden for domænet. Denne forskel er særligt tydelig i multimodal retrieval, som det fremgår af ColPali-modellernes store føring på leaderboardet for ViDoRe(V3).

Virkelighedens korpora består ikke kun af ren tekst. De kommer som PDF-filer, slide decks, screenshots, scannede sider, diagrammer og tabeller. Den konventionelle pipeline parser disse dokumenter, anvender OCR eller billedtekster og søger i den resulterende tekst, hvilket er dyrt og tabsgivende: det kan introducere OCR-fejl, og det bortkaster layout, tabelstruktur, figurer og rumlige relationer. Visuel dokumentsøgning springer det trin over og projicerer den renderede side direkte ind i repræsentationsrummet, hvor tekstuelle forespørgsler kan søge i den.

Vores nye modelfamilie bygger videre på den stærke performance hos multi-vektor-modeller til multimodal søgning og fremmer Pareto-fronten for små modeller på det mest anvendte benchmark for dokumentsøgning, ViDoRe(V3). Selvom vi forventer, at dokumentrenderinger bliver den mest almindelige form for visuelt input, understøtter vores modeller også semantisk billedsøgning på naturlige billeder, såsom landskabsfotografier.

Træning af en familie af interoperable modeller

Søgning er grundlæggende asymmetrisk: indeksering og query-encoding har forskellige operationelle begrænsninger. Indeksering kører offline og kan paralleliseres, så compute-omkostningen fordeles over mange fremtidige søgninger. Query-encoding kører online for hver anmodning, hvilket gør den følsom over for latency og undertiden underlagt serving- eller edge-device-begrænsninger. Vores modelfamilie udnytter denne asymmetri og tilbyder størrelser, der er skræddersyet til hver side af retrievalpipelinjen.

Vi træner først en 18B-lærer kontrastivt og distillerer den derefter separat til 9B- og 0,6B-elever. I stedet for kun at træne hver elev til at genskabe lærerens rangeringsfordeling bruger vi LEAF-stil repræsentationsdistillation: for hvert inputtoken tilpasser vi elevens outputembedding til lærerens. Selvom distillation i repræsentationsrum tidligere er blevet brugt til tætte, single-vector-modeller, udvider vi det til sen interaktion, hvor justeringsmålet er en vektor for hvert bevaret token.

Som resultat deler begge frigivne checkpoints det samme multi-vektor-embeddingspace. Det muliggør retrieval på tværs af modeller og åbner for flere deployeringsmuligheder.

• Maksimal kvalitet: kod dokumenter og forespørgsler med 9B-modellen.
• Maksimal effektivitet: kod dokumenter og forespørgsler med 0,6B-modellen for 100% lokal inferens
• Retrieval med lav latency: byg korpusindekset med 9B-modellen, og kod derefter liveforespørgsler med 0,6B-modellen for at udnytte beregning ved indekseringstidspunktet, mens forespørgslerne holdes hurtige.
• Lokal–cloud retrieval: kod private lokale dokumenter eller liveforespørgsler med 0,6B-modellen på enheden, og sammenlign eller flet disse repræsentationer med resultater fra et 9B-indeks hostet i skyen.

Til latencyfølsomme settings designede vi 0,6B-modellen som en letvægts query-encoder, der også kan køre på edge-enheder. Med udgangspunkt i Qwen3.5-0.8B beskærer vi dens 24-lags teksttårn til 12 lag, hvilket reducerer det tårn fra 498M til 240M ikke-embedding-parametre. Den resulterende model har i alt 594M parametre, men dens nominelle størrelse overvurderer serving-omkostningen: 100M bruges til billedencoding, og 254M ligger i token-embeddingtabellen, som har ringe effekt på runtime. Kun omkring 240M parametre er aktive for tekstencoding og 340M for billedencoding, hvilket giver modellen serving-omkostningen af en betydeligt mindre model, samtidig med at kompatibiliteten med 9B-indekset bevares.

Vi anvendte den samme proces til at bygge vores 18B-lærer ud fra en 27B-backbone, hvilket gjorde læreren betydeligt billigere at distillere fra uden at svække signalet, den giver.

Flersprogede, multimodale, ukontaminerede træningsdata

Vi træner begge modeller på et datasæt med 186 millioner query-dokument-par trukket fra 594 datasæt på 46 sprog. Af disse par er 88,3% tekst-til-tekst, 8,3% tekst-til-billede og 3,4% tekst-til-visuelt-dokument. I stedet for at sample proportionalt med datasætstørrelsen tildeler vi hvert datasæt en samplingvægt, hvilket giver en mere balanceret træningsblanding på henholdsvis 56,5%, 30,9% og 12,6%.

Når vi konstruerer vores træningsdata, udelukker vi alle datasæt, der er knyttet til benchmarks, som vi evaluerer på, for troværdigt at repræsentere vores resultater uden at oppuste benchmarkscores. Denne beslutning indebærer et trade-off, idet nogle af de datasæt, vi valgte at udelukke, indeholder data af høj kvalitet, som kunne forbedre modellens performance på andre opgaver end det benchmark, de kom fra. I sidste ende valgte vi at acceptere den omkostning: troværdige tal er mere nyttige for os under udvikling og for brugere, når de sammenligner modeller.

Evaluering

Vi evaluerer begge modeller på tværs af tekst-, visuelt dokument-, blandet billede- og agentisk retrieval. Begge modeller overgår de evaluerede baselines på Q2D-Web og BrowseComp+ og opnår stærke resultater på visuel dokumentretrieval og MADQA.

Tekstretrieval

Vi evaluerer tekst-til-tekst-retrieval på tre benchmarks:

• Domænespecifikke benchmarks: En samling af 72 MTEB-lignende opgaver, 55 på tværs af fem domæner (finans, jura, sundhed, samtale, tech) plus 17 blandede flersprogede opgaver. Samlingen omfatter opgaver som FinQA, AILACasedocs og XLSum. Ingen af disse datasæt indgår i vores træningsdata, som beskrevet ovenfor.
• Q2D-Web: vores retrievalbenchmark i webskala med omkring 70.000 agent-reformulerede søgeforespørgsler, trukket fra produktionssøgetrafik, over et korpus på 190M webdokumenter. Dette benchmark måler retrievalydelse i en kontekst, der ligger meget tættere på reel webretrieval end andre tilgængelige retrievalbenchmarks, på grund af dets produktionslignende forespørgsler og korpus i stor skala.
• ViDoRe(V3) Markdown: ViDoRe(V3) er typisk en tekst-til-visuelt-dokument-retrievalopgave, men den kan også evalueres som en tekstopgave ved hjælp af en version af korpuset, der er parseret til Markdown, hvilket gør det muligt for os at evaluere informationsrig dokumentretrieval i både billed- og tekstmodaliteter.

Vi måler ydelsen med nDCG@10, undtagen på Q2D-Web, hvor vi rapporterer Recall@1000 på grund af benchmarkets fokus på et første-stadie webretrievalscenarie. Gennem vores evalueringer sammenligner vi med førende embeddingmodeller på tværs af forskellige størrelsesklasser. For tekstretrieval repræsenterer nemotron-embed-8b, gemini-embedding-2, voyage-large-4 og qwen3-embed-8b de stærkeste og mest udbredte dense-konkurrenter, mens voyage-4-nano og qwen3-embed-0.6b fungerer som dense-baselines med under en milliard parametre. Vi sammenligner desuden med TopKs nyligt udgivne topk-embed-v1-modeller til sen interaktion på de benchmarks, hvor TopK har offentliggjort resultater. ViDoRe(V3)-scorer er taget fra deres modelkort ved 128 dimensioner, hvilket matcher bredden af vores tokenembeddings; Q2D-Web-scoren er taget fra vores leaderboard.

På de domænespecifikke benchmarks opnår vores 9B- og 0,6B-modeller i gennemsnit henholdsvis 81,3% og 78,0%. Vores 9B-model opnår den højeste score af alle de modeller, vi evaluerede, og slår den næstbedste model med 1,6 procentpoint. Vores 0,6B-model er konkurrencedygtig med de andre topmodeller og ligger kun 0,3 procentpoint bag gemini-embedding-2. Vigtigt er det, at da vi ikke trænede på nogen af dataene til disse benchmarkopgaver, viser de domænespecifikke benchmarks, at vores embeddingmodeller kan generalisere til nye domæner.

Udvid

Den relative styrke ved vores 0,6B-model er endnu større på ViDoRe(V3) Markdown-opgaven; dens score på 61,2% slår alle andre modeller bortset fra vores 9B-model, som scorede 64,7%. Den næstbedste eksterne model scorede 60,6%, og den næstbedste model under 1B, topk-embed-v1-0.8b, lå 4,3 procentpoint bag vores 0,6B-model.

Udvid

På Q2D-Web kommer relevansen fra tre vurderingssæt: dokumenter, som Agent citerede (Citation), dokumenter rangeret af vores produktionsretrievalsystem (Web) og foreningen af begge, udvidet med LLM-vurderinger af umærkede dokumenter (Combined). Begge pplx-embed-v2-late-modeller er førende over alle baselines på alle tre vurderingssæt. Vi fokuserer på de kombinerede vurderinger, da Citation- og Web-sættene er afledt af det, vores egne systemer allerede fremhævede, og derfor favoriserer modeller, der rangerer som dem; de LLM-vurderinger, der blev tilføjet i Combined, dækker dokumenter, som ingen af systemerne hentede. På det sæt slår både vores 9B- og 0,6B-model alle konkurrenter og opnår scorer på henholdsvis 74,8% og 73,6% mod den tidligere bedste score på 69,3%.

Udvid

Visuel retrieval

Vores primære benchmark for visuel retrieval er det offentlige standardsubset af ViDoRe(V3), hvor korpuset består af renderede sidebilleder snarere end Markdown-konverteringen. Vi sammenligner med to førende dense vision-language-modeller, qwen3-vl-embed-8b og gemini-embedding-2, samt med topk-embed-v1-modellerne til sen interaktion. Derudover er Tencent's EVIE-modeller og NVIDIA's Nemotron ColEmbed V2-modeller “vision-only” multi-vektorbaselines, der er trænet specifikt til billedretrievalopgaver.

Begge vores modeller opnår state-of-the-art-ydelse for vision-language-modeller. Vores 9B-model scorer 65,2% i gennemsnit og er kun overgået af EVIE. Vores 0,6B-model opnår en score på 62,3% og er foran topk-embed-v1-2b, mens den kun er overgået af de langt større EVIE- og nemotron-colembed-v2-8b-modeller blandt eksterne baselines.

Udvid

Vores 0,6B-model er særligt konkurrencedygtig i forhold til modelstørrelse. Den er foran alle modeller i sammenlignelig størrelse og ligger inden for 1,2 procentpoint af nemotron-colembed-v2-8b, mens den kun aktiverer 340M parametre for billedinput. Vores modeller producerer embeddings på 128 dimensioner pr. token, sammenlignet med 2.048 for EVIE-4.5B og 4.096 for EVIE-8B og nemotron-colembed-v2-8b. Denne forskel i lageromkostninger kan have stor betydning for, i hvilke scenarier disse modeller er praktiske at bruge.

Udvid

Vi evaluerer også visuel retrieval på MIRACL-Vision, et benchmark hvis korpus består af screenshots af Wikipedia-artikler, og PPLX-Q2I, et internt benchmark, der dækker både visuelle dokumenter og naturlige billeder. PPLX-Q2I er bygget ud fra Perplexitys produktions-logs for billedsøgning og designet til at afspejle mangfoldigheden i brugsscenarier for billedsøgning. Vi bruger et sample på 10.000 forespørgsler, stratificeret efter sprog og domæne, mod et korpus på 100.000 billeder; hvert forespørgsels relevante dokumenter er de billeder, der blev serveret for det. Vi evaluerede ikke EVIE-8B eller Nemotron ColEmbed på PPLX-Q2I, da indeksering af et korpus i denne størrelse ved deres standardoutputdimensioner (2.560 for Nemotron ColEmbed 4B og 4.096 for Nemotron ColEmbed 8B og EVIE-8B) var upraktisk.

Ligesom på ViDoRe(V3) er vores 0,6B-model konkurrencedygtig med langt større modeller og ligger kun 1 procentpoint bag qwen3-vl-embed-8b på MIRACL-Vision. Vores 9B-model overgår alle andre modeller undtagen gemini-embedding-2.

På PPLX-Q2I slår begge vores modeller qwen3-vl-embedding-8b med over 9 procentpoint, og vores 9B-model ligger kun 2 procentpoint bag gemini-embedding-2. Vores resultater forbliver konkurrencedygtige på korpora, der indeholder naturlige billeder såvel som visuelle dokumenter, så de multi-vektor-repræsentationer, der giver værdi på ViDoRe(V3), sker ikke på bekostning af generel billedsøgning.

Udvid

Retrieval på tværs af modeller

Resultaterne i de foregående afsnit evaluerer hver model mod et korpus, den selv har indlejret. Det fælles embeddingspace betyder, at dette ikke er et krav: et korpus indekseret af 9B-modellen kan søges med forespørgsler indlejret af 0,6B-modellen. Det er den konfiguration, vi forventer, at de fleste produktionsimplementeringer vil bruge, da indeksering er en engangsomkostning, der fordeles over korpussets levetid, mens query-embedding kører på den latencykritiske del af hver anmodning.

En implementering, der ikke kan køre 9B-modellen ved forespørgselstid, ville ellers også indeksere med 0,6B-modellen, så den symmetriske 0,6B-konfiguration er det relevante sammenligningspunkt. Vi evaluerer mod de 72 domænespecifikke benchmarks, der blev brugt ovenfor, og på ViDoRe v3-billedretrieval. Forespørgsler indlejres med pplx-embed-v2-late-0.6b, og vi varierer kun, hvad der indlejrede korpuset.

At indeksere med 9B-modellen er en klar forbedring. På de domænespecifikke benchmarks giver den asymmetriske konfiguration i gennemsnit en gevinst på 1,6 procentpoint. På ViDoRe v3-billedretrieval scorer den 63,5%, op fra 62,3% med 0,6B-modellen på begge sider, en gevinst på 1,2 procentpoint. Omkostningen ved query-encoding er uændret mellem den symmetriske 0,6B-konfiguration og den asymmetriske konfiguration, da den samme 0,6B-model koder forespørgslen i begge tilfælde; den ekstra dokumentencoding-omkostning påløber ved indekseringstidspunktet.

At køre 9B-modellen på begge sider er stadig bedre og giver i gennemsnit 81,3% på de domænespecifikke benchmarks. Den asymmetriske konfiguration genvinder derfor omtrent halvdelen af kvalitetsforskellen mellem de to modeller på tekst uden ekstra query-encoding-omkostning. Hvilken konfiguration man skal vælge, afhænger af, om 9B-modellen er overkommelig ved forespørgselstid; hvor den ikke er det, indfanger den asymmetriske opsætning en væsentlig del af dens fordel.

Udvid

Agentisk retrieval

Agentisk retrieval er et andet område, hvor multi-vektor-embeddings er særligt stærke. I BrowseComp+ bruger en LLM (GPT-OSS-120B i vores tilfælde) embeddingmodellen til at søge i et korpus efter information, der er relevant for en kompleks brugerforespørgsel, og en anden LLM bedømmer, om det resulterende svar matcher ground truth. Vores 9B-model opnår 64,0% nøjagtighed, hvilket overgår den næstbedste ColBERT-model med 4,9 procentpoint og den næstbedste tætte model med 8,7 procentpoint, samtidig med at den sender færre søgninger end alle andre modeller undtagen vores 0,6B. 0,6B-modellen er også foran alle modeller uden for vores familie.

Udvid

MADQA tester agentiske spørgsmål-svar-opgaver på tværs af 800 heterogene virkelige PDF-filer, der tilsammen omfatter mere end 18.000 sider, med 500 menneskeskrevne spørgsmål, som ikke kan besvares ud fra almen viden. En Agent (Gemini 3.5 Flash i vores tilfælde) søger i samlingen med den retriever, der testes, og bedømmes på svarnøjagtighed og på side-F1 i forhold til de annoterede evidenssider. Vores 9B-model sætter ny state of the art blandt retrievere med 92,4% nøjagtighed, 3,5 procentpoint foran den samme Agent, der bruger Mixedbreads retriever; vores 0,6B-model når 90,1%. Vi bemærker også, at vores retriever opnår konkurrencedygtige resultater mod Mixedbread Agentic Search, som bruger en søgeunder-Agent i deres søgesystem, der planlægger og kører flere søgninger pr. kald fra hoved-Agenten (93,4%, inden for vores konfidensinterval).

Udvid

Kom godt i gang

Begge vores 0,6B- og 9B-modeller er tilgængelige på Hugging Face og er kompatible out of the box med sentence-transformers >= 6.0.0 og transformers >= 5.4.0. Flere tekniske detaljer og komplette evalueringsresultater vil blive offentliggjort i en teknisk rapport senere på året.

Vi er i gang med at træne den næste generation af vores tætte embedding-modeller og vil gradvist udrulle understøttelse af late interaction-embeddings, tætte embeddings og kontekstuelle embeddings på Perplexity API Platform.

Citat

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://perplexity.coolkeypoint.com/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}