pplx-embed: Modelli di embedding all'avanguardia per il recupero

Oggi rilasciamo pplx-embed-v1 e pplx-embed-context-v1, due modelli di embedding testuale all'avanguardia progettati per il recupero di informazioni su scala web nel mondo reale. pplx-embed-v1 è ottimizzato per il recupero standard di testo denso, mentre pplx-embed-context-v1 incorpora i passaggi tenendo conto del contesto a livello di documento circostante.

Sia pplx-embed-v1 che pplx-embed-context-v1 sono disponibili su scale di parametri da 0,6B e 4B. I modelli da 0,6B sono pensati per una generazione di embedding leggera e a bassa latenza, mentre i modelli da 4B massimizzano la qualità del recupero. Nelle nostre valutazioni, la famiglia pplx-embed guida una serie di benchmark pubblici, inclusi MTEB(Multilingual, v2), BERGEN, ToolRet e ConTEB. Inoltre, pplx-embed-v1 offre risultati leader della categoria nei nostri benchmark interni su scala web: PPLXQuery2Query, PPLXQuery2Doc.

I modelli producono embedding INT8 e binari, riducendo i requisiti di archiviazione rispettivamente di 4x e 32x rispetto a FP32. Questa compattezza rende l'archiviazione e il recupero di embedding su scala web significativamente più pratici.

dimensioni del modello pplx-embed, lunghezza del contesto, quantizzazione e configurazione di pooling.

Consulta il nostro rapporto tecnico, i modelli Hugging Face e la documentazione API.

Motivazione

Gli embedding di testo denso mappano query e documenti in uno spazio semantico condiviso dove il recupero si riduce a una ricerca approssimativa del vicino più prossimo. Alla scala di Perplexity, gli embedding rappresentano la prima fase della nostra pipeline di recupero, determinando quali documenti tra miliardi di pagine web verranno presi in considerazione dai ranker e dai modelli linguistici a valle.

La maggior parte dei principali modelli di embedding odierni si basa su LLM solo decoder con mascheramento dell'attenzione causale, in cui ogni token può prestare attenzione solo ai token precedenti. Per il recupero, questa è una limitazione fondamentale: comprendere un passaggio richiede spesso un contesto bidirezionale. Affrontiamo questo aspetto attraverso il pre-addestramento continuo basato sulla diffusione, che converte un LLM causale in un encoder bidirezionale. L'attenzione bidirezionale completa consente il mean pooling su tutte le rappresentazioni dei token e supporta il late chunking per gli embedding contestuali, in cui l'embedding di ogni blocco è informato dall'intero documento in cui appare.

Su scala web, archiviare gli embedding in FP32 è proibitivo in termini di costi. Piuttosto che applicare la quantizzazione come fase di compressione post-hoc, i nostri modelli utilizzano un addestramento consapevole della quantizzazione per produrre nativamente embedding INT8, riducendo l'archiviazione di 4 volte senza compromessi sulle prestazioni. La quantizzazione binaria riduce l'archiviazione di 32 volte con una perdita di qualità minima, in particolare alla scala 4B.

Molti moderni modelli di embedding richiedono prefissi di istruzione aggiunti a ogni input. Sebbene ciò possa portare a piccoli miglioramenti sui benchmark, nella pratica crea attriti: istruzioni non corrispondenti tra indicizzazione e fase di query degradano silenziosamente il recupero, e la selezione del prompt corretto per ogni caso d'uso diventa un ulteriore aspetto da gestire. I nostri modelli non richiedono istruzioni, rendendo l'integrazione immediata.

Addestramento

pplx-embed-v1 e pplx-embed-context-v1 sono addestrati attraverso una pipeline multistadio che modella progressivamente le rappresentazioni testuali per il recupero.

Espandi

Pre-addestramento continuo tramite diffusione

Partiamo dai modelli base Qwen3 pre-addestrati (0,6B e 4B) e li convertiamo da decoder causali in encoder bidirezionali disabilitando la maschera di attenzione causale e addestrandoli con un obiettivo di denoising a diffusione. A differenza dei modelli autoregressivi che predicono i token da sinistra a destra, l'addestramento tramite diffusione costringe il modello a ricostruire i token mascherati casualmente utilizzando l'intero contesto bidirezionale attorno a ogni posizione mascherata. Ciò significa che, quando inizia il fine-tuning contrastivo, le rappresentazioni codificano già la semantica bidirezionale, fornendo una base più solida per il recupero rispetto a un punto di partenza causale. Effettuiamo il pre-addestramento su circa 250 miliardi di token di testo multilingue in 30 lingue. Nelle ablazioni, le architetture pre-addestrate tramite diffusione raggiungono una perdita di addestramento contrastivo sostanzialmente inferiore rispetto alle controparti causali, traducendosi in un miglioramento di circa l'1 punto percentuale nelle attività di recupero.

Addestramento contrastivo

Dopo il pre-addestramento, eseguiamo tre fasi di apprendimento contrastivo. L'addestramento a coppie stabilisce un allineamento semantico fondamentale tra query e documenti utilizzando una loss InfoNCE con negativi in-batch. Con batch di grandi dimensioni, alcuni negativi in-batch sono in realtà quasi duplicati del positivo, pertanto applichiamo una maschera basata sulla similarità per evitare che questi falsi negativi corrompano il segnale di addestramento. L'addestramento procede per fasi (solo inglese, poi cross-lingue, poi completamente multilingue), costruendo le capacità gradualmente piuttosto che tutte in una volta. L'addestramento contestuale insegna poi al modello la semantica a livello di blocco rispetto al contesto a livello di documento, utilizzando una doppia loss che combina il contrasto in-sequenza e in-batch sia a livello di blocco che di documento: questa fase produce pplx-embed-context-v1. Infine, l'addestramento a triplette con negativi difficili estratti affina i confini tra documenti simili ma non pertinenti. Il pplx-embed-v1 finale si ottiene fondendo i checkpoint contestuali e quelli a triplette tramite interpolazione lineare sferica (SLERP).

Quantizzazione nativa

Durante tutte le fasi contrastive, gli embedding vengono quantizzati in INT8 sia durante l'addestramento che durante l'inferenza. Applichiamo un'operazione di mean pooling basata su tanh seguita da arrotondamento e utilizziamo la stima del gradiente straight-through per la backpropagation attraverso la fase di quantizzazione non differenziabile. Ciò garantisce che il modello impari rappresentazioni ottimizzate per una precisione ridotta fin dall'inizio, invece di subire il degrado dovuto alla compressione post-hoc. Per la quantizzazione binaria, i modelli 4B sono notevolmente più robusti dei modelli 0,6B: la loro maggiore dimensione di embedding (2560 rispetto a 1024) conserva più informazioni dopo la binarizzazione, limitando il calo delle prestazioni a meno dell'1,6 punti percentuali rispetto ai 2-4 punti della scala inferiore.

Benchmark pubblici

Espandi

Sul benchmark di recupero MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) raggiunge un nDCG@10 medio del 69,66%, eguagliando Qwen3-Embedding-4B (69,60%) e superando gemini-embedding-001 (67,71%), richiedendo sostanzialmente meno spazio di archiviazione per embedding. Il nostro modello 0,6B supera la controparte Qwen3 alla stessa scala di parametri.

Espandi

Prestazioni di recupero contestuale sul benchmark ConTEB. Sinistra: modelli contestualizzati. Destra: modelli non contestualizzati. pplx-embed-context-v1-4B (INT8) ottiene il punteggio più alto con 81,96, seguito da voyage-context-3 (79,45) e pplx-embed-context-v1-0.6B (INT8) con 76,53.

Per il recupero contestuale, pplx-embed-context-v1-4B stabilisce un nuovo standard di riferimento nel benchmark ConTEB con un nDCG@10 medio dell'81,96%, superando voyage-context-3 (79,45%) e Anthropic Contextual (72,4%). Addestrando rappresentazioni a livello di blocco che incorporano la semantica a livello di documento, i nostri modelli recuperano il passaggio corretto anche quando il suo significato dipende dal contesto circostante.

Valutiamo i nostri modelli anche nel RAG end-to-end utilizzando il benchmark BERGEN, in cui i passaggi recuperati vengono forniti a un modello linguistico per generare risposte. pplx-embed-v1-4B supera Qwen3-Embedding-4B in quattro delle cinque attività di risposta alle domande valutate. In particolare, pplx-embed-v1-0.6B supera il più grande Qwen3-Embedding-4B in tre delle cinque attività, dimostrando che il nostro modello più piccolo può eguagliare o superare un concorrente su una scala di parametri significativamente maggiore in contesti RAG reali. Per ulteriori dettagli su questa valutazione, rimandiamo al rapporto tecnico.

Recupero nel mondo reale su scala

I benchmark pubblici sono utili, ma non catturano appieno le sfide del recupero su scala web: query a coda lunga, documenti rumorosi e spostamenti di distribuzione che caratterizzano gli ambienti di produzione. Per misurare ciò che conta nella pratica, abbiamo costruito due benchmark interni con un massimo di 115.000 query reali valutate rispetto a oltre 30 milioni di documenti provenienti da oltre 1 miliardo di pagine web. PPLXQuery2Query valuta se un modello di embedding è in grado di identificare query semanticamente equivalenti dal traffico di ricerca reale; PPLXQuery2Doc misura il recupero di documenti da un corpus di 30M di pagine.

Su PPLXQuery2Query (corpus da 2,4M), pplx-embed-v1-4B raggiunge un Recall@10 del 73,5%, superando Qwen3-Embedding-4B (67,9%) di 5,6 punti percentuali. Il nostro modello 0,6B raggiunge un Recall@10 del 71,1%, superando sostanzialmente BGE-M3 (61,8%) e Qwen3-Embedding-0.6B (55,1%).

Espandi

Nell'attività PPLXQuery2Doc multilingue (corpus da 30M), pplx-embed-v1-4B raggiunge un Recall@1000 del 91,7%, rispetto all'88,6% di Qwen3-Embedding-4B. Un elevato richiamo a grandi profondità di recupero è fondamentale per i modelli di embedding che fungono da retriever di prima fase nelle pipeline di ranking multistadio, dove massimizzare il numero di candidati pertinenti passati ai reranker a valle incide direttamente sulla qualità del risultato finale.

Per iniziare

Tutti i modelli sono disponibili su Hugging Face (sotto licenza MIT) e tramite la API di Perplexity. Supportiamo l'inferenza tramite Transformers, SentenceTransformers, Text Embeddings Inference e ONNX. Per i dettagli completi su ciascuna opzione, consulta la collezione di modelli Hugging Face.

Per dettagli tecnici completi e risultati di valutazione esaustivi, consulta il nostro rapporto tecnico.

Citazione

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}