pplx-embed : Modèles de vectorisation de pointe pour la recherche à l'échelle du Web

Nous lançons aujourd'hui pplx-embed-v1 et pplx-embed-context-v1, deux modèles de vectorisation de texte de pointe conçus pour la recherche à grande échelle sur le Web dans le monde réel. pplx-embed-v1 est optimisé pour la recherche de texte dense standard, tandis que pplx-embed-context-v1 vectorise les passages en tenant compte du contexte global du document environnant.

pplx-embed-v1 et pplx-embed-context-v1 sont tous deux offerts dans des échelles de paramètres de 0,6B et 4B. Les modèles de 0,6B ciblent la génération de vecteurs légère et à faible latence, tandis que les modèles de 4B maximisent la qualité de la recherche. Lors de nos évaluations, la famille pplx-embed est en tête de divers bancs d'essai publics, notamment MTEB(Multilingual, v2), BERGEN, ToolRet et ConTEB. De plus, pplx-embed-v1 offre des résultats hors pair sur nos bancs d'essai internes à l'échelle du Web : PPLXQuery2Query et PPLXQuery2Doc.

Les modèles produisent des vecteurs INT8 et binaires, ce qui réduit les exigences de stockage par un facteur de 4x et 32x, respectivement, par rapport au format FP32. Cette compacité rend le stockage et la recherche de vecteurs à l'échelle du Web nettement plus pratiques.

Dimensions du modèle pplx-embed, longueur de contexte, quantification et configuration de l’agrégation.

Consultez notre rapport technique, nos modèles Hugging Face et notre documentation sur l'API.

Motivation

Les vecteurs de texte dense mettent en correspondance des requêtes et des documents dans un espace sémantique partagé où la recherche se réduit à une recherche des voisins les plus proches approximatifs. À l'échelle de Perplexity, les vecteurs constituent la première étape de notre pipeline de recherche, déterminant quels documents parmi des milliards de pages Web sont pris en compte par les classeurs en aval et les grands modèles linguistiques.

La plupart des principaux modèles de vectorisation actuels sont construits sur des grands modèles linguistiques axés uniquement sur le décodeur avec un masquage de l'attention causale, où chaque token ne peut prêter attention qu'aux tokens précédents. Pour la recherche, il s'agit d'une limitation fondamentale : la compréhension d'un passage nécessite souvent un contexte bidirectionnel. Nous résolvons ce problème grâce au préentraînement continu fondé sur la diffusion, qui convertit un grand modèle linguistique causal en un encodeur bidirectionnel. L'attention bidirectionnelle complète permet une mise en commun moyenne sur toutes les représentations de tokens et prend en charge le découpage tardif (« late chunking ») pour les vecteurs contextuels, où le vecteur de chaque morceau est éclairé par le document complet dans lequel il apparaît.

À l'échelle du Web, le stockage des vecteurs au format FP32 est excessivement coûteux. Plutôt que d'appliquer la quantification comme étape de compression a posteriori, nos modèles utilisent un entraînement tenant compte de la quantification pour produire des vecteurs INT8 de manière native, ce qui réduit le stockage par un facteur de 4 sans compromis sur la performance. La quantification binaire réduit le stockage par un facteur de 32 avec une perte de qualité minime, en particulier à l'échelle de 4B.

De nombreux modèles de vectorisation modernes nécessitent des préfixes d'instruction ajoutés au début de chaque entrée. Bien que cela puisse apporter de légères améliorations sur les bancs d'essai, en pratique, cela crée des frictions : des instructions non concordantes entre l'indexation et le moment de la requête dégradent silencieusement la recherche, et la sélection de l'invite appropriée pour chaque cas d'utilisation devient un élément de plus à maîtriser. Nos modèles ne nécessitent aucune instruction, ce qui simplifie grandement l'intégration.

Entraînement

pplx-embed-v1 et pplx-embed-context-v1 sont entraînés par l'entremise d'un pipeline à étapes multiples qui façonne progressivement les représentations de texte pour la recherche.

Agrandir

Préentraînement à diffusion continue

Nous partons de modèles de base Qwen3 préentraînés (0,6B et 4B) et les convertissons de décodeurs causaux en encodeurs bidirectionnels en désactivant le masque d'attention causale et en les entraînant avec un objectif de suppression du bruit par diffusion. Contrairement aux modèles autorégressifs qui prédisent les tokens de gauche à droite, l'entraînement par diffusion force le modèle à reconstruire des tokens masqués aléatoirement à l'aide du contexte bidirectionnel complet autour de chaque position masquée. Cela signifie qu'au moment où le réglage fin contrastif commence, les représentations encodent déjà la sémantique bidirectionnelle, offrant ainsi une base plus solide pour la recherche qu'un point de départ causal. Nous effectuons un préentraînement sur environ 250 milliards de tokens de texte multilingue couvrant 30 langues. Lors des ablations, les dorsales préentraînées par diffusion atteignent une perte d'entraînement contrastive sensiblement inférieure à celle de leurs homologues causaux, ce qui se traduit par une amélioration d'environ 1 point de pourcentage sur les tâches de recherche.

Entraînement contrastif

Après le préentraînement, nous exécutons trois étapes d'apprentissage contrastif. L'entraînement par paires établit un alignement sémantique fondamental entre les requêtes et les documents à l'aide d'une perte InfoNCE avec des exemples négatifs dans le lot. Avec de grandes tailles de lots, certains exemples négatifs dans le lot sont en fait quasi identiques aux exemples positifs. Nous appliquons donc un masque fondé sur la similarité pour empêcher ces faux négatifs de corrompre le signal d'entraînement. L'entraînement se déroule par phases (en anglais seulement, puis multilingue croisée, puis entièrement multilingue), ce qui permet de développer les capacités progressivement plutôt que toutes en même temps. L'entraînement contextuel enseigne ensuite au modèle la sémantique au niveau des morceaux par rapport au contexte au niveau du document, à l'aide d'une perte double qui combine le contraste en séquence et dans le lot aux niveaux du morceau et du document. Cette étape produit pplx-embed-context-v1. Enfin, l'entraînement par triplets avec des exemples négatifs durs extraits affine les limites entre des documents similaires mais non pertinents. Le modèle final pplx-embed-v1 est obtenu en fusionnant les points de contrôle contextuels et de triplets par interpolation linéaire sphérique (SLERP).

Quantification native

Tout au long de toutes les étapes contrastives, les vecteurs sont quantifiés en INT8 pendant l'entraînement et l'inférence. Nous appliquons une opération de mise en commun moyenne fondée sur la fonction tanh suivie d'un arrachondi, et nous utilisons l'estimation de gradient par propagation directe (straight-through) pour propager rétroactivement à travers l'étape de quantification non différenciable. Cela garantit que le modèle apprend des représentations optimisées pour une précision réduite dès le départ, plutôt que de subir une dégradation due à la compression a posteriori. Pour la quantification binaire, les modèles 4B sont nettement plus robustes que les modèles 0,6B : leur dimension vectorielle plus grande (2560 par rapport à 1024) préserve davantage d'informations après la binarisation, limitant la baisse de performance à moins de 1,6 point de pourcentage, comparativement à 2 à 4 points à plus petite échelle.

Bancs d'essai publics

Agrandir

Sur le banc d'essai de recherche MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) atteint un nDCG@10 moyen de 69,66 %, égalant Qwen3-Embedding-4B (69,60 %) et dépassant gemini-embedding-001 (67.71 %), tout en nécessitant beaucoup moins de stockage par vecteur. Notre modèle 0,6B surpasse son homologue Qwen3 à la même échelle de paramètres.

Agrandir

Performance de recherche contextuelle sur le banc d'essai ConTEB. Gauche : modèles contextualisés. Droite : modèles non contextualisés. Le modèle pplx-embed-context-v1-4B (INT8) obtient le score le plus élevé, soit 81,96, suivi de voyage-context-3 (79.45) et de pplx-embed-context-v1-0.6B (INT8) à 76,53.

Pour la recherche contextuelle, pplx-embed-context-v1-4B établit une nouvelle norme de pointe sur le banc d'essai ConTEB avec un nDCG@10 moyen de 81,96 %, surpassant voyage-context-3 (79.45 %) et Anthropic Contextual (72,4 %). En entraînant des représentations au niveau des morceaux qui intègrent la sémantique au niveau du document, nos modèles récupèrent le bon passage même lorsque sa signification dépend du contexte environnant.

Nous évaluons également nos modèles dans le cadre de la génération augmentée par récupération (RAG) de bout en bout à l'aide du banc d'essai BERGEN, où les passages récupérés sont transmis à un grand modèle linguistique pour générer des réponses. pplx-embed-v1-4B surpasse Qwen3-Embedding-4B sur quatre des cinq tâches de réponse aux questions évaluées. Notamment, pplx-embed-v1-0.6B surpasse le modèle Qwen3-Embedding-4B, qui est plus grand, sur trois des cinq tâches, ce qui démontre que notre modèle plus petit peut égaler ou dépasser un concurrent doté d'une échelle de paramètres sensiblement supérieure dans des contextes de RAG pratiques. Pour plus de détails sur cette évaluation, veuillez consulter le rapport technique.

Recherche dans le monde réel à grande échelle

Les bancs d'essai publics sont utiles, mais ils ne saisissent pas entièrement les défis de la recherche à l'échelle du Web : requêtes à longue traîne, documents bruités et décalages de distribution qui caractérisent les environnements de production. Pour mesurer ce qui compte en pratique, nous avons conçu deux bancs d'essai internes comportant jusqu'à 115 000 requêtes du monde réel évaluées par rapport à plus de 30 millions de documents regroupés à partir de plus de 1 milliard de pages Web. PPLXQuery2Query évalue si un modèle de vectorisation peut identifier des requêtes sémantiquement équivalentes à partir du trafic de recherche réel; PPLXQuery2Doc mesure la recherche de documents à partir d'un corpus de 30 millions de pages.

Sur PPLXQuery2Query (corpus de 2,4M), pplx-embed-v1-4B atteint un Recall@10 de 73,5 %, surpassant Qwen3-Embedding-4B (67,9 %) de 5,6 points de pourcentage. Notre modèle 0,6B atteint un Recall@10 de 71,1 %, surpassant largement BGE-M3 (61,8 %) et Qwen3-Embedding-0.6B (55,1 %).

Agrandir

Sur la tâche PPLXQuery2Doc multilingue (corpus de 30M), pplx-embed-v1-4B atteint un Recall@1000 de 91,7 %, comparativement à 88,6 % pour Qwen3-Embedding-4B. Un rappel élevé à des profondeurs de recherche importantes est essentiel pour les modèles de vectorisation servant d'origine de première étape dans les pipelines de classement à étapes multiples, où la maximisation du nombre de candidats pertinents transmis aux réclasseurs en aval a un impact direct sur la qualité du résultat final.

Pour commencer

Tous les modèles sont offerts sur Hugging Face (sous licence MIT) et par l'intermédiaire de l'API Perplexity. Nous prenons en charge l'inférence par l'intermédiaire de Transformers, SentenceTransformers, Text Embeddings Inference et ONNX. Pour tous les détails sur chaque option, consultez la collection de modèles Hugging Face.

Pour obtenir des détails techniques complets et tous les résultats d'évaluation, veuillez consulter notre rapport technique.

Citation

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}