Les plongements de texte expliqués : leur fonctionnement [+exemples]

Ce guide explique ce que sont les plongements de texte, comment ils transforment le texte en vecteurs qui en saisissent le sens, et comment choisir, évaluer et appliquer des modèles de plongement à la recherche, au RAG et à d’autres cas d’utilisation concrets.

Diagram of what text embeddings are: two customer tickets, “I was charged twice for my subscription.” and “There’s a duplicate payment on my account.”, are converted by a text embedding model into similar vectors that sit close together in the billing issues cluster of a 2D embedding space, so both are routed to the billing support queue.

Si vous connaissez le principe de base des plongements textuels (embeddings), mais que vous vous demandez comment les mettre en pratique, vous êtes au bon endroit. Nous allons décortiquer les vecteurs, la tokenisation et le calcul de similarité, plonger dans les méandres de l’évaluation des modèles de plongement et vous présenter des cas d’utilisation concrets.

Que sont les plongements textuels?

Les plongements textuels sont des représentations numériques de mots, de phrases ou de documents qui en saisissent le sens sémantique et les relations. Ils sont générés par des modèles de plongement qui convertissent le texte en vecteurs, c’est-à-dire des tableaux de nombres que les algorithmes d’apprentissage automatique peuvent traiter et comparer.

Les ingénieurs en apprentissage automatique utilisent les plongements textuels pour aider les applications logicielles à reconnaître les relations entre les mots et les phrases, ce qui facilite la recherche, la catégorisation et l’analyse de grands volumes de données.

Imaginons que vous recevez des milliers de demandes de soutien chaque jour. Les clients signalent tous les problèmes imaginables, et vous devez les catégoriser et les étiqueter. Une façon d’automatiser ce processus consiste à utiliser un modèle de plongement textuel préentraîné pour convertir chaque demande en vecteur.

Par exemple, deux clients envoient les messages suivants :

  • « On m’a facturé mon abonnement deux fois » : [0.21, -0.47, 0.83, ...]
  • « Il y a un paiement en double dans mon compte » : [0.19, -0.45, 0.80, ...]

Il s’agit de vecteurs simplifiés, à titre d’illustration.

Même si les clients emploient des mots différents, ils décrivent le même problème. Le modèle de plongement saisit cette relation en plaçant leurs vecteurs à proximité l’un de l’autre dans un espace mathématique. Les deux demandes sont alors catégorisées et acheminées vers l’équipe de facturation.

Cas d’utilisation des plongements textuels en entreprise

Les plongements textuels servent à diverses tâches de traitement automatique du langage naturel (TALN), notamment :

  • Recherche sémantique : trouver de l’information pertinente en fonction du sens. Delivery Hero utilise des plongements de produits et de requêtes, en complément de la recherche par mots-clés, pour aider les clients de son service d’épicerie à trouver des produits pertinents. Par exemple, une recherche de « yogourt faible en gras » peut faire ressortir du yogourt grec ou du yogourt à 0,5 % de matières grasses, même sans correspondance exacte des termes.
  • Classification de texte : catégoriser du texte, par exemple pour repérer les pourriels ou trier des documents par sujet. MindCraft.ai a mis au point un système de classification de documents qui s’appuie sur des plongements textuels fondés sur des transformeurs et sur l’apprentissage automatique pour catégoriser les documents d’entreprise et repérer les renseignements sensibles aux fins de conformité au RGPD.
  • Regroupement (clustering) : regrouper des documents ou des passages de texte similaires afin de dégager des tendances. Doczy.ai convertit le texte de contrats en plongements et regroupe les clauses et les concepts sémantiquement liés, même lorsque différents contrats expriment des obligations semblables en des termes différents.
  • Génération augmentée par récupération (RAG) : récupérer de l’information pertinente qu’un grand modèle de langage (LLM) peut utiliser pour générer des réponses plus exactes et adaptées au contexte. Ring utilise les plongements textuels d’Amazon Titan dans un agent conversationnel RAG multilingue afin de récupérer la documentation de soutien pertinente avant de répondre aux questions des clients sur ses différents marchés internationaux.
  • Systèmes de recommandation : suggérer des articles, des produits ou d’autres contenus connexes en fonction de similarités textuelles. Le système JUDE de LinkedIn utilise des plongements textuels générés par LLM à partir de descriptions de poste et de profils de membres pour améliorer les recommandations d’emploi, en saisissant les liens entre le parcours des candidats et les postes offerts.
  • Reconnaissance d’entités nommées (REN) : aider à repérer et à classer les noms de personnes, d’organisations et de lieux dans un texte. Amazon Health Services utilise la REN pour repérer des concepts médicaux dans les requêtes des clients, comme des maladies, des symptômes, des médicaments et des traitements. Ce service combine cette compréhension à une recherche par similarité fondée sur les plongements pour associer les requêtes aux produits et services de santé pertinents.
  • Traduction automatique : appuyer les modèles qui traduisent du texte d’une langue à une autre. Transglot utilise des plongements textuels dans une mémoire de traduction sémantique pour repérer des passages déjà traduits dont le sens est semblable, ce qui aide les flux de travail de localisation à réutiliser les traductions existantes.

Comment fonctionnent les plongements textuels?

Alors, comment un modèle de plongement décide-t-il des valeurs numériques à attribuer à un texte, et pourquoi devrions-nous lui faire confiance?

Tout commence par l’entraînement. Les modèles de plongement apprennent à partir de vastes collections de textes, en cherchant des régularités dans la façon dont les mots sont employés ensemble. Par exemple, des modèles traditionnels comme Word2Vec apprennent en prédisant un mot à partir des mots qui l’entourent, ou l’inverse. Les modèles modernes axés sur la récupération d’information recourent souvent à l’apprentissage contrastif : ils sont entraînés à attribuer des scores de similarité plus élevés aux paires requête-document pertinentes qu’aux paires sans lien.

Une fois le modèle entraîné, voici ce qui se passe lorsque vous lui soumettez un nouveau texte :

  1. Tokenisation. Le modèle commence par découper le texte en petits morceaux appelés jetons (tokens). Il peut s’agir de mots entiers, de parties de mots ou de signes de ponctuation. Chaque jeton reçoit un identifiant numérique tiré du vocabulaire du modèle, qui n’a aucun sens en soi.
  2. Encodage et agrégation (pooling). Le modèle traite ces jetons à l’aide des régularités apprises pendant l’entraînement et produit un vecteur. Chaque nombre du vecteur est une coordonnée ou une composante, et une dimension est l’axe le long duquel ce nombre définit la position du vecteur. Chaque valeur contribue à situer le texte dans un espace mathématique, appelé espace de plongement.
  3. Calcul de similarité. Pour trouver des textes connexes, un système de récupération compare le plongement de la requête aux plongements des documents à l’aide d’une mesure de similarité comme la similarité cosinus ou le produit scalaire

C’est ainsi que les boutiques en ligne, par exemple, renvoient les articles correspondant à la requête d’un utilisateur.

Quelle est la différence entre les plongements de mots, de phrases et de documents?

La principale différence tient à la quantité de texte que chaque plongement représente dans un seul vecteur. Vous pouvez créer des plongements pour des mots individuels, des phrases complètes ou des documents entiers, selon l’information que vous souhaitez saisir.

  • Les plongements de mots saisissent les relations entre des mots individuels, en reconnaissant par exemple que « panne » et « interruption de service » sont des concepts liés.
  • Les plongements de phrases saisissent le sens de phrases entières, même lorsqu’elles expriment la même idée en des termes différents.
  • Les plongements de documents représentent un document entier sous la forme d’un seul vecteur, plutôt que de créer un vecteur distinct pour chaque phrase. Cela permet de préserver le sujet général et de trouver d’autres documents qui traitent du même sujet; toutefois, les détails peuvent être plus difficiles (voire impossibles) à récupérer.

Quel niveau de granularité choisir? Le bon niveau dépend de vos données et de ce que vous cherchez à accomplir.

Pour les documents plus volumineux, une pratique courante consiste à diviser le texte en segments plus petits et à générer un plongement distinct pour chacun. Vous obtenez ainsi le sens global du document ET les détails précis, qui pourraient se perdre avec les plongements de documents.

Dans quelle mesure la taille des segments influe-t-elle sur la qualité des plongements?

Dans une large mesure. Selon Rahul Kumar, vice-président de l’ingénierie en IA chez Xenoss, le défi consiste à trouver une taille de segment qui englobe une idée complète sans perdre de contexte important. Il explique le compromis :

« La taille du segment détermine la quantité de contexte sémantique que porte un plongement. Un segment plus grand donne plus de contexte au vecteur, mais il fait aussi la moyenne d’un plus grand nombre de sujets dans un seul vecteur. Un segment qui couvre trois sujets se retrouve au milieu et ne correspond bien à aucun d’entre eux. Un segment plus petit garde un sens précis, mais il peut perdre le contexte qui permettait de le trouver. »

C’est pourquoi Rahul Kumar recommande de choisir une stratégie de segmentation en fonction du contenu plutôt que de s’en tenir à une taille fixe. Comme il le dit, « la taille fixe avec chevauchement ne convient qu’aux textes uniformes comme les courriels ou les pages Web extraites ».

Pour les documents structurés comme les contrats ou les politiques, un découpage récursif tenant compte de la structure convient mieux. La segmentation sémantique, quant à elle, peut bien fonctionner pour les transcriptions, car elle divise le texte là où le sujet ou le sens change.

Plongements textuels ou recherche par mots-clés

Pourquoi utiliser des plongements textuels quand on peut simplement chercher des mots-clés? Parce que la recherche par mots-clés repose sur la correspondance des termes, alors que la recherche sémantique fondée sur les plongements peut récupérer de l’information pertinente même lorsque la requête et le document emploient des mots différents.

Mais similarité sémantique ne veut pas toujours dire pertinence. Shaw Talebi, fondateur d’AI Builder Academy, démontre cette limite à l’aide d’un système de recherche de CV. Dans l’exemple de Shaw Talebi, la recherche d’un « ingénieur de données ayant de l’expérience avec Apache Airflow » n’a renvoyé qu’un seul résultat mentionnant Apache Airflow parmi les cinq premiers, et il se classait au troisième rang, même si trois autres CV du jeu de données indiquaient cette compétence.

Autrement dit, la recherche sémantique est utile pour trouver de l’information liée sur le plan conceptuel, mais elle peut passer à côté d’exigences précises comme des compétences techniques, des identifiants de produits ou des codes d’erreur.

Pour régler ce problème, Rahul Kumar recommande de choisir une approche de récupération en fonction des lacunes du système de récupération :

  • La recherche hybride (qui combine la correspondance par mots-clés et la recherche sémantique) est l’option par défaut lorsque les requêtes contiennent des termes exacts, comme des UGS, des codes d’erreur ou des références juridiques.
  • Les reclasseurs (rerankers) justifient leur coût lorsque seuls les tout premiers résultats comptent, par exemple pour des réponses générées à partir d’un contexte récupéré.
  • La récupération par graphe est utile lorsque la réponse s’étend sur plusieurs sources de données interreliées.

Rahul Kumar a aussi expliqué comment son équipe a mis ces approches en pratique. Dans le cadre d’un projet, elle a exécuté en parallèle une recherche par mots-clés BM25 et une recherche vectorielle, fusionné les résultats au moyen de la fusion des rangs réciproques (RRF) et utilisé un LLM pour reclasser les 124 premiers résultats afin de n’en retenir que 6.

« Le passage à une récupération axée d’abord sur le graphe, où la recherche vectorielle repère des espaces latents similaires avant un parcours de graphe à deux sauts, a fait passer la qualité du classement (nDCG) de 0,58 à 0,67 et réduit le temps de récupération au 90e centile (p90) de 19 s à moins de 3 s », ajoute Rahul Kumar.

Types de modèles de plongement textuel

Dans l’ensemble, tous les modèles de plongement font la même chose : ils apprennent les relations dans le texte. Ils se distinguent toutefois par la tâche pour laquelle ils sont entraînés, l’information dont ils tiennent compte et les tâches qu’ils sont conçus pour accomplir.

Modèles de plongement de mots statiques

Les modèles traditionnels de plongement de mots apprennent des représentations numériques denses des mots à partir des régularités d’usage observées dans de vastes collections de textes. Ces plongements sont statiques, c’est-à-dire que chaque mot reçoit le même vecteur, quel que soit son sens dans un contexte donné.

Deux méthodes bien connues :

  • Word2Vec : mis au point par Google en 2013, ce modèle apprend des représentations à partir des mots voisins au moyen de deux architectures : le sac de mots continu (CBOW), qui prédit un mot à partir de ses voisins, et le skip-gram, qui prédit les mots voisins à partir d’un mot donné.
  • GloVe (Global Vectors for Word Representation) : mis au point à Stanford en 2014, ce modèle utilise des statistiques de cooccurrence des mots pour apprendre les relations entre eux.

Modèles de langage contextuels

Contrairement aux plongements statiques, les modèles de langage à usage général produisent des représentations contextuelles qui varient selon le texte environnant. Cela aide les modèles à distinguer les différents sens d’un même mot.

  • BERT (2018, Google) : utilise l’auto-attention bidirectionnelle pour tenir compte des mots situés de part et d’autre d’un jeton. Par exemple, il génère des représentations différentes pour « avocat » dans « J’ai consulté un avocat pour mon divorce » et dans « J’ai mangé un avocat bien mûr ».
  • GPT (2018, OpenAI) : utilise des représentations fondées sur des transformeurs qui tiennent compte du texte précédent pour prédire le jeton suivant. Les modèles GPT sont principalement conçus pour la génération de langage.

Modèles de plongement de phrases et de documents

Ces modèles représentent sous forme de vecteurs des textes plus longs, qu’il s’agisse de phrases individuelles, de paragraphes ou de documents entiers.

  • Doc2Vec : étend l’apprentissage de type Word2Vec aux phrases, aux paragraphes et aux documents. Il peut aider à regrouper des articles connexes ou à classer des documents par sujet.
  • Universal Sentence Encoder (USE) : mis au point par Google en 2018 pour générer des représentations de longueur fixe de phrases et de courts paragraphes, à des fins de similarité sémantique et de classification de texte.
  • Sentence-BERT (SBERT, 2019) : mis au point par Nils Reimers et Iryna Gurevych à l’Université technique de Darmstadt, ce modèle s’appuie sur le modèle BERT de Google et sert couramment à la recherche sémantique, à la détection de paraphrases et au regroupement.
  • pplx-embed-v1 (2026, Perplexity) : famille de modèles de plongement textuel de pointe conçue pour la récupération d’information concrète à l’échelle du Web. Elle utilise un préentraînement fondé sur la diffusion pour transformer un modèle de langage causal en encodeur bidirectionnel. Elle génère des plongements denses pour des requêtes et des documents encodés indépendamment, grâce à un entraînement tenant compte de la quantification qui réduit les coûts de stockage. Notre modèle 4B INT8 a obtenu un score nDCG@10 de 69,66 sur le banc d’essai de récupération multilingue MTEB, contre 67,71 pour gemini-embedding-001 de Google.
  • pplx-embed-context-v1 (2026, Perplexity) : s’attaque à un problème courant de la segmentation de documents : les passages peuvent perdre leur sens lorsqu’ils sont séparés du texte qui les entoure. Grâce à la segmentation tardive (late chunking), le modèle traite le document avant d’agréger les représentations contextualisées des jetons en plongements de segments distincts. Notre modèle 4B a obtenu un score nDCG@10 de 81,96 sur ConTEB, contre 79,45 pour voyage-context-3.
  • pplx-embed-v2-context (2026, Perplexity) : pousse plus loin la récupération contextuelle. Au lieu d’être entraîné uniquement à trouver le passage qui contient une réponse, il apprend à repérer les passages complémentaires qui aident à expliquer ou à vérifier cette réponse. Pendant l’entraînement, le modèle utilise des signaux de pertinence distillés à partir d’un modèle de compression de contexte, sans avoir besoin de ce modèle enseignant au moment de l’inférence. Notre préversion 9B a obtenu un rappel des réponses de 45,5 % et un rappel des éléments probants de 40,6 % pour les 10 premiers résultats sur context-bench.

Les modèles de Perplexity permettent aussi de stocker des plongements à grande échelle. Ils produisent des plongements INT8 et binaires, ce qui divise les besoins de stockage par 4 et par 32 respectivement, par rapport au format FP32.

Modèle

Dimensions

Contexte

MRL

Quantification

Instruction

Agrégation

pplx-embed-v1-0.6B

1024

32K

Oui

INT8/BINAIRE

Non

Moyenne

pplx-embed-v1-4B

2560

32K

Oui

INT8/BINAIRE

Non

Moyenne

pplx-embed-context-v1-0.6B

1024

32K

Oui

INT8/BINAIRE

Non

Moyenne

pplx-embed-context-v1-4B

2560

32K

Oui

INT8/BINAIRE

Non

Moyenne

Dimensions, longueur de contexte, quantification et configuration d’agrégation des modèles pplx-embed

Plongements denses, creux et multivecteurs

Il existe une autre distinction qui mérite d’être comprise, surtout pour la recherche sémantique. Les modèles de plongement peuvent différer quant à la façon dont ils représentent le texte et calculent la pertinence.

  • Plongements denses : représentent le texte au moyen de vecteurs compacts dont la plupart des valeurs sont non nulles.
  • Plongements creux : utilisent des vecteurs composés majoritairement de zéros, dont les poids appris sont associés aux termes importants. Des modèles comme SPLADE (2021) apprennent quels termes comptent pour récupérer les documents pertinents.
  • Plongements multivecteurs : conservent plusieurs vecteurs pour un même texte, ce qui permet des comparaisons plus détaillées entre les requêtes et les documents. Des modèles comme ColBERT (2020) utilisent ces représentations pour comparer plus finement les requêtes et les documents.
  • Modèles combinant plusieurs approches : BGE-M3 (2024), mis au point par BAAI, prend en charge la récupération dense, creuse et multivecteur au sein d’un même modèle.

Comment choisir et évaluer un modèle de plongement textuel

Les bancs d’essai publics comme MTEB constituent un bon point de départ. Servez-vous-en pour présélectionner deux ou trois modèles qui prennent en charge vos langues, vos longueurs d’entrée et vos exigences de déploiement. Mais ne désignez pas de gagnant tout de suite. On ne saurait trop insister sur l’importance de tester ces modèles sur vos propres données.

Voici un flux de travail d’évaluation pratique :

  1. Constituez un jeu de données de test. Rassemblez de 50 à 100 requêtes de recherche représentatives pour former un premier ensemble d’évaluation (il vous en faudra peut-être davantage), y compris des cas épineux comme des paraphrases, de la terminologie technique et des codes d’erreur exacts. Pour chaque requête, déterminez quels documents ou passages contiennent des réponses pertinentes. Ces étiquettes de pertinence deviennent votre vérité de terrain.
  2. Mesurez la qualité de la récupération. Testez chaque modèle sur le même jeu de données d’évaluation, en maintenant des conditions de préparation des documents et de récupération comparables, tout en respectant les exigences propres à chaque modèle en matière de formatage des requêtes, de normalisation et de calcul de similarité. Calculez ensuite les métriques suivantes à l’aide de l’outil InformationRetrievalEvaluator de Sentence Transformers :
    • Recall@k : Indique la proportion de passages pertinents qui figurent parmi les k premiers résultats.
    • MRR : Mesure le rang auquel apparaît le premier résultat pertinent dans le classement.
    • nDCG@k : Mesure la qualité du classement des k premiers résultats en fonction de leur pertinence.
  3. Évaluez la latence et le débit. Mesurez le temps que met chaque modèle à générer le plongement d’une requête, idéalement en indiquant la latence médiane (p50) et au 95e centile (p95) sous une charge réaliste.
  4. Calculez les coûts de stockage et d’exploitation. Le stockage vectoriel dépend du nombre de plongements, de leurs dimensions et de leur précision numérique. Par exemple, un million de plongements FP32 de 768 dimensions nécessitent environ 3,1 Go de stockage vectoriel brut, sans compter la surcharge liée à l’indexation. Pour réduire les besoins en stockage, vous pouvez quantifier les vecteurs à une précision numérique inférieure. Passer de FP32 à INT8, par exemple, divise le stockage vectoriel brut par environ 4. Cependant, la compression peut nuire à la qualité de la récupération; relancez donc vos évaluations pour mesurer le compromis.

Enfin, comparez les résultats côte à côte : métriques de récupération, latence p95, débit, stockage et coût. Choisissez le modèle qui répond à vos exigences de qualité tout en respectant vos contraintes de production.

Quand utiliser des plongements plutôt qu’un LLM?

Comme les LLM prennent désormais en charge tout, de l’analyse de documents au raisonnement complexe, il est assez tentant de soumettre tout votre texte à un modèle et de le laisser se débrouiller. Mais vous ne serez probablement pas ravi de payer la facture.

De plus, les LLM excellent à évaluer et à rédiger, mais ils sont limités par la quantité d’information qu’ils peuvent traiter dans une seule invite. Les plongements, en revanche, sont peu coûteux, rapides et cohérents, et ils s’appliquent à des millions d’éléments.

« Les plongements l’emportent pour la recherche, les recommandations (“plus de contenu comme celui-ci”), la détection de doublons, comme les demandes de soutien répétées, et le regroupement de grands volumes de contenu par thème. Ils sont aussi performants d’une langue à l’autre. Un LLM l’emporte lorsque la tâche exige du raisonnement : résumer, comparer des options ou rédiger une réponse. La plupart des systèmes réels ont besoin des deux, chacun s’occupant de ce qu’il fait bien », conclut Kumar.

Les erreurs que commettent les développeurs avec les plongements de texte

Pour savoir ce que les développeurs ont tendance à négliger, j’ai discuté avec Rahul Kumar et Xibeijia Guan, scientifique des données chez Ahrefs. Ils ont relevé six erreurs à surveiller :

  • Négliger le prétraitement du texte. Si les données d’entrée contiennent du HTML, des menus de navigation, des publicités ou d’autres contenus non pertinents, des étapes de prétraitement comme la suppression du contenu générique peuvent améliorer la qualité des plongements en éliminant les informations superflues.
  • Ignorer la longueur d’entrée maximale du modèle. Chaque modèle a ses propres limites de jetons et son propre comportement de troncature. Un texte qui dépasse la limite peut être tronqué, ce qui entraîne la perte d’informations importantes.
  • Ne pas respecter les exigences propres au modèle. Certains modèles de plongement exigent des préfixes précis, comme query: et passage:, ou des instructions différentes selon la tâche. Ne pas respecter ces exigences peut réduire les performances de récupération.
  • Utiliser une mesure de similarité incompatible. La similarité cosinus et le produit scalaire ne sont pas toujours interchangeables. Vérifiez si les plongements sont normalisés et utilisez la méthode de calcul de score recommandée pour le modèle et l’index vectoriel.
  • Confondre similarité thématique et pertinence. Dans les collections propres à un domaine restreint, de nombreux documents peuvent être sémantiquement similaires sans pour autant répondre à la même question. Examinez les requêtes qui échouent et les distributions de classement. Testez la récupération lexicale ou hybride, le reclassement et les filtres de métadonnées lorsque les utilisateurs ont besoin d’informations exactes.
  • Ignorer la normalisation des plongements. Selon le modèle de plongement, les vecteurs produits peuvent être normalisés ou non. Vérifiez si les plongements sont normalisés et si une normalisation supplémentaire est nécessaire, selon la métrique de similarité que vous utilisez.

FAQ sur les plongements de texte

1. Comment générer des plongements de texte?

L’approche la plus simple consiste à utiliser un modèle de plongement préentraîné. Avec la bibliothèque Sentence Transformers de Python, par exemple, vous pouvez charger un modèle comme all-MiniLM-L6-v2, transmettre votre texte à model.encode(), et obtenir un vecteur numérique en retour. Vous pouvez aussi générer des plongements au moyen d’une API.

Pour la recherche sémantique ou le RAG, vous divisez généralement vos documents en segments, générez un plongement pour chacun, puis stockez les vecteurs dans un index interrogeable.

2. Quels sont les meilleurs modèles de plongement pour le texte?

Plusieurs modèles méritent d’être envisagés, selon ce que vous développez :

  • pplx-embed-v1 de Perplexity : Conçu pour la récupération dense à grande échelle, avec des plongements INT8 et binaires qui réduisent les besoins en stockage vectoriel.
  • pplx-embed-context-v1 de Perplexity : Utile pour récupérer des passages de longs documents dont les segments individuels perdent leur sens sans le contexte qui les entoure.
  • all-MiniLM-L6-v2 : Convient à la recherche sémantique légère en local, au regroupement (clustering) et aux tâches de similarité de phrases. Produit des vecteurs compacts de 384 dimensions, mais tronque les entrées de plus de 256 sous-mots (word pieces).
  • BGE-M3 : Utile pour le RAG multilingue et la récupération hybride. Prend en charge plus de 100 langues et combine des représentations denses, éparses et multivectorielles.
  • Qwen3-Embedding : Un candidat solide pour la recherche multilingue, la récupération de code et les plongements adaptés à des tâches précises. Offre des modèles à poids ouverts de 0,6, 4 et 8 milliards de paramètres, avec prise en charge des instructions.
  • text-embedding-3-large d’OpenAI : Une option accessible par API pour la recherche sémantique et la récupération de documents lorsque vous ne voulez pas héberger de modèle. Prend en charge jusqu’à 3 072 dimensions, que vous pouvez réduire pour économiser de l’espace de stockage.
  • Modèles Gemini Embedding de Google : Utiles pour les applications de récupération gérées. Gemini Embedding 2 permet également d’effectuer des recherches dans du texte, des images, de l’audio, de la vidéo et des PDF au sein d’un espace de plongement commun.

3. Puis-je utiliser un LLM comme modèle de plongement?

Oui, mais il y a une différence entre un LLM généraliste et un LLM optimisé pour les plongements. Les LLM produisent des représentations vectorielles internes du texte, que vous pouvez extraire et agréger (pooling) en un seul plongement. Cependant, ces vecteurs ne sont pas nécessairement utiles pour la recherche sémantique sans entraînement supplémentaire.

Par exemple, Qwen3-Embedding repose sur un LLM de base qui a fait l’objet d’un entraînement supplémentaire pour les tâches de plongement et de récupération. Ainsi, même s’il est possible d’adapter un LLM pour générer des plongements, un modèle de plongement dédié constitue généralement un point de départ plus pratique.