Les embeddings de texte expliqués : fonctionnement [+exemples]

Si vous connaissez le principe de base des embeddings de texte, mais que vous vous demandez comment les mettre en pratique, vous êtes au bon endroit. Nous allons décortiquer les vecteurs, la tokenisation et le calcul de similarité, plonger dans les méandres de l’évaluation des modèles d’embedding et vous présenter des cas d’usage concrets.

Que sont les embeddings de texte ?

Les embeddings de texte sont des représentations numériques de mots, de phrases ou de documents qui capturent leur sens sémantique et leurs relations. Ils sont générés par des modèles d’embedding qui convertissent le texte en vecteurs, c’est-à-dire des tableaux de nombres que les algorithmes d’apprentissage automatique peuvent traiter et comparer.

Les ingénieurs ML utilisent les embeddings de texte pour aider les applications logicielles à reconnaître les relations entre les mots et les phrases, ce qui facilite la recherche, la catégorisation et l’analyse de grands volumes de données.

Imaginons que vous receviez chaque jour des milliers de tickets d’assistance. Les clients signalent tous les problèmes imaginables, mais vous devez les catégoriser et les étiqueter. Une façon d’automatiser ce processus consiste à utiliser un modèle d’embedding de texte pré-entraîné pour convertir chaque ticket en vecteur.

Par exemple, deux clients envoient les messages suivants :

• « J’ai été facturé deux fois pour mon abonnement » : [0.21, -0.47, 0.83, ...]
• « Il y a un paiement en double sur mon compte » : [0.19, -0.45, 0.80, ...]

Il s’agit de vecteurs simplifiés, donnés à titre d’illustration.

Bien que les clients emploient des mots différents, ils décrivent le même problème. Le modèle d’embedding capture cette relation en plaçant leurs vecteurs à proximité l’un de l’autre dans un espace mathématique. Les deux tickets sont alors classés dans la même catégorie et transmis à l’équipe de facturation.

Cas d’usage des embeddings de texte en entreprise

Les embeddings de texte sont utilisés dans de nombreuses tâches de traitement automatique du langage naturel (NLP), notamment :

• Recherche sémantique : trouver des informations pertinentes en fonction du sens. Delivery Hero utilise des embeddings de produits et de requêtes en complément de la recherche par mots-clés pour aider ses clients à trouver des produits d’épicerie pertinents. Par exemple, une recherche de « yaourt allégé » peut faire apparaître un yaourt grec ou un yaourt à 0,5 % de matières grasses, même sans correspondance exacte des termes.
• Classification de texte : catégoriser du texte, par exemple pour identifier les spams ou trier des documents par thème. MindCraft.ai a développé un système de classification de documents qui s’appuie sur des embeddings de texte basés sur des transformers et sur l’apprentissage automatique pour catégoriser les documents d’entreprise et identifier les informations sensibles à des fins de conformité au RGPD.
• Clustering : regrouper des documents ou des extraits de texte similaires pour identifier des tendances. Doczy.ai convertit le texte des contrats en embeddings et regroupe les clauses et concepts sémantiquement liés, même lorsque différents contrats expriment des obligations similaires avec des formulations différentes.
• Génération augmentée par récupération (RAG) : récupérer des informations pertinentes qu’un LLM peut utiliser pour générer des réponses plus précises et adaptées au contexte. Ring utilise les embeddings de texte Amazon Titan au sein d’un chatbot RAG multilingue pour récupérer la documentation d’assistance pertinente avant de générer des réponses aux questions des clients sur les marchés internationaux.
• Systèmes de recommandation : suggérer des articles, des produits ou d’autres contenus connexes en fonction de similarités textuelles. Le système JUDE de LinkedIn utilise des embeddings de texte générés par LLM à partir des descriptions de poste et des profils des membres pour améliorer les recommandations d’offres d’emploi, en capturant les relations entre le parcours des candidats et les postes disponibles.
• Reconnaissance d’entités nommées (NER) : aider à identifier et à classer les noms de personnes, d’organisations et de lieux dans un texte. Amazon Health Services utilise la NER pour identifier les concepts médicaux dans les requêtes des clients, comme les maladies, les symptômes, les médicaments et les traitements. Cette compréhension est ensuite combinée à une recherche de similarité basée sur les embeddings pour associer les requêtes aux produits et services de santé pertinents.
• Traduction automatique : soutenir les modèles qui traduisent du texte d’une langue à une autre. Transglot utilise des embeddings de texte dans une mémoire de traduction sémantique pour identifier les passages déjà traduits ayant un sens similaire, ce qui aide les flux de travail de localisation à réutiliser les traductions existantes.

Comment fonctionnent les embeddings de texte ?

Alors, comment un modèle d’embedding choisit-il les valeurs numériques à attribuer à un texte, et pourquoi devrions-nous lui faire confiance ?

Tout commence par l’entraînement. Les modèles d’embedding apprennent à partir de grandes collections de textes, en recherchant des schémas dans la manière dont les mots sont utilisés ensemble. Par exemple, les modèles traditionnels comme Word2Vec apprennent en prédisant un mot à partir des mots qui l’entourent, ou inversement. Les modèles modernes axés sur la récupération d’information utilisent souvent l’apprentissage contrastif. Ils sont entraînés à attribuer des scores de similarité plus élevés aux paires requête-document pertinentes qu’aux paires sans rapport.

Agrandir

Une fois le modèle entraîné, voici ce qui se passe lorsque vous lui soumettez un nouveau texte :

1. Tokenisation. Le modèle commence par découper le texte en éléments plus petits appelés tokens. Il peut s’agir de mots entiers, de fragments de mots ou de signes de ponctuation. Chaque token reçoit un identifiant numérique issu du vocabulaire du modèle, qui n’a aucune signification en soi.
2. Encodage et pooling. Le modèle traite ces tokens à l’aide des schémas appris pendant l’entraînement et produit un vecteur. Chaque nombre du vecteur est une coordonnée ou une composante, et une dimension est l’axe le long duquel ce nombre définit la position du vecteur. Chaque valeur contribue à la position du texte dans un espace mathématique, appelé espace d’embedding.
3. Calcul de similarité. Pour trouver des textes apparentés, un système de récupération compare l’embedding de la requête aux embeddings des documents à l’aide d’une mesure de similarité telle que la similarité cosinus ou le produit scalaire

C’est ainsi, par exemple, que les boutiques en ligne renvoient les articles correspondant à la requête d’un utilisateur.

Quelle est la différence entre les embeddings de mots, de phrases et de documents ?

Agrandir

La principale différence réside dans la quantité de texte que chaque embedding représente dans un seul vecteur. Vous pouvez créer des embeddings pour des mots individuels, des phrases complètes ou des documents entiers, selon les informations que vous souhaitez capturer.

• Les embeddings de mots capturent les relations entre des mots individuels et reconnaissent par exemple que « panne » et « indisponibilité » sont des concepts liés.
• Les embeddings de phrases saisissent le sens de phrases entières, même lorsqu’elles expriment la même idée avec des mots différents.
• Les embeddings de documents représentent un document entier sous la forme d’un seul vecteur, au lieu de créer un vecteur distinct pour chaque phrase. Cela permet de préserver le sujet général et de trouver d’autres documents traitant du même sujet ; en revanche, les détails peuvent être plus difficiles (voire impossibles) à retrouver.

Quel niveau de granularité choisir ? Le bon niveau dépend de vos données et de ce que vous cherchez à accomplir.

Pour les documents volumineux, une pratique courante consiste à découper le texte en segments plus petits (chunks) et à générer un embedding distinct pour chacun. Vous obtenez ainsi le sens global du document ET les détails spécifiques, qui pourraient se perdre avec un embedding de document.

Dans quelle mesure la taille des segments influe-t-elle sur la qualité des embeddings ?

Considérablement. Selon Rahul Kumar, VP de l’ingénierie IA chez Xenoss, toute la difficulté consiste à trouver une taille de segment qui capture une idée complète sans perdre de contexte important. Il explique ce compromis :

« La taille des segments détermine la quantité de contexte sémantique que porte un embedding. Un segment plus grand donne davantage de contexte au vecteur, mais il fond aussi davantage de sujets dans un seul vecteur moyen. Un segment couvrant trois sujets se retrouve au milieu et ne correspond bien à aucun d’entre eux. Un segment plus petit garde un sens précis, mais il peut perdre le contexte qui permettait de le retrouver. »

C’est pourquoi Kumar recommande de choisir une stratégie de découpage en fonction du contenu plutôt que de s’en tenir à une taille fixe. Comme il le résume, « le découpage de taille fixe avec chevauchement ne convient qu’aux textes uniformes comme les e-mails ou les pages web extraites par scraping ».

Pour les documents structurés comme les contrats ou les politiques, un découpage récursif tenant compte de la structure est plus adapté. Le découpage sémantique, quant à lui, peut bien fonctionner pour les transcriptions, car il divise le texte là où le sujet ou le sens change.

Embeddings de texte ou recherche par mots-clés

Pourquoi utiliser des embeddings de texte alors qu’il suffit de rechercher des mots-clés ? Parce que la recherche par mots-clés repose sur la correspondance des termes, tandis que la recherche sémantique basée sur les embeddings peut retrouver des informations pertinentes même lorsque la requête et le document emploient des mots différents.

Mais similarité sémantique ne rime pas toujours avec pertinence. Shaw Talebi, fondateur d’AI Builder Academy, illustre cette limite à l’aide d’un système de recherche de CV. Dans son exemple, lors d’une recherche portant sur un « data engineer ayant de l’expérience avec Apache Airflow », un seul des cinq premiers résultats mentionnait Apache Airflow, et il n’arrivait qu’en troisième position, alors que trois autres CV du jeu de données mentionnaient cette compétence.

La recherche sémantique est donc utile pour trouver des informations conceptuellement liées, mais elle peut passer à côté d’exigences précises comme des compétences techniques, des identifiants de produits ou des codes d’erreur.

Pour résoudre ce problème, Rahul Kumar recommande de choisir une approche de récupération en fonction des points faibles du système de récupération :

• La recherche hybride (qui combine la correspondance par mots-clés et la recherche sémantique) est l’option par défaut lorsque les requêtes contiennent des termes exacts, comme des références produit (SKU), des codes d’erreur ou des références juridiques.
• Les modèles de reclassement (rerankers) justifient leur coût lorsque seuls les tout premiers résultats comptent, par exemple pour les réponses générées à partir du contexte récupéré.
• La récupération par graphe est utile lorsque la réponse s’étend sur plusieurs sources de données interconnectées.

Kumar a également expliqué comment son équipe a mis ces approches en pratique. Dans le cadre d’un projet, elle a exécuté en parallèle une recherche par mots-clés BM25 et une recherche vectorielle, fusionné les résultats à l’aide de la fusion par rang réciproque (RRF), puis utilisé un LLM pour reclasser les 124 premiers résultats et n’en conserver que 6.

« Le passage à une récupération axée d’abord sur le graphe, avec une recherche vectorielle qui trouve des espaces latents similaires, suivie d’un parcours de graphe en deux sauts, a fait passer la qualité du classement (nDCG) de 0,58 à 0,67 et réduit le temps de récupération au p90 de 19 s à moins de 3 s », ajoute Kumar.

Types de modèles d’embedding de texte

Dans l’ensemble, tous les modèles d’embedding font la même chose : ils apprennent les relations au sein du texte. Ils diffèrent toutefois par l’objectif pour lequel ils sont entraînés, les informations qu’ils prennent en compte et les tâches qu’ils sont conçus pour traiter.

Modèles d’embeddings de mots statiques

Les modèles traditionnels d’embeddings de mots apprennent des représentations numériques denses des mots à partir de la manière dont ils sont employés dans de grandes collections de textes. Ces embeddings sont statiques, ce qui signifie que chaque mot reçoit le même vecteur, quel que soit son sens dans un contexte donné.

Voici deux méthodes bien connues :

• Word2Vec : développé par Google en 2013, il apprend des représentations à partir des mots voisins grâce à deux architectures : Continuous Bag of Words (CBOW), qui prédit un mot à partir de ses voisins, et skip-gram, qui prédit les mots voisins à partir d’un mot donné.
• GloVe (Global Vectors for Word Representation) : développé à Stanford en 2014, il exploite des statistiques de cooccurrence des mots pour apprendre les relations entre les mots.

Modèles de langage contextualisés

Contrairement aux embeddings statiques, les modèles de langage généralistes produisent des représentations contextuelles qui varient en fonction du texte environnant. Cela aide les modèles à distinguer les différents sens d’un même mot.

• BERT (2018, Google) : utilise l’auto-attention bidirectionnelle pour prendre en compte les mots situés de part et d’autre d’un token. Par exemple, il génère des représentations différentes pour « avocat » dans « J’ai consulté un avocat » et « J’ai mangé un avocat bien mûr ».
• GPT (2018, OpenAI) : utilise des représentations basées sur les transformers qui tiennent compte du texte précédent pour prédire le token suivant. Les modèles GPT sont avant tout conçus pour la génération de langage.

Modèles d’embeddings de phrases et de documents

Ils représentent sous forme de vecteurs des textes plus longs, qu’il s’agisse de phrases individuelles, de paragraphes ou de documents entiers.

• Doc2Vec : étend l’apprentissage de type Word2Vec aux phrases, aux paragraphes et aux documents. Il peut aider à regrouper des articles connexes ou à classer des documents par sujet.
• Universal Sentence Encoder (USE) : développé par Google en 2018 pour générer des représentations de longueur fixe de phrases et de courts paragraphes, à des fins de similarité sémantique et de classification de texte.
• Sentence-BERT (SBERT, 2019) : développé par Nils Reimers et Iryna Gurevych à l’Université technique de Darmstadt, il s’appuie sur le modèle BERT de Google et est couramment utilisé pour la recherche sémantique, la détection de paraphrases et le clustering.
• pplx-embed-v1 (2026, Perplexity) : conçue pour la récupération à l’échelle du web en conditions réelles, cette famille de modèles d’embedding de texte de pointe utilise un pré-entraînement par diffusion pour transformer un modèle de langage causal en encodeur bidirectionnel. Elle génère des embeddings denses pour des requêtes et des documents encodés indépendamment, avec un entraînement tenant compte de la quantification afin de réduire les coûts de stockage. Notre modèle 4B INT8 a obtenu un score nDCG@10 de 69,66 sur le benchmark de récupération multilingue MTEB, contre 67,71 pour gemini-embedding-001 de Google.
• pplx-embed-context-v1 (2026, Perplexity) : répond à un problème courant du découpage de documents en segments : les passages peuvent perdre leur sens lorsqu’ils sont séparés du texte environnant. Grâce au découpage tardif (late chunking), le modèle traite le document avant de regrouper (pooling) les représentations contextualisées des tokens en embeddings de segments distincts. Notre modèle 4B a obtenu un score nDCG@10 de 81,96 sur ConTEB, contre 79,45 pour voyage-context-3.
• pplx-embed-v2-context (2026, Perplexity) : pousse la récupération contextuelle encore plus loin. Au lieu d’être uniquement entraîné à trouver le passage contenant une réponse, il apprend à identifier les passages complémentaires qui aident à expliquer ou à vérifier cette réponse. Pendant l’entraînement, le modèle utilise des signaux de pertinence distillés à partir d’un modèle de compression de contexte, sans avoir besoin de ce modèle enseignant au moment de l’inférence. Notre préversion 9B a atteint un rappel des réponses de 45,5 % et un rappel des éléments probants de 40,6 % pour 10 résultats sur context-bench.

Les modèles de Perplexity permettent également de stocker des embeddings à grande échelle. Ils produisent des embeddings INT8 et binaires, ce qui réduit les besoins de stockage respectivement par 4 et par 32 par rapport au FP32.

Dimensions, longueur de contexte, quantification et configuration du pooling des modèles pplx-embed

Embeddings denses, creux et multivecteurs

Il existe une autre distinction à connaître, en particulier pour la recherche sémantique. Les modèles d’embedding peuvent différer dans la manière dont ils représentent le texte et calculent la pertinence.

• Embeddings denses : représentent le texte à l’aide de vecteurs compacts dont la plupart des valeurs sont non nulles.
• Embeddings creux : utilisent des vecteurs composés principalement de zéros, avec des poids appris associés aux termes importants. Des modèles comme SPLADE (2021) apprennent quels termes comptent pour récupérer les documents pertinents.
• Embeddings multivecteurs : conservent plusieurs vecteurs pour un même texte, ce qui permet des comparaisons plus fines entre les requêtes et les documents. Des modèles comme ColBERT (2020) utilisent ces représentations pour des comparaisons requête-document plus détaillées.
• Modèles combinant plusieurs approches : BGE-M3 (2024), développé par BAAI, prend en charge la récupération dense, creuse et multivecteur au sein d’un même modèle.

Comment choisir et évaluer un modèle d’embedding de texte

Les benchmarks publics comme MTEB constituent un bon point de départ. Utilisez-les pour présélectionner deux ou trois modèles compatibles avec vos langues, vos longueurs d’entrée et vos exigences de déploiement. Mais ne désignez pas encore de gagnant. Nous ne saurions trop insister sur l’importance de tester ces modèles sur vos propres données.

Voici un flux de travail d’évaluation concret :

1. Constituez un jeu de données de test. Rassemblez 50 à 100 requêtes de recherche représentatives pour former un premier jeu d’évaluation (il vous en faudra peut-être davantage), en incluant des cas délicats comme des paraphrases, de la terminologie technique et des codes d’erreur exacts. Pour chaque requête, identifiez les documents ou passages qui contiennent des réponses pertinentes. Ces étiquettes de pertinence constituent votre vérité terrain.
2. Mesurer la qualité de la récupération. Testez chaque modèle sur le même jeu de données d’évaluation, en maintenant des conditions comparables de préparation des documents et de récupération, tout en respectant les exigences propres à chaque modèle en matière de formatage des requêtes, de normalisation et de calcul de similarité. Calculez ensuite les métriques suivantes à l’aide de l’InformationRetrievalEvaluator de Sentence Transformers :
   • Recall@k : indique la proportion de passages pertinents qui figurent parmi les k premiers résultats.
   • MRR : mesure à quel rang apparaît le premier résultat pertinent dans le classement.
   • nDCG@k : mesure la qualité du classement des k premiers résultats en fonction de leur pertinence.
3. Évaluer la latence et le débit. Mesurez le temps nécessaire à chaque modèle pour générer l’embedding d’une requête, idéalement en indiquant la latence médiane (p50) et celle du 95e centile (p95) sous une charge réaliste.
4. Calculer les coûts de stockage et d’exploitation. Le stockage vectoriel dépend du nombre d’embeddings, de leurs dimensions et de leur précision numérique. Par exemple, un million d’embeddings FP32 de 768 dimensions nécessitent environ 3,1 Go de stockage vectoriel brut, hors surcoût lié à l’indexation. Pour réduire les besoins de stockage, vous pouvez quantifier les vecteurs afin d’abaisser leur précision numérique. Passer de FP32 à INT8, par exemple, réduit le stockage vectoriel brut d’un facteur 4 environ. Cependant, la compression peut affecter la qualité de la récupération : relancez donc vos évaluations pour évaluer le compromis.

Enfin, comparez les résultats côte à côte : métriques de récupération, latence p95, débit, stockage et coût. Choisissez le modèle qui répond à vos exigences de qualité tout en respectant vos contraintes de production.

Quand utiliser des embeddings plutôt qu’un LLM ?

Les LLM prenant désormais tout en charge, de l’analyse de documents au raisonnement complexe, il est tentant de soumettre tout votre texte à un modèle et de le laisser se débrouiller. Mais vous ne serez sans doute pas ravi d’en payer le prix.

De plus, les LLM sont plus doués pour évaluer et rédiger, mais ils sont limités par la quantité d’informations qu’ils peuvent traiter dans un seul prompt. Les embeddings, en revanche, sont peu coûteux, rapides, cohérents et s’appliquent à des millions d’éléments.

« Les embeddings l’emportent pour la recherche, les recommandations (“plus de contenus de ce type”), la détection de doublons, comme les tickets d’assistance répétés, et le regroupement de grands volumes de contenu par thème. Ils sont également performants d’une langue à l’autre. Un LLM l’emporte lorsque la tâche exige du raisonnement : résumer, comparer des options ou rédiger une réponse. La plupart des systèmes réels ont besoin des deux, chacun se chargeant de ce qu’il fait de mieux », conclut Kumar.

Les erreurs fréquentes des développeurs avec les embeddings de texte

Pour savoir ce que les développeurs ont tendance à négliger, j’ai interrogé Rahul Kumar et Xibeijia Guan, data scientist chez Ahrefs. Ils ont mis en évidence six erreurs à éviter :

• Négliger le prétraitement du texte. Si les données d’entrée contiennent du HTML, des menus de navigation, des publicités ou d’autres contenus non pertinents, des étapes de prétraitement comme la suppression du contenu passe-partout (boilerplate) peuvent améliorer la qualité des embeddings en éliminant les informations superflues.
• Ignorer la longueur d’entrée maximale du modèle. Les modèles ont des limites de tokens et des comportements de troncature différents. Un texte qui dépasse la limite peut être tronqué, ce qui entraîne la perte d’informations importantes.
• Ne pas respecter les exigences propres au modèle. Certains modèles d’embedding exigent des préfixes spécifiques, comme query: et passage:, ou des instructions différentes selon les tâches. Ne pas respecter ces exigences peut dégrader les performances de récupération.
• Utiliser une mesure de similarité incompatible. La similarité cosinus et le produit scalaire ne sont pas toujours interchangeables. Vérifiez si les embeddings sont normalisés et utilisez la méthode de calcul du score recommandée pour le modèle et l’index vectoriel.
• Confondre similarité thématique et pertinence. Dans les collections très spécialisées, de nombreux documents peuvent être sémantiquement similaires sans pour autant répondre à la même question. Examinez les requêtes ayant échoué et les distributions de classement. Testez la recherche lexicale ou hybride, le reclassement (reranking) et les filtres de métadonnées lorsque les utilisateurs ont besoin d’informations exactes.
• Ignorer la normalisation des embeddings. Selon le modèle d’embedding, les vecteurs produits peuvent être normalisés ou non. Vérifiez si les embeddings sont normalisés et si une normalisation supplémentaire est nécessaire, en fonction de la métrique de similarité utilisée.

FAQ sur les embeddings de texte

1. Comment générer des embeddings de texte ?

L’approche la plus simple consiste à utiliser un modèle d’embedding pré-entraîné. Avec la bibliothèque Python Sentence Transformers, par exemple, vous pouvez charger un modèle comme all-MiniLM-L6-v2, transmettre votre texte à model.encode(), et obtenir en retour un vecteur numérique. Vous pouvez aussi générer des embeddings via une API.

Pour la recherche sémantique ou le RAG, vous découperez généralement vos documents en fragments (chunks), générerez un embedding pour chacun d’eux et stockerez les vecteurs dans un index interrogeable.

2. Quels sont les meilleurs modèles d’embedding pour le texte ?

Plusieurs modèles méritent d’être envisagés, selon ce que vous développez :

• pplx-embed-v1 de Perplexity : conçu pour la récupération dense à grande échelle, avec des embeddings INT8 et binaires qui réduisent les besoins de stockage vectoriel.
• pplx-embed-context-v1 de Perplexity : utile pour récupérer des passages dans des documents longs dont les fragments perdent leur sens sans leur contexte environnant.
• all-MiniLM-L6-v2 : adapté à la recherche sémantique légère en local, au clustering et aux tâches de similarité de phrases. Produit des vecteurs compacts de 384 dimensions, mais tronque les entrées dépassant 256 sous-mots (word pieces).
• BGE-M3 : utile pour le RAG multilingue et la récupération hybride. Prend en charge plus de 100 langues et combine des représentations denses, creuses et multivecteurs.
• Qwen3-Embedding : un candidat solide pour la recherche multilingue, la récupération de code et les embeddings spécifiques à une tâche. Propose des modèles à poids ouverts de 0,6, 4 et 8 milliards de paramètres, avec prise en charge des instructions.
• text-embedding-3-large d’OpenAI : une option accessible par API pour la recherche sémantique et la récupération de documents, lorsque vous ne souhaitez pas héberger de modèle. Prend en charge jusqu’à 3 072 dimensions, un nombre que vous pouvez réduire pour économiser de l’espace de stockage.
• Modèles Gemini Embedding de Google : utiles pour les applications de récupération managées. Gemini Embedding 2 permet également d’effectuer des recherches dans du texte, des images, de l’audio, de la vidéo et des PDF au sein d’un espace d’embedding partagé.

3. Peut-on utiliser un LLM comme modèle d’embedding ?

Oui, mais il existe une différence entre un LLM généraliste et un LLM optimisé pour les embeddings. Les LLM produisent des représentations vectorielles internes du texte, que vous pouvez extraire et agréger (pooling) en un seul embedding. Toutefois, ces vecteurs ne sont pas nécessairement utiles pour la recherche sémantique sans entraînement supplémentaire.

Par exemple, Qwen3-Embedding s’appuie sur une architecture de LLM (backbone) ayant bénéficié d’un entraînement supplémentaire pour les tâches d’embedding et de récupération. Ainsi, même s’il est possible d’adapter un LLM pour générer des embeddings, un modèle d’embedding dédié constitue généralement un point de départ plus pratique.