Qué son los embeddings de texto y cómo funcionan [+ejemplos]

Si ya conoces el concepto básico de los embeddings de texto, pero te preguntas cómo sacarles partido, has llegado al lugar indicado. Analizaremos a fondo los vectores, la tokenización y el cálculo de similitud, nos adentraremos en el complejo mundo de la evaluación de modelos de embeddings y te mostraremos casos de uso reales.

¿Qué son los embeddings de texto?

Los embeddings de texto son representaciones numéricas de palabras, frases o documentos que capturan su significado semántico y sus relaciones. Los generan modelos de embeddings que convierten el texto en vectores: listas de números que los algoritmos de aprendizaje automático pueden procesar y comparar.

Los ingenieros de ML utilizan embeddings de texto para ayudar a las aplicaciones de software a reconocer las relaciones entre palabras y frases, lo que facilita buscar, categorizar y analizar grandes volúmenes de datos.

Imagina que recibes miles de tickets de soporte al día. Los clientes informan de todo tipo de problemas, pero necesitas categorizarlos y etiquetarlos. Una forma de automatizar este proceso es usar un modelo de embeddings de texto preentrenado para convertir cada ticket en un vector.

Por ejemplo, dos clientes envían los siguientes mensajes:

• «Me han cobrado dos veces la suscripción»: [0.21, -0.47, 0.83, ...]
• «Hay un pago duplicado en mi cuenta»: [0.19, -0.45, 0.80, ...]

Estos vectores son simplificados y meramente ilustrativos.

Aunque los clientes usan palabras distintas, describen el mismo problema. El modelo de embeddings capta esta relación situando sus vectores cerca uno del otro en un espacio matemático. Ambos tickets se categorizan y se derivan al equipo de facturación.

Casos de uso de los embeddings de texto en las empresas

Los embeddings de texto se utilizan en diversas tareas de procesamiento del lenguaje natural (PLN), entre ellas:

• Búsqueda semántica: encontrar información relevante en función del significado. Delivery Hero utiliza embeddings de productos y de consultas junto con la búsqueda por palabras clave para ayudar a los clientes de su servicio de supermercado a encontrar productos relevantes. Por ejemplo, una búsqueda de «yogur bajo en grasa» puede mostrar yogur griego o yogur con un 0,5 % de grasa, aunque la formulación no coincida exactamente.
• Clasificación de textos: categorizar textos, por ejemplo, identificar correos electrónicos de spam u ordenar documentos por tema. MindCraft.ai desarrolló un sistema de clasificación de documentos que utiliza embeddings de texto basados en transformers y aprendizaje automático para categorizar documentos corporativos e identificar información confidencial a efectos del cumplimiento del RGPD.
• Agrupamiento (clustering): agrupar documentos o fragmentos de texto similares para identificar patrones. Doczy.ai convierte el texto de los contratos en embeddings y agrupa cláusulas y conceptos semánticamente relacionados, incluso cuando distintos contratos expresan obligaciones similares con una redacción diferente.
• Generación aumentada por recuperación (RAG): recuperar información relevante que un LLM pueda usar para generar respuestas más precisas y adaptadas al contexto. Ring utiliza embeddings de texto de Amazon Titan en un chatbot RAG multilingüe para recuperar la documentación de soporte relevante antes de generar respuestas a las preguntas de los clientes en distintos mercados internacionales.
• Sistemas de recomendación: sugerir artículos, productos u otros contenidos relacionados en función de similitudes textuales. El sistema JUDE de LinkedIn utiliza embeddings de texto generados por LLM a partir de descripciones de puestos de trabajo y perfiles de miembros para mejorar las recomendaciones de empleo, captando las relaciones entre la trayectoria de los candidatos y los puestos disponibles.
• Reconocimiento de entidades nombradas (NER): ayudar a identificar y clasificar nombres de personas, organizaciones y lugares en un texto. Amazon Health Services utiliza NER para identificar conceptos médicos en las consultas de los clientes, como enfermedades, síntomas, medicamentos y tratamientos. Combina esa comprensión con la búsqueda por similitud basada en embeddings para relacionar las consultas con productos y servicios sanitarios relevantes.
• Traducción automática: dar soporte a modelos que traducen texto entre idiomas. Transglot utiliza embeddings de texto en una memoria de traducción semántica para identificar pasajes ya traducidos con significados similares, lo que ayuda a los flujos de trabajo de localización a reutilizar traducciones existentes.

¿Cómo funcionan los embeddings de texto?

Entonces, ¿cómo decide un modelo de embeddings qué valores numéricos asignar a un fragmento de texto y por qué deberíamos fiarnos de él?

Todo empieza con el entrenamiento. Los modelos de embeddings aprenden de grandes colecciones de texto y buscan patrones en cómo se combinan las palabras. Por ejemplo, los modelos tradicionales como Word2Vec aprenden prediciendo una palabra a partir de las que la rodean, o viceversa. Los modelos modernos orientados a la recuperación suelen utilizar el aprendizaje contrastivo: se entrenan para asignar puntuaciones de similitud más altas a los pares consulta-documento relevantes que a los no relacionados.

Ampliar

Una vez entrenado el modelo, esto es lo que ocurre cuando le das un nuevo fragmento de texto:

1. Tokenización. Primero, el modelo divide el texto en fragmentos más pequeños llamados tokens. Pueden ser palabras completas, partes de palabras o signos de puntuación. Cada token recibe un ID numérico del vocabulario del modelo, que por sí solo no tiene ningún significado.
2. Codificación y agrupación (pooling). El modelo procesa estos tokens utilizando los patrones que aprendió durante el entrenamiento y genera un vector. Cada número del vector es una coordenada o componente, y una dimensión es el eje a lo largo del cual ese número define la posición del vector. Cada valor contribuye a la posición del texto en un espacio matemático conocido como espacio de embeddings.
3. Cálculo de similitud. Para encontrar textos relacionados, un sistema de recuperación compara el embedding de la consulta con los embeddings de los documentos mediante una medida de similitud como la similitud del coseno o el producto escalar.

Así es como, por ejemplo, las tiendas online devuelven los artículos que coinciden con la consulta de un usuario.

¿Qué diferencia hay entre los embeddings de palabras, de frases y de documentos?

Ampliar

La principal diferencia es cuánto texto representa cada embedding en un único vector. Puedes crear embeddings para palabras sueltas, frases completas o documentos enteros, según la información que quieras capturar.

• Los embeddings de palabras capturan las relaciones entre palabras individuales y reconocen que «interrupción» y «tiempo de inactividad» son conceptos relacionados.
• Los embeddings de frases comprenden el significado de frases completas, incluso cuando expresan la misma idea con palabras distintas.
• Los embeddings de documentos representan un documento entero como un único vector, en lugar de crear un vector independiente para cada frase. Esto ayuda a conservar el tema general y a encontrar otros documentos que traten el mismo tema; sin embargo, los detalles pueden ser más difíciles (si no imposibles) de recuperar.

¿Qué nivel de granularidad conviene elegir? El nivel adecuado depende de tus datos y de lo que quieras conseguir.

En el caso de documentos más extensos, una práctica habitual es dividir el texto en fragmentos más pequeños y generar un embedding independiente para cada uno. Así obtendrás el significado general del documento Y los detalles concretos, que podrían perderse con los embeddings de documentos.

¿En qué medida afecta el tamaño de los fragmentos a la calidad de los embeddings?

Bastante. Según Rahul Kumar, vicepresidente de Ingeniería de IA en Xenoss, el reto consiste en encontrar un tamaño de fragmento que capture una idea completa sin perder contexto importante. Así explica el equilibrio que hay que encontrar:

«El tamaño del fragmento determina cuánto contexto semántico contiene un embedding. Un fragmento más grande aporta más contexto al vector, pero también promedia más temas en un solo vector. Un fragmento que abarca tres temas acaba en un punto intermedio y no encaja bien con ninguno de ellos. Un fragmento más pequeño mantiene el significado nítido, pero puede perder el contexto que permitía encontrarlo».

Por eso Kumar recomienda elegir una estrategia de fragmentación en función del contenido, en lugar de ceñirse a un único tamaño fijo. En sus palabras, «el tamaño fijo con solapamiento solo funciona bien con textos uniformes, como correos electrónicos o páginas web extraídas mediante scraping».

Para documentos estructurados, como contratos o políticas, es más adecuada una división recursiva que tenga en cuenta la estructura. Por su parte, la fragmentación semántica puede funcionar bien con transcripciones, ya que divide el texto donde cambia el tema o el significado.

Embeddings de texto frente a búsqueda por palabras clave

¿Por qué usar embeddings de texto si basta con buscar palabras clave? Porque la búsqueda por palabras clave se basa en la coincidencia de términos, mientras que la búsqueda semántica basada en embeddings puede recuperar información relevante incluso cuando la consulta y el documento utilizan palabras distintas.

Pero la similitud semántica no siempre implica relevancia. Shaw Talebi, fundador de AI Builder Academy, demuestra esta limitación con un sistema de búsqueda de currículos. En el caso de Talebi, al buscar un «ingeniero de datos con experiencia en Apache Airflow», solo uno de los cinco primeros resultados mencionaba Apache Airflow, y aparecía en tercera posición, a pesar de que otros tres currículos del conjunto de datos incluían esa competencia.

Esto significa que la búsqueda semántica es útil para encontrar información relacionada conceptualmente, pero puede pasar por alto requisitos exactos, como competencias técnicas, identificadores de productos o códigos de error.

Para solucionar este problema, Rahul Kumar recomienda elegir un enfoque de recuperación en función de dónde se quede corto el sistema de recuperación:

• La búsqueda híbrida (que combina la coincidencia de palabras clave con la búsqueda semántica) es la opción predeterminada cuando las consultas contienen términos exactos, como SKU, códigos de error o referencias legales.
• Los reordenadores (rerankers) compensan su coste cuando solo importan los primeros resultados, como en las respuestas generadas a partir del contexto recuperado.
• La recuperación basada en grafos resulta útil cuando la respuesta abarca varias fuentes de datos conectadas.

Kumar también explicó cómo su equipo puso en práctica estos enfoques. En un proyecto, ejecutaron en paralelo la búsqueda por palabras clave BM25 y la búsqueda vectorial, combinaron los resultados mediante la fusión por rango recíproco (RRF) y utilizaron un LLM para reordenar los 124 primeros resultados y quedarse con 6.

«Pasar a una recuperación basada principalmente en grafos, con una búsqueda vectorial que encuentra espacios latentes similares seguida de un recorrido de dos saltos por el grafo, elevó la calidad del ranking (nDCG) de 0,58 a 0,67 y redujo el tiempo de recuperación p90 de 19 s a menos de 3 s», añade Kumar.

Tipos de modelos de embeddings de texto

A grandes rasgos, todos los modelos de embeddings hacen lo mismo: aprender las relaciones dentro del texto. Sin embargo, se diferencian en el objetivo con el que se entrenan, en la información que tienen en cuenta y en las tareas para las que están diseñados.

Modelos de embeddings de palabras estáticos

Los modelos tradicionales de embeddings de palabras aprenden representaciones numéricas densas de las palabras a partir de sus patrones de uso en grandes colecciones de texto. Estos embeddings son estáticos, es decir, cada palabra recibe el mismo vector independientemente de su significado en un contexto concreto.

Dos métodos muy conocidos son:

• Word2Vec: desarrollado por Google en 2013, aprende representaciones a partir de las palabras vecinas mediante dos arquitecturas: Continuous Bag of Words (CBOW), que predice una palabra a partir de sus vecinas, y skip-gram, que predice las palabras vecinas a partir de una palabra dada.
• GloVe (Global Vectors for Word Representation): desarrollado en Stanford en 2014, utiliza estadísticas de coocurrencia de palabras para aprender las relaciones entre ellas.

Modelos de lenguaje contextualizados

A diferencia de los embeddings estáticos, los modelos de lenguaje de uso general producen representaciones contextuales que cambian en función del texto circundante. Esto ayuda a los modelos a distinguir entre los distintos significados de una misma palabra.

• BERT (2018, Google): utiliza autoatención bidireccional para tener en cuenta las palabras situadas a ambos lados de un token. Por ejemplo, genera representaciones distintas para «banco» en «Ingresé dinero en el banco» y en «Me senté en un banco del parque».
• GPT (2018, OpenAI): utiliza representaciones basadas en transformers que tienen en cuenta el texto anterior al predecir el siguiente token. Los modelos GPT están diseñados principalmente para la generación de lenguaje.

Modelos de embeddings de frases y documentos

Representan como vectores fragmentos de texto más largos, desde frases individuales hasta párrafos y documentos completos.

• Doc2Vec: amplía el aprendizaje al estilo de Word2Vec a frases, párrafos y documentos. Puede ayudar a agrupar artículos relacionados o a clasificar documentos por tema.
• Universal Sentence Encoder (USE): desarrollado por Google en 2018 para generar representaciones de longitud fija de frases y párrafos cortos con fines de similitud semántica y clasificación de textos.
• Sentence-BERT (SBERT, 2019): desarrollado por Nils Reimers e Iryna Gurevych en la Universidad Técnica de Darmstadt, se basa en el modelo BERT de Google y se utiliza habitualmente para búsqueda semántica, detección de paráfrasis y agrupamiento.
• pplx-embed-v1 (2026, Perplexity): esta familia de modelos de embeddings de texto de última generación, creada para la recuperación a escala web en condiciones reales, utiliza un preentrenamiento basado en difusión para convertir un modelo de lenguaje causal en un codificador bidireccional. Genera embeddings densos para consultas y documentos codificados de forma independiente, con un entrenamiento que tiene en cuenta la cuantización para reducir los costes de almacenamiento. Nuestro modelo 4B INT8 obtuvo un 69,66 de nDCG@10 en el benchmark de recuperación multilingüe MTEB, frente al 67,71 de gemini-embedding-001 de Google.
• pplx-embed-context-v1 (2026, Perplexity): aborda un problema habitual de la fragmentación de documentos: los pasajes pueden perder su significado al separarse del texto que los rodea. Mediante la fragmentación tardía (late chunking), el modelo procesa el documento antes de agrupar las representaciones contextualizadas de los tokens en embeddings de fragmentos independientes. Nuestro modelo 4B obtuvo un 81,96 de nDCG@10 en ConTEB, frente al 79,45 de voyage-context-3.
• pplx-embed-v2-context (2026, Perplexity): lleva la recuperación contextual un paso más allá. En lugar de entrenarse únicamente para encontrar el pasaje que contiene una respuesta, aprende a identificar pasajes de apoyo que ayudan a explicar o verificar esa respuesta. Durante el entrenamiento, el modelo utiliza señales de relevancia destiladas de un modelo de compresión de contexto, sin necesitar ese modelo maestro en el momento de la inferencia. Nuestra versión preliminar 9B alcanzó un 45,5 % de exhaustividad (recall) de respuestas y un 40,6 % de exhaustividad de evidencias con 10 resultados en context-bench.

Los modelos de Perplexity también permiten almacenar embeddings a gran escala. Generan embeddings INT8 y binarios, que reducen los requisitos de almacenamiento 4 y 32 veces, respectivamente, en comparación con FP32.

Dimensiones, longitud de contexto, cuantización y configuración de agrupación (pooling) de los modelos pplx-embed

Embeddings densos, dispersos y multivector

Hay otra distinción que conviene entender, sobre todo para la búsqueda semántica. Los modelos de embeddings pueden diferir en cómo representan el texto y calculan la relevancia.

• Embeddings densos: representan el texto mediante vectores compactos en los que la mayoría de los valores son distintos de cero.
• Embeddings dispersos: utilizan vectores con valores mayoritariamente nulos, con pesos aprendidos asociados a los términos importantes. Modelos como SPLADE (2021) aprenden qué términos son importantes para recuperar documentos relevantes.
• Embeddings multivector: conservan varios vectores para un mismo fragmento de texto, lo que permite comparar consultas y documentos con más detalle. Modelos como ColBERT (2020) utilizan estas representaciones para realizar comparaciones minuciosas entre consultas y documentos.
• Modelos que combinan varios enfoques: BGE-M3 (2024), desarrollado por BAAI, admite la recuperación densa, dispersa y multivector en un mismo modelo.

Cómo elegir y evaluar un modelo de embeddings de texto

Los benchmarks públicos como MTEB son un buen punto de partida. Úsalos para preseleccionar dos o tres modelos que admitan tus idiomas, longitudes de entrada y requisitos de implementación. Pero no elijas un ganador todavía. Nunca insistiremos lo suficiente en la importancia de probar esos modelos con tus propios datos.

Este es un flujo de trabajo de evaluación práctico:

1. Crea un conjunto de datos de prueba. Recopila entre 50 y 100 consultas de búsqueda representativas como conjunto de evaluación inicial (puede que necesites más), incluidos casos complicados como paráfrasis, terminología técnica y códigos de error exactos. Para cada consulta, identifica qué documentos o pasajes contienen respuestas relevantes. Estas etiquetas de relevancia serán tu verdad de referencia (ground truth).
2. Mide la calidad de la recuperación. Prueba cada modelo con el mismo conjunto de datos de evaluación, manteniendo comparables la preparación de los documentos y las condiciones de recuperación, y respetando a la vez los requisitos específicos de cada modelo en cuanto al formato de las consultas, la normalización y la puntuación de similitud. Después, calcula las siguientes métricas con el InformationRetrievalEvaluator de Sentence Transformers:
   • Recall@k: indica la proporción de pasajes relevantes que aparecen entre los k primeros resultados.
   • MRR: mide en qué posición de la clasificación aparece el primer resultado relevante.
   • nDCG@k: mide la calidad de la ordenación de los k primeros resultados en función de su relevancia.
3. Compara la latencia y la capacidad de procesamiento. Mide cuánto tarda cada modelo en generar el embedding de una consulta e, idealmente, indica la latencia mediana (p50) y la del percentil 95 (p95) en condiciones de carga realistas.
4. Calcula los costes de almacenamiento y operación. El almacenamiento de vectores depende del número de embeddings, de sus dimensiones y de su precisión numérica. Por ejemplo, un millón de embeddings FP32 de 768 dimensiones requieren aproximadamente 3,1 GB de almacenamiento vectorial bruto, sin contar la sobrecarga de indexación. Para reducir las necesidades de almacenamiento, puedes cuantizar los vectores a una precisión numérica menor. Pasar de FP32 a INT8, por ejemplo, reduce el almacenamiento vectorial bruto aproximadamente a la cuarta parte. Sin embargo, la compresión puede afectar a la calidad de la recuperación, así que vuelve a ejecutar las evaluaciones para comprobar si compensa.

Por último, compara directamente los resultados: métricas de recuperación, latencia p95, capacidad de procesamiento, almacenamiento y coste. Elige el modelo que cumpla tus requisitos de calidad dentro de las limitaciones de tu entorno de producción.

¿Cuándo conviene usar embeddings en lugar de un LLM?

Ahora que los LLM se encargan de todo, desde el análisis de documentos hasta el razonamiento complejo, resulta muy tentador pasarle todo el texto a un modelo y dejar que se las apañe. Pero probablemente no te haga ninguna gracia pagar por ello.

Además, los LLM son mejores evaluando y redactando, pero están limitados por la cantidad de información que cabe en un único prompt. Los embeddings, en cambio, son baratos, rápidos y coherentes, y funcionan con millones de elementos.

«Los embeddings son la mejor opción para la búsqueda, las recomendaciones (“más como este”), la detección de duplicados, como tickets de soporte repetidos, y la agrupación de grandes volúmenes de contenido por temas. También dan buenos resultados entre distintos idiomas. Un LLM es preferible cuando la tarea requiere razonamiento: resumir, comparar opciones o redactar una respuesta. La mayoría de los sistemas reales necesitan ambos, y cada uno se encarga de la parte que mejor se le da», concluye Kumar.

En qué se equivocan los desarrolladores con los embeddings de texto

Para averiguar qué suelen pasar por alto los desarrolladores, hablé con Rahul Kumar y con Xibeijia Guan, especialista en ciencia de datos de Ahrefs. Destacaron seis errores a los que conviene prestar atención:

• Saltarse el preprocesamiento del texto. Si los datos de entrada contienen HTML, menús de navegación, anuncios u otro contenido irrelevante, los pasos de preprocesamiento, como la eliminación de texto repetitivo (boilerplate), pueden ayudar a mejorar la calidad de los embeddings al descartar información innecesaria.
• Ignorar la longitud máxima de entrada del modelo. Cada modelo tiene sus propios límites de tokens y su propia forma de truncar el texto. El texto que supere el límite puede truncarse, lo que provoca la pérdida de información importante.
• No seguir los requisitos específicos del modelo. Algunos modelos de embeddings requieren prefijos concretos, como query: y passage:, o instrucciones distintas para cada tarea. No cumplir estos requisitos puede reducir el rendimiento de la recuperación.
• Usar una medida de similitud incompatible. La similitud coseno y el producto escalar no siempre son intercambiables. Comprueba si los embeddings están normalizados y usa el método de puntuación recomendado para el modelo y el índice vectorial.
• Confundir la similitud temática con la relevancia. En colecciones de un ámbito muy específico, muchos documentos pueden ser semánticamente similares sin responder a la misma pregunta. Examina las consultas fallidas y las distribuciones de la clasificación. Prueba la recuperación léxica o híbrida, la reordenación (reranking) y los filtros de metadatos cuando los usuarios necesiten información exacta.
• Ignorar la normalización de los embeddings. Cada modelo de embeddings puede generar vectores normalizados o sin normalizar. Comprueba si los embeddings están normalizados y si hace falta una normalización adicional, en función de la métrica de similitud que utilices.

Preguntas frecuentes sobre los embeddings de texto

1. ¿Cómo genero embeddings de texto?

La forma más sencilla es usar un modelo de embeddings preentrenado. Con la biblioteca Sentence Transformers de Python, por ejemplo, puedes cargar un modelo como all-MiniLM-L6-v2, pasar el texto a model.encode(), y obtener a cambio un vector numérico. Otra opción es generar los embeddings a través de una API.

Para la búsqueda semántica o RAG, lo habitual es dividir los documentos en fragmentos, generar un embedding para cada uno y almacenar los vectores en un índice de búsqueda.

2. ¿Cuáles son los mejores modelos de embeddings para texto?

Hay varios modelos que merece la pena tener en cuenta, según lo que estés desarrollando:

• pplx-embed-v1 de Perplexity: diseñado para la recuperación densa a gran escala, con embeddings INT8 y binarios que reducen las necesidades de almacenamiento de vectores.
• pplx-embed-context-v1 de Perplexity: útil para recuperar pasajes de documentos largos en los que los fragmentos individuales pierden su significado sin el contexto que los rodea.
• all-MiniLM-L6-v2: adecuado para búsqueda semántica local y ligera, agrupación en clústeres y tareas de similitud de frases. Genera vectores compactos de 384 dimensiones, pero trunca las entradas de más de 256 subpalabras (word pieces).
• BGE-M3: útil para RAG multilingüe y recuperación híbrida. Admite más de 100 idiomas y combina representaciones densas, dispersas y multivectoriales.
• Qwen3-Embedding: un buen candidato para búsqueda multilingüe, recuperación de código y embeddings específicos para cada tarea. Ofrece modelos de pesos abiertos de 600 millones, 4000 millones y 8000 millones de parámetros compatibles con instrucciones.
• text-embedding-3-large de OpenAI: una opción basada en API para búsqueda semántica y recuperación de documentos cuando no quieres alojar un modelo. Admite hasta 3072 dimensiones, que puedes reducir para ahorrar almacenamiento.
• Modelos Gemini Embedding de Google: útiles para aplicaciones de recuperación gestionadas. Gemini Embedding 2 también permite buscar en texto, imágenes, audio, vídeo y PDF dentro de un espacio de embeddings compartido.

3. ¿Puedo usar un LLM como modelo de embeddings?

Sí, pero hay una diferencia entre un LLM de uso general y uno optimizado para embeddings. Los LLM generan representaciones vectoriales internas del texto, que puedes extraer y combinar (pooling) en un único embedding. Sin embargo, esos vectores no son necesariamente útiles para la búsqueda semántica sin un entrenamiento adicional.

Por ejemplo, Qwen3-Embedding utiliza como base un LLM que se ha entrenado adicionalmente para tareas de embedding y recuperación. Así que, aunque puedes adaptar un LLM para generar embeddings, un modelo de embeddings específico suele ser el punto de partida más práctico.