pplx-embed: Modelos de representación para recuperación web

Hoy presentamos pplx-embed-v1 y pplx-embed-context-v1, dos modelos de representación de texto de última generación creados para la recuperación a escala web en entornos reales. pplx-embed-v1 está optimizado para la recuperación estándar de texto denso, mientras que pplx-embed-context-v1 inserta pasajes teniendo en cuenta el contexto circundante a nivel de documento.

Tanto pplx-embed-v1 como pplx-embed-context-v1 están disponibles en escalas de 0.6B y 4B de parámetros. Los modelos de 0.6B están dirigidos a una generación de representaciones ligera y de baja latencia, mientras que los modelos de 4B maximizan la calidad de la recuperación. En nuestras evaluaciones, la familia pplx-embed lidera una variedad de puntos de referencia públicos, incluidos MTEB(Multilingual, v2), BERGEN, ToolRet y ConTEB. Además, pplx-embed-v1 ofrece resultados líderes en su clase en nuestros puntos de referencia internos a escala web: PPLXQuery2Query y PPLXQuery2Doc.

Los modelos producen representaciones INT8 y binarias, reduciendo los requisitos de almacenamiento en 4x y 32x, respectivamente, en comparación con FP32. Esta compactación hace que el almacenamiento y la recuperación de representaciones a escala web sean significativamente más prácticos.

dimensiones del modelo pplx-embed, longitud de contexto, cuantización y configuración de agrupación.

Consulte nuestro informe técnico, los modelos en Hugging Face y la documentación de la API.

Motivación

Las representaciones de texto denso asignan consultas y documentos a un Espacio semántico compartido donde la recuperación se reduce a una búsqueda aproximada de vecinos más cercanos. A la escala de Perplexity, las representaciones son la primera etapa de nuestra infraestructura de recuperación, lo que determina qué documentos de miles de millones de páginas web son considerados por los clasificadores y modelos de lenguaje posteriores.

La mayoría de los modelos de representación líderes en la actualidad se basan en LLM de solo decodificador con enmascaramiento de atención causal, donde cada token solo puede atender a los tokens precedentes. Para la recuperación, esta es una limitación fundamental: comprender un pasaje a menudo requiere un contexto bidireccional. Abordamos esto mediante preentrenamiento continuo basado en difusión, que convierte un LLM causal en un codificador bidireccional. La atención bidireccional completa permite agrupar las medias de todas las representaciones de tokens y admite la fragmentación tardía para representaciones contextuales, donde la representación de cada fragmento está informada por el documento completo en el que aparece.

A escala web, almacenar representaciones en FP32 es prohibitivamente costoso. En lugar de aplicar la cuantización como un paso de compresión post hoc, nuestros modelos utilizan un entrenamiento consciente de la cuantización para producir representaciones INT8 de forma nativa, lo que reduce el almacenamiento en 4 veces sin comprometer el rendimiento. La cuantización binaria reduce el almacenamiento en 32 veces con una pérdida de calidad mínima, particularmente a escala de 4B.

Muchos modelos de representación modernos requieren que se antepongan prefijos de instrucción a cada entrada. Si bien esto puede generar pequeñas mejoras en los puntos de referencia, en la práctica aumenta la fricción: las instrucciones no coincidentes entre el indexado y el momento de la consulta degradan silenciosamente la recuperación, y seleccionar el aviso correcto para cada caso de uso se convierte en otra cosa que debe hacerse bien. Nuestros modelos no requieren instrucciones, lo que simplifica la integración.

Entrenamiento

pplx-embed-v1 y pplx-embed-context-v1 se entrenan a través de una infraestructura de varias etapas que moldea progresivamente las representaciones de texto para la recuperación.

Ampliar

Preentrenamiento de difusión continua

Comenzamos con modelos base Qwen3 preentrenados (0.6B y 4B) y los convertimos de decodificadores causales en codificadores bidireccionales deshabilitando la máscara de atención causal y entrenando con un objetivo de eliminación de ruido por difusión. A diferencia de los modelos autorregresivos que predicen tokens de izquierda a derecha, el entrenamiento por difusión obliga al modelo a reconstruir tokens enmascarados aleatoriamente utilizando el contexto bidireccional completo alrededor de cada posición enmascarada. Esto significa que para cuando comienza el ajuste fino contrastivo, las representaciones ya codifican la semántica bidireccional, proporcionando una base más sólida para la recuperación que un punto de partida causal. Preentrenamos con aproximadamente 250 mil millones de tokens de texto multilingüe en 30 idiomas. En las ablaciones, las estructuras principales preentrenadas por difusión logran una pérdida de entrenamiento contrastiva sustancialmente menor que sus contrapartes causales, lo que se traduce en una mejora de aproximadamente 1 punto porcentual en las tareas de recuperación.

Entrenamiento contrastivo

Tras el preentrenamiento, realizamos tres etapas de aprendizaje contrastivo. El entrenamiento por pares establece una alineación semántica fundamental entre consultas y documentos utilizando una pérdida InfoNCE con negativos dentro del lote. Con grandes tamaños de lote, algunos negativos dentro del lote son en realidad duplicados cercanos del positivo, por lo que aplicamos una máscara basada en la similitud para evitar que estos falsos negativos corrompan la señal de entrenamiento. El entrenamiento procede en fases (solo inglés, luego interlingüe y luego completamente multilingüe), desarrollando la capacidad gradualmente en lugar de todo a la vez. El entrenamiento contextual enseña luego al modelo la semántica a nivel de fragmento con respecto al contexto a nivel de documento, utilizando una pérdida dual que combina el contraste dentro de la secuencia y dentro del lote tanto a nivel de fragmento como de documento; esta etapa produce pplx-embed-context-v1. Finalmente, el entrenamiento por tripletes con negativos difíciles extraídos refina los límites entre documentos similares pero no relevantes. El pplx-embed-v1 final se obtiene fusionando los puntos de control contextuales y de tripletes mediante interpolación lineal esférica (SLERP).

Cuantización nativa

A lo largo de todas las etapas contrastivas, las representaciones se cuantizan a INT8 tanto durante el entrenamiento como en la inferencia. Aplicamos una operación de agrupación de medias basada en tanh seguida de redondeo, y utilizamos la estimación de gradiente de paso directo para retropropagar a través del paso de cuantización no diferenciable. Esto asegura que el modelo aprenda representaciones optimizadas para una precisión reducida desde el principio, en lugar de sufrir la degradación de la compresión post hoc. Para la cuantización binaria, los modelos de 4B son notablemente más robustos que los de 0.6B: su mayor dimensión de representación (2560 frente a 1024) conserva más información después de la binarización, lo que limita la caída del rendimiento a menos de 1.6 puntos porcentuales en comparación con los 2-4 puntos a menor escala.

Puntos de referencia públicos

Ampliar

En el punto de referencia de recuperación MTEB (Multilingüe, v2), pplx-embed-v1-4B (INT8) logra un nDCG@10 promedio del 69.66%, igualando a Qwen3-Embedding-4B (69.60%) y superando a gemini-embedding-001 (67.71%), mientras requiere sustancialmente menos almacenamiento por representación. Nuestro modelo de 0.6B supera a su contraparte Qwen3 a la misma escala de parámetros.

Ampliar

Rendimiento de recuperación contextual en el punto de referencia ConTEB. Izquierda: modelos contextualizados. Derecha: modelos no contextualizados. pplx-embed-context-v1-4B (INT8) logra la puntuación más alta de 81.96, seguido de voyage-context-3 (79.45) y pplx-embed-context-v1-0.6B (INT8) con 76.53.

Para la recuperación contextual, pplx-embed-context-v1-4B establece un nuevo estándar de última generación en el punto de referencia ConTEB con un nDCG@10 promedio del 81.96%, superando a voyage-context-3 (79.45%) y Anthropic Contextual (72.4%). Al entrenar representaciones a nivel de fragmento que incorporan semántica a nivel de documento, nuestros modelos recuperan el pasaje correcto incluso cuando su significado depende del contexto circundante.

También evaluamos nuestros modelos en RAG de extremo a extremo utilizando el punto de referencia BERGEN, donde los pasajes recuperados se introducen en un modelo de lenguaje para generar respuestas. pplx-embed-v1-4B supera a Qwen3-Embedding-4B en cuatro de las cinco tareas de respuesta a preguntas evaluadas. Cabe destacar que pplx-embed-v1-0.6B supera al Qwen3-Embedding-4B más grande en tres de las cinco tareas, lo que demuestra que nuestro modelo más pequeño puede igualar o superar a un competidor a una escala de parámetros significativamente mayor en entornos RAG prácticos. Para obtener más detalles sobre esta evaluación, nos remitimos al informe técnico.

Recuperación en el mundo real a escala

Los puntos de referencia públicos son útiles, pero no capturan completamente los desafíos de la recuperación a escala web: consultas de cola larga, documentos ruidosos y cambios de distribución que caracterizan los entornos de producción. Para medir lo que importa en la práctica, construimos dos puntos de referencia internos con hasta 115 mil consultas del mundo real evaluadas frente a más de 30 millones de documentos extraídos de más de mil millones de páginas web. PPLXQuery2Query evalúa si un modelo de representación puede identificar consultas semánticamente equivalentes del tráfico de búsqueda real; PPLXQuery2Doc mide la recuperación de documentos de un corpus de 30 millones de páginas.

En PPLXQuery2Query (corpus de 2.4M), pplx-embed-v1-4B logra un Recall@10 del 73.5%, superando a Qwen3-Embedding-4B (67.9%) en 5.6 puntos porcentuales. Nuestro modelo de 0.6B logra un Recall@10 del 71.1%, superando sustancialmente a BGE-M3 (61.8%) y Qwen3-Embedding-0.6B (55.1%).

Ampliar

En la tarea multilingüe PPLXQuery2Doc (corpus de 30M), pplx-embed-v1-4B logra un Recall@1000 del 91.7%, en comparación con el 88.6% de Qwen3-Embedding-4B. Un alto recuerdo a grandes profundidades de recuperación es crítico para los modelos de representación que sirven como recuperadores de primera etapa en infraestructuras de clasificación de varias etapas, donde maximizar el número de candidatos relevantes pasados a los reclasificadores posteriores impacta directamente en la calidad final del resultado.

Primeros pasos

Todos los modelos están disponibles en Hugging Face (bajo licencia MIT) y a través de la API de Perplexity. Admitimos inferencia a través de Transformers, SentenceTransformers, Text Embeddings Inference y ONNX. Para obtener detalles completos sobre cada opción, consulte la colección de modelos de Hugging Face.

Para obtener detalles técnicos completos y resultados de evaluación exhaustivos, consulte nuestro informe técnico.

Citación

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}