pplx-embed: Modelos de incrustación avanzados para a recuperación web

Hoxe lanzamos pplx-embed-v1 e pplx-embed-context-v1, dous modelos de incrustación de texto de última xeración deseñados para a recuperación de información no mundo real a escala web. pplx-embed-v1 está optimizado para a recuperación estándar de texto denso, mentres que pplx-embed-context-v1 incrusta pasaxes tendo en conta o contexto circundante a nivel de documento.

Tanto pplx-embed-v1 coma pplx-embed-context-v1 están dispoñibles en escalas de 0,6B e 4B parámetros. Os modelos de 0,6B están orientados á xeración de incrustacións lixeiras e de baixa latencia, mentres que os modelos de 4B maximizan a calidade de recuperación. nas nosas avaliacións, a familia pplx-embed lidera unha serie de puntos de referencia públicos, incluíndo MTEB(Multilingual, v2), BERGEN, ToolRet e ConTEB. Ademais, pplx-embed-v1 ofrece resultados excelentes nos nosos puntos de referencia internos a escala web: PPLXQuery2Query e PPLXQuery2Doc.

Os modelos producen incrustacións INT8 e binarias, o que reduce os requisitos de almacenamento en 4x e 32x, respectivamente, en comparación con FP32. Esta compacidade fai que o almacenamento e a recuperación de incrustacións a escala web sexan moito máis prácticos.

Dimensións do modelo pplx-embed, lonxitude do contexto, cuantización e configuración de pooling.

Consulta o noso informe técnico, os modelos de Hugging Face e a documentación da API.

Motivación

As incrustacións de texto denso mapean consultas e documentos nun espazo semántico compartido onde a recuperación se reduce a unha busca aproximada de veciños máis achegados. á escala de Perplexity, as incrustacións son a primeira etapa da nosa canalización de recuperación, determinando qué documentos de miles de millóns de páxinas web son considerados polos modeladores e xeradores de linguaxe posteriores.

A maioría dos modelos de incrustación líderes actuais están construídos sobre LLM só de descodificador con enmascaramento de atención causal, onde cada token só pode atender aos tokens precedentes. Para a recuperación, esta é unha limitación fundamental: comprender unha pasaxe adoita requirir contexto bidireccional. Abordamos isto mediante o preentreno continuado baseado en difusión, que converte un LLM causal nun codificador bidireccional. A atención bidireccional completa permite a agrupación en media de todas as representacións de tokens e admite a fragmentación tardía para incrustacións contextuais, onde a incrustación de cada fragmento está informada polo documento completo no que aparece.

A escala web, almacenar incrustacións en FP32 é prohibitivamente caro. En vez de aplicar a cuantización como un paso de compresión 'post-hoc', os nosos modelos utilizan un adestramento consciente da cuantización para producir incrustacións INT8 de forma nativa, reducindo o almacenamento en 4x sen comprometer o rendemento. A cuantización binaria reduce o almacenamento en 32x cunha perda de calidade mínima, especialmente á escala de 4B.

Moitos modelos de incrustación modernos requiren prefixos de instrución antepostos a cada entrada. Aínda que isto pode producir pequenas melloras nos puntos de referencia, na práctica engade fricción: as instrucións non coincidentes entre a indexación e o momento da consulta degradan silenciosamente a recuperación, e seleccionar o aviso axeitado para cada caso de uso convértese nunha tarefa máis que facer ben. Os nosos modelos non requiren instrucións, o que fai que a integración sexa sinxela.

Adestramento

pplx-embed-v1 e pplx-embed-context-v1 adéntranse mediante unha canalización de múltiples etapas que vai modelando progresivamente as representacións de texto para a recuperación.

Ampliar

Preentreno de difusión continuada

Comezamos a partir de modelos base Qwen3 preentrenados (0,6B e 4B) e convertémolos de descodificadores causais en codificadores bidireccionais desactivando a máscara de atención causal e adestrando cun obxectivo de denoising por difusión. A diferenza dos modelos autorregresivos que predín tokens de esquerda a dereita, o adestramento por difusión forza ao modelo a reconstruír tokens masquados aleatoriamente utilizando o contexto bidireccional completo arredor de cada posición masquada. Isto significa que no momento en que comeza a axuste fino contrastivo, as representacións xa codifican a semántica bidireccional, proporcionando unha base máis forte para a recuperación que un punto de partida causal. Preentrenamos con aproximadamente 250 mil millóns de tokens de texto multilingüe que abarcna 30 linguas. Nas ablacións, os esqueletos preentrenados por difusión logran unha perda de adestramento contrastiva substancialmente menor que as súas contrapartes causais, traducíndose nunha mellora aproximada dun punto porcentual nas tarefas de recuperación.

Adestramento contrastivo

Despois do preentreno, realizamos tres etapas de aprendizaxe contrastiva. O adestramento de pares establece unha aliñación semántica fundamental entre consultas e documentos utilizando unha perda InfoNCE con negativos no lote. Con tamaños de lote grandes, algúns negativos no lote son na realidade case duplicados do positivo, polo que aplicamos unha máscara baseada na semellanza para evitar que estes falsos negativos corrompan o sinal de adestramento. O adestramento prosegue en fases —só en inglés, despois multilingüe cruzada e despois totalmente multilingüe— construíndo capacidade gradualmente e non dunha soa vez. O adestramento contextual ensínzao despois ao modelo a semántica a nivel de fragmento con respecto ao contexto a nivel de documento, utilizando unha perda dual que combina o contraste en secuencia e en lote tanto a nivel de fragmento coma de documento; esta etapa produce pplx-embed-context-v1. Finalmente, o adestramento de tripletes con negativos duros extraídos refiniza os límites entre documentos similares pero non relevantes. O pplx-embed-v1 final obtense fusionando os puntos de control contextual e de tripletas mediante interpolación lineal esférica (SLERP).

Cuantización nativa

En todas as etapas contrastivas, as incrustacións cuantízanse a INT8 tanto durante o adestramento coma durante a inferencia. Aplicamos unha operación de agrupación en media baseada en tanh seguida de redondeo, e usamos a estimación de gradiente de paso directo para propagar cara atrás a través do paso de cuantización non diferenciable. Isto garante que o modelo aprenda representacións optimizadas para precisión reducida desde o principio, en lugar de sufrir degradación por compresión 'post-hoc'. Para a cuantización binaria, os modelos de 4B son notablemente máis robustos que os de 0,6B: a súa maior dimensión de incrustación (2560 fronte a 1024) conserva máis información despois da binarización, limitando a caída de rendemento por debaixo de 1,6 puntos porcentuais en comparación con 2–4 puntos na escala menor.

Puntos de referencia públicos

Ampliar

No punto de referencia de recuperación MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) logra un nDCG@10 medio do 69,66%, igualando a Qwen3-Embedding-4B (69,60%) e superando a gemini-embedding-001 (67,71%), ao tempo que require substancialmente menos almacenamento por incrustación. O noso modelo de 0,6B supera á súa contraparte Qwen3 á mesma escala de parámetros.

Ampliar

Rendemento de recuperación contextual no punto de referencia ConTEB. Esquerda: modelos contextualizados. Dereita: modelos non contextualizados. pplx-embed-context-v1-4B (INT8) acada a puntuación máis alta de 81,96, seguido de voyage-context-3 (79,45) e pplx-embed-context-v1-0.6B (INT8) con 76,53.

Para a recuperación contextual, pplx-embed-context-v1-4B establece un novo estándar de referencia no punto de referencia ConTEB cun nDCG@10 medio do 81,96%, superando a voyage-context-3 (79,45%) e a Anthropic Contextual (72,4%). Ao adestrar representacións a nivel de fragmento que incorporan a semántica a nivel de documento, os nosos modelos recuperan a pasaxe correcta mesmo cando o seu significado depende do contexto circundante.

Tamén avaliamos os nosos modelos en RAG de extremo a extremo utilizando o punto de referencia BERGEN, onde as pasaxes recuperadas se alimentan a un modelo de linguaxe para xerar respostas. pplx-embed-v1-4B supera a Qwen3-Embedding-4B en catro das cinco tarefas de resposta a preguntas avaliadas. Cabe destacar que pplx-embed-v1-0.6B supera ao Qwen3-Embedding-4B máis grande en tres das cinco tarefas, demostrando que o noso modelo máis pequeno pode igualar ou superar a un concorrente nunha escala de parámetros significativamente maior en escenarios RAG prácticos. Para máis detalles sobre esta avaliación, remitímonos ao informe técnico.

Recuperación no mundo real a escala

Os puntos de referencia públicos son útiles, pero non capturan completamente os desafíos da recuperación a escala web: consultas de longa cola, documentos con ruído e cambios de distribución que caracterizan os entornas de produción. Para medir o que importa na práctica, construímos dous puntos de referencia internos con ata 115 mil consultas do mundo real avaliadas contra máis de 30 millóns de documentos agrupados a partir de máis de mil millóns de páxinas web. PPLXQuery2Query avalía se un modelo de incrustación pode identificar consultas semanticamente equivalentes a partir do tráfico de busca real; PPLXQuery2Doc mide a recuperación de documentos a partir dun corpus de 30M de páxinas.

En PPLXQuery2Query (corpus de 2,4M), pplx-embed-v1-4B logra un Recall@10 do 73,5%, superando a Qwen3-Embedding-4B (67,9%) en 5,6 puntos porcentuais. O noso modelo de 0,6B acada un Recall@10 do 71,1%, superando substancialmente a BGE-M3 (61,8%) e a Qwen3-Embedding-0.6B (55,1%).

Ampliar

Na tarefa multilingüe PPLXQuery2Doc (corpus de 30M), pplx-embed-v1-4B acada un Recall@1000 do 91,7%, en comparación co 88,6% de Qwen3-Embedding-4B. Un alto índice de recuperación a grandes profundidades de recuperación é crítico para os modelos de incrustación que actúan como recuperadores de primeira etapa en canalizacións de ordenación de múltiples etapas, onde maximizar o número de candidatos relevantes pasados aos reordenadores posteriores afecta directamente á calidade do resultado final.

Primeiros pasos

Todos os modelos están dispoñibles en Hugging Face (baixo a Licenza MIT) e a través da API de Perplexity. Admitimos a inferencia a través de Transformers, SentenceTransformers, Text Embeddings Inference e ONNX. Para obter todos os detalles sobre cada opción, consulta a colección de modelos de Hugging Face.

Para obter detalles técnicos exhaustivos e resultados de avaliación completos, consulta o noso informe técnico.

Cita

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}