pplx-embed: Modelos de incorporação de última geração para recuperação em escala web

Hoje estamos lançando pplx-embed-v1 e pplx-embed-context-v1, dois modelos de incorporação de texto de última geração criados para recuperação em escala web no mundo real. pplx-embed-v1 é otimizado para recuperação de texto denso padrão, enquanto pplx-embed-context-v1 incorpora passagens em relação ao contexto circundante em nível de documento.

Tanto pplx-embed-v1 quanto pplx-embed-context-v1 estão disponíveis em escalas de parâmetros de 0,6B e 4B. Os modelos de 0,6B têm como alvo a geração de incorporação leve e de baixa latência, enquanto os modelos de 4B maximizam a qualidade da recuperação. Em nossas avaliações, a família pplx-embed lidera uma série de benchmarks públicos, incluindo MTEB(Multilingual, v2), BERGEN, ToolRet e ConTEB. Além disso, pplx-embed-v1 oferece resultados líderes na categoria em nossos benchmarks internos em escala web: PPLXQuery2Query, PPLXQuery2Doc.

Os modelos produzem incorporações INT8 e binárias, reduzindo os requisitos de armazenamento em 4x e 32x, respectivamente, em comparação com FP32. Essa compactação torna o armazenamento e a recuperação de incorporações em escala web significativamente mais práticos.

Dimensões do modelo pplx-embed, comprimento de contexto, quantização e configuração de pooling.

Confira nosso relatório técnico, modelos do Hugging Face e documentação da API.

Motivação

As incorporações de texto denso mapeiam consultas e documentos em um Espaço semântico compartilhado onde a recuperação se reduz à busca aproximada do vizinho mais próximo. Na escala da Perplexity, as incorporações são o primeiro estágio do nosso pipeline de recuperação, determinando quais documentos de bilhões de páginas web são considerados por classificadores subsequentes e modelos de linguagem.

A maioria dos principais modelos de incorporação hoje é construída em LLMs baseados apenas em decodificadores com mascaramento de atenção causal, onde cada token só pode prestar atenção aos tokens anteriores. Para recuperação, esta é uma limitação fundamental: entender uma passagem geralmente requer contexto bidimensional. Abordamos isso por meio de pré-treinamento contínuo baseado em difusão, que converte um LLM causal em um codificador bidimensional. A atenção bidimensional completa permite o pooling de média em todas as representações de token e suporta segmentação tardia para incorporações contextuais, onde a incorporação de cada segmento é informada pelo documento completo em que ele aparece.

Em escala web, armazenar incorporações em FP32 é proibitivamente caro. Em vez de aplicar a quantização como uma etapa de compressão pós-hoc, nossos modelos usam treinamento ciente de quantização para produzir incorporações INT8 nativamente, reduzindo o armazenamento em 4x sem comprometer o desempenho. A quantização binária reduz o armazenamento em 32x com perda mínima de qualidade, particularmente na escala de 4B.

Muitos modelos modernos de incorporação exigem prefixos de instrução adicionados no início de cada entrada. Embora isso possa gerar pequenas melhorias nos benchmarks, na prática gera atrito: instruções incompatíveis entre a indexação e o momento da consulta degradam silenciosamente a recuperação, e selecionar o prompt certo para cada caso de uso se torna mais uma coisa para acertar. Nossos modelos não exigem instruções, tornando a integração simples.

Treinamento

pplx-embed-v1 e pplx-embed-context-v1 são treinados por meio de um pipeline de múltiplos estágios que molda progressivamente as representações de texto para recuperação.

Expandir

Pré-treinamento de difusão contínuo

Começamos a partir de modelos base Qwen3 pré-treinados (0,6B e 4B) e os convertemos de decodificadores causais em codificadores bidimensionais, desativando a máscara de atenção causal e treinando com um objetivo de eliminação de ruído por difusão. Ao contrário dos modelos autorregressivos que preveem tokens da esquerda para a direita, o treinamento por difusão força o modelo a reconstruir tokens mascarados aleatoriamente usando o contexto bidimensional completo ao redor de cada posição mascarada. Isso significa que, quando o ajuste fino contrastivo começa, as representações já codificam a semântica bidimensional, fornecendo uma base mais forte para a recuperação do que um ponto de partida causal. Pré-treinamos em aproximadamente 250 bilhões de tokens de texto multilíngue abrangendo 30 idiomas. Em ablações, os backbones pré-treinados por difusão alcançam uma perda de treinamento contrastivo substancialmente menor do que suas contrapartes causais, traduzindo-se em uma melhoria de aproximadamente 1 ponto percentual em tarefas de recuperação.

Treinamento contrastivo

Após o pré-treinamento, realizamos três estágios de aprendizado contrastivo. O treinamento de pares estabelece o alinhamento semântico fundamental entre consultas e documentos usando uma perda InfoNCE com negativos em lote. Com tamanhos de lote grandes, alguns negativos em lote são na verdade quase duplicatas do positivo, então aplicamos uma máscara baseada em similaridade para evitar que esses falsos negativos corrompam o sinal de treinamento. O treinamento prossegue em fases — apenas em inglês, depois translingue e, em seguida, totalmente multilíngue —, construindo a capacidade gradualmente em vez de tudo de uma vez. O treinamento contextual então ensina ao modelo a semântica em nível de segmento em relação ao contexto em nível de documento, usando uma perda dupla que combina contraste em sequência e em lote nos níveis de segmento e documento — este estágio produz pplx-embed-context-v1. Finalmente, o treinamento de trigêmeos com negativos difíceis minerados refina os limites entre documentos semelhantes, mas não relevantes. O pplx-embed-v1 final é obtido pela mesclagem dos pontos de verificação contextuais e de trigêmeos por meio de interpolação linear esférica (SLERP).

Quantização nativa

Em todos os estágios contrastivos, as incorporações são quantizadas para INT8 durante o treinamento e a inferência. Aplicamos uma operação de pooling de média baseada em tanh seguida de arredondamento, e usamos estimativa de gradiente straight-through para retropropagar através da etapa de quantização não diferenciável. Isso garante que o modelo aprenda representações otimizadas para precisão reduzida desde o início, em vez de sofrer degradação da compressão pós-hoc. Para quantização binária, os modelos de 4B são notavelmente mais robustos que os de 0,6B: sua dimensão de incorporação maior (2560 vs. 1024) preserva mais informações após a binarização, limitando a queda de desempenho a menos de 1,6 ponto percentual em comparação com 2 a 4 pontos na escala menor.

Benchmarks públicos

Expandir

No benchmark de recuperação MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) alcança um nDCG@10 médio de 69,66%, igualando Qwen3-Embedding-4B (69,60%) e superando gemini-embedding-001 (67,71%), ao mesmo tempo em que requer substancialmente menos armazenamento por incorporação. Nosso modelo de 0,6B supera sua contraparte Qwen3 na mesma escala de parâmetros.

Expandir

Desempenho de recuperação contextual no benchmark ConTEB. Esquerda: modelos contextualizados. Direita: modelos não contextualizados. pplx-embed-context-v1-4B (INT8) alcança a pontuação mais alta de 81,96, seguido por voyage-context-3 (79,45) e pplx-embed-context-v1-0.6B (INT8) em 76,53.

Para recuperação contextual, pplx-embed-context-v1-4B estabelece um novo estado da arte no benchmark ConTEB com um nDCG@10 médio de 81,96%, superando voyage-context-3 (79,45%) e Anthropic Contextual (72,4%). Ao treinar representações em nível de segmento que incorporam semântica em nível de documento, nossos modelos recuperam a passagem certa mesmo quando seu significado depende do contexto circundante.

Também avaliamos nossos modelos em RAG de ponta a ponta usando o benchmark BERGEN, onde as passagens recuperadas são alimentadas em um modelo de linguagem para gerar respostas. pplx-embed-v1-4B supera o Qwen3-Embedding-4B em quatro das cinco tarefas de resposta a perguntas avaliadas. Notavelmente, pplx-embed-v1-0.6B supera o Qwen3-Embedding-4B maior em três das cinco tarefas, demonstrando que nosso modelo menor pode igualar ou exceder um concorrente em uma escala de parâmetros significativamente maior em configurações práticas de RAG. Para mais detalhes sobre esta avaliação, consulte o relatório técnico.

Recuperação no mundo real em escala

Os benchmarks públicos são úteis, mas não capturam totalmente os desafios de recuperação em escala web: consultas de cauda longa, documentos ruidosos e desvios de distribuição que caracterizam ambientes de produção. Para medir o que importa na prática, construímos dois benchmarks internos com até 115 mil consultas do mundo real avaliadas em relação a mais de 30 milhões de documentos reunidos a partir de mais de 1 bilhão de páginas web. O PPLXQuery2Query avalia se um modelo de incorporação pode identificar consultas semanticamente equivalentes de tráfego de pesquisa real; o PPLXQuery2Doc mede a recuperação de documentos de um corpus de 30 milhões de páginas.

No PPLXQuery2Query (corpus de 2,4M), pplx-embed-v1-4B alcança 73,5% de Recall@10, superando o Qwen3-Embedding-4B (67,9%) em 5,6 pontos percentuais. Nosso modelo de 0,6B alcança 71,1% de Recall@10, superando substancialmente o BGE-M3 (61,8%) e o Qwen3-Embedding-0.6B (55,1%).

Expandir

Na tarefa multilíngue PPLXQuery2Doc (corpus de 30M), pplx-embed-v1-4B alcança 91,7% de Recall@1000, em comparação com 88,6% para o Qwen3-Embedding-4B. Alto recall em grandes profundidades de recuperação é crítico para modelos de incorporação que servem como recuperadores de primeiro estágio em pipelines de classificação de vários estágios, onde maximizar o número de candidatos relevantes passados para classificadores posteriores impacta diretamente a qualidade do resultado final.

Introdução

Todos os modelos estão disponíveis no Hugging Face (sob Licença MIT) e através da API da Perplexity. Oferecemos suporte à inferência via Transformers, SentenceTransformers, Text Embeddings Inference e ONNX. Para obter detalhes completos sobre cada opção, consulte a coleção de modelos do Hugging Face.

Para detalhes técnicos abrangentes e resultados completos de avaliação, consulte nosso relatório técnico.

Citação

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}