pplx-embed: Modelos de embedding de ponta para recuperação web

Hoje estamos lançando o pplx-embed-v1 e o pplx-embed-context-v1, dois modelos de embedding de texto de última geração criados para recuperação em escala web e no mundo real. O pplx-embed-v1 é otimizado para recuperação densa de texto padrão, enquanto o pplx-embed-context-v1 incorpora passagens com relação ao contexto ao nível do documento ao redor.

Tanto o pplx-embed-v1 quanto o pplx-embed-context-v1 estão disponíveis em escalas de 0,6B e 4B parâmetros. Os modelos de 0,6B visam a geração de embedding leve e de baixa latência, enquanto os modelos de 4B maximizam a qualidade de recuperação. Em nossas avaliações, a família pplx-embed lidera uma série de benchmarks públicos, incluindo MTEB(Multilingual, v2), BERGEN, ToolRet e ConTEB. Além disso, o pplx-embed-v1 oferece resultados de primeira classe em nossos benchmarks internos em escala web: PPLXQuery2Query e PPLXQuery2Doc.

Os modelos produzem embeddings INT8 e binários, reduzindo os requisitos de armazenamento em 4x e 32x, respectivamente, em comparação com FP32. Essa compacidade torna o armazenamento e a recuperação de embeddings em escala web significativamente mais práticos.

dimensões do modelo, comprimento de contexto, quantização e configuração de pooling do pplx-embed.

Confira nosso relatório técnico, modelos no Hugging Face e documentação da API.

Motivação

Embeddings de texto densos mapeiam consultas e documentos em um espaço semântico compartilhado onde a recuperação se reduz a uma busca aproximada de vizinhos mais próximos. Na escala da Perplexity, os embeddings são a primeira etapa de nosso pipeline de recuperação, determinando quais documentos, entre bilhões de páginas da web, são considerados por rankers e modelos de linguagem a jusante.

A maioria dos modelos de embedding líderes hoje é construída sobre LLMs apenas de decodificador com máscara de atenção causal, onde cada token só pode prestar atenção aos tokens anteriores. Para recuperação, essa é uma limitação fundamental: entender uma passagem geralmente requer contexto bidirecional. Abordamos isso por meio de pré-treinamento contínuo baseado em difusão, que converte um LLM causal em um codificador bidirecional. A atenção bidirecional completa permite o pooling médio sobre todas as representações de token e suporta o chunking tardio para embeddings contextuais, onde o embedding de cada chunk é informado pelo documento completo em que ele aparece.

Em escala web, armazenar embeddings em FP32 é proibitivamente caro. Em vez de aplicar a quantização como uma etapa de compressão pós-hoc, nossos modelos usam treinamento com consciência de quantização para produzir embeddings INT8 nativamente, reduzindo o armazenamento em 4x sem comprometer o desempenho. A quantização binária reduz o armazenamento em 32x com perda mínima de qualidade, particularmente na escala de 4B.

Muitos modelos de embedding modernos exigem prefixos de instrução adicionados a cada entrada. Embora isso possa trazer pequenos ganhos em benchmarks, na prática, adiciona atrito: instruções incompatíveis entre a indexação e o tempo de consulta degradam silenciosamente a recuperação, e selecionar o prompt certo para cada caso de uso torna-se mais uma coisa a acertar. Nossos modelos não exigem instruções, tornando a integração direta.

Treinamento

O pplx-embed-v1 e o pplx-embed-context-v1 são treinados por meio de um pipeline de múltiplos estágios que molda progressivamente as representações de texto para recuperação.

Expandir

Pré-treinamento contínuo de difusão

Começamos a partir de modelos base Qwen3 pré-treinados (0,6B e 4B) e os convertemos de decodificadores causais em codificadores bidirecionais, desativando a máscara de atenção causal e treinando com um objetivo de remoção de ruído por difusão. Diferente de modelos autorregressivos que preveem tokens da esquerda para a direita, o treinamento de difusão força o modelo a reconstruir tokens mascarados aleatoriamente usando o contexto bidirecional completo em torno de cada posição mascarada. Isso significa que, quando o ajuste fino contrastivo começa, as representações já codificam a semântica bidirecional, fornecendo uma base mais forte para recuperação do que um ponto de partida causal. Pré-treinamos em aproximadamente 250 bilhões de tokens de texto multilíngue abrangendo 30 idiomas. Em ablações, as espinhas dorsais pré-treinadas por difusão alcançam uma perda de treinamento contrastiva substancialmente menor do que suas contrapartes causais, traduzindo-se em aproximadamente 1 ponto percentual de melhoria em tarefas de recuperação.

Treinamento contrastivo

Após o pré-treinamento, realizamos três estágios de aprendizado contrastivo. O treinamento de pares estabelece o alinhamento semântico fundamental entre consultas e documentos usando uma perda InfoNCE com negativos em lote. Com tamanhos de lote grandes, alguns negativos em lote são, na verdade, quase duplicatas do positivo, então aplicamos uma máscara baseada em similaridade para evitar que esses falsos negativos corrompam o sinal de treinamento. O treinamento prossegue em fases — apenas em inglês, depois translingue e, finalmente, totalmente multilíngue — construindo a capacidade gradualmente em vez de tudo de uma vez. O treinamento contextual então ensina ao modelo a semântica de nível de chunk com relação ao contexto de nível de documento, usando uma perda dupla que combina contraste em sequência e em lote, tanto no nível de chunk quanto de documento — este estágio produz o pplx-embed-context-v1. Finalmente, o treinamento de triplo com negativos difíceis minerados refina os limites entre documentos semelhantes, mas não relevantes. O pplx-embed-v1 final é obtido fundindo os pontos de verificação contextuais e de triplo via interpolação linear esférica (SLERP).

Quantização nativa

Ao longo de todos os estágios contrastivos, os embeddings são quantizados para INT8 durante o treinamento e a inferência. Aplicamos uma operação de pooling médio baseada em tanh seguida de arredondamento e usamos estimativa de gradiente straight-through para retropropagar através da etapa de quantização não diferenciável. Isso garante que o modelo aprenda representações otimizadas para precisão reduzida desde o início, em vez de sofrer degradação da compressão pós-hoc. Para a quantização binária, os modelos 4B são notavelmente mais robustos do que os 0,6B: sua maior dimensão de embedding (2560 vs. 1024) preserva mais informações após a binarização, limitando a queda de desempenho a menos de 1,6 pontos percentuais em comparação com 2–4 pontos na escala menor.

Benchmarks Públicos

Expandir

No benchmark de recuperação MTEB (Multilingual, v2), o pplx-embed-v1-4B(INT8) alcança um nDCG@10 médio de 69,66%, igualando o Qwen3-Embedding-4B (69,60%) e superando o gemini-embedding-001 (67,71%), enquanto requer substancialmente menos armazenamento por embedding. Nosso modelo 0,6B supera sua contraparte Qwen3 na mesma escala de parâmetro.

Expandir

Desempenho de recuperação contextual no benchmark ConTEB. Esquerda: modelos contextualizados. Direita: modelos não contextualizados. O pplx-embed-context-v1-4B (INT8) atinge a pontuação mais alta de 81,96, seguido pelo voyage-context-3 (79,45) e o pplx-embed-context-v1-0.6B (INT8) com 76,53.

Para recuperação contextual, o pplx-embed-context-v1-4B estabelece um novo estado da arte no benchmark ConTEB com um nDCG@10 médio de 81,96%, superando o voyage-context-3 (79,45%) e o Anthropic Contextual (72,4%). Ao treinar representações de nível de chunk que incorporam a semântica de nível de documento, nossos modelos recuperam a passagem correta mesmo quando seu significado depende do contexto ao redor.

Também avaliamos nossos modelos em RAG de ponta a ponta usando o benchmark BERGEN, onde as passagens recuperadas são alimentadas a um modelo de linguagem para gerar respostas. O pplx-embed-v1-4B supera o Qwen3-Embedding-4B em quatro das cinco tarefas de resposta a perguntas avaliadas. Notavelmente, o pplx-embed-v1-0.6B supera o Qwen3-Embedding-4B maior em três das cinco tarefas, demonstrando que nosso modelo menor pode igualar ou exceder um concorrente em uma escala de parâmetro significativamente maior em cenários RAG práticos. Para mais detalhes sobre esta avaliação, consulte o relatório técnico.

Recuperação no Mundo Real em Escala

Benchmarks públicos são úteis, mas não capturam totalmente os desafios de recuperação em escala web: consultas de cauda longa, documentos ruidosos e mudanças de distribuição que caracterizam ambientes de produção. Para medir o que importa na prática, construímos dois benchmarks internos com até 115 mil consultas do mundo real avaliadas contra mais de 30 milhões de documentos agrupados de mais de 1 bilhão de páginas da web. O PPLXQuery2Query avalia se um modelo de embedding consegue identificar consultas semanticamente equivalentes do tráfego de pesquisa real; o PPLXQuery2Doc mede a recuperação de documentos a partir de um corpus de 30 milhões de páginas.

No PPLXQuery2Query (corpus de 2,4M), o pplx-embed-v1-4B atinge 73,5% de Recall@10, superando o Qwen3-Embedding-4B (67,9%) em 5,6 pontos percentuais. Nosso modelo 0,6B atinge 71,1% de Recall@10, superando substancialmente o BGE-M3 (61,8%) e o Qwen3-Embedding-0.6B (55,1%).

Expandir

Na tarefa multilíngue PPLXQuery2Doc (corpus de 30M), o pplx-embed-v1-4B atinge 91,7% de Recall@1000, em comparação com 88,6% para o Qwen3-Embedding-4B. O alto recall em grandes profundidades de recuperação é fundamental para modelos de embedding que atuam como recuperadores de primeiro estágio em pipelines de classificação de múltiplos estágios, onde maximizar o número de candidatos relevantes passados para rerankers a jusante impacta diretamente a qualidade do resultado final.

Começando

Todos os modelos estão disponíveis no Hugging Face (sob Licença MIT) e por meio da Perplexity API. Suportamos inferência via Transformers, SentenceTransformers, Text Embeddings Inference e ONNX. Para detalhes completos sobre cada opção, veja a coleção de modelos no Hugging Face.

Para detalhes técnicos abrangentes e resultados completos de avaliação, consulte nosso relatório técnico.

Citação

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}