pplx-embed：用于网络规模检索的尖端嵌入模型

今天，我们发布了 pplx-embed-v1 和 pplx-embed-context-v1，这是两款为实际、网络规模检索而构建的尖端文本嵌入模型。pplx-embed-v1 针对标准密集文本检索进行了优化，而 pplx-embed-context-v1 则嵌入了结合周围文档级上下文的段落。

pplx-embed-v1 和 pplx-embed-context-v1 均提供 0.6B 和 4B 参数规模版本。0.6B 模型专为轻量级、低延迟的嵌入生成而设计，而 4B 模型则最大限度地提高了检索质量。在我们的评估中，pplx-embed 系列在包括 MTEB(Multilingual, v2)、BERGEN、ToolRet 和 ConTEB 在内的一系列公共基准测试中均处于领先地位。此外，pplx-embed-v1 在我们内部的网络规模基准测试（PPLXQuery2Query、PPLXQuery2Doc）中也提供了同类最佳的成果。

这些模型生成 INT8 和 二进制 嵌入，与 FP32 相比，分别减少了 4倍 和 32倍 的存储需求。这种紧凑性使网络规模的嵌入存储和检索变得更加切实可行。

pplx-embed 模型维度、上下文长度、量化和池化配置。

查看我们的 技术报告、Hugging Face 模型 以及 API 文档。

动机

密集文本嵌入将查询和文档映射到共享语义空间，其中检索简化为近似最近邻搜索。在 Perplexity 的规模下，嵌入是我们检索管道的第一阶段，决定了数十亿网页中的哪些文档会被后续的排序器和语言模型考虑。

目前大多数领先的嵌入模型都是基于具有因果注意掩码的仅解码器大语言模型（LLM）构建的，其中每个 token 只能关注前面的 token。对于检索而言，这是一个根本性的局限：理解段落通常需要双向上下文。我们通过 基于扩散的持续预训练 来解决这个问题，它将因果大语言模型转换为双向编码器。完整的双向注意机制支持对所有 token 表示进行均值池化，并支持用于上下文嵌入的后期分块（late chunking），其中每个分块的嵌入均由其所属的完整文档提供信息。

在网络规模上，以 FP32 格式存储嵌入的成本高得令人望而却步。我们的模型不将量化作为事后压缩步骤，而是使用感知量化训练（quantization-aware training）来原生生成 INT8 嵌入，在不影响性能的情况下将存储需求减少了 4 倍。二进制量化进一步减少了 32 倍的存储需求，且质量损失极小，特别是在 4B 规模下。

许多现代嵌入模型要求在每个输入前加上指令前缀。虽然这在基准测试中可能会带来小幅提升，但在实践中它增加了摩擦：索引和查询时间之间指令不匹配会隐性降低检索质量，而且为每个用例选择正确的提示词成了另一项需要做好的工作。我们的模型无需任何指令，使集成变得简单直接。

训练

pplx-embed-v1 和 pplx-embed-context-v1 通过一个多阶段管道进行训练，该管道逐步调整文本表示以实现检索。

放大

持续扩散预训练

我们从预训练的 Qwen3 基础模型（0.6B 和 4B）开始，通过禁用因果注意掩码并使用扩散去噪目标进行训练，将它们从因果解码器转换为双向编码器。与从左到右预测 token 的自回归模型不同，扩散训练强制模型使用每个被掩码位置周围的完整双向上下文来重建随机掩码的 token。这意味着在对比微调开始时，表示已经编码了双向语义，与因果起点相比，为检索提供了更坚实的基础。我们在涵盖 30 种语言的约 2500 亿个 token 的多语言文本上进行了预训练。在消融研究中，扩散预训练的主干比其因果对应物实现了显著更低的对比训练损失，这转化为检索任务上约 1 个百分点的提升。

对比训练

预训练之后，我们执行三个阶段的对比学习。配对训练使用带有批内负样本的 InfoNCE 损失，建立了查询和文档之间的基础语义对齐。在大批量情况下，一些批内负样本实际上是正样本的近重复，因此我们应用基于相似度的掩码，以防止这些假阴性样本破坏训练信号。训练分阶段进行——仅英语，然后跨语言，最后是完全多语言——逐步构建能力，而不是一蹴而就。上下文训练随后结合文档级上下文教授模型分块级语义，使用一种结合了分块和文档级别序列内及批内对比的双重损失——此阶段产生了 pplx-embed-context-v1。最后，使用挖掘出的困难负样本进行 三元组训练，以优化相似但不相关文档之间的边界。最终的 pplx-embed-v1 是通过球状线性插值（SLERP）合并上下文检查点和三元组检查点获得的。

原生量化

在所有对比阶段，嵌入在训练和推理过程中都会被量化为 INT8。我们应用基于双曲正切（tanh）的均值池化操作，然后进行舍入，并使用直通梯度估计（straight-through gradient estimation）来反向传播非可微量化步骤。这确保了模型从一开始就学习针对降低精度进行优化的表示，而不是遭受事后压缩带来的性能退化。对于二进制量化，4B 模型明显比 0.6B 更稳健：它们较大的嵌入维度（2560 对比 1024）在二值化后保留了更多信息，将性能下降限制在 1.6 个百分点以内，而较小规模模型则下降了 2-4 个百分点。

公共基准测试

放大

在 MTEB(Multilingual, v2) 检索基准测试中，pplx-embed-v1-4B(INT8) 的平均 nDCG@10 达到 69.66%，与 Qwen3-Embedding-4B (69.60%) 持平，并超过了 gemini-embedding-001 (67.71%)，同时每个嵌入所需的存储空间大大减少。我们的 0.6B 模型在相同的参数规模下优于其 Qwen3 对应模型。

放大

ConTEB 基准测试上的上下文检索性能。左：上下文模型。右：非上下文模型。pplx-embed-context-v1-4B (INT8) 以 81.96 的得分最高，其次是 voyage-context-3 (79.45) 和 pplx-embed-context-v1-0.6B (INT8) 的 76.53。

对于上下文检索，pplx-embed-context-v1-4B 在 ConTEB 基准测试中创下了平均 nDCG@10 为 81.96% 的新最高水平，优于 voyage-context-3 (79.45%) 和 Anthropic Contextual (72.4%)。通过训练结合了文档级语义的分块级表示，我们的模型即使在段落含义取决于周围上下文时，也能检索到正确的段落。

我们还使用 BERGEN 基准测试在端到端 RAG 中评估了我们的模型，其中检索到的段落被输入到语言模型中以生成答案。pplx-embed-v1-4B 在五个评估的问答任务中的四个上表现优于 Qwen3-Embedding-4B。值得注意的是，pplx-embed-v1-0.6B 在五个任务中的三个上表现优于更大的 Qwen3-Embedding-4B，证明了我们较小的模型在实际 RAG 设置中可以匹配甚至超过参数规模显著更大的竞争对手。有关此评估的更多详情，请参阅 技术报告。

大规模实际检索

公共基准测试很有用，但它们无法完全捕捉大规模检索的挑战：生产环境中常见的长尾查询、嘈杂文档和分布偏移。为了衡量实践中重要的指标，我们构建了两个内部基准测试，使用多达 11.5 万个真实世界查询，对照从 10 亿多个网页中汇总的 3000 多万份文档进行评估。PPLXQuery2Query 评估嵌入模型能否识别真实搜索流量中语义等效的查询；PPLXQuery2Doc 衡量从 3000 万页面语料库中进行的文档检索。

在 PPLXQuery2Query (240 万语料库) 上，pplx-embed-v1-4B 实现了 73.5% 的 Recall@10，超过 Qwen3-Embedding-4B (67.9%) 5.6 个百分点。我们的 0.6B 模型实现了 71.1% 的 Recall@10，大幅优于 BGE-M3 (61.8%) 和 Qwen3-Embedding-0.6B (55.1%)。

放大

在多语言 PPLXQuery2Doc 任务 (3000 万语料库) 上，pplx-embed-v1-4B 实现了 91.7% 的 Recall@1000，而 Qwen3-Embedding-4B 为 88.6%。对于在多阶段排序管道中充当第一阶段检索器的嵌入模型来说，在大检索深度下的高召回率至关重要，因为将传递给后续重排序器的相关候选者数量最大化直接影响最终结果的质量。

入门指南

所有模型均可在 Hugging Face（在 MIT 许可下）和通过 Perplexity API 获取。我们支持通过 Transformers、SentenceTransformers、Text Embeddings Inference 和 ONNX 进行推理。有关每个选项的完整详细信息，请参阅 Hugging Face 模型集合。

如需全面的技术详情和完整的评估结果，请参阅我们的 技术报告。

引用

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}