pplx-embed: передовые модели для поиска в масштабах сети

Сегодня мы выпускаем pplx-embed-v1 и pplx-embed-context-v1, две передовые модели векторного представления текста, созданные для поиска в масштабах веб-сети в реальных условиях. Модель pplx-embed-v1 оптимизирована для стандартного плотного векторного поиска, тогда как pplx-embed-context-v1 преобразует фрагменты текста с учетом окружающего документального контекста.

Обе модели, pplx-embed-v1 и pplx-embed-context-v1, доступны в версиях с 0,6 млрд и 4 млрд параметров. Модели с 0,6 млрд параметров ориентированы на легкую генерацию векторных представлений с низкой задержкой, в то время как модели с 4 млрд параметров обеспечивают максимальное качество поиска. По результатам нашей оценки, семейство pplx-embed занимает лидирующие позиции в ряде общедоступных бенчмарков, включая MTEB(Multilingual, v2), BERGEN, ToolRet и ConTEB. Кроме того, pplx-embed-v1 демонстрирует лучшие в своем классе результаты на наших внутренних бенчмарках для веб-масштаба: PPLXQuery2Query и PPLXQuery2Doc.

Модели создают векторные представления в форматах INT8 и binary, что сокращает требования к объему хранения в 4 и 32 раза соответственно по сравнению с форматом FP32. Такая компактность делает хранение и поиск векторных представлений в масштабах веб-сети значительно более практичными.

Размеры модели pplx-embed, длина контекста, квантизация и конфигурация pooling.

Ознакомьтесь с нашим техническим отчетом, моделями на Hugging Face и документацией API.

Мотивация

Плотные векторные представления текста отображают запросы и документы в общее семантическое пространство, где поиск сводится к приближенному поиску ближайших соседей. В масштабах Perplexity векторные представления являются первым этапом нашего конвейера поиска, определяя, какие документы из миллиардов веб-страниц будут рассмотрены последующими ранжирующими моделями и языковыми моделями.

Большинство ведущих моделей векторного представления сегодня построены на декодерах LLM с маскированием причинно-следственного внимания, где каждый токен может учитывать только предыдущие токены. Для поиска это является фундаментальным ограничением: понимание фрагмента текста часто требует двунаправленного контекста. Мы решаем эту задачу с помощью диффузионного дообучения, которое превращает причинно-следственную LLM в двунаправленный энкодер. Полное двунаправленное внимание позволяет применять средний пулинг ко всем представлениям токенов и поддерживает позднее сегментирование для контекстных векторных представлений, где вектор каждого сегмента определяется полным документом, в котором он содержится.

В масштабах веб-сети хранение векторных представлений в формате FP32 является чрезмерно дорогостоящим. Вместо применения квантования как этапа последующего сжатия, наши модели используют обучение с учетом квантования для создания векторных представлений INT8 нативно, сокращая объем хранения в 4 раза без ущерба для производительности. Бинарное квантование сокращает хранение в 32 раза с минимальной потерей качества, особенно для моделей с 4 млрд параметров.

Многие современные модели векторного представления требуют добавления префиксов-инструкций к каждому вводу. Хотя это может дать небольшой прирост на бенчмарках, на практике это создает неудобства: несоответствие инструкций между индексированием и временем запроса неявно снижает качество поиска, а выбор правильного промпта для каждого случая использования становится еще одной задачей. Наши модели не требуют инструкций, что делает их интеграцию простой и понятной.

Обучение

pplx-embed-v1 и pplx-embed-context-v1 обучены с помощью многоэтапного конвейера, который последовательно формирует текстовые представления для поиска.

Развернуть

Продолженное диффузионное дообучение

Мы начинаем с предобученных базовых моделей Qwen3 (0,6 млрд и 4 млрд параметров) и преобразуем их из причинно-следственных декодеров в двунаправленные энкодеры, отключая причинно-следственную маску внимания и обучая с использованием цели диффузионного шумоподавления. В отличие от авторегрессионных моделей, которые предсказывают токены слева направо, диффузионное обучение заставляет модель восстанавливать случайно замаскированные токены, используя полный двунаправленный контекст вокруг каждой маскированной позиции. Это означает, что к началу контрастивного дообучения представления уже кодируют двунаправленную семантику, обеспечивая более прочную основу для поиска, чем причинно-следственная отправная точка. Мы проводим предобучение на примерно 250 миллиардах токенов многоязычного текста, охватывающего 30 языков. В ходе абляционных исследований диффузионно-предобученные основы достигают существенно более низких потерь при контрастивном обучении по сравнению с их причинно-следственными аналогами, что соответствует примерно 1-процентному улучшению в задачах поиска.

Контрастивное обучение

После предобучения мы выполняем три этапа контрастивного обучения. Попарное обучение устанавливает фундаментальное семантическое выравнивание между запросами и документами, используя функцию потерь InfoNCE с внутрипакетными негативными примерами. При больших размерах пакетов некоторые внутрипакетные негативные примеры фактически являются почти дубликатами положительных, поэтому мы применяем маску на основе сходства, чтобы предотвратить искажение сигнала обучения этими ложноотрицательными результатами. Обучение проходит поэтапно — сначала только английский язык, затем кросс-языковой и, наконец, полностью многоязычный — постепенно наращивая возможности. Затем контекстное обучение обучает модель семантике на уровне сегментов относительно контекста документа, используя двойную функцию потерь, которая сочетает внутрипоследовательностный и внутрипакетный контраст как на уровне сегментов, так и на уровне документов — этот этап создает pplx-embed-context-v1. Наконец, триплетное обучение с использованием сложных негативных примеров уточняет границы между похожими, но нерелевантными документами. Итоговая модель pplx-embed-v1 получается путем объединения контекстных и триплетных контрольных точек посредством сферической линейной интерполяции (SLERP).

Нативное квантование

На протяжении всех контрастивных этапов векторные представления квантуются до INT8 как при обучении, так и при выводе. Мы применяем операцию среднего пулинга на основе гиперболического тангенса с последующим округлением и используем прямое сквозное градиентное оценивание для обратного распространения через недифференцируемый этап квантования. Это гарантирует, что модель с самого начала изучает представления, оптимизированные для пониженной точности, вместо снижения качества из-за последующего сжатия. Для бинарного квантования модели с 4 млрд параметров заметно более устойчивы, чем модели с 0,6 млрд: их большая размерность векторного представления (2560 против 1024) сохраняет больше информации после бинаризации, ограничивая падение производительности до менее чем 1,6 процентного пункта по сравнению с 2–4 пунктами при меньшем масштабе.

Публичные бенчмарки

Развернуть

На бенчмарке поиска MTEB(Multilingual, v2) модель pplx-embed-v1-4B(INT8) достигает среднего nDCG@10 на уровне 69,66%, что соответствует Qwen3-Embedding-4B (69,60%) и превосходит gemini-embedding-001 (67,71%), при этом требуя существенно меньше памяти на векторное представление. Наша модель с 0,6 млрд параметров превосходит аналог Qwen3 при том же масштабе параметров.

Развернуть

Качество контекстного поиска по бенчмарку ConTEB. Слева: контекстуализированные модели. Справа: неконтекстуализированные модели. pplx-embed-context-v1-4B (INT8) достигает наивысшего балла 81,96, за ним следуют voyage-context-3 (79,45) и pplx-embed-context-v1-0.6B (INT8) с результатом 76,53.

Для контекстного поиска pplx-embed-context-v1-4B устанавливает новый передовой стандарт на бенчмарке ConTEB со средним nDCG@10 81,96%, опережая voyage-context-3 (79,45%) и Anthropic Contextual (72,4%). Обучая представления на уровне сегментов, которые включают семантику уровня документа, наши модели находят нужный фрагмент, даже если его смысл зависит от окружающего контекста.

Мы также оцениваем наши модели в сквозном RAG с использованием бенчмарка BERGEN, где найденные фрагменты подаются в языковую модель для генерации ответов. pplx-embed-v1-4B превосходит Qwen3-Embedding-4B в четырех из пяти оцениваемых задач по ответу на вопросы. Примечательно, что pplx-embed-v1-0.6B превосходит более крупную Qwen3-Embedding-4B в трех из пяти задач, демонстрируя, что наша меньшая модель может соответствовать конкуренту со значительно большим масштабом параметров или превосходить его в практических условиях RAG. Более подробную информацию об этой оценке см. в техническом отчете.

Поиск в реальных условиях в масштабе

Публичные бенчмарки полезны, но они не полностью отражают проблемы поиска в масштабах веб-сети: длинные «хвосты» запросов, шумные документы и изменения распределения, которые характеризуют производственные среды. Чтобы измерить то, что важно на практике, мы создали два внутренних бенчмарка с участием до 115 000 реальных запросов, оцениваемых по отношению к более чем 30 миллионам документов, собранным из более чем 1 миллиарда веб-страниц. PPLXQuery2Query оценивает способность модели векторного представления идентифицировать семантически эквивалентные запросы из реального поискового трафика; PPLXQuery2Doc измеряет поиск документов по корпусу из 30 млн страниц.

На PPLXQuery2Query (корпус 2,4 млн) pplx-embed-v1-4B достигает Recall@10 на уровне 73,5%, превосходя Qwen3-Embedding-4B (67,9%) на 5,6 процентных пункта. Наша модель с 0,6 млрд параметров достигает Recall@10 на уровне 71,1%, существенно опережая BGE-M3 (61,8%) и Qwen3-Embedding-0.6B (55,1%).

Развернуть

В задаче многоязычного PPLXQuery2Doc (корпус 30 млн) pplx-embed-v1-4B достигает Recall@1000 на уровне 91,7% по сравнению с 88,6% для Qwen3-Embedding-4B. Высокая полнота при большой глубине поиска критически важна для моделей векторного представления, выступающих в качестве первичных средств поиска в многоэтапных конвейерах ранжирования, где максимизация количества релевантных кандидатов, передаваемых последующим переранжировщикам, напрямую влияет на итоговое качество результатов.

Начало работы

Все модели доступны на Hugging Face (по лицензии MIT) и через Perplexity API. Мы поддерживаем вывод через Transformers, SentenceTransformers, Text Embeddings Inference и ONNX. Полную информацию о каждом варианте см. в коллекции моделей Hugging Face.

Для получения исчерпывающих технических деталей и полных результатов оценки обратитесь к нашему техническому отчету.

Цитирование

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}