pplx-embed: сучасні моделі ембеддингів для вебмасштабного пошуку

Сьогодні ми випускаємо pplx-embed-v1 і pplx-embed-context-v1 — дві найсучасніші моделі векторного подання тексту, створені для пошуку в реальних умовах у масштабі вебу. pplx-embed-v1 оптимізовано для стандартного щільного пошуку за текстом, тоді як pplx-embed-context-v1 вбудовує фрагменти з урахуванням контексту навколишнього документа на рівні всього документа.

Обидві моделі, pplx-embed-v1 та pplx-embed-context-v1, доступні у варіантах із розмірністю 0.6B та 4B параметрів. Моделі з 0.6B орієнтовані на легку та низьколатентну генерацію ембеддингів, тоді як моделі з 4B максимізують якість пошуку. У наших оцінках родина pplx-embed лідирує в низці публічних бенчмарків, зокрема MTEB(Multilingual, v2), BERGEN, ToolRet та ConTEB. Крім того, pplx-embed-v1 забезпечує найкращі у своєму класі результати в наших внутрішніх вебмасштабних бенчмарках: PPLXQuery2Query, PPLXQuery2Doc.

Моделі створюють INT8- та бінарні ембеддинги, що зменшує вимоги до зберігання у 4 та 32 рази відповідно порівняно з FP32. Така компактність робить зберігання та пошук ембеддингів у вебмасштабі значно практичнішими.

Розміри моделі pplx-embed, довжина контексту, квантування та конфігурація pooling.

Перегляньте наш технічний звіт, моделі на Hugging Face та документацію API.

Мотивація

Щільні текстові ембеддинги відображають запити та документи у спільному семантичному просторі, де пошук зводиться до наближеного пошуку найближчих сусідів. У масштабі Perplexity ембеддинги є першим етапом нашого конвеєра пошуку, визначаючи, які документи з мільярдів вебсторінок потрапляють на розгляд наступних рангерів та мовних моделей.

Більшість провідних моделей ембеддингів сьогодні побудовано на базі детекрних LLM лише з декодером та маскуванням причинної уваги (causal attention), де кожен токен може звертатися лише до попередніх токенів. Для пошуку це фундаментальне обмеження: розуміння уривка часто вимагає двонаправленого контексту. Ми вирішуємо цю проблему за допомогою продовженого попереднього навчання на основі дифузії, яке перетворює причинну LLM на двонаправлений енкодер. Повна двонаправлена увага уможливлює середній пулінг (mean pooling) за всіма представленнями токенів та підтримує пізнє чанкування (late chunking) для контекстних ембеддингів, де ембеддинг кожного чанку формується з урахуванням повного документа, в якому він з'являється.

У вебмасштабі зберігання ембеддингів у форматі FP32 є надзвичайно дорогим. Замість застосування квантування як постфактум кроку стиснення, наші моделі використовують навчання з урахуванням квантування для нативного створення INT8-ембеддингів, що зменшує обсяг зберігання у 4 рази без втрати продуктивності. Бінарне квантування зменшує обсяг зберігання у 32 рази з мінімальною втратою якості, особливо у масштабі 4B.

Багато сучасних моделей ембеддингів вимагають додавання інструкцій-префіксів до кожного вхідного тексту. Хоча це може дати невелике покращення в бенчмарках, на практиці це створює труднощі: невідповідність інструкцій під час інндексації та виконання запиту непомітно погіршує пошук, а вибір правильного промпту для кожного випадку використання стає ще одним завданням, яке потрібно вирішити правильно. Наші моделі не потребують інструкцій, що робить інтеграцію простою.

Навчання

pplx-embed-v1 та pplx-embed-context-v1 навчено за допомогою багатоетапного конвеєра, який поступово формує представлення тексту для пошуку.

Розгорнути

Продовжене попереднє навчання на основі дифузії

Ми починаємо з попередньо навчених базових моделей Qwen3 (0.6B та 4B) і перетворюємо їх із причинних декодерів на двонаправлені енкодери, вимкнувши маску причинної уваги та здійснюючи навчання з цільовою функцією дифузійного шумозаглушення. На відміну від авторегресійних моделей, які прогнозують токени зліва направо, дифузійне навчання змушує модель реконструювати випадково замасковані токени, використовуючи повний двонаправлений контекст навколо кожної замаскованої позиції. Це означає, що на момент початку контрастивного тонкого настроювання представлення вже кодують двонаправлену семантику, забезпечуючи міцнішу основу для пошуку, ніж причинна вихідна точка. Ми попередньо навчаємося на приблизно 250 мільярдах токенів багатомовного тексту, що охоплює 30 мов. В абляційних дослідженнях базові моделі з дифузійним попереднім навчанням досягають суттєво нижчих втрат на контрастивному навчанні порівняно з їхніми причинними аналогами, що перетворюється приблизно на 1 процентний пункт покращення в пошукових завданнях.

Контрастивне навчання

Після попереднього навчання ми виконуємо три етапи контрастивного навчання. Парне навчання встановлює фундаментальне семантичне вирівнювання між запитами та документами за допомогою функції втрат InfoNCE з негативами всередині батча (in-batch negatives). За великих розмірів батчів деякі внутрішньобатчеві негативи насправді є майже дублікатами позитивного прикладу, тому ми застосовуємо маску на основі схожості, щоб запобігти споваленню навчального сигналу цими хибними негативами. Навчання відбувається фазами: спочатку лише англійською, потім кросмовною, а згодом повністю багатомовною, нарощуючи можливості поступово, а не одразу. Контекстне навчання потім навчає модель семантики на рівні чанків відносно контексту на рівні документа, використовуючи подвійні втрати, які поєднують внутрішньопослідовний та внутрішньобатчевий контраст як на рівні чанків, так і на рівні документів — цей етап створює pplx-embed-context-v1. Нарешті, тріплетне навчання з видобутими складними негативами уточнює межі між подібними, але нерелевантними документами. Кінцева модель pplx-embed-v1 отримується шляхом злиття контрольних точок контекстного та тріплетного навчання за допомогою сферичної лінійної інтерполяції (SLERP).

Нативне квантування

Протягом усіх контрастивних етапів ембеддинги квантуються до INT8 як під час навчання, так і під час інференсу. Ми застосовуємо операцію середнього пулінгу на основі tanh із наступним округленням і використовуємо оцінку градієнта прямим проходом (straight-through estimator) для зворотного поширення крок за кроком через недиференційований етап квантування. Це гарантує, що модель вивчає представлення, оптимізовані для зниженої точності з самого початку, замість того, щоб страждати від деградації через постфактум стиснення. Для бінарного квантування моделі 4B є помітно стійкішими, ніж 0.6B: їхня більша розмірність ембеддингів (2560 проти 1024) зберігає більше інформації після бінаризації, обмежуючи падіння продуктивності до менш ніж 1.6 процентного пункта порівняно з 2–4 пунктами на меншому масштабі.

Публічні бенчмарки

Розгорнути

У пошуковому бенчмарку MTEB(Multilingual, v2) модель pplx-embed-v1-4B(INT8) досягає середнього показника nDCG@10 на рівні 69.66%, що відповідає результату Qwen3-Embedding-4B (69.60%) і перевершує gemini-embedding-001 (67.71%), вимагаючи при цьому суттєво менше місця для зберігання на один ембеддинг. Наша модель 0.6B перевершує свій аналог Qwen3 у тому ж масштабі параметрів.

Розгорнути

Продуктивність контекстного пошуку в бенчмарку ConTEB. Зліва: контекстуалізовані моделі. Справа: неконтекстуалізовані моделі. pplx-embed-context-v1-4B (INT8) досягає найвищого бала 81.96, за ним ідуть voyage-context-3 (79.45) та pplx-embed-context-v1-0.6B (INT8) з балом 76.53.

Для контекстного пошуку pplx-embed-context-v1-4B встановлює новий стандарт на бенчмарку ConTEB із середнім показником nDCG@10 на рівні 81.96%, перевершуючи voyage-context-3 (79.45%) та Anthropic Contextual (72.4%). Завдяки навчанню представлень на рівні чанків, які включають семантику на рівні документа, наші моделі знаходять правильний уривок навіть тоді, коли його значення залежить від навколишнього контексту.

Ми також оцінюємо наші моделі в системах RAG повного циклу за допомогою бенчмарку BERGEN, де знайдені уривки подаються до мовної моделі для генерації відповідей. pplx-embed-v1-4B перевершує Qwen3-Embedding-4B у чотирьох із п'яти оцінюваних завдань із відповідь на запитання. Зокрема, pplx-embed-v1-0.6B перевершує більшу модель Qwen3-Embedding-4B у трьох із п'яти завдань, демонструючи, що наша менша модель може відповідати конкуренту або перевершувати його на значно більшому масштабі параметрів у практичних середовищах RAG. Щоб дізнатися більше про цю оцінку, зверніться до технічного звіту.

Пошук реального світу в масштабі

Публічні бенчмарки корисні, проте вони не повністю відображають виклики пошуку у вебмасштабі: довгохвості запити, зашумлені документи та зміщення розподілу, що характеризують робочі середовища. Щоб виміряти те, що важливо на практиці, ми створили два внутрішні бенчмарки, які містять до 115 тис. реальних запитів, оцінених проти понад 30 мільйонів документів, зібраних із понад 1 мільярда вебсторінок. PPLXQuery2Query оцінює, чи може модель ембеддингів ідентифікувати семантично еквівалентні запити з реального пошукового трафіку; PPLXQuery2Doc вимірює пошук документів із корпусу у 30 млн сторінок.

У бенчмарку PPLXQuery2Query (корпус на 2.4 млн) модель pplx-embed-v1-4B досягає 73.5% Recall@10, перевершуючи Qwen3-Embedding-4B (67.9%) на 5.6 процентних пункти. Наша модель 0.6B досягає 71.1% Recall@10, суттєво перевершуючи BGE-M3 (61.8%) та Qwen3-Embedding-0.6B (55.1%).

Розгорнути

У багатомовному завданні PPLXQuery2Doc (корпус на 30 млн) модель pplx-embed-v1-4B досягає 91.7% Recall@1000 порівняно з 88.6% у Qwen3-Embedding-4B. Висока повнота на великих глибинах пошуку має критичне значення для моделей ембеддингів, що слугують первинними пошуковими системами в багатоетапних конвеєрах ранжування, де максимізація кількості релевантних кандидатів, переданих подальшим рангерлям, безпосередньо впливає на кінцеву якість результату.

Початок роботи

Усі моделі доступні на Hugging Face (за ліцензією MIT) та через Perplexity API. Ми підтримуємо інференс за допомогою Transformers, SentenceTransformers, Text Embeddings Inference та ONNX. Детальну інформацію про кожен варіант див. у колекції моделей на Hugging Face.

Щоб ознайомитися з вичерпними технічними деталями та повними результатами оцінювання, зверніться до нашого технічного звіту.

Цитування

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}