pplx-embed: Најсавременији модели за уграђивање за претраживање у веб-размјери

Данас издајемо pplx-embed-v1 и pplx-embed-context-v1, два најсавременија модела за уграђивање текста направљена за стварно претраживање у веб-размјери. pplx-embed-v1 је оптимизован за стандардно густо претраживање текста, док pplx-embed-context-v1 уграђује одсечке у односу на околни контекст на нивоу документа.

И pplx-embed-v1 и pplx-embed-context-v1 су доступни у величинама од 0,6B и 4B параметара. Модели од 0,6B циљају лагано генерисање уграђивања са малим кашњењем, док модели од 4B максимизују квалитет претраживања. У нашим евалуацијама, породица pplx-embed предњачи у низу јавних бенчмарка укључујући MTEB(Multilingual, v2), BERGEN, ToolRet и ConTEB. Штавише, pplx-embed-v1 пружа најбоље резултате у класи на нашим интерним бенчмарцима веб-размјере: PPLXQuery2Query, PPLXQuery2Doc.

Модели производе INT8 и бинарна уграђивања, смањујући захтјеве за складиштењем за 4x и 32x, респективно, у поређењу са FP32. Ова компактност чини складиштење и претраживање уграђивања у веб-размјери знатно практичнијим.

димензије pplx-embed модела, дужина контекста, квантизација и конфигурација пуллинга.

Погледајте наш технички извјештај, Hugging Face моделе и API документацију.

Мотивација

Густа уграђивања текста мапирају упите и документе у дијељени семантички простор гдје се претраживање свези на приближно претраживање најближих сусједа. У размјери Перplexity-а, уграђивања су прва фаза нашег цикливуса претраживања, која одређују који документи са милијарди веб страница се узимају у обзир од стране наредних рангера и језичких модела.

Већина водећих модела за уграђивање данас је изграђена на ЛЛМ-овима који користе само декодер са маскирањем каузалне пажње, гдје сваки токен може бити усмјерен само на претходне токене. За претраживање, ово је фундаментално ограничење: разумијевање одсјечка често захтијева двосмјерни контекст. Ово рјешавамо кроз наставак претходног тренинга заснованог на дифузији, који претвара каузални ЛЛМ у двосмјерни енкодер. Пуна двосмјерна пажња омогућава средњи полинг над свим репрезентацијама токена и подржава касно сјечење за контекстуална уграђивања, гдје је уграђивање сваког одсјечка информисано пуним документом у којем се појављује.

На веб размјери, складиштење уграђивања у FP32 је прескупо. Умјесто примјене квантизације као корака компресије након чињенице, наши модели користе тренинг свјестан квантизације за производњу INT8 уграђивања изворно, смањујући складиштење за 4 пута без компромиса у перформансама. Бинарна квантизација смањује складиштење за 32 пута уз минимални губитак квалитета, посебно на скали од 4B.

Многи модерни модели за уграђивање захтијевају префиксирање инструкција испред сваког уноса. Иако ово може донијети мала побољшања на бенчмарцима, у пракси ствара трење: неподударне инструкције између индексирања и времена упита неопажено деградирају претраживање, а одабир правог упита за сваки случај употребе постаје још једна ствар коју треба погодити. Наши модели не захтијевају никакве инструкције, чинећи интеграцију једноставном.

Тренинг

pplx-embed-v1 и pplx-embed-context-v1 су обучени кроз вишефазни цевовод који постепено обликује репрезентације текста за претраживање.

Увећај

Наставак дифузионог преттренинга

Почињемо од претходно обучених Qwen3 основних модела (0.6B и 4B) и претварамо их из каузалних декодера у двосмјерне енкодере онемогућавањем каузалне маске пажње и обуком са циљем уклањања шума путем дифузије. За разлику од ауторегресивних модела који предвиђају токене с лијева на десно, обука дифузијом приморава модел да реконструише насумично маскиране токене користећи пуни двосмјерни контекст око сваке маскиране позиције. То значи да до тренутка када контрастно фино подешавање почне, репрезентације већ кодирају двосмјерну семантику, пружајући чвршћу основу за претраживање него каузална полазна тачка. Вршимо преттренинг на приближно 250 милијарди токена вишејезичног текста који обухвата 30 језика. У аблацијама, дифузионо претходно обучени носачи постижу знатно мањи губитак контрастне обуке од њихових каузалних пандана, што се преводи у отприлике 1 проценат побољшања у задацима претраживања.

Контрастна обука

Након преттренинга, изводимо три фазе контрастног учења. Тренинг парова успоставља темељну семантичку усклађеност између упита и докумената користећи InfoNCE губитак са негативима унутар серије. Са великим величинама серија, неки негативи унутар серије су заправо блиски дупликати позитивног, па примјењујемо маску засновану на сличности како бисмо спријечили да ови лажни негативи наруше сигнал обуке. Обука се одвија у фазама — само на енглеском, затим вишејезично, па у потпуности вишејезично — градећи капацитет постепено, а не одједном. Контекстуална обука затим учи модел семантици на нивоу одсјечка у односу на контекст на нивоу документа, користећи двоструки губитак који комбинује контраст унутар секвенце и унутар серије и на нивоу одсјечка и на нивоу документа — ова фаза производи pplx-embed-context-v1. Коначно, трострука обука са ископаним тврдим негативима рафинира границе између сличних али нерелевантних докумената. Коначни pplx-embed-v1 се добија спајањем контекстуалних и троструких контролних тачака путем сферне линеарне интерполације (SLERP).

Изворна квантизација

Током свих контрастних фаза, уграђивања се квантизују у INT8 током обуке и инференције. Примјењујемо операцију средњег полинга засновану на танх праћену заокруживањем, и користимо процјену градијента директног пролаза за пропанацију уназад кроз кораке квантизације који се не могу диференцирати. Ово обезбјеђује да модел уче репрезентације оптимизоване за смањену прецизност од самог почетка, умјесто да трпи деградацију од компресије након чињенице. За бинарну квантизацију, модели од 4B су знатно робуснији од оних од 0.6B: њихова већа димензија уграђивања (2560 наспрам 1024) чува више информација након бинаризације, ограничавајући пад перформанси на испод 1,6 процентних поена у поређењу са 2–4 поена на мањој скали.

Јавни бенчмарци

Увећај

На MTEB(Multilingual, v2) бенчмарку претраживања, pplx-embed-v1-4B(INT8) постиже просјечни nDCG@10 од 69,66%, подударајући се са Qwen3-Embedding-4B (69,60%) и премашујући gemini-embedding-001 (67,71%), док захтијева знатно мање складишног простора по уграђивању. Наш модел од 0.6B надмашује свог Qwen3 пандана на истој скали параметара.

Увећај

Перформансе контекстуалног претраживања на ConTEB бенчмарку. Лијево: контекстуализовани модели. Десно: неконтекстуализовани модели. pplx-embed-context-v1-4B (INT8) постиже највећи резултат од 81,96, а слиједе га voyage-context-3 (79,45) и pplx-embed-context-v1-0.6B (INT8) са 76,53.

За контекстуално претраживање, pplx-embed-context-v1-4B поставља нови стандард на ConTEB бенчмарку са просјечним nDCG@10 од 81,96%, надмашујући voyage-context-3 (79,45%) и Anthropic Contextual (72,4%). Обуком репрезентација на нивоу одсјечка које инкорпорирају семантику на нивоу документа, наши модели проналазе прави одсјечак чак и када његово значење зависи од околног контекста.

Такође евалуирамо наше моделе у крајњем RAG-у користећи BERGEN бенчмарк, гдје се пронађени одсјечци прослеђују језичком моделу за генерисање одговора. pplx-embed-v1-4B надмашује Qwen3-Embedding-4B на четири од пет евалуираних задатака одговора на питања. Вриједи запазити да pplx-embed-v1-0.6B надмашује већи Qwen3-Embedding-4B на три од пет задатака, показујући да наш мањи модел може да се подудари са конкурентом или га надмаши на знатно већој скали параметара у практичним RAG окружењима. За више детаља о овој евалуацији, упућујемо на технички извјештај.

Претраживање у реалном свијету у великој размјери

Јавни бенчмарци су корисни, али не ухватају у потпуности изазове претраживања у веб-размјери: дугорочне упите, бучне документе и промјене дистрибуције које карактеришу производна окружења. Да бисмо измјерили оно што је важно у пракси, изградили смо два интерна бенчмарка са до 115K стварних упита евалуираних у односу на више од 30 милиона докумената обједињених са преко 1 милијарде веб страница. PPLXQuery2Query оцјењује да ли модел за уграђивање може да идентификује семантички еквивалентне упите из стварног саобраћаја претраге; PPLXQuery2Doc мјери претраживање докумената из корпуса од 30M страница.

На PPLXQuery2Query (корпус од 2.4M), pplx-embed-v1-4B постиже 73,5% Recall@10, превазилазећи Qwen3-Embedding-4B (67,9%) за 5,6 процентних поена. Наш модел од 0.6B постиже 71,1% Recall@10, знатно надмашујући BGE-M3 (61,8%) и Qwen3-Embedding-0.6B (55,1%).

Увећај

На вишејезичном задатку PPLXQuery2Doc (корпус од 30M), pplx-embed-v1-4B постиже 91,7% Recall@1000, у поређењу са 88,6% за Qwen3-Embedding-4B. Високо призивање при великим дубинама претраживања је критично за моделе за уграђивање који служе као претраживачи прве фазе у вишефазним цевоводима рангирања, гдје максимизирање броја релевантних кандидата прослијеђених наредним рерангерима директно утиче на квалитет коначних резултата.

Почетак рада

Сви модели су доступни на Hugging Face (под MIT лиценцом) и преко Perplexity API-ја. Подржавамо инференцију преко Transformers, SentenceTransformers, Text Embeddings Inference и ONNX. За пуне детаље о свакој опцији, погледајте колекцију модела на Hugging Face-у.

За свеобухватне техничке детаље и комплетне резултате евалуације, погледајте наш технички извјештај.

Цитирање

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}