pplx-embed: Веб-ауқымдағы іздеуге арналған озық ендіру модельдері

Бүгін біз шынайы әлемдегі веб-ауқымдағы іздеуге арналған екі озық мәтінді векторлық ендіру моделі — pplx-embed-v1 және pplx-embed-context-v1 модельдерін шығарып жатырмыз. pplx-embed-v1 стандартты тығыз мәтінді іздеу үшін оңтайландырылған, ал pplx-embed-context-v1 үзінділерді құжат деңгейіндегі айналасындағы контекстке сәйкес векторлық түрде көрсетеді.

pplx-embed-v1 және pplx-embed-context-v1 екеуі де 0.6B және 4B параметр масштабтарында қолжетімді. 0.6B модельдері жеңіл, кідірісі аз ендіруді генерациялауға бағытталған, ал 4B модельдері іздеу сапасын барынша арттырады. Біздің бағалауларымыз бойынша, pplx-embed отбасы MTEB(Multilingual, v2), BERGEN, ToolRet және ConTEB сияқты бірқатар жалпыға қолжетімді бенчмарктарда көш бастап тұр. Сонымен қатар, pplx-embed-v1 біздің ішкі веб-ауқымдағы бенчмарктарда (PPLXQuery2Query, PPLXQuery2Doc) өз санатындағы ең үздік нәтижелерді көрсетеді.

Модельдер INT8 және бинарлық векторлық ендірулерді шығарады, бұл FP32-мен салыстырғанда сақтау талаптарын сәйкесінше 4 есе және 32 есе азайтады. Бұл ықшамдылық веб-ауқымдағы ендірулерді сақтау мен іздеуді әлдеқайда тиімді етеді.

pplx-embed модельдерінің өлшемдері, контекст ұзындығы, кванттау және pooling конфигурациясы.

Біздің техникалық есеппен, Hugging Face модельдерімен және API құжаттамасымен танысыңыз.

Негіздеме

Тығыз мәтіндік ендірулер сұраулар мен құжаттарды іздеу жуық ең жақын көршілерді іздеуге әкелетін ортақ семантикалық кеңістікке салыстырады. Perplexity ауқымында векторлық ендірулер біздің іздеу құбырымыздың бірінші кезеңі болып табылады, ол миллиардтаған веб-беттердің қай құжаттары төменгі ағындағы рангтеушілер мен тілдік модельдер арқылы қаралатынын анықтайды.

Қазіргі жетекші embedding модельдерінің көбі causal attention masking қолданатын decoder-only LLM-дерге негізделген, мұнда әр токен тек өзінен бұрынғы токендерге ғана назар аудара алады. Retrieval үшін бұл — іргелі шектеу: бір үзіндіні түсіну көбіне екіжақты контекстті қажет етеді. Біз мұны diffusion негізіндегі continued pretraining арқылы шешеміз, ол causal LLM-ді екіжақты encoder-ге айналдырады. Толық екіжақты attention барлық токен репрезентациялары бойынша mean pooling орындауға мүмкіндік береді және contextual embeddings үшін late chunking-ті қолдайды, мұнда әр chunk embedding-і ол кездесетін толық құжаттан ақпарат алады.

Веб-ауқымда ендірулерді FP32 форматында сақтау өте қымбатқа түседі. Кванттауды кейінгі қысу қадамы ретінде қолданудың орнына, біздің модельдер INT8 ендірулерін жергілікті түрде жасау үшін кванттауды ескере отырып оқытуды (quantization-aware training) пайдаланады, бұл өнімділікті төмендетпей сақтау көлемін 4 есе азайтады. Бинарлық кванттау сақтау көлемін 32 есе азайтады, сапаның төмендеуі өте аз, әсіресе 4B масштабында.

Көптеген заманауи ендіру модельдері әрбір енгізуге дейін қосылатын нұсқаулық префикстерін қажет етеді. Бұл бенчмарктарда шағын нәтиже бергенімен, іс жүзінде ол қиындық тудырады: индекстеу және сұрау уақыты арасындағы сәйкес келмейтін нұсқаулар іздеуді білінбей нашарлатады, ал әрбір қолдану жағдайы үшін дұрыс сұрауды таңдау тағы бір шешілуі тиіс мәселеге айналады. Біздің модельдер ешқандай нұсқаулықты қажет етпейді, бұл интеграцияны өте оңай етеді.

Оқыту

pplx-embed-v1 және pplx-embed-context-v1 мәтін көріністерін іздеу үшін біртіндеп қалыптастыратын көп кезеңді құбыр арқылы оқытылады.

Ұлғайту

Диффузиялық алдын ала оқытуды жалғастыру

Біз алдын ала оқытылған Qwen3 базалық модельдерінен (0.6B және 4B) бастаймыз және себептік назар аудару маскасын өшіру және диффузиялық шуды тазарту мақсатымен оқыту арқылы оларды себептік декодерлерден екі бағытты кодтаушыларға түрлендіреміз. Токендерді солдан оңға қарай болжайтын авторегрессиялық модельдерден айырмашылығы, диффузиялық оқыту модельді әрбір бүркемеленген позицияның айналасындағы толық екі бағытты контексті пайдалана отырып, кездейсоқ бүркемеленген токендерді қалпына келтіруге мәжбүр етеді. Бұл контрастты дәл баптау басталған кезге дейін көріністердің екі бағытты семантиканы кодтап үлгеретінін білдіреді, бұл себептік бастапқы нүктеге қарағанда іздеу үшін неғұрлым берік негіз береді. Біз 30 тілді қамтитын көптілді мәтіннің шамамен 250 миллиард токенінде алдын ала оқытамыз. Абляцияларда диффузия арқылы алдын ала оқытылған магистральдар өздерінің себептік әріптестеріне қарағанда айтарлықтай төмен контрастты оқыту шығынына қол жеткізеді, бұл іздеу тапсырмаларында шамамен 1 пайыздық тармаққа жақсаруға әкеледі.

Контрастты оқыту

Алдын ала оқытудан кейін біз контрастты оқытудың үш кезеңін орындаймыз. Жұптық оқыту топ ішіндегі негативтері бар InfoNCE шығынын пайдалана отырып, сұраулар мен құжаттар арасындағы іргелі семантикалық сәйкестікті орнатады. Үлкен топ өлшемдерімен кейбір топ ішіндегі негативтер шын мәнінде позитивтің жақын дубликаттары болып табылады, сондықтан біз бұл жалған негативтердің оқыту сигналын бұзуын болдырмау үшін ұқсастыққа негізделген масканы қолданамыз. Оқыту фазалармен жүреді — тек ағылшын тілінде, содан кейін тіларалық, содан кейін толығымен көптілді — бірден емес, біртіндеп қабілет қалыптастырады. Содан кейін контекстік оқыту модельге кесек деңгейіндегі және құжат деңгейіндегі кесек пен құжат деңгейіндегі тізбек ішіндегі және топ ішіндегі контрастты біріктіретін қос шығынды пайдалана отырып, құжат деңгейіндегі контекстке қатысты кесек деңгейіндегі семантиканы үйретеді — бұл кезең pplx-embed-context-v1 шығарады. Соңында, алынған қатты негативтері бар үштік оқыту (triplet training) ұқсас, бірақ қатысы жоқ құжаттар арасындағы шекараларды нақтылайды. Соңғы pplx-embed-v1 контекстік және үштік бақылау нүктелерін сфералық сызықтық интерполяция (SLERP) арқылы біріктіру арқылы алынады.

Жергілікті кванттау

Барлық контрастты кезеңдер барысында ендірулер оқыту кезінде де, инференс кезінде де INT8 форматына квантталады. Біз tanh негізіндегі орташа пулинг операциясын, содан кейін дөңгелектеуді қолданамыз және дифференциацияланбайтын кванттау қадамы арқылы кері тарату үшін тікелей градиентті бағалауды (straight-through gradient estimation) пайдаланамыз. Бұл модельдің кейінгі қысудан туындаған нашарлаудан зардап шегудің орнына, басынан бастап азайтылған дәлдік үшін оңтайландырылған көріністерді үйренуін қамтамасыз етеді. Бинарлық кванттау үшін 4B модельдері 0.6B модельдеріне қарағанда айтарлықтай берік: олардың үлкенірек ендіру өлшемі (2560 бен 1024) бинарлаудан кейін көбірек ақпаратты сақтайды, бұл өнімділіктің төмендеуін кішірек масштабтағы 2–4 пайызбен салыстырғанда 1,6 пайыздық тармақтан төмен шектейді.

Жалпыға қолжетімді бенчмарктар

Ұлғайту

MTEB (Multilingual, v2) іздеу бенчмаркында pplx-embed-v1-4B (INT8) 69.66% орташа nDCG@10 мәніне қол жеткізеді, бұл Qwen3-Embedding-4B (69.60%) моделіне сай келеді және gemini-embedding-001 (67.71%) моделінен асады, сонымен бірге әр ендіру үшін айтарлықтай аз жадты қажет етеді. Біздің 0.6B моделіміз сол параметр масштабындағы Qwen3 әріптесінен асып түседі.

Ұлғайту

ConTEB бенчмаркындағы контекстік іздеу өнімділігі. Сол жақта: контексттелген модельдер. Оң жақта: контексттелмеген модельдер. pplx-embed-context-v1-4B (INT8) 81.96 ең жоғары ұпайға қол жеткізеді, одан кейін voyage-context-3 (79.45) және pplx-embed-context-v1-0.6B (INT8) (76.53) тұр.

Контекстік іздеу үшін pplx-embed-context-v1-4B ConTEB бенчмаркында орташа nDCG@10 мәні 81.96% болатын жаңа озық нәтиже орнатады, бұл voyage-context-3 (79.45%) және Anthropic Contextual (72.4%) модельдерінен асады. Құжат деңгейіндегі семантиканы қамтитын кесек деңгейіндегі көріністерді оқыту арқылы біздің модельдер мағынасы айналасындағы контекстке тәуелді болса да, дұрыс үзіндіні табады.

Сондай-ақ біз ізделген үзінділер жауаптарды жасау үшін тілдік модельге берілетін BERGEN бенчмаркы арқылы өз модельдерімізді эн-энд (end-to-end) RAG жүйесінде бағалаймыз. pplx-embed-v1-4B бес сұрақ-жауап тапсырмасының төртеуінде Qwen3-Embedding-4B моделінен асып түседі. Атап айтқанда, pplx-embed-v1-0.6B бес тапсырманың үшеуінде үлкенірек Qwen3-Embedding-4B моделінен асып түседі, бұл біздің кішірек моделіміздің тәжірибелік RAG параметрлерінде едәуір үлкен параметр масштабындағы бәсекелеске сәйкес келе алатынын немесе одан аса алатынын көрсетеді. Бұл бағалау туралы қосымша мәліметтер алу үшін техникалық есепке жүгінеміз.

Ауқымдағы шынайы әлемдегі іздеу

Жалпыға қолжетімді бенчмарктар пайдалы, бірақ олар өндірістік орталарға тән ұзын құйрықты сұрауларды, шулы құжаттарды және тарату ауысуларын (distribution shifts) веб-ауқымдағы іздеу қиындықтарын толық қамтымайды. Іс жүзінде не маңызды екенін өлшеу үшін біз 1 миллиардтан астам веб-беттен жиналған 30 миллионнан астам құжатқа қарсы бағаланған 115 мыңға дейін шынайы әлемдегі сұраулары бар екі ішкі бенчмаркты құрдық. PPLXQuery2Query ендіру моделінің нақты іздеу трафигінен семантикалық тұрғыдан эквивалентті сұрауларды анықтай алатынын бағалайды; PPLXQuery2Doc 30 миллион беттік корпус көмегімен құжаттарды іздеуді өлшейді.

PPLXQuery2Query (2.4М корпус) бойынша pplx-embed-v1-4B 73.5% Recall@10 мәніне қол жеткізеді, бұл Qwen3-Embedding-4B (67.9%) моделінен 5.6 пайыздық тармаққа асып түседі. Біздің 0.6B моделіміз 71.1% Recall@10 мәніне қол жеткізеді, бұл BGE-M3 (61.8%) және Qwen3-Embedding-0.6B (55.1%) модельдерінен айтарлықтай асып түседі.

Ұлғайту

Көптілді PPLXQuery2Doc тапсырмасында (30M корпус) pplx-embed-v1-4B Qwen3-Embedding-4B үшін 88.6% көрсеткішімен салыстырғанда 91.7% Recall@1000 мәніне қол жеткізеді. Іздеу тереңдігі үлкен болған кездегі жоғары қайта шақыру көп кезеңді рангтеу құбырларында бірінші кезеңдегі іздеушілер ретінде қызмет ететін ендіру модельдері үшін өте маңызды, мұнда төменгі ағындағы реранкерлерге жіберілетін тиісті кандидаттардың санын барынша арттыру түпкілікті нәтиже сапасына тікелей әсер етеді.

Бастау

Барлық модельдер Hugging Face сайтында (MIT лицензиясы бойынша) және Perplexity API арқылы қолжетімді. Біз Transformers, SentenceTransformers, Text Embeddings Inference және ONNX арқылы инференсті қолдаймыз. Әрбір опция туралы толық мәлімет алу үшін Hugging Face моделінің жинағын қараңыз.

Толық техникалық мәліметтер мен толық бағалау нәтижелері үшін біздің техникалық есепке жүгініңіз.

Дәйексөз

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}