Perplexity Sonar жаңа Search Arena бағалауында басымдық танытты
Perplexity Sonar модельдері іздеуді бағалауда алдыңғы орындарды иеленді
Қысқаша
- №1 орын: Sonar-Reasoning-Pro-High 1136 ұпай (±21/−19) арена нәтижесіне қол жеткізіп, Google компаниясының Gemini-2.5-Pro-Grounding (1142 +14/-17) жүйесімен бірінші орынды өзара бөлісті. Бетпе-бет шайқастарда Sonar-Reasoning-Pro-High моделі Gemini-2.5-Pro-Grounding жүйесін 53% жағдайда жеңді.
- Sonar үстемдігі: Perplexity модельдері Google мен OpenAI ұсынған басқа бағаланған модельдерден едәуір озып, 1-ші мен 4-ші орындар аралығын иеленді.
- Пайымдау артықшылығы: Пайымдау мүмкіндіктерін біріктіретін модельдер (sonar-reasoning-pro және sonar-reasoning) жоғарырақ орынға ие болды, бұл пайымдау модельдері үшін байқалған жалпы пайдаланушы қалауына сәйкес келеді (көшбасшылар тақтасындағы үздік 3).
- Іздеу тереңдігі: Sonar модельдері тереңірек іздеу жүргізеді және көбірек дереккөздерді қарастырады, орташа алғанда салыстырмалы Gemini модельдеріне қарағанда 2-3 есе көп дереккөздерге дәйәкөз келтіреді.
______
LM Arena адамдардың қалауы негізінде іздеуді қолдайтын LLM жүйелерін салыстыратын жаңа Search Arena көшбасшылар тақтасын ұсынды. Perplexity компаниясының Sonar-Reasoning-Pro моделі Gemini-2.5-Pro-Grounding жүйесімен бірге бірінші орынды бөлісті, ал басқа Sonar модельдері Gemini-2.0-Flash-Grounding және OpenAI веб-іздеу модельдерінің барлығынан озып шықты.
Search Arena бенчмаркингі
SimpleQA шағын нақты деректердің дәлдігіне бағытталғанынан айырмашылығы, LM Arena модельдердің код жазу, мәтін құрастыру, зерттеу және ұсыныстар жасау бойынша нақты пайдаланушы сұрауларында қалай жұмыс істейтінін бағалайды. Search Arena көмегімен бағалау ағымдағы оқиғаларға назар аударып, 11 модель бойынша 10 000-нан астам адамның таңдау дауыстарын жинай отырып, ұзағырақ әрі күрделірек сұрауларды қамтиды. 18 наурыз бен 13 сәуір аралығында Search Arena пайдаланушылардан сұрау жазып, қай модельдің жауабы олардың ақпараттық қажеттіліктерін жақсырақ қанағаттандырғанын таңдауды сұрады.
Sonar моделінің өнімділік нәтижелері
Perplexity компаниясының Sonar модельдері Gemini 2.0 Flash және GPT 4o Search сияқты ең озық модельдердің көбінен асып түсті. Біздің Sonar-Reasoning-Pro моделіміз 1136 ұпай жинап, ең жоғары орында Gemini-2.5-Pro-Grounding (1142) жүйесімен статистикалық тұрғыдан тең түсті.
Search Arena бағалауы адамның қалауымен тығыз байланысты үш факторды анықтады:
- Ұзағырақ жауаптар (коэфф. 0.255, p<0.05)
- Жоғарырақ дәйәкөз саны (коэфф. 0.234, p<0.05)
- Қоғамдастықтың веб-дереккөздерінен алынған дәйәкөздер
Көшбасшылар тақтасы пайымдау мүмкіндігі күшейтілген модельдерге деген пайдаланушылардың айқын артықшылығын көрсетті, Sonar-Reasoning-Pro және Sonar-Reasoning алғашқы үш орынның екеуін иеленді. Бақылау эксперименттері бұл нәтижелерді растай түсті, дәйәкөздерді бақылау модельдердің рейтингтерінің ұқсастасуына әкелетінін көрсетіп, іздеу тереңдігі өнімділіктің маңызды ерекшелендіруші факторы екенін аңғартады.
Бұл пайдаланушылар үшін нені білдіреді?
Perplexity пайдаланушылары үшін бұл нәтижелер Sonar модельдерінің кең ауқымды тақырыптар бойынша үздік дәлдікті, жан-жақты дереккөзді көрсетуді және жоғары сапалы жауаптарды қамтамасыз ететінін растайды.
Perplexity Pro пайдаланушылары параметрлерде Sonar жүйесін әдепкі модель етіп орнату арқылы осы үздік өнімділік көрсететін модельдердің артықшылықтарын пайдалана алады. API пайдаланушылары өнімділік пен шығындар тиімділігін теңестіруге арналған икемді іздеу режимдері бар Sonar API ұсыныстарымыз арқылы бұл мүмкіндіктерді пайдалана алады
Біз бұл жетістігімізді мақтан тұтқанымызбен, үздіксіз жетілдіруге баса назар аударамыз. Search Arena бағалауы біздің алдағы әзірлеу жұмыстарымызға бағыт-бағдар беретін пайдаланушылардың қалауы туралы құнды мәліметтер ұсынады.
Sonar жүйесіне кіріспе
Сәуірдің 24-і күні Тынық мұхиты уақытымен (PT) таңғы сағат 11:00-де Perplexity компаниясының негізін қалаушы және бас техникалық директоры Денис Яратспен (Denis Yarats) бірге біздің API шолуымызға қатысыңыз. Денис Perplexity API интерфейстеріне шолу жасап, бенчмаркинг нәтижелері мен API қолдану жағдайларымен бөліседі.
Мұнда тіркеліңіз.