Perplexity Sonar dominē jaunajā Search Arena novērtējumā
Perplexity Sonar modeļi iegūst augstākās vietas meklēšanas novērtējumā
Īsumā
- Kops #1 reitings: Sonar-Reasoning-Pro-High sasniedza Arēnas rezultātu 1136 (±21/−19), kas statistiski dala pirmo vietu ar Google Gemini-2.5-Pro-Grounding (1142 +14/-17). Tiešajās savstarpējās cīņās Sonar-Reasoning-Pro-High uzvarēja Gemini-2.5-Pro-Grounding 53% gadījumu.
- Sonar dominance: Perplexity modeļi ieņēma 1. līdz 4. vietu, būtiski apsteidzot citus novērtētos Google un OpenAI modeļus.
- Pamatojuma priekšrocība: Modeļi, kas ietver pamatojuma iespējas (sonar-reasoning-pro un sonar-reasoning), ieņēma augstākas vietas, saskaņojoties ar vispārējo lietotāju preferenci, kas novērota pamatojuma modeļiem (top 3 līderu sarakstā).
- Meklēšanas dziļums: Sonar modeļi veic dziļāku meklēšanu un izskata vairāk avotu, vidēji citējot 2–3 reizes vairāk avotu nekā salīdzināmi Gemini modeļi.
______
LM Arena tikko izlaida savu jauno Search Arena līderu sarakstu, kurā salīdzinātas ar meklēšanu papildinātas LLM sistēmas, pamatojoties uz lietotāju preferencēm. Perplexity modelis Sonar-Reasoning-Pro dalīja pirmo vietu ar Gemini-2.5-Pro-Grounding, bet pārējie Sonar modeļi apsteidza Gemini-2.0-Flash-Grounding un visus OpenAI tīmekļa meklēšanas modeļus.
Search Arena salīdzinošā testēšana
Atšķirībā no SimpleQA, kas koncentrējas uz šauru faktoloģisko precizitāti, LM Arena novērtē, kā modeļi darbojas ar reāliem lietotāju vaicājumiem programmēšanā, rakstīšanā, izpētē un ieteikumos. Search Arena novērtējumā galvenā uzmanība pievērsta aktuālajiem notikumiem, un tas ietver garākus, sarežģītākus uzvednes, apkopojot vairāk nekā 10 000 lietotāju preferenču balsu par 11 modeļiem. No 2025. gada 18. marta līdz 13. aprīlim Search Arena lūdza lietotājiem ievadīt uzvednes un izvēlēties, kura modeļa atbilde vislabāk apmierināja viņu informācijas vajadzības.
Sonar modeļu veiktspējas rezultāti
Perplexity Sonar modeļi pārspēja daudzus no labākajiem mūsdienu modeļiem, tostarp Gemini 2.0 Flash un GPT 4o Search. Mūsu modelis Sonar-Reasoning-Pro sasniedza 1136 punktus, statistiski dalot pirmo vietu ar Gemini-2.5-Pro-Grounding (1142).
Search Arena novērtējums atklāja trīs faktorus, kas cieši sakorelē ar lietotāju preferencēm:
- Garākas atbildes (koef. 0,255, p<0,05)
- Augstāks citātu skaits (koef. 0,234, p<0,05)
- Citāti no kopienas tīmekļa avotiem
Līderu saraksts uzrādīja skaidru lietotāju priekšroku pamatojuma uzlabotajiem modeļiem, kur Sonar-Reasoning-Pro un Sonar-Reasoning ieņēma divas no pirmajām trim vietām. Kontrolētie eksperimenti apstiprināja šos secinājumus, parādot, ka atsaucēm kontrolēta vide liek modeļu reitingiem saplūst, kas liecina, ka meklēšanas dziļums ir nozīmīgs veiktspējas atšķirību faktors.
Ko tas nozīmē lietotājiem
Perplexity lietotājiem šie rezultāti apstiprina, ka Sonar modeļi nodrošina savā klasē labāko precizitāti, visaptverošu avotu norādīšanu un augstas kvalitātes atbildes plašā tēmu lokā.
Perplexity Pro lietotāji var turpināt gūt labumu no šiem augstas veiktspējas modeļiem, iestatot Sonar kā savu noklusējuma modeli iestatījumos. API lietotāji var piekļūt šīm iespējām, izmantojot mūsu Sonar API piedāvājumus ar elastīgiem meklēšanas režīmiem, lai līdzsvarotu veiktspēju un izmaksu efektivitāti.
Lai gan lepojamies ar šo sasniegumu, mēs joprojām koncentrējamies uz nepārtrauktu uzlabošanu. Search Arena novērtējums sniedz vērtīgu ieskatu lietotāju preferencēs, kas palīdzēs veidot mūsu turpmākos izstrādes centienus.
Ievads Sonar
Pievienojieties Perplexity līdzdibinātājam un tehnoloģiju direktoram (CTO) Denisam Jaratsam (Denis Yarats) mūsu API pārskatā 24. aprīlī plkst. 11.00 pēc Klusā okeāna laika (PT). Deniss sniegs pārskatu par Perplexity API, dalīsies ar salīdzinošās testēšanas rezultātiem un API izmantošanas gadījumiem.
Reģistrēties šeit.