Spoznajte nový Sonar: Mimoriadne rýchly model optimalizovaný pre vyhľadávanie

Od dnešného dňa si všetci používatelia služby Perplexity Pro môžu vyskúšať najnovšiu verziu modelu Sonar, vlastného modelu spoločnosti Perplexity, ktorý je optimalizovaný pre kvalitu odpovedí a používateľský zážitok. Model Sonar, ktorý je postavený na základe Llama 3.3 70B, prešiel ďalším tréningom s cieľom zlepšiť vecnú správnosť a čitateľnosť odpovedí pre predvolený režim vyhľadávania v službe Perplexity.

Prostredníctvom komplexného online A/B testovania sme zistili, že Sonar výrazne prekonáva modely vo svojej triede, ako sú GPT-4o mini a Claude 3.5 Haiku, pričom sa úspešne vyrovnáva alebo dokonca prekonáva výkon špičkových modelov, ako sú GPT-4o a Claude 3.5 Sonnet, čo sa týka spokojnosti používateľov. Vďaka inferenčnej infraštruktúre Cerebras beží Sonar neuveriteľnou rýchlosťou 1200 tokenov za sekundu, čo umožňuje takmer okamžité generovanie odpovedí.

Používatelia Perplexity uprednostňujú model Sonar

Vykonali sme rozsiahle online A/B testovanie modelu Sonar na meranie spokojnosti používateľov – kľúčovej metriky, ktorá úzko súvisí s používaním produktu a jeho udržaním. Táto metrika zachytáva, akí sú používatelia spokojní a zaujatí pri kladení otázok v službe Perplexity.

Naše hodnotenia ukazujú, že Sonar výrazne prekonáva GPT-4o mini aj Claude 3.5 Haiku. Porovnali sme Sonar aj s drahšími špičkovými modelmi a zistili sme, že prekonáva Claude 3.5 Sonnet a zároveň sa tesne približuje výkonu GPT-4o za zlomok ceny a s viac ako 10-násobnou rýchlosťou.

Neuveriteľná rýchlosť umožňuje okamžité odpovede

Vďaka inferenčnej infraštruktúre Cerebras poskytuje Sonar odpovede neuveriteľnou rýchlosťou, pričom dosahuje dekódovaciu priepustnosť, ktorá je takmer 10-krát rýchlejšia ako pri porovnateľných modeloch, ako je Gemini 2.0 Flash. To umožňuje takmer okamžité generovanie odpovedí, vďaka čomu je Sonar ideálny na rýchle vyhľadávanie informácií alebo podrobné odpovedanie na otázky.

Sonar vyniká poskytovaním vecných a vysoko kvalitných odpovedí

Optimalizovali sme Sonar v dvoch kľúčových smeroch, ktoré úzko súvisia so spokojnosťou používateľov – vecná správnosť odpovedí a ich čitateľnosť.

Vecná správnosť odpovedí: Meria, ako dobre model dokáže odpovedať na otázky pomocou faktov podložených výsledkami vyhľadávania, a jeho schopnosť riešiť protichodné alebo chýbajúce informácie

Čitateľnosť: Meria schopnosť modelu poskytnúť stručnú a podrobnú odpoveď s vhodným použitím formátovania markdown na usporiadanie textu

Naše výsledky ukazujú, že Sonar výrazne zlepšuje tieto aspekty v porovnaní so základným modelom Llama 3.3 70B Instruct a v týchto kľúčových oblastiach dokonca prekonáva ostatné špičkové modely†.

Sonar navyše prekonáva modely svojej triedy, ako sú GPT-4o mini a Claude 3.5 Haiku, v akademických benchmarkoch, ktoré merajú dodržiavanie pokynov používateľov a znalosti o svete.

IFEval: Meria, ako dobre model dodržiava pokyny poskytnuté používateľom

MMLU: Vyhodnocuje znalosti o svete v rôznych doménach

Ako Sonar odpovedá na otázky

Ako vyzerá zvýšená vecná správnosť a čitateľnosť v praxi? Porovnajte tieto vyhľadávania, ktoré sa uskutočnili v modeli Sonar aj v iných modeloch, aby ste videli rozdiel.

Používajte Sonar ešte dnes

Sonar vyniká poskytovaním rýchlych a presných odpovedí, vďaka čomu je skvelým modelom na každodenné použitie. Používatelia služby Perplexity Pro si môžu nastaviť Sonar ako predvolený model vo svojich nastaveniach. Dá sa využívať aj prostredníctvom ponuky API Sonar*.

Poznámky pod čiarou

†Tieto hodnotenia sú ohodnotené na stupnici od 0 do 100, pričom vyššie číslo znamená lepší výsledok

*Model Sonar poskytovaný prostredníctvom API zatiaľ nebeží na inferenčnej infraštruktúre Cerebras, ale čoskoro bude k dispozícii