PerplexityのSonarモデルが新しいSearch Arena評価で優位に立つ

要約

• ランク1位：Sonar-Reasoning-Pro-Highは、Arenaスコア1136（+21/−19）を達成し、GoogleのGemini-2.5-Pro-Grounding（1142 +14/-17）と同率1位でした。直接対決において、Sonar-Reasoning-Pro-HighはGemini-2.5-Pro-Groundingに53%の確率で勝利しました。
• Sonarの優位性： Perplexityのモデルは1位から4位を独占し、GoogleやOpenAIの他の評価対象モデルを大幅に上回りました。
• 推論の利点： 推論機能（sonar-reasoning-proおよびsonar-reasoning）を組み込んだモデルの方がランクが高く、推論モデルに対する一般的なユーザーの嗜好（リーダーボードのトップ3）と一致しています。
• 検索の深さ： Sonarモデルはより深い検索を行い、より多くの情報源を検討しており、平均してGeminiモデルの2～3倍の情報源を引用しています。

______

LM Arenaは、人間の嗜好に基づき検索拡張LLMシステムを比較する新しいSearch Arenaリーダーボードを公開しました。PerplexityのSonar-Reasoning-ProモデルはGemini-2.5-Pro-Groundingと同率1位となり、他のSonarモデルはGemini-2.0-Flash-GroundingやOpenAIのすべてのウェブ検索モデルを上回る結果となりました。

拡大

Search Arenaのベンチマーク

SimpleQAが狭義の事実の正確性に焦点を当てているのに対し、LM Arenaはコーディング、ライティング、リサーチ、推奨事項に至るまで、実際のユーザークエリに対するモデルのパフォーマンスを評価します。Search Arenaの評価では、時事問題に焦点を当て、より長く複雑なプロンプトを含め、11のモデルにわたって1万件以上の人間の嗜好データを収集しました。2025年3月18日から4月13日の期間中、Search Arenaではユーザーに対し、プロンプトを入力し、どのモデルの回答がより情報ニーズを満たしているかを選択するよう依頼しました。

Sonarモデルのパフォーマンス結果

PerplexityのSonarモデルは、Gemini 2.0 FlashやGPT 4o Searchを含む、最先端のトップモデルの多くを上回りました。弊社のSonar-Reasoning-Proモデルは1136点を記録し、Gemini-2.5-Pro-Grounding（1142点）と同率でトップに位置しています。

拡大

Search Arenaの評価により、人間の嗜好と強く相関する3つの要素が明らかになりました。

• より長い回答（係数0.255、p<0.05）
• より高い引用数（係数0.234、p<0.05）
• コミュニティウェブソースからの引用

リーダーボードでは、推論能力が強化されたモデルに対するユーザーの明確な好みが示されており、Sonar-Reasoning-ProとSonar-Reasoningがトップ3のうちの2つを占めました。対照実験によりこれらの調査結果が裏付けられ、引用数を一定にするとモデルのランキングが収束することが示されたため、検索の深さが重要なパフォーマンスの差別化要因であることが示唆されます。

拡大

これがユーザーにとって意味すること

Perplexityユーザーにとって、これらの結果は、Sonarモデルが幅広いトピックにおいて最高クラスの正確性、包括的な情報源の帰属、および高品質な回答を提供することを裏付けるものです。

Perplexity Proユーザーは、設定でSonarをデフォルトモデルに設定することで、これらの高性能モデルのメリットを引き続き享受できます。APIユーザーは、パフォーマンスとコスト効率のバランスをとるための柔軟な検索モードを備えたSonar API製品を通じて、これらの機能にアクセスできます。

今回の成果を誇りに思うと同時に、私たちは継続的な改善に注力しています。Search Arenaの評価は、今後の開発努力に役立つユーザーの嗜好に関する貴重な洞察をもたらしてくれます。

拡大

Sonarの紹介

4月24日午前11時（太平洋時間）に、Perplexityの共同創設者兼CTOであるDenis YaratsによるAPIの概要説明会を開催します。DenisがPerplexityのAPIの概要を説明し、ベンチマーク結果やAPIのユースケースを共有します。

登録はこちら。

Sonarを使い始める。