記事
Perplexity Sonarが新しい検索アリーナ評価を支配
要約
第1位ランク： Sonar-Reasoning-Pro-High はArena Score 1136 (±21/−19)を達成し、GoogleのGemini-2.5-Pro-Grounding (1142 +14/-17)と統計的に同着で1位でした。直接対決で、Sonar-Reasoning-Pro-Highは53%の確率でGemini-2.5-Pro-Groundingを打ち破りました。
Sonarの優位性： Perplexityモデルは1位から4位を占め、GoogleやOpenAIのモデルを大きく上回りました。
論理的推論の利点： 論理的推論機能を組み込んだモデル（sonar-reasoning-proとsonar-reasoning）は高い順位を獲得し、チェスモデル（上位3位）に対するユーザーの一般的な好みに合致しています。
検索の深さ：Sonarモデルはより深い検索を行い、平均してGeminiモデルの2〜3倍以上の情報源を引用しています。
LM Arenaが、人間の好みに基づいて検索強化LLMシステムを比較する新しいSearch Arenaリーダーボードを公開しました。PerplexityのSonar-Reasoning-ProモデルはGemini-2.5-Pro-Groundingと同着で1位になり、他のSonarモデルはGemini-2.0-Flash-GroundingやOpenAIのウェブ検索モデルを上回りました。
Search Arenaベンチマーキング
SimpleQAが狭義の事実の正確性に焦点を当てるのとは異なり、LM Arenaはコーディング、ライティング、リサーチ、おすすめでの実際のユーザークエリに対するモデルのパフォーマンスを評価します。Search Arenaでは、現在の出来事に焦点を当て、より長く、より複雑なプロンプトを含み、11モデルに対する10,000以上の人間の好みの投票を収集しました。2025年3月18日から4月13日の間に、Search Arenaはユーザーにプロンプトを提案し、どのモデルの応答が情報のニーズをよりよく満たしたかを選ばせました。
Sonarモデルの性能結果
PerplexityのSonarモデルは、Gemini 2.0 FlashやGPT 4o Searchを含む多くの最先端モデルを上回りました。私たちのSonar-Reasoning-Proモデルは1136というスコアを達成し、トップのポジションであるGemini-2.5-Pro-Grounding (1142)と統計的に同着でした。
直接対決で、Sonar-Reasoning-Pro-Highは53%の確率でGemini-2.5-Pro-Groundingを打ち破りました。
Search Arenaの評価は、人間の好みに強く関連する三つの要因を明らかにしました：
より長い応答（係数0.255, p<0.05）
より高い引用数（係数0.234, p<0.05）
コミュニティウェブソースからの引用
リーダーボードは、論理的推論を強化したモデルに対するユーザーの明確な好みを示しており、Sonar-Reasoning-ProとSonar-Reasoningがトップ3の中で2つのポジションを占めています。コントロール実験はこれらの発見を強化し、引用をコントロールすることでモデルランキングが収束することを示し、検索の深さが重要な性能の差異化要因であることを示唆しています。
PerplexityのSonarモデルは、同等のGeminiモデルの2〜3倍のソースを引用し、検索の深さが大幅に高いです。
ユーザーへの影響
Perplexityのユーザーにとって、これらの結果は、Sonarモデルが業界最高水準の精度、包括的なソース帰属、高品質な応答を提供することを確認します。
Perplexity Proのユーザーは引き続き、設定でSonarをデフォルトモデルに設定することにより、これらのトップパフォーマンスモデルの恩恵を受けることができます。APIユーザーは、Sonar APIオファリングを通じて、パフォーマンスとコスト効率のバランスを取った柔軟な検索モードでこれらの機能にアクセスできます。
この成果を誇りに思う一方で、私たちは継続的な改善に焦点を当て続けます。Search Arenaの評価は、ユーザーの好みに関する貴重な洞察を提供し、私たちの継続的な開発努力に役立ちます。
Sonarの紹介
Perplexityの共同創設者兼CTOであるDenis Yaratsが4月24日11am PTにAPI概要についてのイベントを開催します。DenisはPerplexityのAPIの概要、ベンチマーク結果、およびAPIの使用事例を共有します。
こちらで登録してください。