Perplexity Sonar dominiert neue Search Arena-Auswertung

Perplexity Sonar-Modelle sichern Spitzenplätze bei Suchauswertung

Kurzgefasst

  • Co #1 Rang: Sonar-Reasoning-Pro-High erreichte einen Arena-Score von 1136 (±21/−19) und liegt damit statistisch gleichauf mit Googles Gemini-2.5-Pro-Grounding (1142 +14/-17) auf dem ersten Platz. In direkten Duellen setzte sich Sonar-Reasoning-Pro-High in 53 % der Fälle gegen Gemini-2.5-Pro-Grounding durch.
  • Sonar-Dominanz: Die Perplexity-Modelle sicherten sich die Plätze 1 bis 4 und übertrafen damit deutlich andere evaluierte Modelle von Google und OpenAI.
  • Vorteil durch Reasoning: Modelle mit integrierten Reasoning-Funktionen (sonar-reasoning-pro und sonar-reasoning) schnitten besser ab, was mit der allgemeinen Nutzerpräferenz für Reasoning-Modelle übereinstimmt (Top 3 auf der Rangliste).
  • Suchtiefe: Sonar-Modelle führen tiefere Suchen durch und berücksichtigen mehr Quellen, wobei sie im Durchschnitt 2-3x mehr Quellen zitieren als vergleichbare Gemini-Modelle.

______

Die LM Arena hat soeben ihre neue Search Arena-Rangliste veröffentlicht, in der sucherweiterte LLM-Systeme auf Basis menschlicher Präferenzen verglichen werden. Das Sonar-Reasoning-Pro-Modell von Perplexity belegt gemeinsam mit Gemini-2.5-Pro-Grounding den ersten Platz, während die übrigen Sonar-Modelle Gemini-2.0-Flash-Grounding sowie sämtliche Websuchmodelle von OpenAI übertreffen.

Benchmarking der Search Arena

Im Gegensatz zu SimpleQAs Fokus auf enge faktische Genauigkeit bewertet die LM Arena die Leistung der Modelle bei echten Benutzeranfragen in den Bereichen Programmierung, Schreiben, Recherche und Empfehlungen. Die Search Arena konzentriert sich bei der Bewertung auf aktuelle Ereignisse und umfasst längere, komplexere Prompts, wobei über 10.000 Präferenzentscheidungen von Nutzern über 11 Modelle hinweg gesammelt wurden. Zwischen dem 18. März und dem 13. April 2025 wurden Nutzer in der Search Arena aufgefordert, Prompts einzugeben und auszuwählen, welche Modellantwort ihre Informationsbedürfnisse besser erfüllt hat.

Leistungsergebnisse der Sonar-Modelle

Die Sonar-Modelle von Perplexity übertrafen viele der führenden State-of-the-Art-Modelle, darunter Gemini 2.0 Flash und GPT 4o Search. Unser Sonar-Reasoning-Pro-Modell erreichte einen Score von 1136 und liegt damit statistisch gleichauf mit Gemini-2.5-Pro-Grounding (1142) an der Spitze.

In direkten Duellen setzte sich Sonar-Reasoning-Pro-High in 53 % der Fälle gegen Gemini-2.5-Pro-Grounding durch.

Die Auswertung der Search Arena ergab drei Faktoren, die stark mit menschlichen Präferenzen korrelieren:

  • Längere Antworten (Koeff. 0,255, p<0,05)
  • Höhere Zitatanzahl (Koeff. 0,234, p<0,05)
  • Zitate aus Community-Webquellen

Die Rangliste zeigte eine deutliche Nutzerpräferenz für Modelle mit erweiterten Schlussfolgerungsfähigkeiten (Reasoning), wobei Sonar-Reasoning-Pro und Sonar-Reasoning zwei der ersten drei Plätze belegten. Kontrollexperimente untermauerten diese Ergebnisse und zeigten, dass sich die Modellrankings bei einer Kontrolle der Zitate annäherten, was darauf hindeutet, dass die Suchtiefe ein wesentliches Leistungsmerkmal darstellt.

Die Sonar-Modelle von Perplexity wiesen eine wesentlich höhere Suchtiefe auf; ppl-sonar-pro-high zitierte 2-3x mehr Quellen als vergleichbare Gemini-Modelle.

Was dies für Nutzer bedeutet

Für Perplexity-Nutzer bestätigen diese Ergebnisse, dass Sonar-Modelle eine erstklassige Genauigkeit, umfassende Quellenangaben und qualitativ hochwertige Antworten über ein breites Themenspektrum hinweg bieten.

Perplexity Pro-Nutzer können weiterhin von diesen leistungsstarken Modellen profitieren, indem sie Sonar in den Einstellungen als Standardmodell festlegen. API-Nutzer können über unsere Sonar API-Angebote auf diese Funktionen zugreifen, wobei flexible Suchmodi zur Verfügung stehen, um Leistung und Kosteneffizienz auszubalancieren.

Wir sind stolz auf diesen Erfolg, konzentrieren uns aber weiterhin auf eine kontinuierliche Verbesserung. Die Auswertung der Search Arena liefert wertvolle Erkenntnisse über Nutzerpräferenzen, die in unsere laufenden Entwicklungsarbeiten einfließen werden.

Einführung in Sonar

Begleiten Sie den Mitbegründer & CTO von Perplexity, Denis Yarats, am 24. April um 11:00 Uhr PT zu einem Überblick über unsere API. Denis wird einen Überblick über die APIs von Perplexity geben, Benchmarkergebnisse teilen und Anwendungsfälle für die API vorstellen.

Registrieren Sie sich hier.

Erste Schritte mit Sonar.