Wie Perplexity Genauigkeit in Frontier-KI integriert

Unsere Mission ist es, die Neugier der Menschen zu fördern, die mehr wissen und mehr mit dem Wissen der Welt erreichen wollen. Um dies zu erreichen, war es schon immer unser zentraler Fokus, die besten Frontier-KI-Modelle auf Perplexity präziser zu machen.

Zum ersten Mal teilen wir eine der Technologien, die unserem Vorgehen zugrunde liegen. Heute hat unser Forschungsteam eine technische Untersuchung zu sucherweiterten LLMs veröffentlicht.

Es gibt Dutzende von Prozessen, die wir zur Verbesserung der Genauigkeit einsetzen. Dies ist ein seltener Einblick in einen davon: das Post-Training von Frontier-KI-Modellen, damit sie ihre bestmögliche Leistung gemäß den Genauigkeitsstandards für Perplexity-Produkte wie Search, Comet und Computer erbringen.

Wir trainieren das Verhalten vor der Suche

Eine Antwortmaschine erfordert, dass die zugrunde liegenden Modelle mehr können, als nur flüssigen Text zu generieren. Sie müssen Beweise finden, der Anfrage des Nutzers folgen, Werkzeuge korrekt einsetzen und diese Arbeit in eine fokussierte Antwort umwandeln.

Dafür führen wir das Post-Training in zwei Phasen durch. Zuerst bringen wir dem Modell bei, wie es sich innerhalb des Produkts verhalten soll, einschließlich der Einhaltung von Anweisungen, der Konsistenz und der korrekten Nutzung von Werkzeugen. Dann trainieren wir es an komplexeren Suchaufgaben, damit es besser darin wird, Beweise zu finden, diese sinnvoll zu nutzen und effizienter zu antworten.

Dieser stufenweise Ansatz ist einer der einfachen Unterschiede zwischen Perplexity und einem herkömmlichen Wrapper-Setup mit Modell- und Webzugriff. Deshalb kann dasselbe Modell in verschiedenen Produkten unterschiedliche Ergebnisse liefern und warum es in Perplexity besser funktionieren kann als in einer einfacheren Implementierung.

Fragen, die eine Synthese erfordern

Einige Fragen sind einfache Nachschlagewerke. Andere erfordern, dass das Modell Beweise über verschiedene Quellen hinweg miteinander verknüpft.

Wir trainieren mit Fragen, die das Modell dazu zwingen, Beweise über Quellen hinweg zu verknüpfen. Bei sachlichen Fragen nutzen wir Aufgaben, die das Modell dazu bringen, zu suchen, zu schlussfolgern und zu verifizieren, anstatt von einem offensichtlichen Hinweis direkt zu einer Antwort zu springen. Viele Fragen erfordern die Verknüpfung von Informationen aus mehreren Quellen. Sie erfordern, dass das Modell von einem Beweisstück zum nächsten geht und die Antwort aus dieser Kette aufbaut.

Wir trainieren auch über verschiedene Antwortformate hinweg, damit das Modell präzise bleibt, egal ob der Nutzer einen Absatz, eine Liste, eine Tabelle oder eine andere Struktur wünscht. Das Ergebnis ist eine bessere Synthese, die aus Antworten besteht, welche Beweise über Quellen hinweg verknüpfen, anstatt nur isolierte Fakten abzurufen.

Offene Aufgaben benötigen Standards

Perplexity wird für mehr als nur die Suche nach Fakten verwendet. Ein Großteil der Arbeit ist ergebnisoffen, einschließlich Umschreiben, Bearbeiten, Zusammenfassen, Erklären und Planen.

Diese Aufgaben haben keine eine richtige Antwort, benötigen aber dennoch Standards. Für offene Aufgaben verwenden wir Rubriken, die strukturierte Überprüfungen dafür darstellen, ob eine Antwort die Aufgabe tatsächlich erfüllt hat. Hat sie die Anweisungen befolgt? Hat sie die Bedeutung gewahrt? Hat sie das Problem des Nutzers gelöst?

Das ermöglicht es uns, offene Aufgaben mit klaren Standards zu trainieren, anstatt sie als freies Schreiben zu behandeln.

Genauigkeit steht vor Präferenz

Bei sachlichen Aufgaben muss eine Antwort korrekt sein, bevor sie als hilfreicher oder besser geschrieben bewertet wird. Bei offenen Aufgaben muss die Antwort die Rubrik erfüllen, bevor andere Qualitäten ins Spiel kommen.

Das hält das System darauf fokussiert, Substanz über Stil zu stellen. Es hilft, einen häufigen Fehler bei Antworten zu verhindern, die besser klingen, ohne tatsächlich besser zu sein. Der Vorteil sind weniger oberflächlich glänzende Antworten, die bei näherer Betrachtung in sich zusammenfallen.

Effizienz trägt zur Antwortqualität bei

Wir trainieren das Modell auch darin, die Suche diszipliniert einzusetzen.

Jeder zusätzliche Suchschritt sollte die Antwort verbessern, und eine längere Antwort sollte ihre Länge rechtfertigen. Wenn zusätzliche Suche oder zusätzliche Wörter nicht helfen, sollte das System aufhören.

Dies führt zu Antworten, die einfacher zu verwenden sind, und bewahrt den Fokus des Modells, wenn es längere Aktionsketten abarbeitet, bei denen sich kleine Fehler summieren.

Bessere Antworten erfordern ständige Arbeit

Die Suchqualität ergibt sich daraus, wie das Produkt das Modell trainiert, Beweise zu sammeln, diszipliniert zu antworten, offene Arbeiten zu handhaben und aufzuhören, wenn es genügend Unterstützung hat.

Da KI-Systeme längere und autonomere Aufgaben übernehmen, prägt dieses Training die Qualität einzelner Antworten und alles, was darauf aufbaut. Wir haben nie behauptet, dass Perplexity zu 100 % genau ist, aber wir behaupten, das KI-Unternehmen zu sein, dem dies am wichtigsten ist und das unermüdlich daran arbeitet. Wir ermutigen alle Nutzer, Feedback zu ihren Perplexity-Antworten zu geben, da wir ständig iterieren und uns verbessern.