Das Rechenzentrum zieht auf Ihr Gerät um

Das richtige Ziel für ein KI-System ist die Bereitstellung des höchsten Token-Werts pro Watt für jeden Benutzer. Das klingt einfach. Ist es aber nicht, da drei Faktoren gegeneinander wirken.

Genauigkeit erfordert die leistungsfähigsten Modelle, deren Betrieb teuer ist. Datenschutz erfordert, dass bestimmte Arbeiten Ihr Gerät nicht verlassen. Kosten und Energie erfordern, dass Sie die Rechenleistung eines Spitzenmodells nicht für Aufgaben verschwenden, die ein kleineres Modell bewältigen kann. Man kann das eine nicht maximieren, ohne die anderen zu berücksichtigen.

Die Balance zwischen allen drei ist ein Orchestrierungsproblem. Und Orchestrierung ist das, was Perplexity schon immer getan hat.

Heute haben wir den nächsten Schritt für den Personal Computer angekündigt: den ersten hybriden Local-Server-Inferenz-Orchestrator. Er entscheidet, welche Arbeit auf Ihrem Gerät ausgeführt werden sollte und welche an Agenten in der Cloud gehen muss, und leitet jeden Teil einer Aufgabe automatisch an die richtige Stelle.

Von Modellen zur Rechenleistung

Perplexity begann mit der Orchestrierung von Tools und Quellen, um präzise, zitierte Antworten zu liefern. Computer erweiterte dies zu einem System für Hunderte von Agenten, die in mehr als zwanzig Spitzenmodellen gestartet wurden, wobei für jede Aufgabe das richtige ausgewählt wurde. Jetzt können wir dieselbe Idee auf die Rechenleistung selbst ausweiten: welches Modell, wo es ausgeführt wird und warum.

Hybride agentische Inferenz ist für Arbeiten gedacht, die sensible Daten enthalten, aber leistungsstarke KI erfordern. Dinge wie Finanzunterlagen, Gesundheitsinformationen und persönliche Dateien. Das kompakte Modell läuft lokal auf Ihrem Gerät, um zu bestimmen, wann sensible Daten ebenfalls lokal gespeichert werden sollten.

Unterdessen laufen Arbeiten, die die volle Leistungsfähigkeit eines Spitzenmodells erfordern, auf dem Server. Die meisten realen Aufgaben sind eine Mischung, daher teilt der Personal Computer diese auf und koordiniert die Teile. Im Gegensatz zu Tools, bei denen Sie sich vorab für lokal oder Cloud entscheiden müssen, geschieht dies von selbst, Aufgabe für Aufgabe.

Das Gerät ist das Rechenzentrum

Jahrelang bedeutete leistungsfähigeres Silizium meist schnellere Apps und eine längere Akkulaufzeit. Das ändert sich, wenn der Chip echte Inferenz ausführen kann. Je besser die lokale Hardware, desto mehr kann der Orchestrator auf Ihrem Gerät behalten und desto mehr kann er den Server für die Arbeit reservieren, die ihn tatsächlich erfordert.

Wir haben dies mit Intel vorgestellt, und dasselbe modellagnostische System läuft auf anderem lokalen Silizium, einschließlich NVIDIA RTX Spark. Das Rennen um lokale Rechenleistung hat begonnen. Während Chips sich weiterentwickeln, bietet nur Perplexity das agentische System und die angewandte Inferenz-Technik für eine wirklich nahtlose Orchestrierung.

Dies verändert auch die Kalkulation für alle, die den Mangel an Rechenleistung beobachten. Wenn sensible und routinemäßige Arbeiten auf die Geräte verlagert werden, die die Menschen bereits besitzen, müssen Sie nicht so viel zentralisierte Infrastruktur aufbauen, um sie zu bedienen. Es verändert auch, wie Souveränität aussieht: Wichtige Daten können in ihrer eigenen Jurisdiktion verbleiben, ohne dass ein Land ein Rechenzentrum errichten muss, um sie dort zu speichern.

Die Menschen besitzen lieber ein Rechenzentrum auf ihrem Laptop, als auf einem aufzubauen, das sie nicht kontrollieren.

Die richtige Architektur für Effizienz

Es gibt einen Grund, warum diese Architektur zu Perplexity passt. Unser Geschäft war schon immer präzise KI, nicht die Maximierung der Token, die wir verkaufen. Das ist der richtige Anreiz für die Optimierung des Wertes pro Watt: Wir gewinnen, wenn die Antwort korrekt ist und die Arbeit erledigt wird, nicht wenn sie mehr Rechenleistung verbraucht.

Hybride KI ist seit langem ein Ziel der Branche. Der Personal Computer mit lokaler Inferenz, der im Juli erscheint, ist das erste Produkt, das dies verwirklicht und das erste, das Rechenleistung als eine weitere Komponente behandelt, die intelligent zwischen Ihrem Gerät und der Cloud orchestriert wird.