データセンターは、あなたのマシンへ

AIシステムにおいて適切な目標とは、ユーザー一人ひとりにとって、ワットあたりのトークン価値を最大化することです。これは単純に聞こえるかもしれませんが、実際には3つの要素が相反するため、そう簡単ではありません。

精度を追求すれば高性能なモデルが必要となりますが、その実行には多大なコストがかかります。プライバシーを保護するには、一部の処理をデバイス上で完結させなければなりません。コストとエネルギーを抑えるには、より小規模なモデルで対応可能なタスクに、最先端モデルの計算資源を浪費してはなりません。これらすべてを両立させる必要があります。

これら3つのバランスを取ることは、オーケストレーションの問題です。そして、オーケストレーションこそが、Perplexityがこれまで常に追求してきたものです。

本日、私たちはPersonal Computerの次なるステップとして、業界初となるハイブリッド型のローカル・サーバー推論オーケストレーターを発表しました。これは、どの作業をデバイスで実行し、どの作業をクラウド上のエージェントに送るべきかを判断し、タスクの各パートを適切な場所に自動的に振り分けます。

モデルから計算資源へ

Perplexityは、ツールやソースをオーケストレーションすることで、正確で出典が明記された回答を提供することから始まりました。Computerはそれを数百のエージェントを統合するシステムへと拡大し、20種類以上の最先端モデルの中から各タスクに最適なものを選定できるようにしました。今、私たちはその考え方を計算資源そのものに拡張します。どのモデルをどこで実行し、なぜそうするのかを最適化するのです。

ハイブリッドなエージェント推論は、機密データを含む一方で強力なAIを必要とする作業に適しています。財務記録、健康情報、個人ファイルなどがその例です。コンパクトなモデルがローカルデバイス上で実行され、どの機密データをデバイス内に留めるべきかを判断します。

一方、最先端モデルのフル機能を必要とする作業はサーバー上で実行されます。多くの実務はこれらが混在するため、Personal Computerはそれらを切り分け、各パートを連携させます。ローカルかクラウドかを事前に選択する必要がある従来のツールとは異なり、このプロセスはタスクごとに自動的に行われます。

デバイスがデータセンターになる

長年、シリコンの高性能化は、アプリの高速化とバッテリー寿命の延長を意味してきました。しかし、チップが真の推論を実行可能になれば、状況は変わります。ローカルのハードウェアが優れているほど、オーケストレーターはより多くの処理をデバイス内に留め、サーバーを真に必要とされる作業のために確保できるようになります。

私たちはIntelと共にこの仕組みを発表しました。このモデルに依存しないシステムは、NVIDIAのRTX Sparkを含む他のローカルシリコン上でも動作します。ローカル計算資源を巡る競争はすでに始まっています。チップが進化する中で、真にシームレスなオーケストレーションを実現するためのエージェント型システムと応用推論技術を備えているのは、Perplexityだけです。

これは、計算資源の不足に直面しているすべての人にとっての計算の前提を覆すものです。機密性の高い作業や定常的な作業がユーザー自身の所有するデバイス上に移行すれば、それを処理するために大規模な集中型インフラを構築する必要がなくなるからです。また、主権の意味も変わります。各国がデータセンターを設置することなく、重要なデータを自国の管轄内に保持できるようになります。

人々は、管理できないデータセンターに構築するよりも、ノートパソコン内にデータセンターを所有することを望むでしょう。

効率性のための正しいアーキテクチャ

このアーキテクチャがPerplexityに適しているのには理由があります。私たちの事業の本質は常に「正確なAI」の提供であり、販売するトークン数を最大化することではありません。これはワットあたりの価値を最適化するための正しいインセンティブとなります。私たちは、計算資源の消費を増やすことではなく、回答が正確でタスクが確実に完了したときにこそ、成功を得るのです。

ハイブリッドAIは、長い間業界の目標とされてきました。7月に登場するローカル推論を備えたPersonal Computerは、それを現実のものとする最初の製品であり、計算資源をオーケストレーションすべき一つの対象として捉え、デバイスとクラウド全体でインテリジェントに運用する初の製品です。