PPLXオンラインLLMの紹介
業界初となるオンラインLLM API。
業界初となるオンラインLLM API。
新たな2つのPPLXモデル、pplx-7b-onlineとpplx-70b-onlineを発表いたします。当社のオンラインモデルは、有用で最新かつ事実に基づいた回答を提供することに重点を置いており、pplx-apiを通じて一般公開されています。これは業界初の試みとなります。pplx-7b-onlineとpplx-70b-onlineは、当社のLLMプレイグラウンドであるPerplexity Labsからもアクセス可能です。
LLMは情報の探し方を一変させました。しかし、現在の大半のLLMには2つの限界があります。
鮮度：LLMは最新の情報を共有することに苦慮する場合が多い。
ハルシネーション：LLMは不正確な情報を出力することもある。
当社のpplx-7b-onlineおよびpplx-70b-onlineモデルは、回答に有用かつ事実に基づいた最新の情報を提供することで、こうした現状の限界に対処します。
PPLXオンラインLLM
当社のLLMであるpplx-7b-onlineとpplx-70b-onlineは、インターネット上の知識を利用できるため「オンラインLLM」と呼ばれ、回答を生成する際に最新の情報を活用できます。当社のLLMにWeb上の知識を提供することで、モデルは時間に左右されるクエリにも正確に応答し、トレーニングデータセットを超えた知識を引き出します。つまり、PerplexityのオンラインLLMは「昨夜のウォリアーズの試合結果は？」といった、オフラインモデルでは困難な問いにも回答できるのです。高レベルな視点で見ると、当社のオンラインLLMは次のような仕組みで動作します。
- オープンソースモデルの活用：当社のPPLXモデルは、ベースモデルである
mistral-7bおよびllama2-70bを基盤として構築されています。 - 内製検索技術：当社独自の検索、インデックス作成、およびクロール基盤により、最も関連性が高く最新かつ有用な情報をLLMに補足することができます。当社の検索インデックスは大規模で定期的に更新されており、高度なランキングアルゴリズムを用いて、高品質かつ非SEO主導のサイトが優先されるようになっています。Webサイトの抜粋（「スニペット」と呼びます）は、最新の情報に基づいた回答を実現するために
pplx-onlineモデルへ提供されます。 - ファインチューニング：当社のPPLXモデルは、スニペットを効果的に使用して回答を生成できるようにファインチューニングされています。社内のデータコントラクターを活用し、有用性、事実性、鮮度といった様々な軸で高いパフォーマンスを達成するために、高品質で多様かつ大規模なトレーニングセットを慎重にキュレーションしています。当社のモデルは、継続的にパフォーマンスを向上させるために定期的なファインチューニングを行っています。
PerplexityのオンラインLLMの評価
Perplexityの使命は、世界最高の回答エンジンを構築することです。それは人々が知識を発見し拡大するために信頼できるエンジンです。これを実現するために、私たちは有用で事実に基づいた最新の情報を提供することに深く注力しています。これらの軸におけるLLMのパフォーマンスをベンチマークするため、私たちは回答エンジンにとって困難かつ現実的なユースケースを反映した評価用データセットをキュレーションしました。評価用セットの各クエリに対して、コントラクターは2つのモデルの回答を提示され、以下の基準でより優れた回答を選択するよう指示されました。
- 有用性：どちらの回答が、クエリに答え、指定された指示により忠実に従っているか。
- 事実性：どちらの回答が、非常に正確な知識やニッチな知識を要する質問であっても、ハルシネーション（誤情報）なく、より正確な回答を提供しているか。
- 鮮度：（FreshLLMsに触発された基準）：どちらの回答により新しい情報が含まれているか。モデルが「鮮度の高い」情報を用いてクエリに回答できる場合、この基準で優れていると評価されます。
上記の3つの基準に加え、モデルの回答は全体的（ホリスティック）な視点でも評価されました。回答を全体的に評価するため、評価者はクエリへの回答を手助けする人間のアシスタントから受け取りたいと思う方を回答として選択するよう求められました。
評価セットのキュレーション
今回の評価では、有用性、事実性、鮮度を効果的に評価することを目的として、多様なプロンプトセットを慎重に作成しました。各プロンプトは手動で選択され、データの品質と関連性を高度に制御しています。このデータセットは幅広い回答エンジンのプロンプトを網羅しており、Perplexityが卓越すべき領域の包括的な概要を包含しています。これは、モデルのパフォーマンス評価において高い信頼性（シグナル）を得るために不可欠です。
3つの評価用セットにはそれぞれ50のプロンプトが含まれています。セットに含まれる例をいくつか挙げます。
- 有用性：ワールドカップ決勝に出場したすべてのアメリカのサッカー選手を表にし、ゴール数、アシスト数などの統計用カラムを作成してください。
- 事実性：AISI 1015鋼とAISI 1040鋼の靭性について説明してください。
- 鮮度：2023年にサンフランシスコでの営業停止処分を受けた自動運転車企業はどこですか？
モデル回答の生成
4つのモデルを評価しました。
pplx-7b-online：インターネット上の情報へのアクセスを含むPerplexityのモデルです。mistral-7bを使用してファインチューニングされました。
pplx-70b-online：インターネット上の情報へのアクセスを含むPerplexityのモデルです。llama2-70bを使用してファインチューニングされました。
gpt-3.5-turbo-1106：API経由でアクセスされ、追加の拡張機能がないOpenAIのモデルです。なお、今回の評価では最新のgpt-3.5モデルを使用しました。
llama2-70b-chat：pplx-api経由でアクセスされ、追加の拡張機能がないMeta AIのモデルです。
各プロンプトに対し、同じ検索結果とスニペットがpplx-7b-onlineおよびpplx-70b-onlineモデルに提供されました。すべての回答は、同一のハイパーパラメータとシステムプロンプトを使用して生成されました。
システムプロンプト
Current date: Monday, November 20, 2023.人間による評価を用いたモデル回答のランキング
ペアごとの比較において、社内のコントラクターにプロンプト自体、評価基準（有用性、事実性、または鮮度）、および並べて表示されたモデルの回答を提供しました。回答の順序はターンごとにランダム化され、評価者にはソースモデルが明かされませんでした。評価者は、全体的な好みと、特定の評価基準においてどちらが優れているかを選択するよう指示されました。いずれの場合も引き分けは許容されました。最後に、評価者はインターネット検索を使用して回答の正確性を確認することが許可されました。この評価を実施するために、当社は独自の社内優先順位ランキングツールを構築しました。
評価結果
人間による評価から収集されたペアごとの優先順位ランキングを使用して、各モデルのタスクごとのイロレーティング（Eloスコア）を算出しました。イロレーティングは、トーナメント形式の競技においてプレイヤー集団をランク付けし、相対的なパフォーマンスを測定するために一般的に使用されます。これを大規模言語モデルに適用することで、人間の評価者が一方のモデルの出力を他方よりも好む可能性を予測することができます。
イロレーティングは通常、プレイヤーの能力の変化を考慮して一連の比較に対して計算されますが、私たちは能力が変化しないモデルのパフォーマンスを定量化することを目指しています。そのため、私たちはDuanらによって説明され、lmsysがChatbot Arenaで使用しているブートストラップイロ手法を採用しました。これには、比較のランダムな順列を多数作成し、それぞれのイロレーティングを計算することが含まれます。今回の計算では、5000回の順列に対してイロレーティングを算出し、その分布を使用して95%信頼区間を求めました。
図1に示す結果は、PPLXモデルがPerplexity関連のユースケースにおいてgpt-3.5のパフォーマンスに匹敵し、さらには上回る可能性があることを示しています。特に、pplx-7b-onlineとpplx-70b-onlineの回答は、正確かつ最新の情報を提供するため、人間の評価者からgpt-3.5やllama2-70bよりも好まれる傾向にあります。
pplx-7b-onlineとpplx-70b-onlineは、鮮度、事実性、ホリスティック（全体的）な基準において、gpt-3.5およびllama2-70bよりも優れたパフォーマンスを示しています。
また、評価からペアごとの勝率も算出しました。図2に示す結果は、驚くべきことではないかもしれませんが、pplxオンラインモデルの回答が鮮度および事実性において他モデルよりも好まれることを示しています。
以下は、当社の鮮度評価データセットの例です。
プロンプト：米国で運転免許証を保有している人は何人いますか？
pplx-7b-online
2023年の米国における免許保有者数は2億4340万人と予測されており、これは米国成人の89%に相当します。この数字は2022年の2億3860万人から増加しています。免許保有者の割合は、年齢層や州によって異なります。例えば2019年時点では、米国人口の84.1%が運転免許証を保有していました。免許保有率が最も高いのは25歳から49歳の層で、人口の90.1%が運転免許証を保有しています。カリフォルニア州の免許保有者は2700万人で、全米で最も多い州となっています。
pplx-70b-online
2021年時点で、米国には約2億3300万人が有効な運転免許証を保有していました。2023年までには、米国の免許保有者数は2億4340万人に達すると予測されており、これは米国成人の89%にあたります。これは2022年の2億3860万人からの増加を意味します。
gpt-3.5
私はAI言語モデルであるため、リアルタイムのデータにはアクセスできません。しかし、2021年の推定では、米国で約2億2700万人が有効な運転免許証を保有していました。この数字はその後変化している可能性があるため、最も正確な情報については最新の公式統計を参照することをお勧めします。
llama2-70b
私はリアルタイムのデータにアクセスすることはできませんが、米国の運転免許保有者数のおおよその情報を提供することはできます。連邦高速道路管理局（Federal Highway Administration）によると、2020年時点で米国には約2億2780万人の免許保有者がいました。この数字には、商用および非商用の運転者が含まれています。ただし、この数字は定期的に運転していない、または全く運転しない免許保有者を含んでいない可能性があるため、過小評価されている可能性があることに注意してください。さらに、この数字には16歳未満や特定の障害があるなど、運転免許証の取得資格がない人は含まれていません。また、免許保有率は州によって異なり、他州よりも高い保有率の州もあることに留意することが重要です。
全体として、評価結果は、当社のPPLXモデルがPerplexity関連のユースケースにおいてgpt-3.5やllama2-70bに匹敵し、さらには上回るパフォーマンスを発揮できることを示しています。特に、正確で最新の回答を提供するという点においてその傾向が顕著です。
Perplexityのオンラインモデルへのアクセス
pplx-apiがベータ版から一般公開へと移行することを発表いたします！当社のpplx-7b-onlineおよびpplx-70b-onlineモデルがpplx-apiを通じて利用可能になるのは、今回が初めてです。さらに、当社のpplx-7b-chatおよびpplx-70b-chatモデルもアルファ版から正式リリースとなり、一般公開環境で利用可能になりました。
これに伴い、新しい利用ベースの価格体系を導入いたします。NVIDIA H100を活用し、驚異的な速さの推論を提供する当社の最先端インフラストラクチャをユーザーの皆様にご利用いただけることを大変嬉しく思います。Proユーザーには、月額5ドルのpplx-apiクレジットが継続的に付与されます。その他のユーザーの価格は、利用量に基づいて決定されます。Proユーザーとして登録するには、こちらをクリックしてください。商用に関するお問い合わせは api@perplexity.ai までご連絡ください。
その他のリソース：
- pplx-apiの利用を開始するにはこちらをご覧ください。
- Perplexity Labsでオンラインモデルを無料でお試しください。
- APIに関する詳細はpplx-apiのドキュメントをご覧ください。
- 世界最高の回答エンジンを構築する、影響力の大きいスピード感のあるチームで働いてみませんか？ぜひご応募ください！
- 成長を続けるDiscordコミュニティに参加しましょう！
貢献者：
Lauren Yang, Kevin Hu, Aarash Heydari, Gradey Wang, Dmitry Pervukhin, Nikhil Thota, Alexandr Yarats, Max Morozov, Denis Yarats