Veri Merkezi Makinenize Taşıyor

Bir AI sistemi için doğru hedef, her kullanıcı için watt başına en yüksek token değerini sunmaktır. Bu kulağa basit geliyor. Öyle değil, çünkü üç unsur birbirine zıt yönlere çekiyor.

Doğruluk, çalıştırması maliyetli olan en yetenekli modelleri gerektirir. Gizlilik, bazı işlemlerin asla makinenizden çıkmamasını zorunlu kılar. Maliyet ve enerji, daha küçük bir modelin üstesinden gelebileceği bir görev için sınır modelin işlem gücünü harcamamanızı talep eder. Diğerlerine saygı duymadan birini maksimize edemezsiniz.

Üçünü birden dengelemek bir düzenleme problemidir. Ve düzenleme, Perplexity'in her zaman yaptığı şeydir.

Bugün Personal Computer için sonraki adımı duyurduk: ilk hibrit yerel-sunucu çıkarım düzenleyicisi. Hangi işin cihazınızda çalıştırılması ve hangi işin buluttaki aracılara gitmesi gerektiği konusunda mantık yürüterek bir görevin her parçasını otomatik olarak doğru yere yönlendirir.

Perplexity, doğru ve kaynak gösterilmiş yanıtlar üretmek için araçları ve kaynakları düzenleyerek başladı. Computer, bunu yirmiden fazla sınır modelinde çalıştırılan ve her görev için doğru olanı seçen yüzlerce aracı için bir altyapıya genişletti. Şimdi aynı fikri hesaplama yeteneğinin kendisine de genişletebiliriz: hangi model, nerede çalışıyor ve neden.

Hibrit ajan tabanlı çıkarım, hassas veriler içeren ancak güçlü AI gerektiren çalışmalar içindir. Finansal kayıtlar, sağlık bilgileri ve kişisel dosyalar gibi şeyler. Kompakt model, hassas verilerin ne zaman yerel olarak da tutulması gerektiğini belirlemek için cihazınızda yerel olarak çalışır.

Bu sırada, bir sınır modelinin tüm yeteneğini gerektiren işler sunucuda çalışır. Çoğu gerçek görev bir karışımdır, bu yüzden Personal Computer bunları böler ve parçaları koordine eder. Baştan yerel veya bulut seçmenizi isteyen araçların aksine, bu durum görev görev kendiliğinden gerçekleşir.

Yıllar boyunca, daha yetenekli silikon genellikle daha hızlı uygulamalar ve daha uzun pil ömrü anlamına geliyordu. Çip gerçek çıkarımı çalıştırabildiğinde bu durum değişir. Yerel donanım ne kadar iyi olursa, düzenleyici makinenizde o kadar çok şey tutabilir ve sunucuyu gerçekten gerektiren işler için o kadar çok ayırabilir.

Bunu Intel ile birlikte tanıttık ve modelden bağımsız aynı altyapı, NVIDIA'nın RTX Spark'ı dahil olmak üzere diğer yerel silikonlarda da çalışır. Yerel işlem gücü yarışı başlamıştır. Çipler ilerledikçe, yalnızca Perplexity gerçekten kusursuz bir düzenleme için ajan altyapısına ve uygulamalı çıkarım mühendisliğine sahiptir.

Bu durum aynı zamanda işlem gücü kıtlığını izleyen herkes için denklemi değiştirir. Hassas işler ve rutin işler insanların halihazırda sahip olduğu cihazlara taşındığında, bunu sunmak için o kadar çok merkezi altyapı oluşturmanız gerekmez. Bu durum egemenliğin neye benzediğini de değiştirir: önemli veriler, bir ülkenin bunu korumak için veri merkezi kurmasına gerek kalmadan kendi yetki alanında kalabilir.

İnsanlar, kontrol etmedikleri bir veri merkezi üzerine inşa etmektense dizüstü bilgisayarlarında bir veri merkezine sahip olmayı tercih ederler.

Bu mimarinin Perplexity'e uymasının bir nedeni var. İşimiz her zaman sattığımız token'ları maksimize etmek değil, doğru AI sunmak olmuştur. Watt başına değeri optimize etmek için doğru teşvik budur: daha fazla işlem gücü tükettiğinde değil, yanıt doğru olduğunda ve iş bittiğinde kazanırız.

Hibrit AI uzun süredir bir endüstri tutkusuydu. Temmuz ayında geleceğini duyurduğumuz yerel çıkarımlı Personal Computer, bunu gerçeğe dönüştüren ve işlem gücünü makineniz ile bulut arasında akıllıca düzenlenecek bir diğer unsur olarak ele alan ilk üründür.

Modellerden işlem gücüne

Cihaz veri merkezidir

Verimlilik için doğru mimari