Perplexity, sınır yapay zekasına nasıl doğruluk kazandırıyor?

Misyonumuz, dünyanın bilgisiyle daha fazlasını öğrenmek ve yapmak isteyenler için merak duygusunu beslemektir. Bunu yapmak için temel odak noktamız, en iyi sınır yapay zeka modellerini Perplexity üzerinde daha doğru hale getirmek olmuştur.

İlk kez bunu nasıl yaptığımızın arkasındaki teknolojilerden birini paylaşıyoruz. Bugün araştırma ekibimiz arama artırımlı LLM'lerin teknik bir incelemesini yayınladı.

Doğruluğu geliştirmek için kullandığımız onlarca süreç var ve bu bunlardan birine nadir bir içeriden bakış: Sınır yapay zeka modellerini, Search, Comet ve Computer gibi Perplexity ürünlerinin doğruluk standartlarına karşı en iyi şekilde performans gösterecek şekilde sonradan eğitmek.

Aramadan önce davranışı eğitiriz

Bir cevap motoru, temel modellerin akıcı metinler üretmekten fazlasını yapmasını gerektirir. Kanıt bulmalı, kullanıcının isteğini takip etmeli, araçları doğru kullanmalı ve bu çalışmayı odaklanılmış bir cevaba dönüştürmelidir.

Bunun için iki aşamalı bir sonradan eğitim uyguluyoruz. İlk olarak, modele talimatları nasıl takip edeceği, tutarlı kalacağı ve araçları doğru şekilde nasıl kullanacağı dahil olmak üzere ürün içinde nasıl davranacağını öğretiyoruz. Ardından, kanıt bulma, bunu iyi kullanma ve daha verimli yanıt verme konularında gelişmesi için onu daha zorlu arama görevlerinde eğitiyoruz.

Aşamalı yaklaşım, Perplexity ile model ve web erişimine sahip geleneksel bir sarmalayıcı (wrapper) kurulumu arasındaki basit farklardan biridir. Bu nedenle aynı model, farklı ürünlerde farklı sonuçlar üretebilir ve daha basit bir dağıtıma kıyasla Perplexity içinde daha iyi çalışabilir.

Sentez gerektiren sorular

Bazı sorular kolay aramalardır. Diğerleri ise modelin kaynaklar arasındaki kanıtları birbirine bağlamasını gerektirir.

Modelin kaynaklar arasındaki kanıtları birbirine bağlamasını gerektiren sorular üzerinde eğitim alıyoruz. Olgusal sorular için, modelin tek bir bariz ipucundan hemen bir cevaba atlaması yerine arama yapmasını, akıl yürütmesini ve doğrulamasını zorlayan görevler kullanıyoruz. Birçok soru, birden fazla kaynaktaki bilgilerin birleştirilmesini gerektirir. Modelin bir kanıt parçasından diğerine geçmesini ve cevabı bu zincirden oluşturmasını gerektirirler.

Ayrıca farklı yanıt formatlarında da eğitim veriyoruz; böylece kullanıcı ister paragraf, ister liste, ister tablo veya başka bir yapı istesin model doğru kalıyor. Sonuçta, izole olguları almak yerine kaynaklar arasındaki kanıtları birbirine bağlayan yanıtlardan oluşan daha iyi bir sentez elde edilir.

Açık uçlu görevler standartlara ihtiyaç duyar

Perplexity, olgusal aramadan fazlası için kullanılır. Çalışmaların çoğu; yeniden yazma, düzenleme, özetleme, açıklama ve planlama dahil olmak üzere açık uçludur.

Bu görevlerin tek bir kesin doğru yanıtı yoktur ancak yine de standartlara ihtiyaçları vardır. Açık uçlu çalışmalar için, bir yanıtın gerçekten işi yapıp yapmadığını gösteren yapılandırılmış kontroller olan rubrikler (dereceli puanlama anahtarları) kullanıyoruz. Talimatları takip etti mi? Anlamı korudu mu? Kullanıcının problemini çözdü mü?

Bu, açık uçlu görevleri serbest biçimli yazı olarak ele almak yerine net standartlarla eğitmemizi sağlar.

Doğruluk tercihten önce gelir

Olgusal görevler için bir yanıtın, daha yardımcı veya daha iyi yazılmış olduğu için kredi almadan önce doğru olması gerekir. Açık uçlu görevler için ise diğer nitelikler devreye girmeden önce yanıtın rubriği karşılaması gerekir.

Bu, sistemi biçim yerine öze odaklanmış tutar. Aslında daha iyi olmadan daha iyi ses çıkaran yanıtların yaygın bir başarısızlık modunu önlemeye yardımcı olur. Bunun karşılığı, inceleme altında dağılan cilalı yanıtların azalmasıdır.

Verimlilik yanıt kalitesine katkıda bulunur

Ayrıca modele aramayı disiplinli bir şekilde kullanmasını öğretiyoruz.

Her ek arama adımı yanıtı iyileştirmelidir ve daha uzun bir yanıt uzunluğunu hak etmelidir. Fazladan arama veya fazladan kelimeler yardımcı olmadığında sistem durmalıdır.

Bu, küçük hataların biriktiği daha uzun eylem zincirlerinde çalışırken kullanımı daha kolay yanıtlar üretir ve model için odaklanmayı korur.

Daha iyi yanıtlar sürekli çalışma gerektirir

Arama kalitesi; ürünün modele kanıt toplamayı, disiplinle yanıt vermeyi, açık uçlu çalışmaları yürütmeyi ve yeterli desteğe ulaştığında durmayı nasıl öğrettiğinden gelir.

Yapay zeka sistemleri daha uzun ve daha otonom çalışmalar üstlendikçe, bu eğitim bireysel yanıtların kalitesini ve üzerlerine inşa edilen her şeyi şekillendirir. Perplexity'nin %100 doğru olduğunu asla iddia etmedik, ancak bu konuda en çok önem veren ve aralıksız çalışan yapay zeka şirketi olduğumuzu iddia ediyoruz. Sürekli yineleme ve geliştirme yaptığımız için tüm kullanıcıları Perplexity yanıtları hakkında geri bildirimde bulunmaya teşvik ediyoruz.