Hogyan épít be a Perplexity pontosságot az élvonalbeli MI-be
Központi fókuszunk mindig is az volt, hogy beépítsük a pontosságot az élvonalbeli mesterséges intelligenciába. Most először osztjuk meg a technológia egy részét, amely ezt lehetővé teszi.
Küldetésünk, hogy ébren tartsuk a kíváncsiságot azokban, akik többet akarnak tudni a világ ismereteiről, és többet akarnak kezdeni velük. Ennek érdekében mindig is az volt a központi fókuszunk, hogy a legjobb élvonalbeli mesterségesintelligencia-modellek pontosabbak legyenek a Perplexity felületén.
Most először osztjuk meg az egyik olyan technológiát, amely ennek a hátterében áll. Ma kutatócsoportunk közzétette a kereséssel kiegészített nyelvi modellek technikai elemzését.
Számos folyamatot alkalmazunk a pontosság fejlesztésére, és ez egy ritka betekintés ezek egyikébe: az élvonalbeli MI-modellek utóbetanítása, hogy a legjobban teljesítsenek az olyan Perplexity-termékek pontossági szabványai szerint, mint a Search, a Comet és a Computer.
A viselkedést a keresés előtt tanítjuk be
Egy válaszmotornak arra van szüksége, hogy a mögöttes modellek ne csak folyékony szöveget generáljanak. Bizonyítékokat kell találniuk, követniük kell a felhasználó kérését, helyesen kell használniuk az eszközöket, és a munkát fókuszált válasszá kell alakítaniuk.
Ezt két szakaszban tanítjuk utólag. Először megtanítjuk a modellt arra, hogy miként viselkedjen a terméken belül, beleértve az utasítások követését, a konzisztencia megőrzését és az eszközök helyes használatát. Ezután nehezebb keresési feladatokon tanítjuk be, hogy jobban megtalálja a bizonyítékokat, jól használja azokat, és hatékonyabban válaszoljon.
A szakaszos megközelítés az egyik egyszerű különbség a Perplexity és a modell- és weblap-hozzáféréssel rendelkező hagyományos burkolókonfiguráció (wrapper) között. Ez az oka annak, hogy ugyanaz a modell különböző eredményeket hozhat létre különböző termékekben, és hogy egyszerűbb bevezetéshez képest jobban működhet a Perplexityben.
Szintézist igénylő kérdések
Egyes kérdések egyszerű keresések. Mások azt igénylik, hogy a modell összekapcsolja a bizonyítékokat a különböző források között.
Olyan kérdéseken végzünk betanítást, amelyek megkövetelik a modelltől a források közötti bizonyítékok összekapcsolását. Ténybeli kérdések esetén olyan feladatokat használunk, amelyek keresésre, következtetésre és ellenőrzésre kényszerítik a modellt ahelyett, hogy egyetlen nyilvánvaló nyomból ugranának a válaszra. Számos kérdés igényli az információk összekapcsolását több forráson keresztül. Megkövetelik a modelltől, hogy az egyik bizonyítéktól a másikra lépjen, és ebből a láncból építse fel a választ.
Különböző válaszformátumokon keresztül is betanítunk, így a modell pontos marad, függetlenül attól, hogy a felhasználó bekezdést, listát, táblázatot vagy más struktúrát szeretne. Ennek eredménye a jobb szintézis, amely olyan válaszokból áll, amelyek a források közötti bizonyítékokat kapcsolják össze ahelyett, hogy csak elszigetelt tényeket kérnének le.
A nyitott végű feladatok szabványokat igényelnek
A Perplexityt nemcsak ténykeresésre használják. A munka nagy része nyitott végű, beleértve az újraírást, szerkesztést, összefoglalást, magyarázatot és tervezést.
Ezeknek a feladatoknak nincs egyetlen pontos helyes válaszuk, de továbbra is szükségük van szabványokra. A nyitott végű munkához rubrikákat használunk, amelyek strukturált ellenőrzések arra vonatkozóan, hogy a válasz ténylegesen elvégezte-e a feladatot. Követte az utasításokat? Megőrizte a jelentést? Megoldotta a felhasználó problémáját?
Ez lehetővé teszi számunkra, hogy egyértelmű szabványokkal tanítsuk be a nyitott végű feladatokat ahelyett, hogy szabadformájú írásként kezelnénk őket.
A pontosság megelőzi a preferenciát
Ténybeli feladatok esetén a válasznak helyesnek kell lennie ahhoz, hogy elismerjék, mivel hasznosabb vagy jobban megírt. Nyitott végű feladatok esetén a válasznak meg kell felelnie a rubrikának, mielőtt más tulajdonságok érvényre jutnának.
Ez segít a rendszert a tartalomra fókuszálni a stílus helyett. Segít megelőzni a válaszok gyakori hibamódját, amelyek jobban hangzanak anélkül, hogy valójában jobbak lennének. Az eredmény kevesebb csiszolt válasz, amely összeomlik a vizsgálat során.
A hatékonyság hozzájárul a válasz minőségéhez
Arra is betanítjuk a modellt, hogy fegyelmezetten használja a keresést.
Minden további keresési lépésnek javítania kell a válaszon, és a hosszabb válasznak ki kell érdemelnie a hosszát. Ha az extra keresés vagy az extra szavak nem segítenek, a rendszernek le kell állnia.
Ez olyan válaszokat eredményez, amelyek könnyebben használhatók, és megőrzi a modell fókuszát, amikor hosszabb cselekvési láncokon dolgozik, ahol a apró hibák összeadódnak.
A jobb válaszok állandó munkát igényelnek
A keresés minősége abból fakad, hogy a termék hogyan tanítja be a modellt a bizonyítékok összegyűjtésére, a fegyelmezett válaszadásra, a nyitott végű munka kezelésére és a leállásra, amikor elegendő támogatással rendelkezik.
Ahogy az MI-rendszerek hosszabb és önállóbb munkákat vállalnak fel, ez a betanítás határozza meg az egyes válaszok minőségét és minden olyan dologét, ami arra épül. Soha nem állítottuk, hogy a Perplexity 100%-ban pontos, de azt igen, hogy mi vagyunk az az MI-cég, amelyik a legtöbbet törődik ezzel, és könyörtelenül dolgozik rajta. Arra bátorítunk minden felhasználót, hogy küldjön visszajelzést a Perplexity-válaszairól, mert folyamatosan iterálunk és fejlődünk.