Perplexity अत्याधुनिक AI मध्ये अचूकता कशी निर्माण करते

जगताच्या ज्ञानाचा अधिक शोध घेण्याची आणि अधिक गोष्टी करण्याची इच्छा असलेल्या लोकांसाठी उत्सुकतेला प्रेरणा देणे हे आमचे ध्येय आहे. हे साध्य करण्यासाठी, सर्वोत्कृष्ट अत्याधुनिक AI मॉडेल्सना Perplexity वर अधिक अचूक बनवणे हा आमचा नेहमीच मुख्य भर राहिला आहे.

आम्ही ते कसे करतो यामागील तंत्रज्ञानापैकी एक तंत्रज्ञान पहिल्यांदाच शेअर करत आहोत. आज आमच्या संशोधन संघाने शोध-संवर्धित LLMs (search-augmented LLMs) वर तांत्रिक संशोधन प्रकाशित केले.

अचूकता विकसित करण्यासाठी आम्ही डझनभर प्रक्रिया वापरतो आणि त्यातील एका प्रक्रियेची ही दुर्मिळ आतली झलक आहे: Search, Comet आणि Computer यांसारख्या Perplexity उत्पादनांच्या अचूकतेच्या मानकांनुसार सर्वोत्तम कामगिरी करण्यासाठी अत्याधुनिक AI मॉडेल्सचे पोस्ट-ट्रेनिंग करणे.

आम्ही शोध घेण्यापूर्वी वर्तनाचे प्रशिक्षण (train) घेतो

उत्तर देणाऱ्या इंजिनसाठी (answer engine) केवळ अस्खलित मजकूर निर्माण करण्यापेक्षा पायाभूत मॉडेल्सना बरेच काही करणे आवश्यक असते. त्यांना पुरावा शोधावा लागतो, वापरकर्त्याच्या विनंत्यांचे पालन करावे लागते, साधनांचा योग्य वापर करावा लागतो आणि त्या कामाचे एका केंद्रित उत्तरात रूपांतर करावे लागते.

त्यासाठी आम्ही दोन टप्प्यांत पोस्ट-ट्रेनिंग करतो. प्रथम, आम्ही मॉडेलला उत्पादनामध्ये कसे वागावे हे शिकवतो, ज्यामध्ये सूचनांचे पालन कसे करावे, सुसंगत कसे राहावे आणि साधनांचा योग्य मार्गाने कसा वापर करावा याचा समावेश होतो. त्यानंतर आम्ही त्याला कठीण शोध कामांवर (search tasks) प्रशिक्षित करतो जेणेकरून पुरावा शोधणे, त्याचा चांगला वापर करणे आणि अधिक कार्यक्षमतेने उत्तर देणे यात ते सुधारणा करू शकेल.

हा टप्प्याटप्प्याने चालणारा दृष्टिकोन म्हणजे Perplexity आणि मॉडेल व वेब प्रवेश असणारी पारंपारिक रॅपर व्यवस्था यामधील साधे फरक आहेत. म्हणूनच समान मॉडेल वेगवेगळ्या उत्पादनांमध्ये वेगवेगळे परिणाम देऊ शकते आणि साध्या तैनातीपेक्षा ते Perplexity मध्ये अधिक चांगल्या प्रकारे कार्य करू शकते.

संश्लेषणाची (synthesis) आवश्यकता असलेले प्रश्न

काही प्रश्न सहज पाहता येतात. तर काहींमध्ये मॉडेलला विविध स्रोतांमधील पुरावे जोडणे आवश्यक असते.

मॉडेलला वेगवेगळ्या स्रोतांमधील पुरावे जोडणे आवश्यक असलेल्या प्रश्नांवर आम्ही प्रशिक्षण देतो. तथ्यात्मक प्रश्नांसाठी, आम्ही अशा कामांचा वापर करतो ज्यामुळे मॉडेलला एखाद्या स्पष्ट पुराव्यावरून थेट उत्तरापर्यंत जाण्याऐवजी शोध घेणे, विचार करणे आणि पडताळणी करणे भाग पडते. अनेक प्रश्नांसाठी अनेक स्रोतांमधील माहिती जोडणे आवश्यक असते. त्यांना मॉडेलला एका पुराव्यावरून दुसऱ्या पुराव्यावर जाण्याची आणि त्या साखळीवरून उत्तर तयार करण्याची आवश्यकता असते.

आम्ही विविध प्रतिसाद स्वरूपांवर (response formats) देखील प्रशिक्षण देतो, जेणेकरून वापरकर्त्याला परिच्छेद, यादी, सारणी (table) किंवा इतर कोणतीही रचना हवी असली तरी मॉडेल अचूक राहील. याचा परिणाम उत्तम संशलेषणामध्ये होतो, ज्यामध्ये केवळ विलग तथ्ये पुनर्प्राप्त करण्याऐवजी विविध स्रोतांमधील पुरावे जोडणारी उत्तरे समाविष्ट असतात.

मुक्त-समाप्त (open-ended) कामांना मानकांची आवश्यकता असते

Perplexity चा वापर केवळ तथ्यात्मक माहिती शोधण्यापलीकडे केला जातो. पुनर्लेखन, संपादन, सारांश, स्पष्टीकरण आणि नियोजन यांसह बरीच कामे ही मुक्त-समाप्त स्वरूपाची असतात.

त्या कामांना कोणतेही एक अचूक उत्तर नसते, परंतु तरीही त्यांना मानकांची आवश्यकता असते. मुक्त-समाप्त कामांसाठी, आम्ही रुब्रिक्सचा वापर करतो ज्या प्रतिसादाने खरोखरच काम केले आहे की नाही हे तपासण्यासाठी संरचित निकष असतात. त्याने सूचनांचे पालन केले का? अर्थ कायम ठेवला का? वापरकर्त्याची समस्या सोडवली का?

यामुळे आम्हाला मुक्त-समाप्त कामांना मोकळ्या स्वरूपाचे लेखन (free-form writing) मानण्याऐवजी स्पष्ट मानकांसह प्रशिक्षित करण्याची परवानगी मिळते.

पसंतीपूर्वी अचूकता येते

तथ्यात्मक कामांसाठी, उत्तर अधिक मदतनीस किंवा चांगले लिखित असल्याचे क्रेडिट मिळण्यापूर्वी ते अचूक असणे आवश्यक आहे. मुक्त-समाप्त कामांसाठी, इतर गुणधर्म लागू होण्यापूर्वी प्रतिसादाने रुब्रिकची पूर्तता करणे आवश्यक आहे.

यामुळे प्रणाली शैलीपेक्षा विषयावर केंद्रित राहते. यामुळे खरोखर चांगले नसतानाही अधिक चांगले वाटणाऱ्या उत्तरांची सामान्य अपयशी पद्धत टाळण्यास मदत होते. याचा फायदा असा होतो की तपासणी केल्यावर कमी पॉलिश केलेली उत्तरे कोलमडत नाहीत.

कार्यक्षमता उत्तर गुणवत्तेमध्ये योगदान देते

शिस्तीने शोध वापरण्यासाठी आम्ही मॉडेलला प्रशिक्षित देखील करतो.

कोणत्याही अतिरिक्त शोध पायरीने उत्तर सुधारले पाहिजे आणि दीर्घ प्रतिसादाने त्याची लांबी सार्थ ठरवली पाहिजे. जेव्हा अतिरिक्त शोध किंवा अतिरिक्त शब्द मदत करत नाहीत, तेव्हा प्रणालीने थांबले पाहिजे.

त्यामुळे वापरण्यास सुलभ असलेली उत्तरे तयार होतात आणि जेव्हा मॉडेल लहान चुका एकत्र जोडल्या जाणाऱ्या कृतींच्या लांब साखळींवरून काम करते तेव्हा ते मॉडेलचा फोकस टिकवून ठेवते.

उत्तम उत्तरांसाठी सतत काम करणे आवश्यक असते

शोध गुणवत्ता उत्पादन मॉडेलला पुरावा गोळा करण्यासाठी, शिस्तीने उत्तर देण्यासाठी, मुक्त-समाप्त कामे हाताळण्यासाठी आणि पुरेसा आधार मिळाल्यावर थांबण्यासाठी कसे प्रशिक्षित करते यावरून येते.

ज्याप्रमाणे AI प्रणाली दीर्घ आणि अधिक स्वायत्त कामे हाती घेतात, तसे ते प्रशिक्षण वैयक्तिक उत्तरांची गुणवत्ता आणि त्यांच्यावर तयार केलेल्या प्रत्येक गोष्टीला आकार देते. Perplexity १००% अचूक असल्याचा दावा आम्ही कधीही केला नाही, परंतु आम्ही अशी AI कंपनी असल्याचा दावा करतो जी याबद्दल सर्वात जास्त काळजी करते आणि त्यावर सतत काम करते. आम्ही सर्व वापरकर्त्यांना त्यांच्या Perplexity उत्तरांवर अभिप्राय (feedback) देण्यास प्रोत्साहित करतो, कारण आम्ही सतत पुनरावृत्ती करत आहोत आणि सुधारणा करत आहोत.