Perplexity फ्रंटियर AI में सटीकता कैसे बनाता है

हमारा मिशन उन लोगों के लिए जिज्ञासा को शक्ति देना है जो दुनिया के ज्ञान के साथ अधिक जानना और करना चाहते हैं। ऐसा करने के लिए, हमारा मुख्य ध्यान हमेशा Perplexity पर सर्वश्रेष्ठ फ्रंटियर AI मॉडल को अधिक सटीक बनाने पर रहा है।

पहली बार, हम उस तकनीक का एक हिस्सा साझा कर रहे हैं जिसके माध्यम से हम ऐसा करते हैं। आज हमारी अनुसंधान टीमों ने सर्च-ऑगमेंटेड LLMs का तकनीकी अन्वेषण प्रकाशित किया है।

सटीकता विकसित करने के लिए हम दर्जनों प्रक्रियाओं का उपयोग करते हैं, और यह उनमें से एक पर एक दुर्लभ अंदरूनी नज़र है: Perplexity के उत्पादों जैसे कि Search, Comet, और Computer के लिए सटीकता मानकों के विरुद्ध सर्वश्रेष्ठ प्रदर्शन करने के लिए फ्रंटियर AI मॉडल को पोस्ट-ट्रेन करना।

हम खोज से पहले व्यवहार को प्रशिक्षित करते हैं

एक उत्तर इंजन को अंतर्निहित मॉडल से केवल धाराप्रवाह पाठ उत्पन्न करने से अधिक की आवश्यकता होती है। उन्हें साक्ष्य खोजने, उपयोगकर्ता के अनुरोध का पालन करने, उपकरणों का सही उपयोग करने और उस कार्य को एक केंद्रित उत्तर में बदलने की आवश्यकता होती है।

हम इसके लिए दो चरणों में पोस्ट-ट्रेनिंग करते हैं। सबसे पहले, हम मॉडल को सिखाते हैं कि उत्पाद के भीतर कैसे व्यवहार करना है, जिसमें निर्देशों का पालन करना, सुसंगत रहना और सही तरीके से उपकरणों का उपयोग करना शामिल है। फिर हम इसे कठिन खोज कार्यों पर प्रशिक्षित करते हैं ताकि यह साक्ष्य खोजने, उसका बेहतर उपयोग करने और अधिक कुशलता से उत्तर देने में बेहतर हो सके।

यह चरणबद्ध दृष्टिकोण Perplexity और मॉडल और वेब एक्सेस के साथ पारंपरिक रैपर सेटअप के बीच सरल अंतरों में से एक है। यही कारण है कि एक ही मॉडल विभिन्न उत्पादों में अलग-अलग परिणाम दे सकता है, और यही कारण है कि यह एक सरल तैनाती की तुलना में Perplexity में बेहतर काम कर सकता है।

ऐसे प्रश्न जिनके लिए संश्लेषण की आवश्यकता होती है

कुछ प्रश्न आसान लुकअप होते हैं। अन्य के लिए मॉडल को स्रोतों के बीच साक्ष्य जोड़ने की आवश्यकता होती है।

हम उन प्रश्नों पर प्रशिक्षित करते हैं जिनके लिए मॉडल को स्रोतों के बीच साक्ष्य जोड़ने की आवश्यकता होती है। तथ्यात्मक प्रश्नों के लिए, हम ऐसे कार्यों का उपयोग करते हैं जो मॉडल को एक स्पष्ट सुराग से उत्तर पर कूदने के बजाय खोजने, तर्क करने और सत्यापित करने के लिए मजबूर करते हैं। कई प्रश्नों के लिए कई स्रोतों में जानकारी को जोड़ने की आवश्यकता होती है। उन्हें मॉडल को साक्ष्य के एक टुकड़े से दूसरे टुकड़े पर जाने और उस श्रृंखला से उत्तर बनाने की आवश्यकता होती है।

हम विभिन्न प्रतिक्रिया स्वरूपों में भी प्रशिक्षित करते हैं, ताकि मॉडल सटीक रहे चाहे उपयोगकर्ता को पैराग्राफ, सूची, तालिका या अन्य संरचना की आवश्यकता हो। परिणाम बेहतर संश्लेषण है, जिसमें ऐसे उत्तर शामिल हैं जो केवल अलग-थलग तथ्यों को पुनः प्राप्त करने के बजाय स्रोतों के बीच साक्ष्य को जोड़ते हैं।

ओपन-एंडेड कार्यों के लिए मानकों की आवश्यकता होती है

Perplexity का उपयोग तथ्यात्मक लुकअप से अधिक के लिए किया जाता है। अधिकांश कार्य ओपन-एंडेड हैं, जिसमें पुनर्लेखन, संपादन, सारांशित करना, समझाना और योजना बनाना शामिल है।

उन कार्यों का कोई एक सटीक सही उत्तर नहीं होता है, लेकिन फिर भी उन्हें मानकों की आवश्यकता होती है। ओपन-एंडेड कार्यों के लिए, हम रूब्रिक्स का उपयोग करते हैं जो यह जांचने के लिए संरचित जांच हैं कि क्या किसी प्रतिक्रिया ने वास्तव में कार्य किया है। क्या इसने निर्देशों का पालन किया? क्या इसने अर्थ को संरक्षित किया? क्या इसने उपयोगकर्ता की समस्या का समाधान किया?

यह हमें उन्हें फ्री-फॉर्म लेखन के रूप में मानने के बजाय स्पष्ट मानकों के साथ ओपन-एंडेड कार्यों को प्रशिक्षित करने देता है।

सटीकता वरीयता से पहले आती है

तथ्यात्मक कार्यों के लिए, एक उत्तर को अधिक सहायक या बेहतर लिखे जाने का क्रेडिट मिलने से पहले सही होना चाहिए। ओपन-एंडेड कार्यों के लिए, अन्य गुणों के लागू होने से पहले प्रतिक्रिया को रूब्रिक को पूरा करना होगा।

यह प्रणाली को शैली से ऊपर पदार्थ पर केंद्रित रखता है। यह उन उत्तरों के सामान्य विफलता मोड को रोकने में मदद करता है जो वास्तव में बेहतर हुए बिना बेहतर लगते हैं। इसका प्रतिफल कम पॉलिश किए गए उत्तर हैं जो निरीक्षण के तहत बिखर जाते हैं।

दक्षता उत्तर की गुणवत्ता में योगदान करती है

हम मॉडल को अनुशासन के साथ खोज का उपयोग करने के लिए भी प्रशिक्षित करते हैं।

किसी भी अतिरिक्त खोज चरण को उत्तर में सुधार करना चाहिए, और एक लंबी प्रतिक्रिया को अपनी लंबाई अर्जित करनी चाहिए। जब अतिरिक्त खोज या अतिरिक्त शब्द मदद नहीं करते हैं, तो सिस्टम को रुक जाना चाहिए।

यह ऐसे उत्तर उत्पन्न करता है जो उपयोग करने में आसान होते हैं और मॉडल के लिए कार्यों की लंबी श्रृंखला के माध्यम से काम करते समय फोकस बनाए रखते हैं, जहां छोटी गलतियां बढ़ जाती हैं।

बेहतर उत्तरों के लिए निरंतर काम की आवश्यकता होती है

खोज की गुणवत्ता इस बात से आती है कि उत्पाद मॉडल को साक्ष्य इकट्ठा करने, अनुशासन के साथ उत्तर देने, ओपन-एंडेड कार्यों को संभालने और पर्याप्त समर्थन मिलने पर रुकने के लिए कैसे प्रशिक्षित करता है।

जैसे-जैसे AI सिस्टम लंबे और अधिक स्वायत्त कार्यों को संभालते हैं, वह प्रशिक्षण व्यक्तिगत उत्तरों और उन पर निर्मित हर चीज की गुणवत्ता को आकार देता है। हमने कभी दावा नहीं किया है कि Perplexity 100% सटीक है, लेकिन हम उस AI कंपनी होने का दावा करते हैं जो इसकी सबसे अधिक परवाह करती है और इस पर लगातार काम करती है। हम सभी उपयोगकर्ताओं को अपने Perplexity उत्तरों पर फीडबैक प्रदान करने के लिए प्रोत्साहित करते हैं, क्योंकि हम लगातार पुनरावृत्ति और सुधार कर रहे हैं।