उत्तम स्निपेट्ससाठी क्वेरी-जागरूक संदर्भ संपीडन

प्रत्येक उत्तर पुराव्यापासून सुरू होते. शोध प्रणालीमध्ये, हा पुरावा सहसा दस्तऐवजांमधून येतो: शीर्षके, सारांश, चंक्स आणि स्निपेट्स जे उत्तर मॉडेल किंवा एजंटला संदर्भ म्हणून पास केले जातात.

हा कच्चा संदर्भ गोंधळात टाकणारा असतो. उदाहरणार्थ, एका वेब पेजमध्ये वापरकर्त्याच्या विनंतीसाठी आवश्यक असलेली माहिती असू शकते, परंतु त्यात विचलित करणारा भाग देखील असू शकतो. हे विचलित करणारे घटक मुख्य मुख्य भागामध्ये आणि नेव्ह टेक्स्ट घटक, नको असलेल्या जाहिराती, मेटाडेटा आणि बरेच काही यांसारख्या अनुषंगिक घटकांमध्ये दोन्ही ठिकाणी दिसू शकतात. हे विचलित करणारे घटक डाउनस्ट्रीम एजंटकडे पाठवल्याने तीन समस्या निर्माण होतात.

प्रथम, यामुळे अचूकतेला बाधा पोहोचते. सर्वात शक्तिशाली मॉडेलची देखील क्षमता मर्यादित असते. अप्रासंगिक माहितीचे लांब प्रवाह मॉडेलची क्षमता वाया घालवतात, परिणामी "संदर्भ र्हास" (context rot) होतो ज्यामुळे वास्तविक वापरकर्त्याच्या विनंतीला संबोधित करण्याची मॉडेलची क्षमता बिघडते. परिणामी, अंतिम उत्तरात मुख्य तथ्ये सुटण्याची, कमी-गुणवत्तेच्या माहितीला जास्त महत्त्व देण्याची किंवा स्रोतामध्ये टिकून राहण्यास कठीण असलेले दावे तयार होण्याची शक्यता जास्त असते.

दुसरे म्हणजे, यामुळे लेटन्सी (विलंब) वाढते. लांब संदर्भाचा अर्थ डाउनस्ट्रीम मॉडेलला प्रक्रिया करण्यासाठी अधिक टोकन्स असा होतो, विशेषतः जेव्हा क्वेरीला बऱ्याच उमेदवार पृष्ठांमधून पुराव्याची आवश्यकता असते. जरी या लेटन्सी खर्चाचा काही भाग प्रीफिल टप्प्यात सहन केला जात असला तरी, रीझनिंगमध्ये खूप मोठा खर्च मोजावा लागतो, कारण अप्रासंगिक संदर्भाचा सामना करण्यासाठी मॉडेलना अधिक रीझनिंग टोकन्सची आवश्यकता असते.

तिसरे, यामुळे खर्च वाढतो. मॉडेलकडे पाठवलेला प्रत्येक अनावश्यक टोकन वापरकर्त्याच्या विनंतीची पूर्तता करणे अधिक खर्चिक बनवतो, कारण गोंधळात टाकणाऱ्या संदर्भासह इनपुट टोकन आणि रीझनिंग टोकन वापर दोन्ही वाढतात. विचलित करणारे घटक केवळ गुणवत्ता कमी करत नाहीत; ते शेवटी तुम्हाला त्या निकृष्ट त्या गुणवत्तेसाठी जास्त पैसे देण्यास भाग पाडतात.

विस्तृत करा

Perplexity च्या अनुप्रयोगांवर आणि API प्लॅटफॉर्म वर एकाच वेळी अचूकता, वेग आणि खर्च-प्रभावीता वाढवण्यासाठी, आम्ही संदर्भातील अचूकता सुधारण्यासाठी मोठ्या प्रमाणावर गुंतवणूक करतो. असे करण्याचा एक मार्ग म्हणजे आमचे स्निपेट जनरेशन अल्गोरिदम परिष्कृत करणे. आम्ही स्निपेट जनरेशनला संदर्भ संपीडन समस्या (context compression problem) म्हणून हाताळतो. विशिष्ट माहिती शोधणाऱ्या मॉडेल्सना सामान्यीकृत सारांश किंवा दस्तऐवजाच्या उताऱ्यांचा फायदा होत नाही. त्याऐवजी, वापरकर्त्याच्या विनंतीला प्रतिसाद देण्यासाठी त्यांना स्रोत माहितीचा सर्वात लहान, सर्वात अचूकपणे काढलेला भाग आवश्यक असतो. इतर सर्व काही काढले जाऊ शकते आणि काढलेच पाहिजे.

त्यामुळे एका चांगल्या स्निपेटने तीन गोष्टी केल्या पाहिजेत:

मॉडेलच्या प्रतिसादाला आधार देण्यासाठी आवश्यक असलेला अचूक पुरावा प्रस्तुत करून अचूकतेला प्रोत्साहन द्या.

LLM कॉल करण्यापूर्वी अप्रासंगिक संदर्भ काढून टाकून लेटन्सी आणि खर्च कमी करा.

उद्धरण निष्ठा (citation fidelity) राखून आणि स्रोताचे शब्द जसेच्या तसे ठेवून शोधण्यायोग्यता (traceability) सुनिश्चित करा.

या महिन्यात, आम्ही आमच्या अनुप्रयोगांमध्ये आणि API प्लॅटफॉर्म मध्ये एक नवीन, अत्याधुनिक स्निपेट जनरेटर तैनात केला आहे. या मॉड्यूलचा गाभा म्हणजे एक क्वेरी-जागरूक संदर्भ संपीडन मॉडेल (query-aware context compression model) आहे जे प्रत्येक क्वेरी आणि उमेदवार परिणामासाठी, कोणते स्पॅन जतन केले जावेत याचा निर्णय घेते. हा लेख या गंभीर कार्यावर सर्वोत्तम श्रेणीतील कार्यप्रदर्शन साध्य करण्यासाठी मॉडेल तयार करणे आणि प्रशिक्षण देण्याच्या आमच्या दृष्टिकोनाचे वर्णन करतो.

क्वेरी-जागरूक संपीडन म्हणून स्निपेट्स

व्यवसायाची पहिली पायरी म्हणजे स्वतः कार्याची व्याख्या करणे. आपण या मॉडेलने काय करावे अशी आपली इच्छा आहे, आणि आपण इनपुट आणि आउटपुट स्कीमा कसा परिभाषित केला पाहिजे?

स्निपेट पद्धती दोन मोठ्या श्रेणींमध्ये येतात. पहिली निवड-आधारित आहे: एक संबंधित विंडो, चंक, वाक्य किंवा पॅसेज शोधा आणि ते डाउनस्ट्रीम पास करा. दुसरी पिढी-आधारित आहे: पेजमधून क्वेरी-केंद्रित सारांश लिहिण्यास मॉडेलला सांगा.

अचूकता, लेटन्सी आणि खर्चावर आमचे लक्ष केंद्रित केल्याने डिझाइनची निवड स्पष्ट होते. आपण पिढी (generation) वगळू शकतो, कारण प्रत्येक पृष्ठासाठी नवीन सारांश तयार केल्याने तिन्ही लक्ष्यांवर कार्यप्रदर्शन बिघडते. सारांशकरण हे आपण काळजी घेत असलेल्या पुरावा थरासाठी खराब बसते. हे स्रोताचे पुनर्लेखन करू शकते, ज्यामुळे उद्धरण संरेखन (citation alignment) कठीण होते. हे अशी शब्दरचना देखील समाविष्ट करू शकते जी पृष्ठावर उपस्थित नव्हती, जी अंतिम उत्तराऐवजी स्निपेटचा पुरावा म्हणून वापर केला जातो तेव्हा धोकादायक असते. यामध्ये समाविष्ट असलेली लेटन्सी आणि खर्च पिढीला आणखी अप्रिय बनवतो.

त्याऐवजी, आम्ही आमचे कार्य क्वेरी-जागरूक एक्स्ट्रॅक्टिव्ह संपीडन (query-aware extractive compression) म्हणून परिभाषित करतो: पुनर्प्राप्त संदर्भातील उपयुक्त भाग विचलित करणाऱ्या भागांपासून वेगळे करणे. विशेषतः, आमच्या मॉडेलने क्वेरी आणि उमेदवार निकाल स्वीकारणे आवश्यक आहे, आणि कोणते स्पॅन जतन करायचे, जे क्वेरीला सर्वोत्तम समर्थन देतात आणि कोणते वगळायचे, बाकीचे हे ठरवणे आवश्यक आहे. मॉडेल आउटपुट स्रोत मजकुराचे पुनर्लेखन करण्याऐवजी तो जतन करते. यामुळे निकालाचा हवाला देणे सोपे होते, पडताळणी करणे सोपे होते आणि डाउनस्ट्रीम पास करणे स्वस्त होते.

उदाहरणार्थ, ही क्वेरी आणि पुनर्प्राप्त परिणाम विचारत घ्या:

विस्तृत करा

एक प्रशंसनीय मॉडेल आउटपुट म्हणजे ठळक वाक्य निवडणे: "In Comet, the assistant can ...".

उत्पादन शोध प्रणालीमध्ये स्निपेट जनरेशनसाठी अनुकूलित केलेल्या FliCo, Provence, आणि LooComp सारख्या पूर्व संदर्भ-संपीडन कामासारख्याच विस्तृत कल्पनांचे आमचा दृष्टिकोन अनुसरण करतो. महत्त्वाचे म्हणजे, आमचा कच्च्या पुनर्प्राप्ती टप्प्यानंतर मॉडेल अचूकता टप्प्या म्हणून कार्य करते. आमच्या मागील Perplexity संशोधन लेखात, Introducing the Perplexity Search API मध्ये चर्चा केल्याप्रमाणे, आम्ही उप-दस्तऐवज किंवा स्निपेट स्तरावर मूळपणे कार्य करण्यासाठी आमच्या पुनर्प्राप्ती प्रणालींची रचना केली आहे, ज्यामुळे आम्हाला आधीपासूनच अचूकता आणि रिकॉल अगदी चांगल्या प्रकारे संतुलित करण्याची परवानगी मिळते. क्वेरी-जागरूक संदर्भ संपीडन मॉडेल सादर केल्याने अचूकता-रिकॉल पारेटो सीमा (precision-recall Pareto frontier) आणखी बाहेर जाते.

संदर्भ संपीडन मॉडेल तयार करणे आणि प्रशिक्षण देणे

आम्ही आमच्या तीन मुख्य विचारांना लक्षात घेऊन आमचे मॉडेल विकसित करतो: क्वेरी आणि संदर्भाची संयुक्त समज, बारीक-दराची वाक्य-स्तरीय निवड, आणि अत्यंत कडक लेटन्सी बजेटमध्ये बसण्यासाठी कार्यक्षमता.

मॉडेल आर्किटेक्चर

आम्ही बॅकबोन म्हणून pplx-diffusion मॉडेल वापरतो. हेच मॉडेल कुटुंब pplx-embed-v1 च्या मागे आहे, आणि आमचे पूर्वीचे शैक्षणिक कार्य Diffusion-Pretrained Dense and Contextual Embeddings तसेच आमचे उत्पादन बेंचमार्क्स हे क्वेरी-कॉन्टेक्स्ट जोड्यांसाठी एक मजबूत द्विदिश एन्कोडर असल्याची पुष्टी करतात. या मॉडेल कुटुंबातील एक प्रमुख गुणधर्म म्हणजे द्विदिश संदर्भ: मॉडेल काय ठेवायचे ते ठरवण्यापूर्वी प्रत्येक टोकन प्रतिनिधित्व पूर्ण क्वेरी आणि पूर्ण उमेदवार संदर्भावर लक्ष देऊ शकते.

या बॅकबोनच्या वर, आम्ही एक हलका संपीडन हेड प्रशिक्षित करतो जो संदर्भाचे कोणते भाग ठेवायचे ते भाकीत करतो. यात जनरेशनचा समावेश नसल्यामुळे, ही भाकिते संपूर्ण संदर्भावर समांतररीत्या केली जातात. सर्व्हिंगच्या वेळी, स्निपेट इंजिन ही भाकिते वाक्य पातळीवर एकत्रित करते, एक थ्रेशोल्ड लागू करते, आणि परिणामाला मागितलेल्या टोकन बजेटपर्यंत छाटते.

पर्यवेक्षण पाइपलाइन

या कॉम्प्रेसरला प्रशिक्षण देण्यासाठी योग्य दाणेदारपणावर पर्यवेक्षण आवश्यक आहे. दस्तऐवज-स्तरीय प्रासंगिकता लेबल आमच्या एक्स्ट्रॅक्टिव्ह संपीडन कार्यासाठी स्पष्टपणे अयोग्य आहे. सुपरवाइज्ड लर्निंगसाठी पुरेसा दाणेदार डेटा तयार करण्यासाठी, आम्ही एक स्पॅन लेबलिंग पाइपलाइन तयार केली जी क्वेरी-संबंधित पुरावा स्पॅन चिन्हांकित करते, तसेच विचलित करणारे स्पॅन जे काढले जावेत.

आमची पाइपलाइन LLM-as-a-judge सेटअप वापरते. वापरकर्त्याची क्वेरी आणि त्याच्या लिंक, शीर्षक आणि सारांहासोबत एक उमेदवार वेब पेज दिले असता, न्यायाधीश प्रथम क्वेरी समजून घेतो, क्वेरीचे विश्लेषण करतो आणि संभाव्य वापरकर्ता हेतूंची सूची तयार करतो. या हेतूंवर अँकरिंग करून, न्यायाधीश नंतर उमेदवार संदर्भावर प्रक्रिया करतो आणि मजकुरातून हुबेहूब कॉपी केलेले स्पॅन परत करतो, लेबले तपासणे सोपे करण्यासाठी प्रत्येक स्पॅनसाठी श्रेणीसह.

त्यानंतर आम्ही परत आलेले स्पॅन मूळ मजकुराशी जुळवले. आश्चर्याची गोष्ट नाही की, बहुतेक न्यायाधीशांचे आउटपुट आधीच अचूक प्रती होत्या: साध्या स्ट्रिंग मॅचिंगने ९८% स्पॅन पुनर्प्राप्त केले. साधा रेजेक्स-आधारित जुळणारा पास जोडल्यामुळे स्पॅन पुनर्प्राप्ती १००% झाली. यामुळे आम्हाला विश्वासू, दाणेदार स्पॅन मिळाले जे टोकन-स्तरीय ठेवणे/वगळणे पर्यवेक्षणामध्ये रूपांतरित केले जाऊ शकू शकतात.

मॅन्युअली लेबल केलेल्या स्पॅनसह एका लहान क्युरेट केलेल्या डेटासेटचा वापर करून आम्ही या पर्यवेक्षण पाइपलाइनचे मूल्यांकन केले, लहान न्यायाधीश मॉडेल्स, भिन्न प्रॉम्प्ट आणि भिन्न चरण कॉन्फिगरेशनची तुलना केली. सर्वोत्तम कामगिरी करणारे सेटअप एक दोन-टप्प्यांची पाइपलाइन होती: प्रथम क्वेरी समजणे, त्यानंतर वर्गीकृत स्पॅन लेबलिंग. आम्ही BrowseComp आणि SimpleQA सारख्या डाउनस्ट्रीम सत्यापनीय मूल्यांकनांद्वारे काढलेल्या स्पॅनच्या संचाची पुष्टी केली, जिथे केवळ ठेवलेले पुरावा स्पॅन वापरल्याने इनपुट टोकन्स लक्षणीयरीत्या कमी करताना मजबूत गुण जतन केले.

या पाइपलाइनचा वापर करून, आम्ही 750k क्वेरी-दस्तऐवज जोड्यांवर लेबल लावले आणि बायनरी क्रॉस-एन्ट्रॉपीसह संपीडन हेडला प्रशिक्षण देण्यासाठी परिणामी स्पॅन वापरले. ही प्रक्रिया आमच्या क्वेरी-जागरूक संपीडन मॉडेलला डाउनस्ट्रीम मॉडेलला वापरकर्त्याच्या विनंतीची पूर्तता करण्यास मदत न करण्याची शक्यता असलेल्या संदर्भाला काढून टाकताना स्रोत मजकूर अक्षुण्ण ठेवण्याची परवानगी देते.

रिअलटाईम लेटन्सी सुनिश्चित करणे

संदर्भ संपीडन हे डाउनस्ट्रीम मॉडेलच्या आधी बसते, ज्यामुळे ती एक ब्लॉकिंग ऑपरेशन बनते. शिवाय, प्रत्येक संपीडन हे क्वेरी-अवलंबून असते. त्यामुळे, ऑनलाइन मार्गाला एका कडक लेटन्सी लिफाफ्यामध्ये प्रत्येक उमेदवार दस्तऐवजासाठी क्वेरी-संदर्भ जोड्यांचे स्कोअरिंग करावे लागते. एक संथ संपीडन मॉडेल स्वतःला पराभूत करणारे असते, कारण उच्च अचूकतेपासून मिळणारे लेटन्सी फायदे हे संपीडन लेटन्सीमुळेच नाहीसे होतात. त्याच वेळी, कमी बुद्धिमान संपीडन मॉडेल कशाची छाटणी करावी आणि काय राखावे यावर खराब निर्णय घेईल.

व्यावहारिक प्रश्न असा आहे की संपीडन गुणवत्ता निकृष्ट होण्यापूर्वी आपण किती मॉडेल क्षमता सुरक्षितपणे काढू शकतो. आम्ही लेयर प्रूनिंगद्वारे उत्पादित केलेल्या आणि शोध मार्गावर लक्ष केंद्रित केलेल्या 11-लेयर आणि 17-लेयर प्रकारांच्या विरोधात संपूर्ण 28-लेयर pplx-डिफ्यूजन बॅकबोआनची तुलना करतो. प्रत्येकासाठी, आम्ही संपीडन थ्रेशहोल्डवर स्वीप करतो आणि दोन प्रमाण मोजतो: प्रति क्वेरी डाउनस्ट्रीम पाठवलेल्या संदर्भ टोकन्सची सरासरी संख्या, आणि संपीडनानंतर जतन केलेल्या उपयुक्त पुराव्याचा अंश.

आकृती २ गुणवत्ता-कार्यक्षमता सीमा दर्शवते. जेव्हा एखादे मॉडेल वरच्या डाव्या बाजूला सरकते तेव्हा ते अधिक चांगले असते: अधिक उपयुक्त पुरावा जतन केलेले कमी डाउनस्ट्रीम टोकन्स. 28-लेयर मॉडेल गुणवत्ता संदर्भ प्रदान करते. 11-लेयर मॉडेल मॉडेल खूप आक्रमकपणे संकुचित करण्याचे धोके प्रदर्शित करते. छाटलेले 17-लेयर मॉडेल मध्यम मार्ग दर्शवते: हे सॅच्युरेटेड राज्यामध्ये 28-लेयर मॉडेलचा जवळून मागोवा घेते, परंतु वक्रच्या तीव्र भागात जिथे बहुतेक उत्पादन रहदारी चालते तिथे एक छोटी पोकळी उघडते.

ती पोकळी बंद करण्यासाठी, आम्ही टोकन-स्तरीय ज्ञान डिस्टिलेशन (knowledge distillation) नियुक्त करतो. आमचा दृष्टिकोन नियमित आहे: आम्ही डिस्टिलेशन गुणोत्तराद्वारे भारित केलेल्या शिक्षक मॉडेलच्या भविष्यवाण्यांवर सॉफ्ट क्रॉस-एन्ट्रॉपी टर्मसह मानक हानी वाढवतो. विद्यार्थी मॉडेलला समता आणण्यासाठी हे पुरेसे आहे, ज्यामुळे आम्हाला उत्पादनात डिस्टिल्ड 17-लेयर मॉडेलवर पूर्णपणे स्विच करण्याची परवानगी मिळते. हे नवीन उत्पादन मॉडेल 28-लेयर शिक्षकाच्या तुलनेत गुणवत्तेत कोणतीही घट न करता इन्फरन्स लेटन्सीमध्ये 35-40% घट आणि एकूण GPU संगणनात 40-45% घट उत्पन्न करते. उत्पादन लेटन्सी 20 मिलीसेकंदांपेक्षा कमी (p99) नोंदवली जाते: उत्तर मॉडेलकडे पाठवलेले एकूण टोकन्स मोठ्या प्रमाणावर कमी करताना सर्व्हिंग मार्गात जोडण्यासाठी इतके लहान.

विस्तृत करा

गुणवत्ता आणि टोकन कार्यक्षमता

संदर्भ संपीडनाच्या प्रभावीतेचे विश्लेषण करण्यासाठी आम्ही Perplexity चे Agent API टेस्टबेड म्हणून वापरतो. आम्ही तीन Agent API प्रीसेट्सचे मूल्यांकन करतो:

एक "कमी" संदर्भ प्रीसेट जे प्रत्येक परिणाम संचासाठी टोकन बजेट 1000 टोकन्सपर्यंत मर्यादित करते.

एक "मध्यम" संदर्भ प्रीसेट जे प्रत्येक परिणाम संचासाठी टोकन बजेट 4000 टोकन्सपर्यंत मर्यादित करते.

एक "उच्च" संदर्भ प्रीसेट जे प्रत्येक परिणाम संचासाठी टोकन बजेट 10000 टोकन्सपर्यंत मर्यादित करते.

मानक, संपीडन-रहित आणि संपीडन सेटिंग्ज दोन्ही या टोकन बजेटचा आदर करण्यासाठी कॉन्फिगर केले आहेत.

एजंट बहु-चरण शोध (BrowseComp)

सर्वप्रथम, आम्ही BrowseComp बेंचमार्कवर एजेंटिक बहुपायरी शोध वर्कफ्लोवर संपीडनाचा परिणाम तपासतो. आम्ही हे मूल्यमापन आमच्या ओपन-सोर्स search_evals हार्नेसचा वापर करून करतो. ग्रेडिंग सर्व रनमध्ये एकसारखे आहे, OpenAI च्या canonical BrowseComp LLM judge prompt चा वापर करून.

आस्थेचे दोन परिमाण म्हणजे बेंचमार्क अचूकता आणि टोकन वापर. महत्त्वाचे म्हणजे, विनंती जीवनचक्रादरम्यान होणारा वास्तविक टोकन भार मोजण्यासाठी आम्ही वैयक्तिक चरण स्तराऐवजी क्वेरी स्तरावर टोकन वापर मोजतो. आकृती ३ "स्कोर-टोकन" सीमा, अचूकता गुण बनाम टोकन वापर दर्शवते.

विस्तृत करा

संपीडन सर्व आघाड्यांवर नवीन पारेटो सीमा वितरीत करते. प्रत्येक सेटिंगसाठी, संपीडन सादर केल्याने क्वेरी-स्तरीय टोकन वापर 10% ते 70% पर्यंत कोठेही कमी होतो, अचूकता नफा 4 आणि 4.81 टक्के गुणांच्या दरम्यान नोंदवला जातो. संपीडन सादर केल्याने आमच्या "कमी" प्रीसेटला देखील संपीडन-रहित "उच्च" प्रीसेटपेक्षा सरस कामगिरी करण्यास अनुमती मिळते, हे सर्व टोकन वापर तीन पट पेक्षा जास्त कमी करताना.

आम्ही निरीक्षण करतो की संपीडनासह, आपण अपेक्षा करू शकतो त्याप्रमाणे "उच्च" हे "मध्यम" पेक्षा जास्त अचूकता देते. आश्चर्याची बातमी म्हणजे, तथापि, ते कमी टोकन वापरावर असे करते. हे संपीडनाचा एक सूक्ष्म परंतु महत्त्वाचा प्रभाव उघड करतो: संपीडनासह, अगदी प्रति-चरण संदर्भ आकार वाढवल्यामुळे मॉडेलला योग्य निकालापर्यंत पोहोचण्यासाठी कमी चरणे घेण्यास सक्षम करू शकते. या नॉन-मोनोटोनिसिटीचा शोध घेणे ही भविष्यातील कामासाठी एक आशादायक दिशा आहे.

SimpleQA: एकल-चरण तथ्यात्मकता

BrowseComp बहु-चरण संशोधनावर भर देते, तरीही अनेक उत्पादन वर्कफ्लोमध्ये एकल-चरण तथ्यात्मक शोध समाविष्ट असतो. संपीडन एकल-चरण राज्यामध्ये देखील मदत करते का हे ठरवण्यासाठी, आम्ही SimpleQA वर कार्यप्रदर्शनाची देखील परीक्षा करतो, जे एक बेंचमार्क आहे ज्यामध्ये एजंट लूपऐवजी एकाच शोध चरणात उत्तरे दिली जाणारी 4,326 प्रश्न आहेत.

पूर्वीप्रमाणेच, आम्ही कॅनॉनिकल जज प्रॉम्प्ट वापरून प्रति कार्य सरासरी एकूण टोकन्स विरुद्ध अचूकता प्लॉट करतो. आकृती ४ या एकल-चरण सेटिंगमध्ये स्कोअर-टोकन सीमा दर्शवते. जरी प्रभाव आकार एकल-चरण सेटिंगमध्ये अधिक संकुचित असले, तरी आम्ही पुन्हा निरीक्षण करतो की संपीडन एकाच वेळी सर्व प्रीसेट्समध्ये अचूकता आणि कार्यक्षमता सुधारते, अशा प्रकारे नवीन पारेटो सीमा सादर करते. संपीडन सक्षम केल्यावर, मध्यम प्रीसेट प्रति दस्तऐवज केवळ 200 टोकन्सच्या सरासरीसह 95% अचूकता प्राप्त करतो. 10,000 पेक्षा जास्त टोकन्सच्या सरासरी दस्तऐवज लांबीचा विचार करता, हे 50 पेक्षा जास्त संपीडन गुणोत्तरावर सीमा-स्तरीय कार्यप्रदर्शन दर्शवते.

विस्तृत करा

स्निपेट्समध्ये काय संपते?

विभाग 4.1 आणि 4.2 मधील डाउनस्ट्रीम नफा एंड-टू-एंड आहेत. संपीडन वैयक्तिक स्निपेट्स कसे बदलते हे समजून घेण्यासाठी, आम्ही एक वेगळे मूल्यांकन चालवतो जे प्रत्येक पुनर्प्राप्त स्निपेटच्या प्रत्येक टोकनला सहा श्रेणींपैकी एकामाध्ये वर्गीकृत करण्यासाठी LLM जज वापरते:

महत्त्वपूर्ण: वापरकर्त्याच्या क्वेरीला उत्तर देण्यासाठी आवश्यक असलेला पुरावा.

विषयाबाहेरील: अशी माहिती जी इतर काही उद्देशांसाठी उपयुक्त असू शकते परंतु हाताशी असलेल्या क्वेरीशी संबंधित नाही.

जहिराती: वापरकर्त्याच्या क्वेरीला उत्तर देण्यापासून विचलित करणाऱ्या अप्रासंगिक जाहिराती.

मेटाडेटा: दस्तऐवजाच्या सामग्रीबद्दल मेटाडेटा.

UI आणि नेव्हिगेशन: फ्रंटएंड डिस्प्ले आणि नेव्हिगेशनसाठी घटक.

डुप्लिकेट: पूर्वी समाविष्ट केलेल्या माहितीची पुनरावृत्ती.

आमचे मूल्यांकन आमच्या प्रमाणीकरण सेटमधून 1,000 मिश्र-डोमेन क्वेरींवर चालते, संपीडन अक्षम केलेल्या अन्यथा-समान बेसलाइन विरुद्ध उत्पादन स्टॅकची तुलना करते. आकृती ५ मध्ये दर्शविल्याप्रमाणे, संपीडन संपीडन-रहित बेसलाइनच्या तुलनेत प्रति स्निपेट महत्त्वपूर्ण टोकन्सचे प्रमाण सरासरी 63% ने वाढवते. आम्ही अप्रासंगिक टोकन्समध्ये 29% ची संबंधित घट पाहतो, ज्यामध्ये UI/नेव्हिगेशन (-58%), मेटाडेटा (-46%) आणि जाहिराती (-43%) मध्ये विशेषतः तीव्र घट झाली आहे. हे निकाल वर चर्चा केलेल्या गुणवत्ता-कार्यक्षमता सुधारणांसाठी यंत्रणेची पुष्टी करतात: संपीडन प्रत्येक वैयक्तिक स्निपेटचे सिग्नल-टू-नॉइज गुणोत्तर तीव्रतेने वाढवून दोन्ही परिमाणांवर कार्यप्रदर्शन सुधारते.

विस्तृत करा

आकृती ६ एका वैयक्तिक क्वेरीसाठी हा बदल स्पष्ट करते. "6 day old newborn milk intake per feeding" या क्वेरीसाठी, आम्ही संपीडन-रहित, बेसलाइन आणि संपीडित स्निपेट्स दोन्ही दाखवतो. संपीडन गैर-महत्वपूर्ण सामग्री श्रेणींना काढून टाकते आणि केवळ नवजात बालकाशी संबंधित Alimentation माहिती राखून ठेवते. महत्त्वाचे म्हणजे, संपीडन अशा सामग्रीला यशस्वीरित्या काढून टाकते जी पृष्ठासाठी सामान्यपणे विषयावर असू शकते, परंतु या विशिष्ट नवजात-केंद्रित क्वेरीसाठी विषयाबाहेर असू शकते.

विस्तृत करा

निष्कर्ष

AI प्रणाली वापरकर्त्याच्या विनंतीची बुद्धिमत्ता आणि कार्यक्षमतेने पूर्तता करण्यासाठी उच्च-सिग्नल माहितीवर अवलंबून असतात. प्रत्येक विनंतीशी प्रासंगिकता जास्तीत जास्त करण्यासाठी ही माहिती शक्य तितक्या अचूकपणे प्रस्तुत करणे आवश्यक आहे. आमची नवीन क्वेरी-जागरूक संपीडन मॉडेल प्रति स्निपेट विषयावरील पुरावा जास्तीत जास्त करून आणि अप्रासंगिक विचलित करणाऱ्या घटकांना आक्रमकपणे काढून टाकून तंतोतंत हेच करतात.

आमच्या शोध स्टॅकच्या सुविधेत ही नवीन मॉडेल तैनात करून, आम्ही आमच्या उत्पादनांवर आणि API वर अवलंबून असलेल्यांना जलद आणि उत्तम प्रतिसाद प्रदान करण्यास सक्षम आहोत. आमचा दृष्टिकोन एक साधा नियंत्रण पृष्ठ तयार करतो, ज्यामुळे आमच्या प्रणाली आणि API ग्राहकांना रिकॉल, लेटन्सी आणि खर्च यांच्यात संतुलन साधण्यासाठी संपीडनाची श्रेणी ट्यून करण्याची परवानगी मिळते.

संदर्भ क्युरेशन हे एक विकसित होणारे क्षेत्र आहे, आणि आजच्या सीमा गुप्तचर प्रणालींमध्ये वापरल्या जाणाऱ्या प्रत्येक टोकनचे मूल्य अनुकूल करण्यासाठी बरेच काही करणे बाकी आहे. या मॉडेलचा आणखी व्यापक वापर करण्यासाठी मॉडेल सुधारणा आणि सिस्टम आर्किटेक्चर या दोन्हीद्वारे आमचे संदर्भ क्युरेशन तंत्र आणखी चांगले बनवण्यासाठी आम्ही सक्रियपणे काम करत आहोत.

संदर्भ

N. Chirkova, T. Formal, V. Nikoulina, and S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Accepted to ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, and D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, and D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, and G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

उद्धरण

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}