சிறந்த துணுக்குகளுக்கான வினவ-அறிந்த சூழல் சுருக்கம்

ஒவ்வொரு பதிலும் சாட்சியத்துடன் தொடங்குகிறது. தேடல் அமைப்பில், இந்த சாட்சியம் வழக்கமாக ஆவணங்களிலிருந்து வருகிறது: தலைப்புகள், சுருக்கங்கள், பகுதிகள் மற்றும் துணுக்குகள் சூழலாக ஒரு பதில் மாதிரி அல்லது முகவருக்கு அனுப்பப்படுகின்றன.

இந்த மூலச் சூழல் இரைச்சலாக உள்ளது. உதாரணமாக, ஒரு வலைப்பக்கம் பயனரின் கோரிக்கைக்குத் தேவையான தகவலைக் கொண்டிருக்கலாம், ஆனால் அது கவனத்தைச் சிதறடிக்கும் விஷயங்களையும் கொண்டிருக்கலாம். இந்த கவனச்சிதறல்கள் முதன்மை உடற்பகுதியிலும், உலாவி உரை கூறுகள், பொருத்தமற்ற விளம்பரங்கள், மெட்டாடேட்டா மற்றும் பல போன்ற துணை கூறுகளிலும் தோன்றலாம். இந்த கவனச்சிதறல்களை கீழ்நிலை முகவருக்கு அனுப்புவது மூன்று சிக்கல்களை உருவாக்குகிறது.

முதலாவதாக, இது துல்லியத்தை பாதிக்கிறது. மிக வலிமையான மாடல்களுக்குக்கூட வரையறுக்கப்பட்ட திறனே உள்ளது. தொடர்பற்ற தகவல்களின் நீண்ட ஓடைகள் மாடலின் திறனை வீணாக்கி, “context rot” எனப்படும் நிலையை உருவாக்குகின்றன; இது உண்மையான பயனர் கோரிக்கையை கையாளும் மாடலின் திறனை குறைக்கிறது. இதன் விளைவாக, இறுதி பதில் முக்கியமான உண்மைகளை தவறவிடவும், குறைந்த தரமான தகவலுக்கு அளவுக்கு மீறி முக்கியத்துவம் அளிக்கவும், அல்லது மூலத்தில் அடிப்படையாக்க கடினமான கூற்றுகளை உருவாக்கவும் அதிக வாய்ப்புள்ளது.

இரண்டாவதாக, இது தாமதத்தை பின்னோக்கித் தள்ளுகிறது. நீண்ட சூழல் என்பது கீழ்நிலை மாதிரி செயலாக்க வேண்டிய கூடுதல் டோக்கன்களைக் குறிக்கிறது, குறிப்பாக பல வேட்பாளர் பக்கங்களிலிருந்து ஒரு வினவலுக்குச் சாட்சியம் தேவைப்படும்போது. இந்த தாமதச் செலவின் ஒரு பகுதி ப்ரீஃபில் கட்டத்தில் ஏற்கப்பட்டாலும், காரணத்தில் மிகக் குறிப்பிடத்தக்க செலவு செலுத்தப்படுகிறது, பொருத்தமற்ற சூழலைக் கையாளுவதற்கு மாதிரிகளுக்கு அதிக காரண டோக்கன்கள் தேவைப்படுகின்றன.

மூன்றாவதாக, இது செலவை உயர்த்துகிறது. மாடலுக்குக் கடத்தப்படும் ஒவ்வொரு தேவையற்ற token-உம், அதிக இரைச்சலான context உடன் input token மற்றும் reasoning token பயன்பாடு இரண்டும் அதிகரிப்பதால், பயனரின் கோரிக்கையை சேவையளிப்பதை மேலும் செலவானதாக மாற்றுகிறது. distractors தரத்தை மட்டும் குறைப்பதில்லை; அந்தக் குறைந்த தரத்துக்காகவே நீங்கள் மேலும் அதிகம் செலுத்த வேண்டிய நிலையை உருவாக்குகின்றன.

விரிவாக்கு

Perplexity-யின் பயன்பாடுகள் மற்றும் API Platform முழுவதிலும் துல்லியம், வேகம், மற்றும் செலவுத் திறன் ஆகியவற்றை ஒரே நேரத்தில் முன்னேற்ற, context precision-ஐ மேம்படுத்துவதில் நாங்கள் பெரிதும் முதலீடு செய்கிறோம். அதனைச் செய்வதற்கான ஒரு வழி, எங்களின் snippet generation அல்காரிதம்களை நயப்படுத்துவதுதான். snippet generation-ஐ நாங்கள் context compression பிரச்சினையாகக் கருதுகிறோம். குறிப்பிட்ட தகவலைத் தேடும் மாடல்களுக்கு, ஒரு ஆவணத்தின் பொதுப்படுத்தப்பட்ட சுருக்கங்களோ அல்லது பகுதித்துண்டுகளோ பயன்படுவதில்லை. மாறாக, பயனரின் கோரிக்கைக்குப் பதிலளிக்க, மூலத் தகவலின் மிகச் சிறிய, மிகத் துல்லியமாக எடுத்தெடுக்கப்பட்ட பகுதி அவர்களுக்கு தேவைப்படுகிறது. மற்ற அனைத்தும் அகற்றப்படலாம், அகற்றப்பட வேண்டும்.

எனவே ஒரு நல்ல துணுக்கு மூன்று விஷயங்களைச் செய்ய வேண்டும்:

மாதிரியின் பதிலுக்கு அடித்தளம் அமைக்கத் தேவையான துல்லியமான சாட்சியத்தை வழங்குவதன் மூலம் துல்லியத்தை ஊக்குவிக்கவும்.

LLM அழைப்புக்கு முன்பு பொருத்தமற்ற சூழலை அகற்றுவதன் மூலம் தாமதத்தையும் செலவையும் குறைக்கவும்.

மேற்கோள் நம்பகத்தன்மையைப் பாதுகாப்பதன் மூலமும் மூல வார்த்தைகளைப் அப்படியே வைத்திருப்பதன் மூலமும் கண்டறியும் தன்மையை உறுதிப்படுத்தவும்.

இந்த மாதம், எங்கள் பயன்பாடுகள் மற்றும் API Platform இல் புதிய, அதிநவீன துணுக்கு ஜெனரேட்டரை நாங்கள் 배포 (deploy) செய்துள்ளோம். இந்த தொகுதியின் மையமானது வினவ-அறிந்த சூழல் சுருக்க மாதிரியாகும், இது ஒவ்வொரு வினவலுக்கும் வேட்பாளர் முடிவுக்கும், எந்த இடைவெளிகள் பாதுகாக்கப்பட வேண்டும் என்பதைத் தீர்மானிக்கிறது. இந்த முக்கியமான பணியில் சிறந்த செயல்திறனை அடைய மாதிரியை உருவாக்குவதற்கும் பயிற்சி அளிப்பதற்கும் எங்கள் அணுகுமுறையை இந்தக் கட்டுரை விவரிக்கிறது.

வினவ-அறிந்த சுருக்கமாக துணுக்குகள்

முதலில் செய்ய வேண்டியது பணியை வரையறுப்பதாகும். இந்த மாதிரி என்ன செய்ய வேண்டும் என்று நாங்கள் விரும்புகிறோம், மேலும் உள்ளீடு மற்றும் வெளியீட்டு திட்டத்தை நாங்கள் எவ்வாறு வரையறுக்க வேண்டும்?

துணுக்கு முறைகள் இரண்டு பரந்த குடும்பங்களாகப் பிரிகின்றன. முதலாவது தேர்வு அடிப்படையிலானது: பொருத்தமான சாளரம், பகுதி, வாக்கியம் அல்லது பத்தியைக் கண்டுபிடித்து, அதை கீழ்நோக்கி அனுப்பவும். இரண்டாவதாக உருவாக்கம் அடிப்படையிலானது: பக்கத்திலிருந்து வினவலை மையமாகக் கொண்ட சுருக்கத்தை எழுத ஒரு மாதிரியைக் கேட்பது.

துல்லியம், latency, மற்றும் செலவு ஆகியவற்றின் மீது எங்களின் கவனம், வடிவமைப்பு முடிவை தெளிவாக்குகிறது. ஒவ்வொரு பக்கத்திற்கும் புதிய சுருக்கத்தை உருவாக்குவது இந்த மூன்று கவனப் பகுதிகளிலும் செயல்திறனை பாதிப்பதால், generation-ஐ நாம் நிராகரிக்க முடியும். Summarization நாம் கவலைப்படுகின்ற evidence layer-க்கு பொருத்தமற்றது. அது source-ஐ paraphrase செய்யக்கூடும், இதனால் citation alignment கடினமாகிறது. மேலும், பக்கத்தில் இருந்தே இல்லாத சொற்களை அது அறிமுகப்படுத்தக்கூடும்; snippet final answer ஆக அல்ல, evidence ஆகப் பயன்படுத்தப்படும்போது இது ஆபத்தானது. இதில் உட்படும் latency மற்றும் செலவு, generation-ஐ இன்னும் ஏற்றுக்கொள்ள முடியாததாக ஆக்குகிறது.

மாறாக, எங்கள் பணியை வினவ-அறிந்த சாறு பிரித்தெடுத்தல் சுருக்கமாக நாங்கள் வரையறுக்கிறோம்: மீட்கப்பட்ட சூழலின் பயனுள்ள பகுதிகளை திசைதிருப்பும் பகுதிகளிலிருந்து பிரிப்பது. குறிப்பாக, எங்கள் மாதிரி ஒரு வினவல் மற்றும் வேட்பாளர் முடிவை ஏற்க வேண்டும், மேலும் எந்த இடைவெளிகளைப் பாதுகாக்க வேண்டும், வினவலைச் சிறப்பாக ஆதரிப்பவை மற்றும் எதை கைவிட வேண்டும், மீதமுள்ளவை என்பதைத் தீர்மானிக்க வேண்டும். மாதிரி வெளியீடு மூல உரையை மீண்டும் எழுதுவதற்குப் பதிலாகப் பாதுகாக்கிறது. இது முடிவை மேற்கோள் காட்டுவதை எளிதாக்குகிறது, சரிபார்க்க எளிதாக்குகிறது மற்றும் கீழ்நோக்கி அனுப்புவதற்கு மலிவானதாக்குகிறது.

உதாரணமாக, இந்த வினவல் மற்றும் மீட்கப்பட்ட முடிவைக் கவனியுங்கள்:

விரிவாக்கு

தடிக்கப்பட்ட வாக்கியத்தைத் தேர்ந்தெடுப்பது ஒரு நம்பத்தகுந்த மாதிரி வெளியாடாக இருக்கும்: “In Comet, the assistant can ...”.

உற்பத்தி தேடல் அமைப்பில் துணுக்கு உருவாக்கத்திற்காக மாற்றியமைக்கப்பட்ட FliCo, Provence, மற்றும் LooComp போன்ற முந்தைய சூழல்-சுருக்கப் பணியைப் போன்றே எங்கள் அணுகுமுறையும் பரந்த யோசனையைப் பின்பற்றுகிறது. முக்கியமாக, எங்கள் மூல மீட்டெடுப்பு கட்டத்திற்குப் பிறகு மாதிரி ஒரு துல்லியமான கட்டமாக செயல்படுகிறது. எங்களின் முந்தைய Perplexity Research கட்டுரையில் விவாதிக்கப்பட்டபடி, Introducing the Perplexity Search API, ஆவணத்திற்குக் கீழே உள்ள அல்லது துணுக்கு மட்டத்தில் இயங்கும்படி எங்கள் மீட்டெடுப்பு அமைப்புகளை நாங்கள் வடிவமைக்கிறோம், இது துல்லியம் மற்றும் நினைவுகூர்தலை நன்றாக சமன் செய்ய ஏற்கனவே அனுமதிக்கிறது. வினவ-அறிந்த சூழல் சுருக்க மாதிரியை அறிமுகப்படுத்துவது துல்லியம்-நினைவுகூர்தல் பரேட்டோ எல்லையை இன்னும் வெளிப்புறமாக மாற்றுகிறது.

சூழல் சுருக்க மாதிரியை உருவாக்குதல் மற்றும் பயிற்சி அளித்தல்

மூன்று முக்கியக் கருத்திகளுடன் நாங்கள் எங்கள் மாதிரியை உருவாக்குகிறோம்: வினவல் மற்றும் சூழலின் கூட்டுப் புரிதல், நுண்ணிய மட்டத்திலான வாக்கியத் தேர்வு, மற்றும் மிகவும் குறுகிய தாமத வரம்பிற்குள் பொருந்துவதற்கான திறன்.

மாதிரி கட்டமைப்பு

நாங்கள் ஒரு pplx-diffusion மாதிரியை பின்புலமாகப் பயன்படுத்துகிறோம். இது pplx-embed-v1 பின்னால் உள்ள அதே மாதிரி குடும்பமாகும், மேலும் எங்கள் முந்தைய கல்விப் பணி, Diffusion-Pretrained Dense and Contextual Embeddings, மற்றும் எங்கள் தயாரிப்பு பெஞ்ச்மார்க்குகள் இரண்டும் இது வினவல்-சூழல் ஜோடிகளுக்கு வலுவான இருவழி குறியீட்டாளர் என்பதை உறுதிப்படுத்துகின்றன. இந்த மாதிரி குடும்பத்தின் முக்கிய பண்புகளில் ஒன்று இருவழி சூழலாகும்: மாதிரி என்ன வைக்கப்பட வேண்டும் என்பதைத் தீர்மானிப்பதற்கு முன்பு ஒவ்வொரு டோக்கன் பிரதிநிதித்துவமும் முழு வினவலையும் முழு வேட்பாளர் சூழலையும் கவனித்துக்கொள்ள முடியும்.

இந்த பின்புலத்தின் மேல், சூழலின் எந்தப் பகுதிகள் வைக்கப்பட வேண்டும் என்பதை முன்னறிவிக்கும் இலகுரக சுருக்கத் தலைக்கு நாங்கள் பயிற்சி அளிக்கிறோம். உருவாக்கம் எதுவும் இதில் இல்லாததால், இந்த கணிப்புகள் முழு சூழலிலும் இணையாக செய்யப்படுகின்றன. சேவை செய்யும் நேரத்தில், துணுக்கு எஞ்சின் இந்த கணிப்புகளை வாக்கிய மட்டத்தில் திரட்டுகிறது, ஒரு வரம்பைப் பயன்படுத்துகிறது, மற்றும் கோரப்பட்ட டோக்கன் பட்ஜெட்டுக்கு முடிவைக் கத்தரிக்கிறது.

கண்காணிப்பு பைப்லைன் (pipeline)

இந்த கம்ப்ரஸருக்குப் பயிற்சி அளிக்க சரியான சிறுமணி மட்டத்தில் கண்காணிப்பு தேவைப்படுகிறது. ஆவண மட்டத்திலான பொருத்தமான லேபிள் எங்கள் சாறு பிரித்தெடுத்தல் சுருக்கப் பணிக்கு முற்றிலும் பொருத்தமற்றது. மேற்பார்வையிடப்பட்ட கற்றலுக்கு போதுமான சிறுமணி தரவை உருவாக்க, வினவலுக்குப் பொருத்தமான சாட்சிய இடைவெளிகளையும், அகற்றப்பட வேண்டிய கவனச்சிதறல் இடைவெளிகளையும் குறிக்கும் ஒரு இடைவெளி லேபிளிங் பைப்லைனை நாங்கள் உருவாக்கினோம்.

எங்கள் பைப்லைன் LLM-as-a-judge அமைப்பைப் பயன்படுத்துகிறது. பயனர் வினவல் மற்றும் அதன் இணைப்பு, தலைப்பு மற்றும் சுருக்கத்துடன் கூடிய வேட்பாளர் வலைப்பக்கத்தைக் கொடுத்து, நடுவர் முதலில் வினவலைப் புரிந்துகொண்டு, வினவலைப் பகுப்பாய்வு செய்து சாத்தியமான பயனர் நோக்கங்களின் பட்டியலை உருவாக்குகிறார். இந்த நோக்கங்களை அடிப்படையாகக் கொண்டு, நடுவர் பின்னர் வேட்பாளர் சூழலைச் செயலாக்கி, உரலிருந்து அப்படியே நகலெடுக்கப்பட்ட இடைவெளிகளைத் திருப்பி அனுப்புகிறார், லேபிள்களை ஆய்வு செய்வதை எளிதாக்க ஒவ்வொரு இடைவெளிக்கும் ஒரு வகையுடன்.

பின்னர் திரும்பப் பெறப்பட்ட இடைவெளிகளை மூல உரையுடன் பொருத்தினோம். ஆச்சரியப்படும் விதமாக, பெரும்பாலான நடுவர் வெளியீடுகள் ஏற்கனவே சரியான நகல்களாக இருந்தன: எளிய சரம் பொருத்துதல் 98% இடைவெளிகளை மீட்டெடுத்தது. எளிய ரெஜெக்ஸ் அடிப்படையிலான பொருத்தும் பாஸைச் சேர்ப்பது இடைவெளி மீட்டெடுப்பை 100% ஆகக் கொண்டு வந்தது. இது டோக்கன் மட்டத்திலான வை/விடு கண்காணிப்பாக மாற்றக்கூடிய நம்பகமான, சிறுமணி இடைவெளிகளை எங்களுக்கு வழங்கியது.

கைமுறையாக லேபிளிடப்பட்ட இடைவெளிகளைக் கொண்ட சிறிய தொகுக்கப்பட்ட தரவுத்தொகுப்பைப் பயன்படுத்தி இந்த கண்காணிப்பு பைப்லைனை நாங்கள் மதிப்பீடு செய்தோம், சிறிய நடுவர் மாதிரிகள், வெவ்வேறு தூண்டுதல்கள் மற்றும் வெவ்வேறு படி உள்ளமைவுகளை ஒப்பிட்டோம். சிறந்த செயல்திறன் கொண்ட அமைப்பு இரண்டு-கட்ட பைப்லைன் ஆகும்: முதலில் வினவலைப் புரிந்துகொள்வது, அதைத் தொடர்ந்து வகைப்படுத்தப்பட்ட இடைவெளி லேபிளிங். BrowseComp மற்றும் SimpleQA போன்ற கீழ்நிலை சரிபார்க்கக்கூடிய மதிப்பீடுகள் மூலமாகவும் பிரித்தெடுக்கப்பட்ட இடைவெளிகளின் தொகுப்பை நாங்கள் சரிபார்த்தோம், அங்கு வைக்கப்பட்ட சாட்சிய இடைவெளிகளை மட்டும் பயன்படுத்துவது உள்ளீட்டு டோக்கன்களைக் கணிசமாகக் குறைக்கும் அதே வேளையில் வலுவான மதிப்பெண்களைப் பாதுகாத்தது.

இந்த பைப்லைனைப் பயன்படுத்தி, 750k வினவல்-ஆவண ஜோடிகளுக்கு நாங்கள் லேபிளிடப்பட்டோம் மற்றும் பைனரி கிராஸ்-எண்ட்ரோபி மூலம் சுருக்கத் தலைக்கு பயிற்சி அளிக்க இதன் விளைவாக வரும் இடைவெளிகளைப் பயன்படுத்துகிறோம். பயனரின் கோரிக்கைக்கு சேவை செய்ய கீழ்நிலை மாதிரிக்கு உதவ வாய்ப்பில்லாத சூழலை அகற்றும் அதே வேளையில், மூல உரையை அப்படியே வைத்திருக்க எங்கள் வினவ-அறிந்த சுருக்க மாதிரியை இந்த செயல்முறை அனுமதிக்கிறது.

நிகழ்நேர தாமதத்தை உறுதி செய்தல்

சூழல் சுருக்கம் கீழ்நிலை மாதிரிக்கு முன்பு அமைகிறது, இது ஒரு தடுப்பு செயல்பாடாக மாற்றுகிறது. மேலும், ஒவ்வொரு சுருக்கமும் வினவலைப் பொறுத்தது. எனவே, ஆன்லைன் பாதையானது ஒரு துல்லியமான தாமத உறைக்குள் ஒவ்வொரு வேட்பாளர் ஆவணத்திற்கும் வினவல்-சூழல் ஜோடிகளுக்கு மதிப்பெண் வழங்க வேண்டும். மெதுவான சுருக்க மாதிரி சுய-தோல்வியாகும், ஏனெனில் அதிக துல்லியத்திலிருந்து பெறப்படும் தாமத நன்மைகள் சுருக்க தாமதத்திகலேயே அழிக்கப்படுகின்றன. அதே நேரத்தில், குறைவான நுண்ணறிவு கொண்ட சுருக்க மாதிரி எதை வெட்டுவது மற்றும் தக்க வைத்துக் கொள்வது என்பதில் மோசமான முடிவுகளை எடுக்கும்.

சுருக்கத் தரம் மோசமடையத் தொடங்குவதற்கு முன்பு நாம் எவ்வளவு மாதிரித் திறனைப் பாதுகாப்பாக அகற்ற முடியும் என்பது நடைமுறை கேள்வியாகும். முழு 28-அடுக்கு pplx-diffusion பின்புலத்தையும் லேபிள் கவாத்து மூலம் உற்பத்தி செய்யப்பட்ட மற்றும் தேடல் பாதையை இலக்காகக் கொண்ட 11-அடுக்கு மற்றும் 17-அடுக்கு வகைகளுக்கு எதிராக நாங்கள் ஒப்பிடுகிறோம். ஒவ்வொரு முறையும், நாங்கள் சுருக்க வரம்பின் மீது ஸ்வீப் செய்து இரண்டு அளவுகளை அளவிடுகிறோம்: வினவலுக்கு கீழ்நோக்கி அனுப்பப்பட்ட சராசரி சூழல் டோக்கன்களின் எண்ணிக்கை, மற்றும் சுருக்கத்திற்குப் பிறகு பாதுகாக்கப்பட்ட பயனுள்ள சாட்சியத்தின் விகிதம்.

படம் 2 தரம்-திறன் எல்லையைக் காட்டுகிறது. ஒரு மாதிரி மேல் இடதுபுறத்தை நோக்கி நகரும்போது சிறந்தது: அதிக பயனுள்ள சாட்சியங்களுடன் குறைவான கீழ்நிலை டோக்கன்கள் பாதுகாக்கப்படுகின்றன. 28-அடுக்கு மாதிரி தர குறிப்பை வழங்குகிறது. 11-அடுக்கு மாதிரி மாதிரியை மிகக் கடுமையாகச் சுருக்கியதன் அபாயங்களைக் காட்டுகிறது. கவாத்து செய்யப்பட்ட 17-அடுக்கு மாதிரி ஒரு நடுநிலையைக் குறிக்கிறது: இது நிறைவுற்ற ஆட்சியில் 28-அடுக்கு மாதிரியை நெருக்கமாகப் பின்தொடர்கிறது, ஆனால் பெரும்பான்மையான தயாரிப்பு போக்குவரத்து செயல்படும் வளைவின் செங்குத்தான பகுதியில் ஒரு சிறிய இடைவெளி திறக்கிறது.

அந்த இடைவெளியைக் நிரப்ப, நாங்கள் டோக்கன்-மட்ட அறிவு வடிகட்டுதலைப் பயன்படுத்துகிறோம். எங்கள் அணுகுமுறை வழக்கமானது: வடிகட்டுதல் குணகத்தால் எடையிடப்பட்ட, ஆசிரியர் மாதிரியின் கணிப்புகளில் மென்மையான கிராஸ்-எண்ட்ரோபி சொற்றொடருடன் நிலையான இழப்பை நாங்கள் பெருக்குகிறோம். மாணவர் மாதிரியை சமநிலைக்குக் கொண்டுவர இது போதுமானது, உற்பத்தியில் வடிகட்டப்பட்ட 17-அடுக்கு மாதிரிக்கு முழுமையாக மாற இது அனுமதிக்கிறது. இந்த புதிய தயாரிப்பு மாதிரி அனுமான தாமதத்தில் 35-40% குறைப்பையும், 28-அடுக்கு ஆசிரியருடன் ஒப்பிடும்போது தர இழப்பு இல்லாமல் மொத்த GPU கணினியில் 40-45% குறைப்பையும் அளிக்கிறது. தயாரிப்பு தாமதம் 20 மி.நா-க்கு குறைவாக (p99) கடிகாரங்களைக் காட்டுகிறது: பதில் மாதிரிக்கு அனுப்பப்பட்ட மொத்த டோக்கன்களைக் கணிசமாகக் குறைக்கும் அதே வேளையில் சேவை பாதையில் சேர்ப்பதற்குப் போதுமானது.

விரிவாக்கு

தரம் மற்றும் டோக்கன் திறன்

சூழல் சுருக்கத்தின் செயல்திறனைப் பகுப்பாய்வு செய்ய Perplexity இன் Agent API ஐ நாங்கள் சோதனைப் பகுதியாகப் பயன்படுத்துகிறோம். மூன்று Agent API முன்னமைவுகளை நாங்கள் மதிப்பீடு செய்கிறோம்:

ஒவ்வொரு முடிவுத் தொகுப்பிற்கான டோக்கன் பட்ஜெட்டை 1000 டோக்கன்களாகக் கட்டுப்படுத்தும் “குறைந்த” சூழல் முன்னமைவு.

ஒவ்வொரு முடிவுத் தொகுப்பிற்கான டோக்கன் பட்ஜெட்டை 4000 டோக்கன்களாகக் கட்டுப்படுத்தும் “நடுத்தர” சூழல் முன்னமைவு.

ஒவ்வொரு முடிவுத் தொகுப்பிற்கான டோக்கன் பட்ஜெட்டை 10000 டோக்கன்களாகக் கட்டுப்படுத்தும் “உயர்ந்த” சூழல் முன்னமைவு.

நிலையான, சுருக்கம் இல்லாத மற்றும் சுருக்க அமைப்புகள் இரண்டும் இந்த டோக்கன் பட்ஜெட்டுகளை மதிக்க கட்டமைக்கப்பட்டுள்ளன.

முகவர் பல-படி தேடல் (BrowseComp)

BrowseComp பெஞ்ச்மார்க்கில் முகவர் பல-படி தேடல் பணிப்பாய்வுகளில் சுருக்கத்தின் தாக்கத்தை நாங்கள் முதலில் ஆராய்கிறோம். எங்கள் ஓப்பன் சோர்ஸ் search_evals சேணம் (harness) பயன்படுத்தி இந்த மதிப்பீட்டைச் செய்கிறோம். OpenAI இன் நியாயமான BrowseComp LLM judge prompt ஐப் பயன்படுத்தி அனைத்து இயக்கங்களிலும் தரப்படுத்தல் ஒரே மாதிரியாக இருக்கும்.

ஆர்வம் கொண்ட இரண்டு பரிமாணங்கள் பெஞ்ச்மார்க்கு துல்லியம் மற்றும் டோக்கன் பயன்பாடு ஆகும். முக்கியமாக, கோரிக்கை வாழ்க்கைச் சுழற்சி முழுவதும் ஏற்படும் உண்மையான டோக்கன் சுமையை அளவிடுவதற்காக, தனிப்பட்ட படி மட்டத்தை விட வினவல் மட்டத்தில் டோக்கன் பயன்பாட்டை நாங்கள் அளவிடுகிறோம். படம் 3 “மதிப்பெண்-டோக்கன்” எல்லையைக் காட்டுகிறது, துல்லிய மதிப்பெண் மற்றும் டோக்கன் பயன்பாடு.

விரிவாக்கு

சுருக்கம் அனைத்து இடங்களிலும் ஒரு புதிய பரேட்டோ எல்லையை வழங்குகிறது. ஒவ்வொரு அமைப்பிற்கும், சுருக்கத்தை அறிமுகப்படுத்துவது வினவல்-மட்ட டோக்கன் பயன்பாட்டை 10% முதல் 70% வரை எங்கு வேண்டுமானாலும் குறைக்கிறது, துல்லிய ஆதாயங்கள் 4 மற்றும் 4.81 சதவீத புள்ளிகளுக்கு இடையில் கடிகாரங்களைக் காட்டுகின்றன. சுருக்கத்தை அறிமுகப்படுத்துவது டோக்கன் பயன்பாட்டை மூன்று மடங்குகளுக்கு மேல் குறைக்கும் அதே வேளையில், எங்கள் “குறைந்த” முன்னமைவைக் கூட சுருக்கம் இல்லாத “உயர்ந்த” முன்னமைவை விட சிறப்பாகச் செயல்பட அனுமதிக்கிறது.

சுருக்கத்துடன், நாம் எதிர்பார்த்தபடி “நடுத்தர” ஐ விட “உயர்ந்த” அதிக துல்லியத்தை அளிக்கிறது என்பதை நாங்கள் கவனிக்கிறோம். இருப்பினும், சுவாரஸ்யமாக, இது குறைந்த டோக்கன் பயன்பாட்டில் அவ்வாறு செய்கிறது. இது சுருக்கத்தின் நுட்பமான ஆனால் முக்கியமான விளைவை வெளிப்படுத்துகிறது: சுருக்கத்துடன், படி-வாரியான சூழல் அளவை அதிகரிப்பது கூட சரியான முடிவை அடைய குறைந்த படிகளை எடுக்க மாதிரியை இயக்கக்கூடும். இந்த ஒற்றைத்தன்மையை (non-monotonicity) ஆராய்வது எதிர்கால வேலைக்கு ஒரு நம்பிக்கைக்குரிய திசையாகும்.

SimpleQA: ஒற்றை-படி உண்மைத் தன்மை

BrowseComp பல-படி ஆராய்ச்சியை வலியுறுத்துகிறது, இருப்பினும் பல தயாரிப்பு பணிப்பாய்வுகள் ஒற்றை-படி உண்மைத் தேடலை உள்ளடக்கியது. ஒற்றை-படி ஆட்சியிலும் சுருக்கம் உதவுகிறதா என்பதைத் தீர்ரிக்க, முகவர் சுழற்சியைக் காட்டிலும் ஒரு ஒற்றை தேடல் படியில் பதிலளிக்கப்பட வேண்டிய 4,326 கேள்விகளைக் கொண்ட பெஞ்ச்மார்க்கான SimpleQA, இல் செயல்திறனையும் நாங்கள் ஆராய்கிறோம்.

முன்பைப் போல, நியாயமான நடுவர் தூண்டுதலைப் பயன்படுத்தி பணிக்கு சராசரி மொத்த டோக்கன்களுக்கு எதிராக துல்லியத்தை நாங்கள் திட்டமிடுகிறோம். படம் 4 இந்த ஒற்றை-படி அமைப்பில் மதிப்பெண்-டோக்கன் எல்லையைக் காட்டுகிறது. ஒற்றை-படி அமைப்பில் விளைவு அளவுகள் மிகவும் சுருக்கமாக இருந்தாலும், அனைத்து முன்னமைவுகளிலும் சுருக்கம் ஒரே நேரத்தில் துல்லியத்தையும் திறனையும் மேம்படுத்துகிறது என்பதை நாங்கள் மீண்டும் கவனிக்கிறோம், இதனால் ஒரு புதிய பரேட்டோ எல்லையை அறிமுகப்படுத்துகிறது. சுருக்கம் இயக்கப்பட்ட நிலையில், நடுத்தர முன்னமைவு ஆவணத்திற்கு சராசரியாக 200 டோக்கன்களுடன் 95% துல்லியத்தை அடைகிறது. 10,000 டோக்கன்களுக்கு மேல் உள்ள சராசரி ஆவண நீளத்தைக் கருத்தில் கொண்டு, இது 50-க்கு மேற்பட்ட சுருக்க விகிதத்தில் எல்லை-மட்ட செயல்திறனைக் குறிக்கிறது.

விரிவாக்கு

துணுக்குகளில் என்ன முடிகிறது?

பிரிவுகள் 4.1 மற்றும் 4.2 இல் உள்ள கீழ்நிலை ஆதாயங்கள் எண்ட்-டூ-எண்ட் ஆகும். தனிப்பட்ட துணுக்குகளை சுருக்கம் எவ்வாறு மாற்றுகிறது என்பதைப் புரிந்துகொள்ள, மீட்கப்பட்ட ஒவ்வொரு துணுக்கின் ஒவ்வொரு டோக்கனையும் ஆறு வகைகளில் ஒன்றாக வகைப்படுத்த LLM நடுவரைப் பயன்படுத்தும் தனிப்பட்ட மதிப்பீட்டை நாங்கள் இயக்குகிறோம்:

முக்கியமானது: பயனரின் வினவலுக்கு பதிலளிக்க அவசியமான சாட்சியம்.

தலைப்புக்கு அப்பாற்பட்டது: வேறு சில நோக்கத்திற்காக பயனுள்ளதாக இருக்கும் ஆனால் கையில் உள்ள வினவலுடன் தொடர்புடையது அல்லாத தகவல்.

விளம்பரங்கள்: பயனரின் வினவலுக்கு பதிலளிப்பதில் இருந்து திசைதிருப்பும் பொருத்தமற்ற விளம்பரங்கள்.

மெட்டாடேட்டா: ஆவணத்தின் உள்ளடக்கங்கள் பற்றிய மெட்டாடேட்டா.

UI மற்றும் வழிகாட்டல்: முன்முனை காட்சி மற்றும் வழிகாட்டலுக்கான கூறுகள்.

நகல்: முன்னர் இணைக்கப்பட்ட தகவலின் பிரதிபலிப்பு.

எங்கள் மதிப்பீடு எங்கள் சரிபார்ப்புத் தொகுப்பிலிருந்து 1,000 கலப்பு-கள வினவல்களில் இயங்குகிறது, சுருக்கம் முடக்கப்பட்ட நிலையான அடிப்படை வரிக்கு எதிராக தயாரிப்பு ஸ்டாக்கை ஒப்பிடுகிறது. படம் 5 இல் காட்டப்பட்டுள்ளபடி, சுருக்கம் எந்த-சுருக்க அடிப்படை வரியை விட துணுக்குக்கு முக்கிய டோக்கன்களின் விகிதத்தை சராசரியாக 63% அதிகரிக்கிறது. UI/வழிகாட்டல் (-58%), மெட்டாடேட்டா (-46%), மற்றும் விளம்பரங்கள் (-43%) ஆகியவற்றில் குறிப்பாக செங்குத்தான வீழ்ச்சிகளுடன், பொருத்தமற்ற டோக்கன்களில் 29% தொடர்புடைய குறைப்பை நாங்கள் காண்கிறோம். மேலே விவாதிக்கப்பட்ட தரம்-திறன் மேம்பாடுகளுக்கான பொறிமுறையை இந்த முடிவுகள் உறுதிப்படுத்துகின்றன: ஒவ்வொரு தனிப்பட்ட துணுக்கின் சமிக்ஞை-இரைச்சல் விகிதத்தை கடுமையாக அதிகரிப்பதன் மூலம் சுருக்கம் இரண்டு பரிமாணங்களிலும் செயல்திறனை மேம்படுத்துகிறது.

விரிவாக்கு

படம் 6 தனிப்பட்ட வினவலுக்கான இந்த மாற்றத்தை விளக்குகிறது. “6 day old newborn milk intake per feeding” என்ற வினவலுக்கு, சுருக்கப்படாத, அடிப்படை வரி மற்றும் சுருக்கப்பட்ட துணுக்குகள் இரண்டையும் நாங்கள் காட்டுகிறோம். சுருக்கம் முக்கியமில்லாத உடக்கப் பிரிவுகளை நீக்குகிறது மற்றும் பிறந்த குழந்தை தொடர்பான உணவளிக்கும் தகவலை மட்டுமே தக்க வைத்துக் கொள்கிறது. முக்கியமாக, சுருக்கம் பக்கத்திற்கு பொதுவாக தலைப்பில் இருக்கக்கூடிய ஆனால் இந்த குறிப்பிட்ட பிறந்த குழந்தை-மையப்படுத்தப்பட்ட வினவலுக்கு தலைப்புக்கு அப்பாற்பட்டதாக இருக்கக்கூடிய உள்ளடக்கத்தை வெற்றிகரமாக நீக்குகிறது.

விரிவாக்கு

முடிவுரை

பயனர் கோரிக்கைகளுக்கு புத்திசாலித்தனமாகவும் திறம்படவும் சேவை செய்ய AI அமைப்புகள் உயர்-சிக்னல் தகவலை நம்பியுள்ளன. ஒவ்வொரு கோரிக்கைக்கும் பொருத்தத்தை அதிகரிக்க இந்த தகவல் முடிந்தவரை அறுவை சிகிச்சை முறையில் வழங்கப்பட வேண்டும். எங்கள் புதிய வினவ-அறிந்த சுருக்க மாதிரிகள் துணுக்குக்கு ஆன்-டாபிக் சாட்சியத்தை அதிகரிப்பதன் மூலமும் பொருத்தமற்ற கவனச்சிதறல்களை தீவிரமாக அகற்றுவதன் மூலமும் துல்லியமாக இதைச் செய்கின்றன.

எங்கள் தேடல் ஸ்டாக்கிற்குள் இந்த புதிய மாதிரிகளை 배포 (deploy) செய்வதன் மூலம், எங்கள் தயாரிப்புகள் மற்றும் API களை நம்புபவர்களுக்கு வேகமான மற்றும் சிறந்த பதில்களை வழங்க முடியும். எங்கள் அணுகுமுறை ஒரு எளிய கட்டுப்பாட்டு மேற்பரப்பை உருவாக்குகிறது, நினைவுகூர்தல், தாமதம் மற்றும் செலவு ஆகியவற்றுக்கு இடையே சமநிலைப்படுத்த சுருக்கத்தின் அளவை மாற்ற எங்கள் அமைப்புகளையும் API வாடிக்கையாளர்களையும் அனுமதிக்கிறது.

சூழல் கியூரேஷன் என்பது வளரும் துறையாகும், மேலும் இன்றைய எல்லை நுண்ணறிவு அமைப்புகளுக்குள் பயன்படுத்தப்படும் ஒவ்வொரு டோக்கனின் மதிப்பையும் மேம்படுத்த இன்னும் நிறைய செய்யப்பட உள்ளது. இந்த மாதிரிகளின் இன்னும் விரிவான பயன்பாட்டை உருவாக்க மாதிரி மேம்பாடுகள் மற்றும் அமைப்பு கட்டமைப்பு இரண்டின் மூலமும் எங்கள் சூழல் கியூரேஷன் நுட்பங்களை இன்னும் சிறப்பாக மாற்ற நாங்கள் தீவிரமாக பணியாற்றி வருகிறோம்.

குறிப்புகள்

N. Chirkova, T. Formal, V. Nikoulina, and S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Accepted to ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, and D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, and D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, and G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

மேற்கோள்

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}