Užklausą suprantantis konteksto glaudinimas geresnėms iškarpoms

Kiekvienas atsakymas prasideda nuo įrodymų. Paieškos sistemoje šie įrodymai paprastai gaunami iš dokumentų: pavadinimų, santraukų, fragmentų ir ištraukų, kurie kaip kontekstas perduodami atsakymo modeliui arba agentui.

Šis neapdorotas kontekstas yra triukšmingas. Pavyzdžiui, tinklalapyje gali būti vartotojo užklausai reikalingos informacijos, bet jame taip pat gali būti blaškančių elementų. Šie blaškantys elementai gali pasirodyti tiek pagrindiniame tekste, tiek papildomuose elementuose, tokiuose kaip navigacijos tekstai, nesusijusios reklamos, metaduomenys ir kita. Šių blaškančių elementų perdavimas tolesniam agentui sukelia tris problemas.

Pirma, tai kenkia tikslumui. Net galingiausi modeliai turi ribotą pajėgumą. Ilgi nesusijusios informacijos srautai eikvoja modelio pajėgumus, todėl atsiranda „konteksto puvimas“, kuris pablogina modelio gebėjimą spręsti tikrąją vartotojo užklausą. Dėl to galutiniame atsakyme labiau tikimasi praleisti pagrindinius faktus, pervertinti nekokybišką informaciją arba pateikti teiginius, kuriuos sunkiau pagrįsti šaltiniu.

Antra, tai sumažina greitaveiką. Ilgesnis kontekstas reiškia daugiau žetonų, kuriuos tolesnis modelis turi apdoroti, ypač kai užklausai reikia įrodymų iš daugelio kandidatų puslapių. Nors dalis šių delsos sąnaudų patiriama išankstinio pildymo etape, kur kas didesnės sąnaudos tenka mąstymui, nes modeliams reikia daugiau mąstymo žetonų, kad jie susidorotų su nesusijusiu kontekstu.

Trečia, tai padidina išlaidas. Kiekvienas nereikalingas žetonas, perduotas modeliui, padaro vartotojo užklausos aptarnavimą brangesnį, nes didėjant triukšmingam kontekstui didėja tiek įvesties žetonų, tiek mąstymo žetonų naudojimas. Blaškantys elementai ne tik sumažina kokybę; galiausiai jie priverčia jus mokėti daugiau už tą prastesnę kokybę.

Padidinti

Siekdami vienu metu padidinti tikslumą, greitį ir ekonomiškumą visose Perplexity taikomosiose programose ir API platformoje, mes daug investuojame į konteksto tikslumo gerinimą. Vienas iš būdų tai padaryti – tobulinti ištraukų generavimo algoritmus. Ištraukų generavimą mes traktuojame kaip konteksto glaudinimo problemą. Modeliams, ieškantiems konkrečios informacijos, apibendrintos santraukos arba dokumento ištraukos yra nenaudingos. Vietoj to jiems reikia mažiausios, chirurgiškai ištrauktos šaltinio informacijos dalies, kad būtų galima atsakyti į vartotojo užklausą. Visa kita gali ir turi būti pašalinta.

Todėl gera ištrauka turėtų atlikti tris dalykus:

Skatinti tikslumą pateikiant tikslius įrodymus, reikalingus modelio atsako pagrindimui.

Sumažinti delsą ir sąnaudas pašalinant nesusijusį kontekstą prieš LLM iškvietimą.

Užtikrinti atsekamumą išlaikant citavimo tikslumą ir nepažeistą šaltinio formuluotę.

Šį mėnesį savo taikomosiose programose ir API platformoje įdiegėme naują, pažangiausią ištraukų generatorių. Šio modulio pagrindas – užklausą suprantantis konteksto glaudinimo modelis, kuris kiekvienai užklausai ir kandidato rezultatui nustatu iškarpų poaibį, kurį reikėtų išsaugoti. Šiame straipsnyje aprašomas mūsų požiūris į modelio kūrimą ir mokymą, siekiant pasiekti geriausius klasėje rezultatus atliekant šią kritinę užduotį.

Ištraukos kaip užklausą suprantantis glaudinimas

Pirmasis verslo uždavinys – apibrėžti pačią užduotį. Ko norime, kad šis modelis darytų, ir kaip turėtume apibrėžti įvesties bei išvesties schemą?

Ištraukų metodai skirstomi į dvi dideles šeimas. Pirmasis – pagrįstas atranka: rasti tinkamą langą, fragmentą, sakinį arba ištrauką ir perduoti juos toliau. Antrasis – pagrįstas generavimu: paprašyti modelio parašyti į užklausą orientuotą puslapio santrauką.

Dėl mūsų dėmesio tikslumui, delsai ir sąnaudoms šis dizaino pasirinkimas tampa aiškus. Generavimą galime atmesti, nes naujos santraukos kūrimas kiekvienam puslapiui pablogina našumą visose trijose srityse. Apibendrinimas prastai tinka įrodymų sluoksniui, kuris mums rūpi. Jis gali perfrazuoti šaltinį, todėl citatų suderinimas tampa sunkesnis. Jis taip pat gali pateikti formuluotę, kurios puslapyje nebuvo, o tai rizikinga, kai ištrauka naudojama kaip įrodymas, o ne kaip galutinis atsakymas. Su tuo susijusi dela ir sąnaudos daro generavimą dar mažiau priimtiną.

Vietoj to savo užduotį apibrėžiame kaip užklausą suprantantį ištraukiamąjį glaudinimą: naudingų gauto konteksto dalių atskyrimą nuo blaškančių dalių. Konkrečiai, mūsų modelis turi priimti užklausą ir kandidato rezultatą bei nuspręsti, kurias iškarpas išsaugoti – tas, kurios geriausiai palaiko užklausą, – o kurias atmesti – visa kita. Modelio išvestis išsaugo šaltinio tekstą, o ne jį perrašo. Dėl to rezultatas tampa lengviau cituojamas, lengviau patikrinamas ir pigiau perduodamas toliau.

Pavyzdžiui, apsvarstykite šią užklausą ir gautą rezultatą:

Padidinti

Tikėtina modelio išvestis būtų pasiekti paryškintą sakinį: „Komete asistentas gali...“.

Mūsų požiūris atitinka tą pačią bendrą idėją kaip ir ankstesni konteksto glaudinimo darbai, tokie kaip FliCo, Provence ir LooComp, pritaikyti ištraukų generavimui gamybinėje paieškos sistemoje. Svarbu tai, kad modelis veikia kaip tikslumo etapas po mūsų neapdoroto gavimo etapo. Kaip aptarta mūsų ankstesniame Perplexity tyrimų straipsnyje „Perplexity paieškos API pristatymas“, mūsų paieškos sistemas suprojektavome taip, kad jos veiktų natūraliai po dokumento arba ištraukos lygiu, o tai jau leidžia mums gana gerai suderinti tikslumą ir atspauką. Užklausą suprantančio konteksto glaudinimo modelio pristatymas dar labiau išplečia tikslumo ir atspauko Pareto ribą.

Konteksto glaudinimo modelio kūrimas ir mokymas

Modelį kuriame turėdami omenyje tris pagrindinius aspektus: bendrą užklausos ir konteksto supratimą, smulkmenišką sakinio lygio atranką ir efektyvumą, kad tilptų į itin griežtą delsos biudžetą.

Modelio architektūra

Kaip pagrindą naudojame „pplx-diffusion“ modelį. Tai ta pati modelių šeima, kuri yra už pplx-embed-v1, ir tiek mūsų ankstesnis akademinis darbas „Difuzijos iš anksto išmokyti tankūs ir kontekstiniai įterpiniai“, tiek mūsų gamybiniai etaloniniai testai patvirtina, kad tai yra stiprus dvikryptis koduotuvas užklausos ir konteksto poroms. Viena iš pagrindinių šios modelių šeimos savybių yra dvikryptis kontekstas: kiekvienas žetono vaizdavimas gali atsižvelgti į visą užklausą ir visą kandidato kontekstą prieš modeliui nusprendžiant, ką reikėtų pasilikti.

Virš šio pagrindo mes apmokome lengvą glaudinimo galvutę, kuri prognozuoja, kurias konteksto dalis reikėtų pasilikti. Kadangi joks generavimas nenaudojamas, šios prognozės atliekamos lygiagrečiai per visą kontekstą. Aptarnavimo metu ištraukų variklis sujungia šias prognozes sakinio lygiu, pritaiko slenkstį ir apkarpo rezultatą iki prašomo žetonų biudžeto.

Priežiūros vamzdynas

Šiam glaudintojui apmokyti reikalinga priežiūra tinkamu detalumo lygiu. Dokumento lygio svarbos žyma akivaizdžiai netinka mūsų ištraukiamojo glaudinimo užduotiai. Kad sugeneruotume pakankamai detalius duomenis prižiūrimam mokymuisi, sukūrėme iškarpų žymėjimo vamzdyną, kuris pažymi su užklausą susijusias įrodymų iškarpas kartu su blaškančiomis iškarpomis, kurias reikėtų pašalinti.

Mūsų vamzdynas naudoja LLM kaip teisėjo sąranką. Pateikus vartotojo užklausą ir kandidato tinklalapį su jo nuoroda, pavadinimu ir santrauka, teisėjas pirmiausia atlieka užklausos supratimą, išanalizuodamas užklausą ir pateikdamas galimų vartotojo ketinimų sąrašą. Remdamasis šiais ketinimais, teisėjas apdoroja kandidato kontekstą ir grąžina iškarpas, nukopijuotas pažodžiui iš teksto, su kiekvienos iškarpos kategorija, kad žymas būtų lengviau patikrinti.

Tada suderinome grąžintas iškarpas su šaltinio tekstu. Nenuostabu, kad dauguma teisėjo išvesties buvo tikslios kopijos: naivus eilučių atitikimas atkūrė 98% iškarpų. Pridėjus paprastą reguliariųjų išraiškų atitikimo etapą, iškarpų atkūrimas pasiekė 100%. Tai suteikė mums patikimas, detalias iškarpas, kurias buvo galima konvertuoti į žetono lygio išlaikymo / atmetimo priežiūrą.

Šį priežiūros vamzdyną įvertinome naudodami nedidelį kuruojamą duomenų rinkinį su rankiniu būdu pažymėtomis iškarpomis, lygindami mažesnius teisėjo modelius, skirtingas užklausas ir skirtingas žingsnių konfigūracijas. Geriausiai veikianti sąranka buvo dviejų etapų vamzdynas: pirmiausia užklausos supratimas, po kurio sekė suskirstytas iškarpų žymėjimas. Taip pat patvirtinome ištrauktų iškarpų rinkinį naudodami tolesnius patikrinamus vertinimus, tokius kaip BrowseComp ir SimpleQA, kur naudojant tik išsaugotas įrodymų iškarpas buvo išlaikyti stiprūs balai ir kartu gerokai sumažinti įvesties žetonai.

Naudodami šį vamzdyną pažymėjome 750 tūkst. užklausų ir dokumentų porų ir naudojame gautas iškarpas glaudinimo galvutei apmokyti su dvejopais kryžminės entropijos nuostoliais. Šis procesas leidžia mūsų užklausą suprantančiam glaudinimo modeliui išlaikyti šaltinio tekstą nepažeistą, kartu pašalinant kontekstą, kuris vargu ar padės tolesniam modeliui patenkinti vartotojo užklausą.

Realaus laiko delsos užtikrinimas

Konteksto glaudinimas yra prieš tolesnį modelį, todėl tai yra blokuojanti operacija. Be to, kiekvienas glaudinimas priklauso nuo užklausos. Todėl internetinis kelias turi įvertinti užklausos ir konteksto poras kiekvienam kandidato dokumentui per griežtą delsos rėmą. Lėtas glaudinimo modelis yra savižudiškas, nes didesnio tikslumo teikiamą delsos naudą panaikina pats glaudinimo delsimas. Tuo pačiu metu mažiau išmanus glaudinimo modelis priims prastesnius sprendimus, ką iškirpti, o ką pasilikti.

Praktinis klausimas yra tas, kiek modelio pajėgumų galime saugiai pašalinti, kol glaudinimo kokybė nepradeda prastėti. Lyginame visą 28 sluoksnių „pplx-diffusion“ pagrindą su 11 sluoksnių ir 17 sluoksnių variantais, sukurtais apipjaustant sluoksnius ir pritaikytais paieškos keliui. Kiekvienam iš jų pereiname per glaudinimo slenkstį ir išmatuojame du dydžius: vidutinį konteksto žetonų, išsiųstų toliau užklausai, skaičių ir naudingų įrodymų dalį, išsaugotą po glaudinimo.

2 pav. rodo kokybės ir efektyvumo ribą. Modelis yra geresnis, kai jis juda į viršutinį kairįjį kampą: mažiau tolesnių žetonų su daugiau išsaugotų naudingų įrodymų. 28 sluoksnių modelis pateikia kokybės etaloną. 11 sluoksnių modelis parodo per agresyvaus modelio glaudinimo riziką. Apipjaustytas 17 sluoksnių modelis atspindi vidurį: jis glaudžiai seka 28 sluoksnių modelį sočiuoju režimu, tačiau nedidelis tarpas atsiveria staigiojoje kreivės dalyje, kur veikia didžioji dalis gamybinio srauto.

Kad užpildytume šį tarpą, naudojame žetono lygio žinių distiliaciją. Mūsų požiūris įprastas: standartinį nuostolį papildome švelnios kryžminės entropijos terminu mokytojo modelio prognozėse, pasvertu distiliacijos koeficientu. To pakanka, kad studento modelis pasiektų paritetą, todėl gamyboje galime visiškai pereiti prie distiliuoto 17 sluoksnių modelio. Šis naujas gamybinis modelis užtikrina 35–40 % mažesnę išvedimo delsą ir 40–45 % mažesnį bendrą GPU skaičiavimą be jokio kokybės kritimo, palyginti su 28 sluoksnių mokytoju. Gamybos delsa siekia mažiau nei 20 ms (p99): pakankamai mažai, kad būtų galima pridėti prie aptarnavimo kelio ir kartu labai sumažinti bendrą atsakymo modeliui perduotų žetonų skaičių.

Padidinti

Kokybė ir žetonų efektyvumas

Kaip bandymų stendą konteksto glaudinimo veiksmingumui analizuoti naudojame Perplexity agentų API. Įvertiname tris agentų API išankstinius nustatymus:

„Žemas“ konteksto išankstinis nustatymas, kuris apriboja kiekvieno rezultatų rinkinio žetonų biudžetą iki 1000 žetonų.

„Vidutinis“ konteksto išankstinis nustatymas, kuris apriboja kiekvieno rezultatų rinkinio žetonų biudžetą iki 4000 žetonų.

„Aukštas“ konteksto išankstinis nustatymas, kuris apriboja kiekvieno rezultatų rinkinio žetonų biudžetą iki 10000 žetonų.

Tiek standartiniai, be glaudinimo, tiek glaudinimo nustatymai yra sukonfigūruoti taip, kad atitiktų šiuos žetonų biudžetus.

Agentinė kelių žingsnių paieška („BrowseComp“)

Pirmiausia išnagrinėjame glaudinimo poveikį agentinėms kelių žingsnių paieškos darbo eigoms BrowseComp etaloniniame teste. Šį vertinimą atliekame naudodami mūsų atvirojo kodo search_evals įrankį. Vertinimas yra identiškas visuose vykdymuose, naudojant OpenAI kanoninę „BrowseComp“ LLM teisėjo užklausą.

Dvi dominantčios dimensijos yra etaloninis tikslumas ir žetonų naudojimas. Svarbu tai, kad žetonų naudojimą matuojame užklausos lygiu, o ne individualaus žingsnio lygiu, kad išmatuotume faktinę žetonų apkrovą, patiriamą per visą užklausos gyvavimo ciklas. 3 pav. rodo „balo ir žetono“ ribą: tikslumo balą ir žetonų naudojimą.

Padidinti

Glaudinimas visapusiškai užtikrina naują Pareto ribą. Kiekvienam nustatymui glaudinimo įvedimas sumažina užklausos lygio žetonų naudojimą nuo 10% iki 70%, o tikslumo prieaugis siekia nuo 4 iki 4,81 procentinio punkto. Glaudinimo įvedimas leidžia netgi mūsų „žemam“ išankstiniam nustatymui aplenkti „aukštą“ išankstinį nustatymą be glaudinimo, kartu sumažinant žetonų naudojimą daugiau nei tris kartus.

Pastebime, kad taikant glaudinimą „aukštas“ užtikrina didesnį tikslumą nei „vidutinis“, kaip ir galėjome tikėtis. Tačiau įdomu tai, kad tai daroma esant mažesniam žetonų naudojimui. Tai atskleidžia subtilų, bet svarbų glaudinimo efektą: taikant glaudinimą, netgi didinant kiekvieno žingsnio konteksto dydį, modelis gali atlikti mažiau žingsnių, kad pasiektų teisingą rezultatą. Šio nemonotoniškumo tyrinėjimas yra žadanti kryptis būsimam darbui.

„SimpleQA“: vieno žingsnio faktologiškumas

BrowseComp akcentuoja kelių žingsnių tyrimus, tačiau daugelis gamybinių darbo eigų apima vieno žingsnio faktinę paiešką. Siekdami nustatyti, ar glaudinimas padeda ir vieno žingsnio režimu, taip pat išnagrinėjame našumą SimpleQA, etaloniniame teste, kurį sudaro 4 326 klausimai, į kuriuos reikia atsakyti vienu paieškos žingsniu, o ne agentiniu ciklu.

Kaip ir anksčiau, mes atvaizduojame tikslumą palyginti su vidutiniais bendrais žetonais užduočiai, naudodami kanoninę teisėjo užklausą. 4 pav. parodo balo ir žetono ribą šiame vieno žingsnio nustatymame. Nors poveikio dydžiai vieno žingsnio nustatymame yra labiau suglaudinti, mes vėl pastebime, kad glaudinimas vienu metu pagerina tikslumą ir efektyvumą visuose išankstiniuose nustatymuose, taip pristatydamas naują Pareto ribą. Įgalinus glaudinimą, vidutinis išankstinis nustatymas pasiekia 95% tikslumą su vidutiniškai tik 200 žetonų vienam dokumentui. Atsižvelgiant į tai, kad vidutinis dokumento ilgis viršija 10 000 žetonų, tai reiškia pasienio lygio našumą, kai glaudinimo koeficientas yra didesnis nei 50.

Padidinti

Kas patenka į iškarpas?

Tolesni 4.1 ir 4.2 skyrių padidėjimai yra galutiniai (end-to-end). Kad suprastume, kaip glaudinimas keičia atskiras iškarpas, atliekame atskirą vertinimą, kurio metu naudojamas LLM teisėjas, kad kiekvienas kiekvienos gautos iškarpos žetonas būtų priskirtas vienai iš šešių kategorijų:

Gyvybiškai svarbu: įrodymai, būtini norint atsakyti į vartotojo užklausą.

Ne į temą: informacija, kuri gali būti naudinga kokiu nors kitu tikslu, bet nesusijusi su nagrinėjama užklausa.

Reklama: nesusijusi reklama, kuri blaško dėmesį nuo atsakymo į vartotojo užklausą.

Metaduomenys: metaduomenys apie dokumento turinį.

Vartotojo sąsaja ir navigacija: elementai priekinei sąsajai rodyti ir navigacijai.

Dublikatas: anksčiau įtrauktos informacijos pakartojimas.

Mūsų vertinimas atliekamas su 1 000 mišrių domenų užklausų iš mūsų patvirtinimo rinkinio, lyginant gamybinį rinkinį su kitu atveju identišku bazine linija su išjungtu glaudinimu. Kaip parodyta 5 pav., glaudinimas padidina gyvybiškai svarbių žetonų dalį iškarpoje vidutiniškai 63 %, palyginti su bazine linija be glaudinimo. Pastebime atitinkamą nesusijusių žetonų sumažėjimą 29 %, ypač staigiai sumažėjus vartotojo sąsajos / navigacijos (-58 %), metaduomenų (-46 %) ir reklamų (-43 %) srityse. Šie rezultatai patvirtina aukščiau aptartų kokybės ir efektyvumo pagerėjimų mechanizmą: glaudinimas pagerina našumą abiejose dimensijose smarkiai padidindamas kiekvienos atskiros iškarpos signalo ir triukšmo santykį.

Padidinti

6 pav. iliustruoja šį pakeitimą konkrečiai užklausai. Užklausai „6 dienų naujagimio pieno suvartojimas vieno maitinimo metu“ parodytos tiek nesuspaustos, bazinės, tiek suspaustos iškarpos. Glaudinimas pašalina negyvybiškai svarbaus turinio kategorijas ir išsaugo tik su naujagimiu susijusią maitinimo informaciją. Svarbu tai, kad glaudinimas sėkmingai pašalina turinį, kuris gali būti bendrai į temą puslapiui, bet ne į temą šiai konkrečiai į naujagimius orientuotai užklausai.

Padidinti

Išvada

Dirbtinio intelekto sistemos remiasi didelio signalo informacija, kad išmaniai ir efektyviai aptarnautų vartotojų užklausas. Ši informacija turi būti pateikta kuo chirurgiškiau, kad būtų maksimaliai padidintas aktualumas kiekvienai užklausai. Naudodami mūsų naujus užklausą suprantančius glaudinimo modelius, mes darome būtent tai – maksimizuojame į temą esančius įrodymus iškarpoje ir agresyviai šaliname nesusijusius blaikančius elementus.

Įdiegę šiuos naujus modelius savo paieškos krūvoje, galime pateikti greitesnių ir geresnių atsakymų tiems, kurie pasitiki mūsų produktais ir API. Mūsų požiūris sukuria paprastą valdymo paviršių, leidžiantį mūsų sistemoms ir API klientams koreguoti glaudinimo laipsnį, kad būtų suderintas atspaukas, delsa ir sąnaudos.

Konteksto derinimas yra besivystanti sritis, ir dar reikia daug nuveikti, kad būtų optimizuota kiekvieno žetono, naudojamo šių dienų pažangiausiose žvalgybos sistemose, vertė. Mes aktyviai dirbame, kad mūsų konteksto derinimo metodai taptų dar geresni tiek tobulinant modelius, tiek taikant sistemų architektūrą, kad šie modeliai būtų naudojami dar plačiau.

Literatūra

N. Chirkova, T. Formal, V. Nikoulina ir S. Clinchant. Provence: efektyvus ir patikimas konteksto apipjaustymas generavimui su paieškos papildymu, 2025 m. Priimta į ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim ir D. Kim. LooComp: „Leave-One-Out“ strategijos panaudojimas tik koduotuvo „Transformer“ modeliui, siekiant efektyvaus užklausą suprantančio konteksto glaudinimo, 2026 m. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang ir D. Bykov. Difuzijos iš anksto išmokyti tankūs ir kontekstiniai įterpiniai, 2026 m. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez ir G. Neubig. Mokymasis filtruoti kontekstą generavimui su paieškos papildymu, 2023 m. arXiv:2311.08377.

Citata

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}