Päringuteadlik konteksti tihendamine paremate katkendite jaoks

Iga vastus algab tõenditest. Otsingusüsteemis pärinevad need tõendid tavaliselt dokumentidest: pealkirjadest, kokkuvõtetest, tükkidest ja katkenditest, mis antakse kontekstina edasi vastusemudelile või agendile.

See toores kontekst on müra täis. Näiteks võib veebileht sisaldada kasutaja päringu jaoks vajalikku teavet, kuid seal võib leiduda ka segajaid. Neid segajaid võib esineda nii põhiosas kui ka abielementides, nagu navigeerimisotstarbelised tekstid, ebaolulised reklaamid, metaandmed ja muu. Nende segajate edastamine allavoolu asuvale agendile tekitab kolm probleemi.

Esiteks kahjustab see täpsust. Isegi kõige võimsamatel mudelitel on piiratud maht. Pikk ebaolulise teabe voog raiskab mudeli mahtu, mis toob kaasa „konteksti mädanemise“ (context rot), vähendades mudeli suimet käsitleda tegelikku kasutaja päringut. Seetõttu on tõenäolisem, et lõplik vastus jätab tähelepanuta peamised faktid, väärtustab üle madala kvaliteediga teavet või esitab väiteid, mida on allikas raskem tõendada.

Teiseks halvendab see latentsust. Pikem kontekst tähendab allavoolu asuvale mudelile rohkem žetoone, mida töödelda, eriti kui päring vajab tõendeid paljudelt kandidaatlehekülgedelt. Kuigi osa sellest latentsuskulust kantakse eeltäitefaasis, makstakse palju olulisem hind arutluskäigus – mudelid vajavad ebaolulise kontekstiga toimetulekuks rohkem arutlusžetoone.

Kolmandaks tõstab see kulusid. Iga mudelile edastatud mittevajalik žetoon muudab kasutaja päringu teenindamise kulukamaks, kuna mürarohkema kontekstiga kasvab nii sisendžetoonide kui ka arutlusžetoonide kasutus. Segajad ei vähenda pelgalt kvaliteeti – need sunnivad teid selle halvema kvaliteedi eest lõpuks rohkem maksma.

Suurenda

Selleks, et suurendada samal ajal täpsust, kiirust ja kulutõhusust Perplexity rakendustes ja API platvormis, investeerime märkimisväärselt konteksti täpsuse parandamisse. Üks viis selle saavutamiseks on meie katkendite genereerimise algoritmide täiustamine. Me käsitleme katkendite genereerimist konteksti tihendamise probleemina. Spetsiifilist teavet otsivad mudelid ei saa kasu dokumendi üldistatud kokkuvõtetest või väljavõtetest. Selle asemel vajavad nad kasutaja päringule vastamiseks lähteteabe väiksemat ja võimalikult kirurgiliselt eraldatud osa. Kõik muu saab ja tuleb eemaldada.

Hea katkend peaks seega tegema kolme asjat:

Edendama täpsust, esitades mudeli vastuse põhjendamiseks vajalikud täpsed tõendid.

Vähendama latentsust ja kulusid, eemaldades ebaolulise konteksti enne suure keelemudeli (LLM) väljakutset.

Tagama jälgitavuse, säilitades viidete usaldusväärsuse ja allika sõnastuse.

Sel kuul võtsime oma rakendustes ja API platvormil kasutusele uue tipptasemel katkendite generaatori. Selle mooduli tuumaks on päringuteadlik konteksti tihendamise mudel, mis otsustab iga päringu ja kandidaattulemuse jaoks, millist alamhulka katkendeid tuleks säilitada. See artikleid kirjeldab meie lähenemist mudeli ehitamisele ja treenimisele, et saavutada selles kriitilises ülesandes omaklassi parim jõudlus.

Katkendid päringuteadliku tihendusena

Esimene ülesanne on defineerida ülesanne ise. Mida me tahame, et see mudel teeks, ja kuidas peaksime defineerima sisendite ning väljundite skeemi?

Katkendite meetodid jagunevad kahte laiemasse kategooriasse. Esimene on valikupõhine: leia asjakohane aken, tükk, lause või lõik ja edasta see allavoolu. Teine on genereerimispõhine: palu mudelil lehe põhjal kirjutada päringule keskendunud kokkuvõte.

Meie fookus täpsusel, latentsusel ja kulul teeb disainivaliku selgeks. Me saame genereerimise välistada, kuna uue kokkuvõtte loomine iga lehe jaoks kahandab jõudlust kõigis kolmes fookuses. Kokkuvõtete tegemine sobib halvasti selle tõendikihi jaoks, millest me hoolime. See võib allikat ümber sõnastada, muutes viidete ühitamise raskemaks. Samuti võib see tuua sisse sõnastust, mida lehel polnud, mis on riskantne juhul, kui katkendit kasutatakse tõendina, mitte lõpliku vastusega. Kaasnev latentsus ja kulu teevad genereerimise veelgi vastuvõetamatumaks.

Selle asemel defineerime oma ülesande päringuteadliku ekstraktiivse tihendamisena: eraldades otsingukonteksti kasulikud osad segavatest osadest. Täpsemalt peab meie mudel vastu võtma päringu ja kandidaattulemuse ning otsustama, milliseid katkendeid säilitada – need, mis toetavad päringut kõige paremini –, ja millised jätta kõrvale (ülejäänud). Mudeli väljund säilitab lähteteksti selle ümberkirjutamise asemel. See muudab tulemuse hõlpsamini viidatavaks, kontrollitavaks ja allavoolu edastamiseks odavamaks.

Vaadelge näiteks seda päringut ja otsingutulemust:

Suurenda

Plausible mudeli väljund oleks paksu kirja lause valimine: “In Comet, the assistant can ...”.

Meie lähenemine järgib sama laia ideed varasematest konteksti tihendamise töödest, nagu FliCo, Provence ja LooComp, mida on kohandatud tootmisotsingusüsteemi katkendite genereerimiseks. Oluline on see, et mudel töötab täpsusetapina pärast meie toorest otsinguetappi. Nagu arutasime meie eelmises Perplexity teadusartiklis, Perplexity Search API tutvustamine, ehitame oma otsingusüsteemid üles nii, et need toimiksid algselt alamdokumendi või katkendi tasemel, mis võimaldab meil juba praegu täpsust ja tagasikutset üsna hästi tasakaalustada. Päringuteadliku konteksti tihendamise mudeli kasutuselevõtt nihutab täpsuse-tagasikutse Pareto piiri veelgi väljapoole.

Konteksti tihendamise mudeli ehitamine ja treenimine

Arendame oma mudelit kolme peamist asja silmas pidades: päringu ja konteksti ühine mõistmine, peeneteraline lausetaseme valik ja tõhusus, et mahtuda ülikitsasse latentsuse eelarvesse.

Mudeli arhitektuur

Kasutame aluskihina pplx-diffusion mudelit. See on sama mudeliperekond, mis on pplx-embed-v1 taga, ning nii meie varasem akadeemiline töö (Diffusion-Pretrained Dense and Contextual Embeddings) kui ka tootmistestid kinnitavad, et see on tugev kahesuunaline kodeerija päringu-konteksti paaride jaoks. Selle mudeliperekonna üks peamisi omadusi on kahesuunaline kontekst: iga žetooni esitus saab arvestada kogu päringut ja kogu kandidaadi konteksti enne, kui mudel otsustab, mida tuleks alles jätta.

Selle aluse peale treenime kergekaalulise tihenduspea, mis ennustab, milliseid konteksti osi tuleks säilitada. Kuna generatsiooni ei ole kaasatud, tehakse neid ennustusi paralleelselt kogu konteksti ulatuses. Teenindamise ajal koondab katkestimootor need ennustused lause tasemel, rakendab läve ja kärbib tulemuse soovitud žetoonide eelarveni.

Järelevalve torujuhe

Selle tihendaja treenimine nõuab järelevalvet õigel granulaarsuse tasemel. Dokumenditaseme asjakohasuse silt on meie ekstraktiivse tihendamise ülesande jaoks selgelt sobimatu. Piisavalt granulaarsete andmete genereerimiseks juhendatud õppe jaoks ehitasime vahemiku sildistamise torujuhtme, mis märgistab päringu jaoks olulised tõendite vahemikud koos eemaldamisele kuuluvate segajate vahemikega.

Meie torujuhe kasutab LLM-kui-kohtuniku (LLM-as-a-judge) häälestust. Arvestades kasutaja päringut ja kandidaadiks olevat veebilehte koos selle lingi, pealkirja ja kokkuvõttega, teostab kohtunik esmalt päringu mõistmise, analüüsides päringut ja koostades võimalike kasutaja kavatsuste loendi. Nendele kavatsustele tuginedes töötleb kohtunik seejärel kandidaadi konteksti ja tagastab tekstist sõna-sõnalt kopeeritud vahemikud koos iga vahemiku kategooriaga, et silte oleks lihtsam kontrollida.

Seejärel sobitasime tagastatud vahemikud tagasi lähtetekstiga. Pole üllatav, et enamik kohtuniku väljundeid olid juba täpsed koopiad: naiivne stringide sobitamine taastas 98% vahemikest. Lihtsa regulaaravaldisel põhineva sobitamisetapi lisamine viis vahemike taastamise 100%-ni. See andis meile usaldusväärsed, granulaarsed vahemikud, mida sai konverteerida žetoonitaseme säilitamise/eemaldamise järelevalveks.

Hindasime seda järelevalve torujuhet, kasutades väikest kureeritud andmestikku käsitsi märgistatud vahemikega, võrreldes väiksemaid kohtunikumudeleid, erinevaid viipasid ja erinevaid sammude konfiguratsioone. Parima jõudlusega seadistus oli kaheetapiline torujuhe: esmalt päringu mõistmine, millele järgnes kategooriatesse jagatud vahemike sildistamine. Samuti valideerisime ekstraheeritud vahemike komplekti allavoolu toimuvate kontrollitavate hinnangute kaudu, nagu BrowseComp ja SimpleQA, kus ainult säilitatud tõendite vahemike kasutamine säilitas tugevad skoorid, vähendades samal ajal oluliselt sisendžetoone.

Selle torujuhtme abil sildistasime 750 tuhat päringu-dokumendi paari ja kasutame saadud vahemikke tihenduspea treenimiseks binaarse ristentropia abil. See protsess võimaldab meie päringuteadlikul tihendusmudelil hoida lähteteksti muutumatuna, eemaldades samal ajal konteksti, mis tõenäoliselt ei aita allavoolu mudelil kasutaja päringut teenindada.

Reaalajas latentsuse tagamine

Konteksti tihendamine asub enne allavoolu mudelit, muutes selle blokeerivaks operatsiooniks. Pealegi sõltub iga tihendamine päringust. Seetõttu peab veebipõhine tee hindama päringu-konteksti paare iga kandidaadokumendi jaoks ranges latentsuse piirmääras. Aeglane tihendusmudel on iseendale vasturääkiv, kuna kõrgemast täpsusest tulenevad latentsuskasud nullitakse tihenduse latentsuse endaga. Samas teeb vähem intelligentne tihendusmudel halvemaid otsuseid selle kohta, mida kärpida ja alles jätta.

Praktiline küsimus on, kui palju mudeli mahtu saame turvaliselt eemaldada enne, kui tihenduskvaliteet hakkab halvenema. Võrdleme täismahus 28-kihilist pplx-diffusion alust 11-kihiliste ja 17-kihiliste variantidega, mis on toodetud kihtide kärpimise teel ja suunatud otsinguteele. Igaühe puhul käime läbi tihendusläve ja mõõdame kahte suurust: allavoolu saadetavate kontekstižetoonide keskmist arvu päringu kohta ja pärast tihendamist säilinud kasulike tõendite osa.

Joonis 2 näitab kvaliteedi ja tõhususe piiri. Mudel on parem, kui see liigub ülemise vasaku nurga poole: vähem allavoolu žetoone ning säilinud on rohkem kasulikke tõendeid. 28-kihiline mudel on kvaliteedi võrdlusalus. 11-kihiline mudel demonstreerib riske, mis kaasnevad mudeli liiga agressiivse tihendamisega. Kärbitud 17-kihiline mudel esindab keskteed: see järgib küllastunud režiimis 28-kihilist mudelit tihedalt, kuid kõveras järsul osal, kus toimib enamik tootmisliikluse päringuid, tekib väike vahe.

Selle vahe sulgemiseks kasutame žetoonitaseme teadmiste destilleerimist. Meie lähenemine on tavapärane: täiendame standardset kadu õpetajamudeli ennustustel põhineva pehme ristentropia liikmega, mida kaalutakse destilleerimiskoefitsiendiga. Sellest piisab, et viia õpilasmudel pariteedini, võimaldades meil tootmises täielikult üle minna destilleeritud 17-kihilisele mudelile. See uus tootmismudel tagab 35–40% languse järelduse latentsuses ja 40–45% languse GPU koondarvutuses ilma kvaliteedi languseta võrreldes 28-kihilise õpetajaga. Tootmise latentsus on alla 20 ms (p99): piisavalt väike, et lisada see teenindusteele, vähendades samal ajal oluliselt vastusemudelile edastatud žetoonide koguarvu.

Suurenda

Kvaliteet ja žetoonide tõhusus

Kasutame konteksti tihendamise tõhususe analüüsimiseks Perplexity agentide API-t testkeskkonnana. Hindame kolme agentide API eelseadistust:

„Madal“ konteksti eelseadistus, mis piirab iga tulemuste komplekti žetoonide eelarve 1000 žetooniga.

„Keskmine“ konteksti eelseadistus, mis piirab iga tulemuste komplekti žetoonide eelarve 4000 žetooniga.

„Kõrge“ konteksti eelseadistus, mis piirab iga tulemuste komplekti žetoonide eelarve 10 000 žetooniga.

Nii standardne, tihenduseta kui ka tihendusseaded on konfigureeritud neid žetoonide eelarveid austama.

Agentne mitmesammuline otsing (BrowseComp)

Uurime esmalt tihenduse mõju agentsele mitmesammulisele otsingu töövoole BrowseComp võrdlusalusel. Teostame selle hindamise oma avatud lähtekoodiga search_evals tööriistakomplekti abil. Hindamine on kõigi käivitamiste puhul identne, kasutades OpenAI kanoonilist BrowseComp LLM-kohtuniku viipa.

Kaks huvipakkuvat mõõdet on võrdlusaluse täpsus ja žetoonide kasutus. Oluline on see, et mõõdame žetoonide kasutust päringu tasemel, mitte üksiku sammu tasemel, et mõõta tegelikku žetoonide koormust kogu päringu elutsükli jooksul. Joonis 3 näitab „skoor-žetoon“ piiri: täpsuse skoor vs. žetoonide kasutus.

Suurenda

Tihendus tagab uue Pareto piiri kõigis aspektides. Igas seadistuses vähendab tihenduse sissetoomine päringutaseme žetoonide kasutust 10% kuni 70%, kusjuures täpsuse kasv jääb vahemikku 4 kuni 4,81 protsendipunkti. Tihenduse kasutuselevõtt võimaldab isegi meie „madalal“ eelseadistusel edestada tihenduseta „kõrget“ eelseadistust, vähendades samal ajal žetoonide kasutust rohkem kui kolm korda.

Märkame, et tihendusega annab „kõrge“ eelseadistus suurema täpsuse kui „keskmine“, nagu võime oodata. Huvitaval kombel teeb see seda aga väiksema žetoonide kasutusega. See paljastab tihenduse peene, kuid olulise efekti: tihendusega võib isegi sammupõhise konteksti suuruse suurendamine võimaldada mudelil õige tulemuseni jõudmiseks teha vähem samme. Selle mittemonotonsuse uurimine on tulevase töö jaoks paljulubav suund.

SimpleQA: ühesammuline faktilisus

BrowseComp paneb rõhu mitmesammulisele uuringule, kuid paljud tootmise töövoogud hõlmavad ühesammulist faktilist otsingut. Tegemaks kindlaks, kas tihendus aitab ka ühesammulises režiimis, uurime jõudlust ka SimpleQA võrdlusalusel, mis koosneb 4326 küsimusest, millele tuleb vastata ühe otsingusammuga, mitte agentse tsüklina.

Nagu varemgi, joonistame täpsuse graafikule ülesande kohta kuluvate keskmiste žetoonide koguarvu suhtes, kasutades kanoonilist kohtuniku viipa. Joonis 4 näitab skoor-žetoon piiri selles ühesammulises seadistuses. Kuigi efekti suurused on ühesammulises seadistuses kokkusurutumad, märkame taas, et tihendus parandab samaaegselt täpsust ja tõhusust kõigi eelseadistuste lõikes, tuues seega turule uue Pareto piiri. Sisselülitatud tihendusega saavutab keskmine eelseadistus 95% täpsuse keskmiselt vaid 200 žetooniga dokumendi kohta. Arvestades dokumendi keskmist pikkust üle 10 000 žetooni, esindab see tipptasemel jõudlust enam kui 50-se tihendussuhte juures.

Suurenda

Mis satub katkenditesse?

Allavoolu võidud jaotistes 4.1 ja 4.2 on otspunktist otspunktini. Et mõista, kuidas tihendus üksikuid katkendeid muudab, teeme eraldi hindamise, mis kasutab LLM-kohtunikku, et liigitada iga otsitud katkendi iga žetoon ühte kuuest kategooriast:

Elutähtis (Vital): kasutaja päringu vastamiseks hädavajalikud tõendid.

Teemaväline (Off-topic): teave, mis võib olla kasulik mõnel muul otstarbel, kuid ei ole seotud käesoleva päringuga.

Reklaamid (Ads): ebaoluline reklaam, mis juhib tähelepanu kõrvale kasutaja päringule vastamisest.

Metaandmed (Metadata): metaandmed dokumendi sisu kohta.

UI ja navigeerimine (UI & navigation): esiotsa kuvamise ja navigeerimise elemendid.

Duplikaat (Duplicate): varem kaasatud teabe kordamine.

Meie hindamine töötab 1,000 segadomeenilisel päringul meie valideerimiskomplektist, võrreldes tootmispinu identse, kuid väljalülitatud tihendusega võrdlusalusega. Nagu on näidatud joonisel 5, suurendab tihendus elutähtsate žetoonide osakaalu katkendi kohta keskmiselt 63% võrreldes tihenduseta võrdlusalusega. Me näeme ebaoluliste žetoonide 29%-list vastavat langust, kusjuures eriti järsud langused esinevad UI/navigeerimises (-58%), metaandmetes (-46%) ja reklaamides (-43%). Need tulemused kinnitavad eespool arutatud kvaliteedi-tõhususe parandamise mehhanismi: tihendus parandab jõudlust mõlemas mõõtmes, suurendades järsult iga üksiku katkendi signaali-müra suhet.

Suurenda

Joonis 6 illustreerib seda muudatust üksiku päringu puhul. Päringu „6 day old newborn milk intake per feeding“ jaoks näitame nii tihendamata (võrdlusbaas) kui ka tihendatud katkendeid. Tihendus kõrvaldab mittevajaliku sisu kategooriad ja säilitab ainult vastsündinuga seotud toitmisteabe. Oluline on see, et tihendus kõrvaldab edukalt sisu, mis võib lehe jaoks olla üldiselt teemakohane, kuid selle konkreetse vastsündinule keskendunud päringu jaoks teemaväline.

Suurenda

Kokkuvõte

AI-süsteemid tuginevad kasutajate päringute intelligentseks ja tõhusaks teenindamiseks kõrge signaalisisaldusega teabele. See teave tuleb esitada võimalikult kirurgiliselt, et maksimeerida asjakohasust iga päringu jaoks. Meie uued päringuteadlikud tihendusmudelid teevad täpselt seda, maksimeerides teemakohaseid tõendeid katkendi kohta ja eemaldades agressiivselt ebaolulised segajad.

Nende uute mudelite juurutamisega oma otsingupinus suudame pakkuda kiiremaid ja paremaid vastuseid neile, kes loodavad meie toodetele ja API-dele. Meie lähenemine loob lihtsa juhtimispinna, mis võimaldab meie süsteemidel ja API klientidel häälestada tihenduse astet, et tasakaalustada tagasikutset, latentsust ja kulusid.

Konteksti kureerimine on arenev valdkond ning tänapäevaste piirialade intelligentsussüsteemide iga kasutatud žetooni väärtuse optimeerimiseks on vaja teha veel palju tööd. Töötame aktiivselt selle nimel, et muuta oma konteksti kureerimise tehnikad veelgi paremaks nii mudelite täiustuste kui ka süsteemi arhitektuuri kaudu, et neid mudeleid veelgi ulatuslikumalt ära kasutada.

Viited

N. Chirkova, T. Formal, V. Nikoulina ja S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Aktsepteeritud ICLR 2025 konverentsile. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim ja D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang ja D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez ja G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

Tsitaat

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}