Fyrirspurnarvitið samhengisþjöppun fyrir betri úrdrætti

Sérhvert svar hefst á sönnunargögnum. Í leitarkerfi koma þessi gögn venjulega úr skjölum: titlum, úrdráttum, bútum og brotum sem eru send sem samhengi til svarlíkans eða umboðsmanns.

Þetta hráa samhengi er hávært. Til dæmis getur vefsíða innihaldið upplýsingar sem þarf fyrir beiðni notandans, en hún getur einnig innihaldið truflun. Þessi truflun getur komið fram bæði í aðaltexta og í hjálpareiningum, svo sem valmyndartexta, óviðkomandi auglýsingum, lýsigögnum og fleiru. Að senda þessar truflanir á niðurstreymisumboðsmann skapar þrjú vandamál.

Í fyrsta lagi skaðar það nákvæmni. Jafnvel öflugustu líkönin hafa takmarkaða getu. Langir straumar af óviðkomandi upplýsingum sóa getu líkansins, sem veldur „samhengisskemmdum“ sem skerða getu líkansins til að takast á við raunverulega beiðni notandans. Fyrir vikið eru líkur á að lokaorðið eða svarið missti af lykilstaðreyndum, vegi óvandaðar upplýsingar of þungt eða framleiði fullyrðingar sem eru erfiðari að styðja við í heimildinni.

Í öðru lagi eykur það töf. Lengra samhengi þýðir fleiri tákn fyrir niðurstreymislíkanið til að vinna úr, sérstaklega þegar fyrirspurn þarf sönnunargögn frá mörgum mögulegum síðum. Þó að hluti af þessum töfukostnaði sé borinn á forfyllingarstigi, er miklu meiri kostnaður greiddur í ályktun, þar sem líkön þurfa fleiri ályktunartákn til að takast á við óviðkomandi samhengi.

Í þriðja lagi hækkar það kostnað. Hvert óþarfa tákn sem sent er til líkansins gerir það dýrara að þjónusta beiðni notandans, þar sem notkun bæði inntakstákna og ályktunartákna eykst með háværara samhengi. Truflanir draga ekki aðeins úr gæðum; þær neyða þig til að borga meira fyrir þessi lakari gæði.

Stækka

Til að efla samtímis nákvæmni, hraða og hagkvæmni í forritum Perplexity og API Platform, fjárfestum við mikið í að bæta samhengisnákvæmni. Ein leið sem við gerum það er með því að bæta reiknirit okkar fyrir úrdráttargerð. Við meðhöndlum úrdráttargerð sem samhengisþjöppunarvandamál. Líkön sem leita að tilteknum upplýsingum njóta ekki góðs af almennum samantektum eða úrdráttum úr skjali. Frekar þurfa þau minnsta, skurðaðgerðalega dregna út hluta upprunalegu upplýsinganna til að svara beiðni notandans. Allt annað getur og verður að fjarlægja.

Góður úrdráttur ætti því að gera þrjá hluti:

Stuðla að nákvæmni með því að kynna nákvæm sönnunargögn sem þarf til að styðja svörun líkansins.

Draga úr töfum og kostnaði með því að fjarlægja óviðkomandi samhengi áður en LLM kall er gert.

Tryggja rekjanleika með því að varðveita trúmennsku tilvitnana og halda upprunalegum orðavali óskertu.

Í þessum mánuði settum við upp nýjan, fullkomnasta úrdráttarframleiðanda innan forrita okkar og API Platform. Kjarninn í þessari einingu er fyrirspurnarvitið samhengisþjöppunarlíkan sem ákveður, fyrir hverja fyrirspurn og mögulega niðurstöðu, hlutann af sviðum sem ætti að varðveita. Þessi grein lýsir nálgun okkar við að byggja upp og þjálfa líkanið til að ná bestu mögulegu frammistöðu í þessu mikilvæga verkefni.

Úrdráttur sem fyrirspurnarvitið þjöppun

Fyrsta verkefnið er að skilgreina sjálft verkefnið. Hvað viljum við að þetta líkan geri, og hvernig ættum við að skilgreina inntaks- og úttaksskemað?

Aðferðir við úrdrátt skiptast í tvær breiðar fjölskyldur. Sú fyrsta byggist á vali: finndu viðeigandi glugga, bút, setningu eða textabút og sendu hann áfram. Sú síðari byggist á kynslóð: biðjið líkan um að skrifa fyrirspurnarmiðaða samantekt af síðunni.

Áhersla okkar á nákvæmni, töf og kostnað gerir hönnunarákvörðunina skýra. Við getum útilokað kynslóð, þar sem það að búa til nýja samantekt fyrir hverja síðu skaðar frammistöðu í öllum þremur áherslunum. Samantekt hentar illa fyrir sönnunargagnalagið sem okkur varðar um. Hún gæti endursagt heimildina, sem gerir samræmingu tilvitnana erfiðari. Hún getur einnig kynnt orðalag sem var ekki til staðar á síðunni, sem er áhættusamt þegar úrdrátturinn er notaður sem sönnunargagn frekar en sem endanlegt svar. Seinkun og kostnaður sem því fylgir gera kynslóð enn óaðgengilegri.

Frekar skilgreinum við verkefni okkar sem fyrirspurnarvitið útdráttarþjöppun: að skilja gagnlegu hluta sótta samhengisins frá truflunum. Nánar tiltekið verður líkan okkar að taka við fyrirspurn og mögulegri niðurstöðu, og ákveða hvaða svið á að varðveita, þau sem styðja fyrirspurnina best, og hverjum á að sleppa, afganginum. Úttak líkansins varðveitir upprunalegan texta í stað þess að endurskrifa hann. Þetta gerir niðurstöðuna auðveldari að vísa í, auðveldari að staðfesta og ódýrari að senda áfram.

Til dæmis skaltu íhuga þessa fyrirspurn og sóttu niðurstöðu:

Stækka

Trúverðugt úttak líkans væri að velja feitletruðu setninguna: „Í Comet getur aðstoðarmaðurinn ...“.

Nálgun okkar fylgir sömu almennu hugmynd og fyrri vinna við samhengisþjöppun eins og FliCo, Provence og LooComp, sniðin að úrdráttargerð í framleiðsluleitarkerfi. Mikilvægt er að líkanið virkar sem nákvæmnisstigar eftir hráu sæknistigi okkar. Eins og rætt er um í fyrri Perplexity Research grein okkar, Introducing the Perplexity Search API, hönnum við leitarkerfi okkar til að starfa innfætt á undirskjals- eða úrdráttarstigi, sem þegar gerir okkur kleift að jafna nákvæmni og innheimtu frekar vel. Að kynna fyrirspurnarvitið samhengisþjöppunarlíkan ýtir Pareto-mörkum nákvæmni og innheimtu enn frekar út á við.

Að byggja og þjálfa samhengisþjöppunarlíkan

Við þróum líkan okkar með þrjár meginhugmyndir í huga: sameiginlegan skilning á fyrirspurn og samhengi, fíngerðu vali á setningastigi og skilvirkni til að passa innan mjög þröngs töfumarks.

Arkitektúr líkans

Við notum pplx-diffusion líkan sem bakgrunn. Þetta er sama líkanfjölskyldan á bak við pplx-embed-v1, og bæði fyrri fræðileg vinna okkar, Diffusion-Pretrained Dense and Contextual Embeddings, og framleiðsluviðmið okkar staðfesta að það sé öflugt tvísteðja kóðari fyrir fyrirspurnar- og samhengispör. Einn af lykileiginleikum þessarar líkanfjölskyldu er tvísteðja samhengi: hver táknmynd getur tekið þátt í fullri fyrirspurn og fullu mögulegu samhengi áður en líkanið ákveður hvað eigi að geyma.

Ofan á þennan bakgrunn þjálfum við léttan þjöppunarhaus sem spáir fyrir um hvaða hluta samhengisins ætti að geyma. Þar sem engin kynslóð kemur við sögu eru þessar spár gerðar samhliða þvert á allt samhengið. Við þjónustutíma safnar úrdráttarvélin þessum spám saman á setningastigi, beitir þröskuldi og snyrtir niðurstöðuna að umbeðnu táknmarki.

Leiðsla eftirlits

Þjálfun þessa þjöppunarforrits krefst eftirlits á réttu stigi smáatriða. Skjalastigsrelevansmerki hentar augljóslega ekki fyrir útdráttarþjöppunarverkefni okkar. Til að búa til nægilega sundurliðuð gögn fyrir vélanámsþjálfun byggðum við sviðsmerkingarleiðslu sem merkir fyrirspurnartengd sönnunargagnasvið, ásamt truflunarsviðum sem ætti að fjarlægja.

Leiðsla okkar notar LLM-sem-dómari uppsetningu. Miðað við notandafyrirspurn og mögulega vefsíðu með tengli hennar, titli og samantekt, framkvæmir dómarinn fyrst fyrirspurnarskilning, greinir fyrirspurnina og framleiðir lista yfir mögulega notendaásetningu. Með því að festa við þessa ásetningu vinnur dómarinn síðan úr mögulegu samhengi og skilar sviðum sem eru afrituð bókstaflega úr textanum, með flokki fyrir hvert svið til að gera merkingarnar auðveldari að skoða.

Við pörðum síðan skilað sviðum aftur við upprunalegan texta. Óvænt var flest dómarauðtak þegar nákvæm afrit: einföld strengjareining endurheimti 98% af sviðum. Að bæta við einföldum reglubundnum (regex) samsvörunaráfanga kom sviðsendurheimt í 100%. Þetta gaf okkur áreiðanleg, sundurliðuð svið sem hægt var að breyta í táknstigs geymslu-/eyðingareftirlit.

Við metuðum þessa eftirlitsleiðslu með því að nota lítið safnað gagnasafn með handmerktum sviðum, bera saman minni dómaralíkön, mismunandi leiðbeiningar og mismunandi þrepastillingar. Besta frammistöðuuppsetningin var tvíþrepa leiðsla: skilningur á fyrirspurn fyrst, fylgt eftir af flokkuðum sviðsmerkingum. Við staðfestum einnig safn útdreginna sviða með niðurstreymis staðfestanlegum mati eins og BrowseComp og SimpleQA, þar sem notkun eingöngu geymdra sönnunargagnasviða varðveitti sterk einkunn á meðan það dró verulega úr inntakstáknum.

Með því að nota þessa leiðslu merktum við 750 þúsund fyrirspurnar- og skjalapör og notum tilfallandi svið til að þjálfa þjöppunarhausinn með tvíundar krossentropy. Þetta ferli gerir fyrirspurnarviti þjöppunarlíkani okkar kleift að halda upprunalegum texta óskertum á meðan það fjarlægir samhengi sem er ólíklegt til að hjálpa niðurstreymislíkaninu að þjónusta beiðni notandans.

Að tryggja töf í rauntíma

Samhengisþjöppun situr á undan niðurstreymislíkaninu, sem gerir það að lokunaraðgerð. Þar að auki er hver þjöppun háð fyrirspurn. Þess vegna verður netleiðin að skora fyrirspurnar- og samhengispör fyrir hvert mögulegt skjal innan þíns nákvæma töfaramamma. Hægt þjöppunarlíkan er sjálfu sér sundurþykkjandi, þar sem töfarávinningur frá meiri nákvæmni eyðist af þjöppunartöfinni sjálfri. Á sama tíma mun minna greint þjöppunarlíkan taka lakari ákvarðanir um hvað eigi að klippa og halda í.

Praktíska spurningin er hve mikla líkanagetu við getum örugglega fjarlægt áður en þjöppunargæði byrja að rýrna. Við berum saman allar 28 laga pplx-diffusion bakgrunninn á móti 11 laga og 17 laga afbrigðum sem framleidd eru með lagaklippingu og miðað er að leitargötunni. Fyrir hvert skref sópum við yfir þjöppunarþröskuldinn og mælum tvær stærðir: meðalfjölda samhengistákna sem send eru niðurstreymis á hverja fyrirspurn, og hlutfall gagnlegra sönnunargagna sem varðveittust eftir þjöppun.

Mynd 2 sýnir gæða- og skilvirknimörkin. Líkan er betra þegar það færist í átt að efra vinstra horninu: færri niðurstreymistákn með gagnlegri sönnunargögnum varðveittum. 28 laga líkanið veitir gæðaviðmiðið. 11 laga líkanið sýnir áhættuna við að þjappa líkaninu of árásargjarnt. Klippta 17 laga líkanið táknar milliveg: það fylgir 28 laga líkaninu náið ímettunarástandinu, en lítið bil opnast í bröttum hluta ferilsins þar sem mesta framleiðsluumferðin starfar.

Til að loka því bili notum við táknstigs þekkingareimingu. Nálgun okkar er hefðbundin: við aukum staðlað tap með mjúkum krossentropy-lið á spám kennaralíkansins, vegið af eimingarstuðli. Þetta dugar til að koma nemendalíkaninu á jafnræði, sem gerir okkur kleift að skipta alveg yfir í eimda 17 laga líkanið í framleiðslu. Þetta nýja framleiðslulíkan skilar 35-40% lækkun á ályktunartöfum og 40-45% lækkun á heildar GPU-útreikningi án gæðafalls miðað við 28 laga kennarann. Framleiðslutöf klukkast inn undir 20 ms (p99): nógu lítið til að bæta við þjónustuleiðina á meðan það dregur verulega úr heildartáknum sem send eru til svarlíkansins.

Stækka

Gæði og táknskilvirkni

Við notum Agent API Perplexity sem prófunarvettvang til að greina árangur samhengisþjöppunar. Við metum þrjár forstillingar Agent API:

„Lágt“ samhengissnið sem takmarkar táknfjárhagsáætlun fyrir hvert niðurstöðusett við 1000 tákn.

„Miðlungs“ samhengissnið sem takmarkar táknfjárhagsáætlun fyrir hvert niðurstöðusett við 4000 tákn.

„Hátt“ samhengissnið sem takmarkar táknfjárhagsáætlun fyrir hvert niðurstöðusett við 10000 tákn.

Bæði staðlaðar stillingar, engin þjöppun og þjöppunarstillingar eru stilltar til að virða þessar táknfjárhagsáætlanir.

Umboðsleg fjölþrepa leit (BrowseComp)

Við skoðum fyrst áhrif þjöppunar á umboðsleg fjölþrepa leitarverkflæði á BrowseComp viðmiðinu. Við framkvæmum þetta mat með því að nota opinn uppspretta search_evals taum okkar. Einkunnagjöf er eins í öllum keyrslum, þar sem notuð eru dæmigerð BrowseComp LLM judge prompt frá OpenAI.

Víddirnar tvær sem vekja áhuga eru viðmiðunarnákvæmni og táknnotkun. Mikilvægt er að við mælum táknnotkun á fyrirspurnastigi frekar en á einstökum þrepastigi til að mæla raunverulegt táknálag sem fellur til yfir líftíma beiðninnar. Mynd 3 sýnir „einkunnar-tákn“ mörkin, nákvæmniseinkunn á móti táknnotkun.

Stækka

Þjöppun skilar nýjum Pareto-mörkum á öllum sviðum. Fyrir hverja stillingu dregur það úr táknnotkun á fyrirspurnastigi um 10% til 70% að kynna þjöppun, þar sem nákvæmnisaukning mælist á milli 4 og 4,81 prósentustiga. Að kynna þjöppun gerir jafnvel „lágu“ forsniði okkar kleift að standa sig betur en „hátt“ forsnið án þjöppunar, á sama tíma og það dregur úr táknnotkun um meira en þrefalt.

Við tökum eftir því að með þjöppun skilar „hátt“ meiri nákvæmni en „miðlungs“ eins og við gætum búist við. Hins vegar gerir það það athyglisvert við minni táknnotkun. Þetta leiðir í ljós lúmsk en mikilvæg áhrif þjöppunar: með þjöppun gæti jafnvel aukið samhengisstærð á hvert þrep gert líkaninu kleift að taka færri þrep til að komast að réttri niðurstöðu. Að kanna þessa óeinhæfni er efnileg stefna fyrir framtíðarvinnu.

SimpleQA: einstæð staðreyndaleit

BrowseComp leggur áherslu á fjölþrepa rannsóknir, en mörg framleiðsluverkflæði fela í sér einstæða staðreyndaleit. Til að ákvarða hvort þjöppun hjálpar einnig við einstæðar aðstæður, skoðum við einnig frammistöðu á SimpleQA, sem er viðmið sem samanstendur af 4.326 spurningum sem á að svara í einu leitarþrepi, frekar en umboðslegri lykkju.

Eins og áður teiknum við nákvæmni á móti meðaltali heildartákna á verkefni með dæmigerðum dómara. Mynd 4 sýnir einkunnar- og táknmörkin í þessu einstæða umhverfi. Þó að áhrifastærðir séu samþjappaðri í einstæða umhverfinu, sjáum við aftur að þjöppun bætir samtímis nákvæmni og skilvirkni yfir allar stillingar, og kynnir þannig ný Pareto-mörk. Með virkjaðri þjöppun nær miðlungs stillingin 95% nákvæmni með að meðaltali aðeins 200 táknum á skjal. Miðað við meðallengd skjala yfir 10.000 tákn, táknar þetta frammistöðu á mörkum við þjöppunarhlutfall sem er meira en 50.

Stækka

Hvað lendir í úrdrættinum?

Niðurstreymisávinningurinn í köflum 4.1 og 4.2 er end-to-end. Til að skilja hvernig þjöppun breytir einstökum úrdrætti, keyrum við aðskilið mat sem notar LLM dómara til að flokka hvert tákn hvers sótts úrdráttar í einn af sex flokkum:

Nauðsynlegt: sönnunargögn sem eru nauðsynleg til að svara spurningu notandans.

Utanefnis: upplýsingar sem gætu verið gagnlegar í einhverjum öðrum tilgangi en tengjast ekki fyrirspurninni sem fyrir hendi er.

Auglýsingar: óviðkomandi auglýsingar sem trufla svörun við spurningu notandans.

Lýsigögn: lýsigögn um innihald skjalsins.

Notendaviðmót og leiðsögn: einingar fyrir framendaútlit og leiðsögn.

Tvritanir: endurtekning á áður innlimuðum upplýsingum.

Mat okkar keyrir á 1.000 blandaðra sviða fyrirspurnum úr staðfestingarsafni okkar, þar sem framleiðslustakkurinn er borinn saman við að öðru leyti eins grunnlínu með óvirkri þjöppun. Eins og sýnt er á mynd 5, eykur þjöppun hlutfall nauðsynlegra tákna í hverjum úrdrætti að meðaltali um 63% yfir grunnlínu án þjöppunar. Við sjáum samsvarandi samdrátt um 29% í óviðkomandi táknum, með sérstaklega bröttum lækkunum í notendaviðmóti/leiðsögn (-58%), lýsigögnum (-46%) og auglýsingum (-43%). Þessar niðurstöður staðfesta vélbúnaðinn fyrir gæða- og skilvirknibótunum sem ræddar voru hér að ofan: þjöppun bætir frammistöðu yfir báðar víddir með því að hækka merki-til-suð hlutfall hvers einstaks úrdráttar verulega.

Stækka

Mynd 6 sýnir þessa breytingu fyrir einstaka fyrirspurn. Fyrir fyrirspurnina „6 daga nýburamjólkurneysla í hverri máltíð“, sýnum við bæði óþjappaða, grunnlínu- og þjöppuðu úrdrættina. Þjöppun útilokar óþvitalga efnisflokka og heldur aðeins í nýburatengdar fæðingarupplýsingar. Mikilvægt er að þjöppun útilokar með góðum árangri efni sem gæti verið almennt viðeigandi fyrir síðuna, en óviðkomandi fyrir þessa tilteknu nýburamiðuðu fyrirspurn.

Stækka

Niðurstaða

Gervigreindarkerfi treysta á hásvörunarupplýsingar til að þjónusta beiðni notenda á greindan og skilvirkan hátt. Þessar upplýsingar verða að vera kynntar eins skurðaðgerðalega og mögulegt er til að hámarka mikilvægi fyrir hverja beiðni. Nýju fyrirspurnarvítu þjöppunarlíkönin okkar gera nákvæmlega þetta með því að hámarka efni sem tengist málinu á hverjum úrdrætti og fella grimmilega úr óviðkomandi truflanir.

Með því að setja þessi nýju líkön upp innan leitarstakks okkar getum við veitt hraðari og betri svör til þeirra sem treysta á vörur okkar og API. Nálgun okkar skapar einfalt stjórnunarflöt sem gerir kerfum okkar og API-viðskiptavinum kleift að stilla þjöppunarstigið til að jafna á milli endurheimtar, tafanna og kostnaðar.

Samhengissöfnun er vaxandi svið, og það er mikið meira sem á eftir að gera til að hámarka gildi hvers tákn sem notað er innan núverandi landamæragervigreindarkerfa. Við vinnum virkan að því að gera samhengissöfnunaraðferðir okkar enn betri með bæði líkanabótum og kerfisarkitektúr til að nýta þessi líkön enn betur.

Heimildir

N. Chirkova, T. Formal, V. Nikoulina, og S. Clinchant. Provence: Skilvirk og örugg samhengissniðning fyrir leitarauðgaða kynslóð, 2025. Samþykkt á ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, og D. Kim. LooComp: Nýttu Leave-One-Out stefnu á kóðara-einni Transformer fyrir skilvirka fyrirspurnarvitið samhengisþjöppun, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, og D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, og G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

Tilvitnun

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}