Forespørgselsbevidst kontekstkomprimering for bedre tekstbidder

Ethvert svar starter med evidens. I et søgesystem kommer denne evidens normalt fra dokumenter: titler, resuméer, uddrag og tekstbidder, der videregives som kontekst til en svarmodel eller agent.

Denne rå kontekst er støjende. For eksempel kan en webside indeholde information, der er nødvendig for brugerens forespørgsel, men den kan også indeholde distraherende elementer. Disse distraherende elementer kan optræde både i hovedteksten og i tilknyttede elementer såsom navigationstekstelementer, irrelevant annoncering, metadata med mere. At sende disse distraherende elementer videre til en downstream-agent skaber tre problemer.

For det første forringer det nøjagtigheden. Selv de kraftigste modeller har en endelig kapacitet. Lange strømme af irrelevant information spilder modelkapacitet, hvilket resulterer i "kontekstforrådnelse", der svækker modellens evne til at besvare den faktiske brugerforespørgsel. Som et resultat er det mere sandsynligt, at det endelige svar overser nøglefakta, vægter information af lav kvalitet for højt eller producerer påstande, der er sværere at forankre i kilden.

For det andet forsinker det svartiden. Længere kontekst betyder flere tokens, som downstream-modellen skal behandle, især når en forespørgsel kræver evidens fra mange kandidatsider. Selvom en del af disse omkostninger i form af svartid bæres i prefill-fasen, betales en meget mere væsentlig pris i ræsonnementer, hvor modellerne kræver flere ræsonneringstokens for at håndtere irrelevant kontekst.

For det tredje øger det omkostningerne. Hvert unødvendigt token, der videregives til modellen, gør det dyrere at betjene brugerens forespørgsel, da både forbruget af input-tokens og ræsonneringstokens stiger med en mere støjende kontekst. Distraherende elementer reducerer ikke bare kvaliteten; de ender med at tvinge dig til at betale mere for denne forringede kvalitet.

Udvid

For samtidigt at forbedre nøjagtighed, hastighed og omkostningseffektivitet på tværs af Perplexitys applikationer og API Platform investerer vi massivt i at forbedre kontekstpræcisionen. En måde, vi gør dette på, er ved at finpudse vores algoritmer til generering af tekstbidder. Vi behandler generering af tekstbidder som et kontekstkomprimeringsproblem. Modeller, der leder efter specifik information, har ikke gavn af generaliserede resuméer eller uddrag af et dokument. De har i stedet brug for det mindst mulige og mest kirurgisk udskårne stykke kildeinformation til at besvare brugerens forespørgsel. Alt andet kan og skal fjernes.

Et godt tekstbidder bør derfor gøre tre ting:

Fremme nøjagtigheden ved at præsentere den præcise evidens, der er nødvendig for at forankre modellens svar.

Reducere svartid og omkostninger ved at fjerne irrelevant kontekst før LLM-kaldet.

Sikre sporbarhed ved at bevare citatets nøjagtighed og holde kildeteksten intakt.

Denne måned implementerede vi en ny, avanceret generator af tekstbidder i vores applikationer og API Platform. Kernen i dette modul er en forespørgselsbevidst kontekstkomprimeringsmodel, som for hver forespørgsel og kandidatresultat beslutter, hvilken delmængde af tekstsegmenter der skal bevares. Denne artikel beskriver vores tilgang til at opbygge og træne modellen for at opnå klassens bedste ydeevne på denne kritiske opgave.

Tekstbidder som forespørgselsbevidst komprimering

Den første opgave er at definere selve opgaven. Hvad ønsker vi, at denne model skal gøre, og hvordan skal vi definere input- og outputschemaet?

Metoder til tekstbidder falder i to overordnede kategorier. Den første er baseret på udvælgelse: find et relevant vindue, en blok, en sætning eller en passage, og send det videre. Den anden er baseret på generering: bed en model om at skrive et forespørgselsfokuseret resumé ud fra siden.

Vores fokus på nøjagtighed, svartid og omkostninger gør designvalget klart. Vi kan udelukke generering, da oprettelsen af et nyt resumé for hver side forringer ydeevnen på tværs af alle tre fokuspunkter. Summarisering egner sig dårligt til det evidenslag, vi går op i. Det kan omskrive kilden, hvilket gør det sværere at tilpasse citater. Det kan også indføre ordlyd, der ikke fandtes på siden, hvilket er risikabelt, når tekstbidderne bruges som evidens frem for som det endelige svar. De involverede omkostninger og svartider gør generering endnu mindre tiltalende.

I stedet definerer vi vores opgave som forespørgselsbevidst ekstraktiv komprimering: at adskille de nyttige dele af den hentede kontekst fra de distraherende dele. Helt konkret skal vores model acceptere en forespørgsel og et kandidatresultat og beslutte, hvilke segmenter der skal bevares – dem der understøtter forespørgslen bedst – og hvilke der skal kasseres, nemlig resten. Modellens output bevarer kildeteksten i stedet for at omskrive den. Dette gør resultatet lettere at citere, lettere at verificere og billigere at sende videre.

Overvej for eksempel denne forespørgsel og det hentede resultat:

Udvid

Et sandsynligt modeloutput ville være at vælge den med fed skrevet sætning: “I Comet kan assistenten ...”.

Vores tilgang følger den samme overordnede idé som tidligere arbejde med kontekstkomprimering såsom FliCo, Provence og LooComp, tilpasset til generering af tekstbidder i et produktionstjenestesystem. Vigtigst af alt fungerer modellen som et præcisionstrin efter vores rå hentningsfase. Som diskuteret i vores tidligere Perplexity Research-artikel, Introducing the Perplexity Search API, designer vi vores hentningssystemer til at fungere oprindeligt på subdokument- eller tekstbidsniveau, hvilket allerede gør det muligt for os at balancere præcision og genkald rigtig godt. Introduktionen af en forespørgselsbevidst kontekstkomprimeringsmodel skubber præcision-genkald-Pareto-grænsen endnu længere ud.

Opbygning og træning af en kontekstkomprimeringsmodel

Vi udvikler vores model med tre hovedhensyn i tankerne: fælles forståelse af forespørgsel og kontekst, finkornet udvælgelse på sætningsniveau og effektivitet, så den passer inden for et ekstremt stramt budget for svartid.

Modelarkitektur

Vi bruger en pplx-diffusion-model som backbone. Dette er den samme modelfamilie, der ligger bag pplx-embed-v1, og både vores tidligere akademiske arbejde, Diffusion-Pretrained Dense and Contextual Embeddings, og vores produktionsbenchmarks bekræfter, at den er en stærk tovejs-encoder for forespørgsel-kontekst-par. En af de vigtigste egenskaber ved denne modelfamilie er tovejskontekst: hver token-repræsentation kan tage hensyn til hele forespørgslen og hele kandidatkonteksten, før modellen beslutter, hvad der skal beholde.

Oven på denne backbone træner vi et letvægtskomprimeringshoved, som forudsiger, hvilke dele af konteksten der skal beholdes. Da der ikke er nogen generering involveret, foretages disse forudsigelser parallelt på tværs af hele konteksten. Under serveringstid aggregerer tekstbidsmotoren disse forudsigelser på sætningsniveau, anvender en tærskel og trimmer resultatet til det anmodede token-budget.

Overvågningspipeline

Træning af denne kompressor kræver overvågning på det rette detaljeringsniveau. En relevansmærkat på dokumentniveau er åbenlyst uegnet til vores ekstraktive komprimeringsopgave. For at generere tilstrækkeligt detaljerede data til overvåget læring byggede vi en segmentmærkningspipeline, der markerer forespørgselsrelevante evidenssegmenter sammen med distraherende segmenter, der bør fjernes.

Vores pipeline bruger en opsætning med en LLM som dommer. Givet en brugerforespørgsel og en kandidatwebside med dens link, titel og resumé udfører dommeren først en forespørgselsforståelse, hvor den analyserer forespørgslen og producerer en liste over mulige brugerintentioner. Med udgangspunkt i disse intentioner behandler dommeren derefter kandidatkonteksten og returnerer segmenter kopieret ordret fra teksten med en kategori for hvert segment for at gøre mærkaterne lettere at inspicere.

Vi matchede derefter de returnerede segmenter tilbage til kildeteksten. Ikke overraskende var de fleste dommeroutput allerede nøjagtige kopier: simpel strengsøgning gendannede 98 % af segmenterne. Tilføjelse af et simpelt regex-baseret matchningstrin bragte segmentgendannelsen op på 100 %. Dette gav os pålidelige, detaljerede segmenter, som kunne konverteres til token-niveau bevar/kasser-overvågning.

Vi evaluerede denne overvågningspipeline ved hjælp af et lille kurateret datasæt med manuelt mærkede segmenter, hvor vi sammenlignede mindre dommermodeller, forskellige prompts og forskellige trindesigns. Den bedst ydende opsætning var en totrinspipeline: først forespørgselsforståelse efterfulgt af kategoriseret segmentmærkning. Vi validerede også sættet af ekstraherede segmenter gennem downstream-verificerbare evalueringer såsom BrowseComp og SimpleQA, hvor brugen af udelukkende de bevarede evidenssegmenter bevarede stærke scorer, samtidig med at input-tokens blev væsentligt reduceret.

Ved hjælp af denne pipeline mærkede vi 750k forespørgsel-dokument-par og bruger de resulterende segmenter til at træne komprimeringshovedet med binær krydsentropi. Denne proces gør det muligt for vores forespørgselsbevidste komprimeringsmodel at holde kildeteksten intakt, samtidig med at den fjerner kontekst, som sandsynligvis ikke vil hjælpe downstream-modellen med at besvare brugerens forespørgsel.

Sikring af svartid i realtid

Kontekstkomprimering placeres før downstream-modellen, hvilket gør den til en blokerende operation. Desuden er hver komprimering forespørgselsafhængig. Derfor skal online-stien score forespørgsel-kontekst-par for hvert kandidatdokument inden for et nøje fastsat svartidsinterval. En langsom komprimeringsmodel modarbejder sig selv, da fordelene ved højere præcision mht. svartid udviskes af selve komprimeringsforsinkelsen. Samtidig vil en mindre intelligent komprimeringsmodel træffe dårligere beslutninger om, hvad der skal skæres fra, og hvad der skal bevares.

Det praktiske spørgsmål er, hvor meget modelkapacitet vi trygt kan fjerne, før komprimeringskvaliteten begynder at forringes. Vi sammenligner den fulde 28-lags pplx-diffusion-backbone med 11-lags- og 17-lags-varianter produceret ved lagbeskæring og rettet mod søgestien. For hver enkelt gennemløber vi komprimeringstærsklen og måler to størrelser: det gennemsnitlige antal konteksttokens, der sendes downstream pr. forespørgsel, og andelen af nyttig evidens, der bevares efter komprimering.

Figur 2 viser kvalitet-effektivitet-grænsen. En model er bedre, når den bevæger sig mod øverste venstre hjørne: færre downstream-tokens med mere nyttiget evidens bevaret. 28-lags-modellen udgør kvalitetsreferencen. 11-lags-modellen demonstrerer risiciene ved at komprimere modellen for aggressivt. Den beskårne 17-lags-model repræsenterer et middelpunkt: den følger 28-lags-modellen tæt i det mættede regime, men der opstår et lille gab i den stejle del af kurven, hvor det meste produktionstrafik opererer.

For at lukke det gab benytter vi os af token-niveau vidensdestillation. Vores tilgang er rutinemæssig: vi udvider standardtabet med et blødt krydsentropiterm på lærermodellens forudsigelser, vægtet af en destillationskoefficient. Dette er tilstrækkeligt til at bringe elevmodellen i paritet, hvilket gør det muligt for os fuldstændigt at skifte til den destillerede 17-lags-model i produktion. Denne nye produktionsmodel giver et fald på 35-40 % i inferens-svartid og et fald på 40-45 % i det samlede GPU-forbrug uden kvalitetstab i forhold til 28-lags-læreren. Produktionssvartiden lander på under 20 ms (p99): lille nok til at blive føjet til serveringsstien, samtidig med at de samlede tokens, der sendes til svarmodellen, reduceres kraftigt.

Udvid

Kvalitet og token-effektivitet

Vi bruger Perplexitys Agent API som testmiljø til at analysere effektiviteten af kontekstkomprimering. Vi evaluerer tre Agent API-forhåndsindstillinger:

En "lav" kontekst-forhåndsindstilling, der begrænser token-budgettet for hvert resultatsæt til 1000 tokens.

En "medium" kontekst-forhåndsindstilling, der begrænser token-budgettet for hvert resultatsæt til 4000 tokens.

En "høj" kontekst-forhåndsindstilling, der begrænser token-budgettet for hvert resultatsæt til 10000 tokens.

Både standardindstillingen uden komprimering og komprimeringsindstillingerne er konfigureret til at overholde disse token-budgetter.

Agentbaseret flertrins-søgning (BrowseComp)

Vi undersøger først komprimeringens indvirkning på agentbaserede flertrins-søgningsarbejdsprocesser på BrowseComp-benchmarken. Vi udfører denne evaluering ved hjælp af vores open source-værktøj search_evals. Bedømmelsen er identisk på tværs af alle kørsler ved hjælp af OpenAIs kanoniske BrowseComp LLM-dommerprompt.

De to dimensioner af interesse er benchmark-nøjagtighed og token-forbrug. Vigtigst af alt måler vi token-forbruget på forespørgselsniveau frem for på det individuelle trinsniveau for at kunne måle den faktiske token-belastning på tværs af hele forespørgslens livscyklus. Figur 3 viser "score-token"-grænsen, nøjagtighedsscore vs. token-forbrug.

Udvid

Komprimering leverer en ny Pareto-grænse over hele linjen. For hver indstilling reducerer introduktionen af komprimering token-forbruget på forespørgselsniveau med alt fra 10 % til 70 %, med nøjagtighedsforbedringer på mellem 4 og 4,81 procentpoint. Introduktionen af komprimering gør det muligt selv for vores "lave" forhåndsindstilling at overgå den "høje" forhåndsindstilling uden komprimering, alt imens token-forbruget reduceres med mere end det tredobbelte.

Vi observerer, at med komprimering giver "høj" større nøjagtighed end "medium", som man kunne forvente. Interessant nok sker det dog ved et lavere token-forbrug. Dette afslører en subtil, men vigtig virkning af komprimering: med komprimering kan selv en øget kontekststørrelse pr. trin gøre det muligt for modellen at tage færre trin for at nå frem til det korrekte resultat. At udforske denne ikke-monotonitet er en lovende retning for fremtidigt arbejde.

SimpleQA: enkelttrins-faktabaseret opslag

BrowseComp lægger vægt på flertrins-forskning, men mange produktionsarbejdsprocesser involverer enkelttrins-faktasøgning. For at afgøre, om komprimering også hjælper i enkelttrins-regimet, undersøger vi også ydeevnen på SimpleQA, en benchmark bestående af 4.326 spørgsmål, der skal besvares i et enkelt søgetrin i stedet for i en agentbaseret løkke.

Som før plotter vi nøjagtighed op imod gennemsnitlige samlede tokens pr. opgave ved hjælp af den kanoniske dommerprompt. Figur 4 viser score-token-grænsen i denne enkelttrins-opsætning. Selvom effektstørrelserne er mere komprimerede i enkelttrins-opsætningen, observerer vi igen, at komprimering samtidigt forbedrer nøjagtighed og effektivitet på tværs af alle forhåndsindstillinger og dermed introducerer en ny Pareto-grænse. Med aktiveret komprimering opnår medium-forhåndsindstillingen 95 % nøjagtighed med et gennemsnit på kun 200 tokens pr. dokument. Givet en gennemsnitlig dokumentlængde på over 10.000 tokens repræsenterer dette ydeevne på grænsen af det mulige ved et komprimeringsforhold på over 50.

Udvid

Hvad ender der med at være i tekstbidderne?

De downstream-forbedringer, der nævnes i afsnit 4.1 og 4.2, er end-to-end. For at forstå, hvordan komprimering ændrer individuelle tekstbidder, kører vi en særskilt evaluering, der bruger en LLM-dommer til at klassificere hvert enkelt token i hvert hentet tekstbidder i en af seks kategorier:

Vigtig: evidens, der er afgørende for at besvare brugerens forespørgsel.

Uvedkommende: information, der kan være nyttig til et andet formål, men som ikke er relevant for den aktuelle forespørgsel.

Annoncer: irrelevant reklame, der fjerner fokus fra besvarelsen af brugerens forespørgsel.

Metadata: metadata om dokumentets indhold.

UI og navigation: elementer til frontend-visning og navigation.

Duplikeret: gentagelse af tidligere indarbejdet information.

Vores evaluering kører på 1.000 forespørgsler med blandet domæne fra vores valideringssæt og sammenligner produktionsstakken med en i øvrigt identisk baseline, hvor komprimering er deaktiveret. Som vist i figur 5 øger komprimering andelen af vigtige tokens pr. tekstbidder med i gennemsnit 63 % i forhold til baselinen uden komprimering. Vi observerer et tilsvarende fald på 29 % i irrelevante tokens, med særligt markante fald i UI/navigation (-58 %), metadata (-46 %) og annoncer (-43 %). Disse resultater bekræfter mekanismen bag de kvalitets- og effektivitetsforbedringer, der blev diskuteret ovenfor: komprimering forbedrer ydeevnen på tværs af begge dimensioner ved markant at øge signal-støj-forholdet for hvert enkelt tekstbidder.

Udvid

Figur 6 illustrerer denne ændring for en individuel forespørgsel. For forespørgslen "6 dag gammel nyfødt mælkeindtag pr. måltid" viser vi både den ukomprimerede baseline og de komprimerede tekstbidder. Komprimering fjerner de ikkevigtige indholdskategorier og beholder kun den madningsinformation, der er relateret til det nyfødte barn. Vigtigst af alt fjerner komprimering med succes indhold, der generelt kan være relevant for siden, men uvedkommende for denne specifikke nyfødt-fokuserede forespørgsel.

Udvid

Konklusion

AI-systemer er afhængige af information med et højt signalniveau for intelligent og effektivt at kunne besvare brugerforespørgsler. Denne information skal præsenteres så kirurgisk som muligt for at maksimere relevansen for hver enkelt forespørgsel. Vores nye forespørgselsbevidste komprimeringsmodeller gør netop dette ved at maksimere det relevante indhold pr. tekstbidder og aggressivt frasortere irrelevant støj.

Ved at implementere disse nye modeller i vores søgestak er vi i stand til at levere hurtigere og bedre svar til dem, der stoler på vores produkter og API'er. Vores tilgang skaber en simpel kontrolflade, der gør det muligt for vores systemer og API-kunder at finjustere komprimeringsgraden for at balancere mellem genkald, svartid og omkostninger.

Kontekstkuratering er et felt i udvikling, og der er meget mere, der skal gøres for at optimere værdien af hvert token, der bruges i nutidens avancerede intelligenssystemer. Vi arbejder aktivt på at gøre vores teknikker til kontekstkuratering endnu bedre gennem både modelforbedringer og systemarkitektur for at udnytte disse modeller endnu mere bredt.

Referencer

N. Chirkova, T. Formal, V. Nikoulina og S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Accepteret til ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim og D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang og D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez og G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

Citering

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}