మెరుగైన స్నిప్పెట్ల కోసం క్వెరీ-అవేర్ సందర్భ సంపీడనం

ప్రతి సమాధానం సాక్ష్యంతో మొదలవుతుంది. శోధన వ్యవస్థలో, ఈ సాక్ష్యం సాధారణంగా పత్రాల నుండి వస్తుంది: శీర్షికలు, సారాంశాలు, భాగాలు మరియు స్నిప్పెట్‌లు సమాధాన నమూనా లేదా ఏజెంట్‌కి సందర్భం (కాంటెక్స్ట్) వలె అందించబడతాయి.

ఈ ముడి సందర్భం శబ్దాన్ని కలిగి ఉంటుంది. ఉదాహరణకు, వెబ్ పేజీ వినియోగదారు అభ్యర్థనకు అవసరమైన సమాచారాన్ని కలిగి ఉండవచ్చు, కానీ అది పరధ్యానం కలిగించే అంశాలను కూడా కలిగి ఉండవచ్చు. ఈ పరధ్యానాలు ప్రధాన భాగంలో మరియు నావ్ టెక్స్ట్ అంశాలు, అప్రస్తుత ప్రకటనలు, మెటాడేటా వంటి సహాయక అంశాలలో రెండింటిలోనూ కనిపిస్తాయి. డౌన్‌స్ట్రీమ్ ఏజెంట్‌కి ఈ పరధ్యానాలను పంపడం వల్ల మూడు సమస్యలు వస్తాయి.

మొదటగా, ఇది ఖచ్చితత్వాన్ని దెబ్బతీస్తుంది. అత్యంత శక్తివంతమైన మోడళ్లకూ పరిమిత సామర్థ్యం ఉంటుంది. అసంబద్ధమైన సమాచారపు దీర్ఘ ప్రవాహాలు మోడల్ సామర్థ్యాన్ని వృథా చేస్తాయి, ఫలితంగా మోడల్ వాస్తవ యూజర్ అభ్యర్థనను పరిష్కరించే సామర్థ్యాన్ని దెబ్బతీసే “కాంటెక్స్ట్ రాట్” ఏర్పడుతుంది. దాంతో, తుది ప్రతిస్పందన కీలక వాస్తవాలను మిస్సయ్యే, తక్కువ-నాణ్యత సమాచారానికి అధిక బరువు ఇవ్వే, లేదా మూలంలో ఆధారపరచడం కష్టమైన దావాలను ఉత్పత్తి చేసే అవకాశం ఎక్కువగా ఉంటుంది.

రెండవది, ఇది లేటెన్సీని తగ్గిస్తుంది. సుదీర్ఘమైన సందర్భం అంటే డౌన్‌స్ట్రీమ్ మోడల్ ప్రాసెస్ చేయడానికి ఎక్కువ టోకెన్లు అవసరమవుతాయి, ముఖ్యంగా ఒక ప్రశ్నకు అనేక అభ్యర్థి పేజీల నుండి సాక్ష్యం అవసరమైనప్పుడు. ఈ లేటెన్సీ ఖర్చులో కొంత భాగం ప్రీఫిల్ దశలో భరించబడినప్పటికీ, రీజనింగ్‌లో మరింత ముఖ్యమైన ఖర్చు భరించబడుతుంది, అప్రస్తుత సందర్భంతో వ్యవహరించడానికి మోడళ్లకు ఎక్కువ రీజనింగ్ టోకెన్లు అవసరమవుతాయి.

మూడవది, ఇది ఖర్చును పెంచుతుంది. మోడల్‌కు పంపే ప్రతి అనవసరమైన టోకెన్ వినియోగదారు అభ్యర్థనకు సేవ చేయడం ఖరీదైనదిగా చేస్తుంది, ఎందుకంటే శబ్ధంతో కూడిన సందర్భంతో ఇన్‌పుట్ టోకెన్ మరియు రీజనింగ్ టోకెన్ వినియోగం రెండూ పెరుగుతాయి. పరధ్యానాలు నాణ్యతను తగ్గించడమే కాకుండా; ఆ చెత్త నాణ్యత కోసం మీరు ఎక్కువ చెల్లించేలా చేస్తాయి.

విస్తరించు

Perplexity యొక్క అప్లికేషన్‌లు మరియు API Platform అంతటా ఖచ్చితత్వం, వేగం, మరియు వ్యయ-ప్రభావితతను ఒకేసారి మెరుగుపరచడానికి, మేము కాంటెక్స్ట్ ఖచ్చితత్వాన్ని పెంచడంలో భారీగా పెట్టుబడి పెడుతున్నాము. మేము అలా చేసే ఒక మార్గం మా snippet generation అల్గోరిథమ్‌లను మెరుగుపరచడం. మేము snippet generation ను కాంటెక్స్ట్ కంప్రెషన్ సమస్యగా పరిగణిస్తాము. నిర్దిష్ట సమాచారాన్ని వెతుకుతున్న మోడళ్లకు, డాక్యుమెంట్ యొక్క సాధారణ సారాంశాలు లేదా భాగాలు ఉపయోగకరంగా ఉండవు. బదులుగా, యూజర్ అభ్యర్థనకు స్పందించడానికి అవసరమైన మూల సమాచారంలోని అత్యల్ప, అత్యంత శస్త్రచికిత్సాత్మకంగా వెలికితీసిన భాగం వారికి అవసరం. మిగతావన్నీ తొలగించవచ్చు మరియు తప్పనిసరిగా తొలగించాలి.

కాబట్టి మంచి స్నిప్పెట్ మూడు పనులు చేయాలి:

మోడల్ ప్రతిస్పందనకు ఆధారం కావడానికి అవసరమైన ఖచ్చితమైన సాక్ష్యాలను అందించడం ద్వారా ఖచ్చితత్వాన్ని ప్రోత్సహించండి.

LLM కాల్‌కు ముందు అప్రస్తుత సందర్భాన్ని తొలగించడం ద్వారా లేటెన్సీ మరియు ఖర్చును తగ్గించండి.

ఉల్లేఖన విశ్వసనీయతను భద్రపరచడం మరియు మూల పదజాలాన్ని చెక్కుచెదరకుండా ఉంచడం ద్వారా ట్రేసబిలిటీని నిర్ధారించండి.

ఈ నెలలో, మేము మా అప్లికేషన్‌లు మరియు API ప్లాట్‌ఫారమ్లో కొత్త, అత్యాధునిక స్నిప్పెట్ జనరేటర్‌ను అమలు చేసాము. ఈ మాడ్యూల్ యొక్క ప్రధాన భాగం క్వెరీ-అవేర్ కాంటెక్స్ట్ కంప్రెషన్ మోడల్, ఇది ప్రతి ప్రశ్న మరియు అభ్యర్థి ఫలితం కోసం, ఏ భాగాలను భద్రపరచాలో నిర్ణయిస్తుంది. ఈ కీలకమైన పనిలో అత్యుత్తమ పనితీరును సాధించడానికి మోడల్‌ను రూపొందించడం మరియు శిక్షణ ఇవ్వడంపై మా విధానాన్ని ఈ కథనం వివరిస్తుంది.

క్వెరీ-అవేర్ కంప్రెషన్‌గా స్నిప్పెట్‌లు

మొదటి పని ఏమిటంటే పనులను నిర్వచించడం. ఈ మోడల్ ఏమి చేయాలని మేము కోరుకుంటున్నాము, మరియు ఇన్‌పుట్ మరియు అవుట్‌పుట్ స్కీమాను ఎలా నిర్వచించాలి?

Snippet పద్ధతులు రెండు విస్తృత కుటుంబాలుగా విభజించబడతాయి. మొదటిది selection-based: సంబంధిత window, chunk, sentence, లేదా passage ను గుర్తించి, దాన్ని downstream కు పంపడం. రెండవది generation-based: పేజీ నుండి query-focused summary రాయమని మోడల్‌ను అడగడం.

ఖచ్చితత్వం, లేటెన్సీ మరియు ఖర్చుపై మా దృష్టి డిజైన్ ఎంపికను స్పష్టం చేస్తుంది. మేము జనరేషన్‌ను తోసిపుచ్చవచ్చు, ఎందుకంటే ప్రతి పేజీకి కొత్త సారాంశాన్ని సృష్టించడం మూడు దృష్టికోణాలలో పనితీరును దెబ్బతీస్తుంది. మేము శ్రద్ధ వహించే ఎవిడెన్స్ లేయర్‌కు సమ్మరైజేషన్ సరిగ్గా సరిపోదు. ఇది మూలాన్ని పారాఫ్రేజ్ చేయవచ్చు, ఉల్లేఖన అమరికను కష్టతరం చేస్తుంది. ఇది తుది సమాధానం కాకుండా సాక్ష్యంగా స్నిప్పెట్ ఉపయోగించినప్పుడు ప్రమాదకరమైన పేజీలో లేని పదజాలాన్ని కూడా పరిచయం చేయవచ్చు. ఇందులో ఉన్న లేటెన్సీ మరియు ఖర్చు జనరేషన్‌ను మరింత ఆమోదయోగ్యం కానిదిగా చేస్తాయి.

బదులుగా, మేము మా పనిని క్వెరీ-అవేర్ ఎక్స్‌ట్రాక్టివ్ కంప్రెషన్‌లో ఒకటిగా నిర్వచించాము: పునరుద్ధరించిన సందర్భంలోని సహాయక భాగాలను పరధ్యాన భాగాల నుండి వేరు చేయడం. ప్రత్యేకించి, మా మోడల్ ప్రశ్న మరియు అభ్యర్థి ఫలితాన్ని స్వీకరించాలి, మరియు ఏ భాగాలను భద్రపరచాలి, ప్రశ్నకు ఉత్తమంగా మద్దతు ఇచ్చేవి, మరియు ఏది వదిలివేయాలి, మిగిలినవి అని నిర్ణయించాలి. మోడల్ అవుట్‌పుట్ మూల పాఠాన్ని తిరిగి వ్రాయకుండా భద్రపరుస్తుంది. ఇది ఫలితాన్ని ఉల్లేఖించడం సులభం, ధృవీకరించడం సులభం మరియు డౌన్‌స్ట్రీమ్‌కు పంపడం చౌకైనదిగా చేస్తుంది.

ఉదాహరణకు, ఈ ప్రశ్న మరియు పునరుద్ధరించిన ఫలితాన్ని పరిగణించండి:

విస్తరించు

ఒక ఆమోదయోగ్యమైన మోడల్ అవుట్‌పుట్ బోల్డ్ చేసిన వాక్యాన్ని ఎంచుకోవడం: “కామెట్‌లో, అసిస్టెంట్ చేయగలడు ...”.

మా విధానం ఉత్పత్తి శోధన వ్యవస్థలో స్నిప్పెట్ జనరేషన్ కోసం అనుకూలించబడిన FliCo, Provence మరియు LooComp వంటి మునుపటి సందర్భ-సంపీడన పని వలె అదే విస్తృత ఆలోచనను అనుసరిస్తుంది. ముఖ్యంగా, మోడల్ మా ముడి పునరుద్ధరణ దశ తర్వాత ఖచ్చితమైన దశగా పనిచేస్తుంది. మా మునుపటి Perplexity పరిశోధనా కథనంలో చర్చించినట్లుగా, Introducing the Perplexity Search API, మేము మా పునరుద్ధరణ వ్యవస్థలను ఉప-పత్రం లేదా స్నిప్పెట్ స్థాయిలో స్థానికంగా పనిచేసేలా ఆర్కిటెక్ట్ చేస్తాము, ఇది ఇప్పటికే ఖచ్చితత్వాన్ని మరియు రీకాల్‌ను బాగా సమతుల్యం చేయడానికి మాకు అనుమతిస్తుంది. క్వెరీ-అవేర్ కాంటెక్స్ట్ కంప్రెషన్ మోడల్‌ను పరిచయం చేయడం ఖచ్చితత్వ-రీకాల్ పారెటో సరిహద్దును మరింత వెలుపలికి మారుస్తుంది.

కాంటెక్స్ట్ కంప్రెషన్ మోడల్‌ను నిర్మించడం మరియు శిక్షణ ఇవ్వడం

మేము మూడు ప్రధాన పరిగణనలతో మా మోడల్‌ను అభివృద్ధి చేస్తాము: ప్రశ్న మరియు సందర్భం యొక్క ఉమ్మడి అవగాహన, చక్కటి కణాల వాక్య-స్థాయి ఎంపిక మరియు అత్యంత కఠినమైన లేటెన్సీ బడ్జెట్‌లో సరిపోయే సామర్థ్యం.

మోడల్ ఆర్కిటెక్చర్

మేము బ్యాక్‌బోన్‌గా pplx-డిఫ్యూజన్ మోడల్‌ను ఉపయోగిస్తాము. ఇది pplx-embed-v1 వెనుక ఉన్న అదే మోడల్ కుటుంబం, మరియు మా మునుపటి అకడమిక్ పని, Diffusion-Pretrained Dense and Contextual Embeddings, మరియు మా ప్రొడక్షన్ బెంచ్‌మార్క్‌లు రెండూ ఇది క్వెరీ-కాంటెక్స్ట్ జతల కోసం బలమైన బైడైరెక్షనల్ ఎన్కోడర్ అని నిర్ధారిస్తాయి. ఈ మోడల్ కుటుంబం నుండి కీలకమైన లక్షణాలలో ఒకటి బైడైరెక్షనల్ సందర్భం: మోడల్ ఏమి ఉంచాలో నిర్ణయించే ముందు ప్రతి టోకెన్ ప్రాతినిధ్యం పూర్తి ప్రశ్న మరియు పూర్తి అభ్యర్థి సందర్భాన్ని హాజరుకావచ్చు.

ఈ ఆధారంపై, ఏ భాగాలను ఉంచాలో అంచనా వేసే తేలికపాటి compression head ను మేము శిక్షణ ఇస్తాము. ఇందులో ఎలాంటి generation లేకపోవడంతో, ఈ అంచనాలు మొత్తం కాంటెక్స్ట్ అంతటా సమాంతరంగా చేయబడతాయి. సర్వింగ్ సమయంలో, snippet engine ఈ అంచనాలను sentence స్థాయిలో సమగ్రపరిచి, ఒక threshold ను వర్తింపజేసి, ఫలితాన్ని అభ్యర్థించిన token budget కు తగ్గిస్తుంది.

సూపర్విజన్ పైప్‌లైన్

ఈ కంప్రెసర్‌కు శిక్షణ ఇవ్వడానికి సరైన స్థాయి గ్రాన్యులారిటీలో సూపర్విజన్ అవసరం. డాక్యుమెంట్-స్థాయి రీలెవెన్స్ లేబుల్ మా ఎక్స్‌ట్రాక్టివ్ కంప్రెషన్ పనికి స్పష్టంగా సరిపోదు. సూపర్‌వైజ్డ్ లెర్నింగ్ కోసం తగినంత గ్రాన్యులర్ డేటాను రూపొందించడానికి, మేము ప్రశ్న-సంబంధిత ఎవిడెన్స్ స్పాన్‌లను, అలాగే తీసివేయవలసిన డిస్ట్రాక్టర్ స్పాన్‌లను గుర్తించే స్పాన్ లేబ్లింగ్ పైప్‌లైన్‌ను రూపొందించాము.

మా పైప్‌లైన్ LLM-as-a-judge సెటప్‌ను ఉపయోగిస్తుంది. వినియోగదారు ప్రశ్న మరియు దాని లింక్, శీర్షిక మరియు సారాంశంతో కూడిన అభ్యర్థి వెబ్ పేజీని బట్టి, న్యాయమూర్తి మొదట ప్రశ్న అవగాహనను నిర్వహిస్తారు, ప్రశ్నను విశ్లేషించి సంభావ్య వినియోగదారు ఉద్దేశాల జాబితాను ఉత్పత్తి చేస్తారు. ఈ ఉద్దేశాలపై యాంకరింగ్ చేస్తూ, న్యాయమూర్తి అభ్యర్థి సందర్భాన్ని ప్రాసెస్ చేస్తారు మరియు టెక్స్ట్ నుండి verbatim కాపీ చేయబడిన స్పాన్‌లను తిరిగి ఇస్తారు, లేబుల్‌లను తనిఖీ చేయడం సులభం చేయడానికి ప్రతి స్పాన్‌కు ఒక వర్గంతో.

తర్వాత మేము తిరిగి లభించిన spans ను source text తో సరిపోల్చాము. ఆశ్చర్యకరం కాదు, judge outputs లో ఎక్కువ భాగం ఇప్పటికే ఖచ్చితమైన ప్రతులే: naive string matching spans లో 98% ను తిరిగి పొందింది. simple regex-based matching pass ను జోడించడం span recovery ను 100% కు తీసుకువచ్చింది. దీనివల్ల మాకు నమ్మదగిన, సూక్ష్మమైన spans లభించాయి, అవి token-level keep/drop supervision గా మార్చబడగలిగాయి.

మాన్యువల్‌గా లేబుల్ చేయబడిన స్పాన్‌లతో కూడిన చిన్న క్యూరేటెడ్ డెటాసెట్‌ని ఉపయోగించి మేము ఈ సూపర్విజన్ పైప్‌లైన్‌ను మూల్యాంకనం చేసాము, చిన్న జడ్జ్ మోడళ్లు, వివిధ ప్రాంప్ట్‌లు మరియు వివిధ స్టెప్ కాన్ఫిగరేషన్‌లను పోల్చాము. ఉత్తమ పనితీరు కనబరిచే సెటప్ రెండు దశల పైప్‌లైన్: ముందుగా ప్రశ్న అవగాహన, ఆ తర్వాత వర్గీకరించబడిన స్పాన్ లేబ్లింగ్. BrowseComp మరియు SimpleQA వంటి డౌన్‌స్ట్రీమ్ వెరిఫైబుల్ మూల్యాంకనాల ద్వారా సేకరించిన స్పాన్‌ల సెట్‌ను కూడా మేము ధృవీకరించాము, ఇక్కడ ఉంచిన ఎవిడెన్స్ స్పాన్‌లను మాత్రమే ఉపయోగించడం ద్వారా ఇన్‌పుట్ టోకెళ్లను గణనీయంగా తగ్గిస్తూ బలమైన స్కోర్‌లను భద్రపరిచాము.

ఈ పైప్‌లైన్‌ని ఉపయోగించి, మేము 750k క్వెరీ-డాక్యుమెంట్ జతలను లేబుల్ చేసాము మరియు బైనరీ క్రాస్-ఎంట్రోపీతో కంప్రెషన్ హెడ్‌కు శిక్షణ ఇవ్వడానికి ఫలిత స్పాన్‌లను ఉపయోగిస్తాము. ఈ ప్రక్రియ డౌన్‌స్ట్రీమ్ మోడల్ వినియోగదారు అభ్యర్థనకు సేవ చేయడంలో సహాయపడే అవకాశం లేని సందర్భాన్ని తొలగిస్తూ మూల పాఠాన్ని చెక్కుచెదరకుండా ఉంచడానికి మా క్వెరీ-అవేర్ కంప్రెషన్ మోడల్‌ను అనుమతిస్తుంది.

నిజ-సమయ లేటెన్సీని నిర్ధారించడం

కాంటెక్స్ట్ కంప్రెషన్ డౌన్‌స్ట్రీమ్ మోడల్‌కు ముందు ఉంటుంది, ఇది దీన్ని బ్లాకింగ్ ఆపరేషన్‌గా చేస్తుంది. అంతేకాకుండా, ప్రతి కంప్రెషన్ క్వెరీ-ఆధారితమైనది. అందువల్ల, ఆన్‌లైన్ మార్గం కఠినమైన లేటెన్సీ ఎన్వలప్‌లో ప్రతి అభ్యర్థి పత్రం కోసం క్వెరీ-కాంటెక్స్ట్ జతలను స్కోర్ చేయాలి. నెమ్మదైన కంప్రెషన్ మోడల్ స్వీయ-ఓటమి, ఎందుకంటే అధిక ఖచ్చితత్వం నుండి వచ్చే లేటెన్సీ ప్రయోజనాలు కంప్రెషన్ లేటెన్సీ ద్వారానే తొలగించబడతాయి. అదే సమయంలో, తక్కువ మేధస్సు గల కంప్రెషన్ మోడల్ ఏది కట్ చేయాలి మరియు ఉంచుకోవాలి అనే దానిపై పేలవమైన నిర్ణయాలు తీసుకుంటుంది.

ఆచరణాత్మక ప్రశ్న ఏమిటంటే, కంప్రెషన్ నాణ్యత క్షీణించడం ప్రారంభించడానికి ముందు మనం ఎంత మోడల్ సామర్థ్యాన్ని సురక్షితంగా తొలగించగలము. మేము పూర్తి 28-లేయర్ pplx-డిఫ్యూజన్ బ్యాక్‌బోన్‌ను లేయర్ ప్రినింగ్ ద్వారా ఉత్పత్తి చేయబడిన మరియు శోధన మార్గాన్ని లక్ష్యంగా చేసుకున్న 11-లేయర్ మరియు 17-లేయర్ వేరియంట్‌లతో పోల్చాము. ప్రతిదానికీ, మేము కంప్రెషన్ థ్రెషోల్డ్ పై స్వీప్ చేసి రెండు పరిమాణాలను కొలుస్తాము: ప్రశ్న ప్రతి డౌన్‌స్ట్రీమ్‌కు పంపబడిన కాంటెక్స్ట్ టోకెన్ల సగటు సంఖ్య, మరియు కంప్రెషన్ తర్వాత భద్రపరచబడిన ఉపయోగకరమైన సాక్ష్యం యొక్క భిన్నం.

Figure 2 quality-efficiency frontier ను చూపిస్తుంది. ఒక మోడల్ పై ఎడమ వైపుకు కదిలినప్పుడు అది మెరుగైనదిగా పరిగణించబడుతుంది: మరింత ఉపయోగకరమైన evidence ను పరిరక్షిస్తూ downstream tokens తక్కువగా ఉండటం. 28-layer మోడల్ నాణ్యత సూచనను అందిస్తుంది. 11-layer మోడల్ మోడల్‌ను అతిగా దూకుడుగా compress చేయడంలోని ప్రమాదాలను చూపిస్తుంది. pruned 17-layer మోడల్ ఒక మధ్యస్థ మార్గాన్ని సూచిస్తుంది: saturated regime లో ఇది 28-layer మోడల్‌ను దగ్గరగా అనుసరిస్తుంది, కానీ production traffic ఎక్కువగా పనిచేసే curve యొక్క steep portion లో ఒక చిన్న gap తెరుచుకుంటుంది.

ఆ అంతరాన్ని పూడ్చడానికి, మేము టోకెన్-స్థాయి జ్ఞాన స్వేదన (నాలెడ్జ్ డిస్టిలేషన్)ను ఉపయోగిస్తాము. మా విధానం సాధారణమైనది: మేము డిస్టిలేషన్ గుణకం ద్వారా వెయిట్ చేయబడిన టీచర్ మోడల్ అంచనాలపై సాఫ్ట్ క్రాస్-ఎంట్రోపీ పదాన్ని ప్రామాణిక నష్టానికి జోడిస్తాము. స్టూడెంట్ మోడల్‌ను సమానత్వానికి తీసుకురావడానికి ఇది సరిపోతుంది, ప్రొడక్షన్‌లో డిస్టిల్ చేయబడిన 17-లేయర్ మోడల్‌కి పూర్తిగా మారడానికి మాకు అనుమతిస్తుంది. ఈ కొత్త ప్రొడక్షన్ మోడల్ 28-లేయర్ టీచర్‌తో పోలిస్తే నాణ్యత క్షీణత లేకుండా ఇన్‌ఫరెన్స్ లేటెన్సీలో 35-40% తగ్గుదల మరియు మొత్తం GPU కంప్యూట్‌లో 40-45% తగ్గుదలను ఇస్తుంది. ప్రొడక్షన్ లేటెన్సీ 20 ms (p99) కంటే తక్కువగా ఉంటుంది: సమాధాన మోడల్‌కు పంపబడిన మొత్తం టోకెన్లను గణనీయంగా తగ్గిస్తూ సర్వింగ్ పాత్‌కు జోడించడానికి సరిపోతుంది.

విస్తరించు

నాణ్యత మరియు టోకెన్ సామర్థ్యం

సందర్భ సంపీడనం యొక్క ప్రభావాన్ని విశ్లేషించడానికి మేము Perplexity యొక్క Agent APIని టెస్ట్‌బెడ్‌గా ఉపయోగిస్తాము. మేము మూడు ఏజెంట్ API ప్రీసెట్‌లను మూల్యాంకనం చేస్తాము:

ప్రతి ఫలిత సెట్ కోసం టోకెన్ బడ్జెట్‌ను 1000 టోకెన్లకు పరిమితం చేసే “తక్కువ” సందర్భ ప్రీసెట్.

ప్రతి ఫలిత సెట్ కోసం టోకెన్ బడ్జెట్‌ను 4000 టోకెన్లకు పరిమితం చేసే “మధ్యస్థ” సందర్భ ప్రీసెట్.

ప్రతి ఫలిత సెట్ కోసం టోకెన్ బడ్జెట్‌ను 10000 టోకెన్లకు పరిమితం చేసే “అధిక” సందర్భ ప్రీసెట్.

ప్రామాణిక, కంప్రెషన్ లేని మరియు కంప్రెషన్ సెట్టింగ్‌లు రెండూ ఈ టోకెన్ బడ్జెట్‌లను గౌరవించేలా కాన్ఫిగర్ చేయబడ్డాయి.

ఏజెంటిక్ మల్టీ-స్టెప్ శోధన (BrowseComp)

BrowseComp బెంచ్‌మార్క్‌పై ఏజెంటిక్ మల్టీ-స్టెప్ శోధన వర్క్‌ఫ్లోలపై కంప్రెషన్ ప్రభావాన్ని మేము మొదట పరిశీలిస్తాము. మా ఓపెన్ సోర్స్ search_evals హర్నెస్‌ని ఉపయోగించి మేము ఈ మూల్యాంకనాన్ని నిర్వహిస్తాము. OpenAI యొక్క కాానికల్ BrowseComp LLM judge promptని ఉపయోగించి అన్ని పరుగులలో గ్రేడింగ్ ఒకే విధంగా ఉంటుంది.

ఆసక్తి ఉన్న రెండు పరిమాణాలు బెంచ్‌మార్క్ ఖచ్చితత్వం మరియు టోకెన్ వినియోగం. ముఖ్యంగా, అభ్యర్థన జీవితచక్రంలో జరిగే వాస్తవ టోకెన్ లోడ్‌ను కొలవడానికి మేము వ్యక్తిగత దశ స్థాయిలో కాకుండా క్వెరీ స్థాయిలో టోకెన్ వినియోగాన్ని కొలుస్తాము. చిత్రం 3 “స్కోర్-టోకెన్” సరిహద్దును చూపుతుంది, ఖచ్చితత్వ స్కోర్ vs. టోకెన్ వినియోగం.

విస్తరించు

కంప్రెషన్ అన్ని రంగాలలో కొత్త పారెటో సరిహద్దును అందిస్తుంది. ప్రతి సెట్టింగ్ కోసం, కంప్రెషన్‌ను పరిచయం చేయడం వల్ల క్వెరీ-స్థాయి టోకెన్ వినియోగం 10% నుండి 70% వరకు తగ్గుతుంది, ఖచ్చితత్వ లాభాలు 4 మరియు 4.81 శాతం పాయింట్ల మధ్య ఉంటాయి. కంప్రెషన్‌ను పరిచయం చేయడం వల్ల మా “తక్కువ” ప్రీసెట్ కూడా కంప్రెషన్ లేని “high” ప్రీసెట్‌ను అధిగమించడానికి అనుమతిస్తుంది, అదే సమయంలో టోకెన్ వినియోగాన్ని మూడు రెట్లు కంటే ఎక్కువగా తగ్గిస్తుంది.

compression తో, “high” అనేది మనం ఆశించే విధంగా “medium” కంటే ఎక్కువ ఖచ్చితత్వాన్ని ఇస్తుందని మేము గమనిస్తున్నాము. ఆసక్తికరంగా, అయితే, ఇది తక్కువ token వినియోగంతో జరుగుతుంది. ఇది compression యొక్క సూక్ష్మమైన కానీ ముఖ్యమైన ప్రభావాన్ని వెల్లడిస్తుంది: compression ఉన్నప్పుడు, ప్రతి దశలో కాంటెక్స్ట్ పరిమాణాన్ని పెంచడం కూడా మోడల్‌ను సరైన ఫలితానికి చేరుకోవడానికి తక్కువ steps తీసుకునేలా చేయవచ్చు. ఈ non-monotonicity ను అన్వేషించడం భవిష్యత్ పనికి ఆశాజనక దిశగా ఉంది.

SimpleQA: సింగిల్-స్టెప్ వాస్తవికత

BrowseComp multi-step పరిశోధనను పరీక్షిస్తుంది, అయినప్పటికీ అనేక production వర్క్‌ఫ్లోలు single-step factual lookup ను కలిగి ఉంటాయి. compression single-step regime లో కూడా సహాయపడుతుందా అని నిర్ధారించడానికి, మేము SimpleQA పై కూడా పనితీరును పరిశీలిస్తున్నాము; ఇది agentic loop కంటే, ఒకే search step లో సమాధానం ఇవ్వాల్సిన 4,326 ప్రశ్నలను కలిగి ఉన్న benchmark.

మునుపటి వలె, కాానికల్ జడ్జ్ ప్రాంప్ట్‌ని ఉపయోగించి మేము టాస్క్‌కు సగటు మొత్తం టోకెన్లకు వ్యతిరేకంగా ఖచ్చితత్వాన్ని ప్లాట్ చేస్తాము. చిత్రం 4 ఈ సింగిల్-స్టెప్ సెట్టింగ్‌లో స్కోర్-టోకెన్ సరిహద్దును చూపుతుంది. ప్రభావ పరిమాణాలు సింగిల్-స్టెప్ సెట్టింగ్‌లో మరింత కంప్రెస్ చేయబడినప్పటికీ, కంప్రెషన్ ఏకకాలంలో అన్ని ప్రీసెట్లలో ఖచ్చితత్వాన్ని మరియు సామర్థ్యాన్ని మెరుగుపరుస్తుందని, తద్వారా కొత్త పారెటో సరిహద్దును పరిచయం చేస్తుందని మేము మళ్లీ గమనిస్తాము. కంప్రెషన్ ప్రారంభించబడితే, మీడియం ప్రీసెట్ పత్రానికి సగటున 200 టోకెన్లతో 95% ఖచ్చితత్వాన్ని సాధిస్తుంది. 10,000 టోకెన్ల కంటే ఎక్కువ సగటు పత్ర పొడవును బట్టి, ఇది 50 కంటే ఎక్కువ కంప్రెషన్ నిష్పత్తిలో సరిహద్దు-స్థాయి పనితీరును సూచిస్తుంది.

విస్తరించు

స్నిప్పెట్లలో ఏమి ముగుస్తుంది?

విభాగాలు 4.1 మరియు 4.2 లోని డౌన్‌స్ట్రీమ్ లాభాలు ఎండ్-టు-ఎండ్. కంప్రెషన్ వ్యక్తిగత స్నిప్పెట్‌లను ఎలా మారుస్తుందో అర్థం చేసుకోవడానికి, పునరుద్ధరించిన ప్రతి స్నిప్పెట్ యొక్క ప్రతి టోకెన్‌ను ఆరు వర్గాలలో ఒకదానిలో వర్గీకరించడానికి LLM జడ్జ్‌ని ఉపయోగించే ప్రత్యేక మూల్యాంకనాన్ని మేము నిర్వహిస్తాము:

వైటల్: వినియోగదారు ప్రశ్నకు సమాధానం ఇవ్వడానికి అవసరమైన సాక్ష్యం.

ఆఫ్-టాపిక్: వేరే ప్రయోజనం కోసం ఉపయోగపడే సమాచారం కానీ చేతిలో ఉన్న ప్రశ్నకు సంబంధం లేదు.

ప్రకటనలు: వినియోగదారు ప్రశ్నకు సమాధానం ఇవ్వకుండా పరధ్యానం కలిగించే అప్రస్తుత ప్రకటనలు.

మెటాడేటా: పత్రం యొక్క విషయాల గురించి మెటాడేటా.

UI & నావిగేషన్: ఫ్రంట్‌ఎండ్ ప్రదర్శన మరియు నావిగేషన్ కోసం అంశాలు.

డూప్లికేట్: గతంలో చేర్చబడిన సమాచారం యొక్క పునరావృతం.

మా మూల్యాంకనం మా ధృవీకరణ సెట్ నుండి 1,000 మిశ్రమ-డొమైన్ ప్రశ్నలపై నడుస్తుంది, కంప్రెషన్ నిలిపివేయబడిన ఒకేలాంటి బేస్‌లైన్‌తో ప్రొడక్షన్ స్టాక్‌ను పోల్చింది. చిత్రం 5 లో చూపిన విధంగా, కంప్రెషన్ కంప్రెషన్ లేని బేస్‌లైన్‌తో పోలిస్తే స్నిప్పెట్‌కు కీలకమైన టోకెన్ల నిష్పత్తిని సగటున 63% పెంచుతుంది. అప్రస్తుత టోకెన్లలో 29% సంబంధిత తగ్గుదలని మేము గమనిస్తాము, ముఖ్యంగా UI/నావిగేషన్ (-58%), మెటాడేటా (-46%) మరియు ప్రకటనలు (-43%) లో తీవ్రమైన తగ్గుదల ఉంది. ఈ ఫలితాలు పైన చర్చించిన నాణ్యత-సామర్థ్య మెరుగుదలల కోసం యంత్రాంగాన్ని నిర్ధారిస్తాయి: ప్రతి వ్యక్తిగత స్నిప్పెట్ యొక్క సిగ్నల్-టు-నాయిస్ నిష్పత్తిని తీవ్రంగా పెంచడం ద్వారా కంప్రెషన్ రెండు పరిమాణాలలో పనితీరును మెరుగుపరుస్తుంది.

విస్తరించు

Figure 6 ఈ మార్పును ఒక వ్యక్తిగత query కోసం చూపిస్తుంది. “6 day old newborn milk intake per feeding” query కోసం, మేము uncompressed, baseline, మరియు compressed snippets రెండింటినీ చూపుతున్నాము. Compression non-vital content వర్గాలను తొలగించి, newborn-సంబంధిత feeding సమాచారాన్ని మాత్రమే నిలుపుతుంది. ముఖ్యంగా, page కు సాధారణంగా సంబంధించినట్లు ఉండవచ్చుగానీ, ఈ నిర్దిష్ట newborn-కేంద్రీకృత query కు సంబంధం లేని content ను compression విజయవంతంగా తొలగిస్తుంది.

విస్తరించు

ముగింపు

AI systems యూజర్ అభ్యర్థనలను తెలివిగా మరియు సమర్థవంతంగా సేవ చేయడానికి high-signal సమాచారంపై ఆధారపడతాయి. ప్రతి అభ్యర్థనకు ప్రాముఖ్యతను గరిష్ఠం చేయడానికి, ఈ సమాచారాన్ని సాధ్యమైనంత శస్త్రచికిత్సాత్మకంగా ప్రదర్శించాలి. మా కొత్త query-aware compression models ప్రతి snippet కు on-topic evidence ను గరిష్ఠం చేసి, అసంబద్ధమైన distractors ను దూకుడుగా తొలగించడం ద్వారా ఇదే ఖచ్చితంగా చేస్తాయి.

ఈ కొత్త models ను మా search stack లో అమలు చేయడం ద్వారా, మా products మరియు APIs పై ఆధారపడే వారికి మరింత వేగవంతమైన మరియు మెరుగైన responses అందించగలుగుతున్నాము. మా approach ఒక సరళమైన control surface ను సృష్టిస్తుంది, దీని ద్వారా మా systems మరియు API customers recall, latency, మరియు cost మధ్య సమతుల్యతను సాధించడానికి compression స్థాయిని సర్దుబాటు చేయగలరు.

సందర్భ క్యూరేషన్ అనేది అభివృద్ధి చెందుతున్న రంగం, మరియు నేటి సరిహద్దు మేధస్సు వ్యవస్థలలో ఉపయోగించే ప్రతి టోకెన్ యొక్క విలువను ఆప్టిమైజ్ చేయడానికి ఇంకా చాలా చేయవలసి ఉంది. మోడల్ మెరుగుదలలు మరియు సిస్టమ్ ఆర్కిటెక్చర్ రెండింటి ద్వారా మా సందర్భ క్యూరేషన్ పద్ధతులను మరింత మెరుగ్గా చేయడానికి మేము ఈ మోడళ్ల యొక్క మరింత విస్తృతమైన వాడకాన్ని చేయడానికి చురుకుగా పని చేస్తున్నాము.

ప్రస్తావనలు

N. Chirkova, T. Formal, V. Nikoulina, మరియు S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. ICLR 2025కి ఆమోదించబడింది. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, మరియు D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, మరియు D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, మరియు G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

ఉదాహరణ

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://perplexity.coolkeypoint.com/hub/blog/query-aware-context-compression-for-better-snippets}
}