Uskoriavane na Sonar chrez spekulatsii

Spekulativnoto dekodirane uvelichava skorostta na generirane na golemi ezikovi modeli (LLM) chrez izpolzvanjato na byrz i malyk model-chernetka za syzdavane na kandidati za zavarshvane, koito se proverjavat ot po-golemiia tselev model. Pri tozi podhod, vmesto edno izpylnenie na skopii tseleve model da proizvejde edin token, v edna stypka se izluchvat nkolko. Tuk predstavjame deetaili ot realizatsiiata na razlichni vidove spekulativno dekodirane, prilozheni v Perplexity za namaliavane na latencijata mezhdu tokenite pri modelite Sonar.

Spekulativno dekodirane

Spekulativnoto dekodirane izpolzva strukturata na estestvenite ezici i autoregresivnija harakter na transformernite modeli za uskoriavane na generiraneto na tokeni. Vapreki che po-golemite modeli, kato Llama-70B, nosjat poveche znania ot po-malkite, kato Llama-1B, pri njakoi po-prosti zadachi te se predstavjat podobno. tova savpadenie sugerira, che opredeleni posledovatelnosti se generirat po-dobre ot po-eftenite modeli, kato slozhnite problemi se ostavjat za po-golemite. Predizvikatelstvoto se krie v opredeljnetokoi zavarshvanija sa po-dobri i dali generiraneto na po-malkija model e s sashtata kachestvo kato tova na po-golemia.

Za shtastie, LLM sa autoregresivni transformeri: kogato im se dade posledovatelnost ot tokeni, te izvezhdat razpredelenieto na verojatnostite na sledvashtija token. Dopalnitelno, logitite, proizteklite ot mezhdinite funkcii, svirzani s tokenite v vhodiashhata posledovatelnost, sashto pokazvat kolko e verojatno modelut da izdade tochno tezi tokeni. Tazi svoistvo pozvoljava spekulatsiiata: ako posledovatelnost ot tokeni e generirana ot po-malak model, zapochvajki ot vhodiashh prefiks, tja mozhe da bude pusnata prez po-golemia, za da se opredeli kolko dobre sapatstva s tseleveja model. Vseki prefiks na kandidatite se otsenjava s verojatnost i se izbira nai-dylgija nad praga na priemane. Kato bonus, tseleveiat model sashto taka osiguriava sledvasht token bezplatno: ako model-chernetka generira n tokeni, v edna stypka mogu da se izluchat do n + 1.

Уголеми

Po vreme na inferens (izpulnenie), protsesut na spekulativno vzimane na probi mozhe da bude razdelen na okolo 4 etapa:

Pred-zapolvane (Prefill): i tseleveiat, i modelut-chernetka triabva da boudat izpulneni varhu vhodiashhata posledovatelnost, za da se zapolnjat elementite na KV kesh-pametta. Vapreki che njakoi shemi, kato Medusa, izpolzvat po-prosti plpzni sloeve za predskazane, v tazi publichatsia se fokusirame varhu transformerni chernetki, koito se nuzhdaet ot sobstveni KV kesh-pameti.

Generirane na chernetka (Draft generation): modelut-chernetka iterira, za da proizvede opredelen broi fiksiirani tokeni. Posledovatelnostta na chernetkata mozhe da bude linearna ili modelut mozhe da izsledva dervidna struktura do opredelena dylbochina (EAGLE, Medusa). Tuk se fokusirame varhu linearni posledovatelnosti.

Priemane (Acceptance): tseleveiat model raboti varhu posledovatelnostta na chernetkata, kato izgrazhda logiti, savpadamti s vseki token na chernetkata. Opredelja se dylzhinata na nai-dylgata priemliva posledovatelnost.

Tseleve generirane: tyj kato tseleveiat model e generiral logiti, v pozitsijata na nesavpadenie ili v kraya na posledovatelnostta logitite sapatstvat s posledvasht token. Tezi logiti mogat da boudat vzeti s probi (sampled), za da se osiguri nadezhden token ot tseleveia model, zatyvkyvajki posledovatelnostta.

Sushchestvuvat razlichni metodi za realizirane na spekulativno dekodirane. V tazi publichatsia shte se fokusirame varhu shemite, koito izpolzvashe za uskoriavane na modelite Sonar, izpolzvajki sobstven 1B model, kakto i mehanizmote za predskazane, koito izgrazhdame za uskoriavane na modeli v mashtaba na DeepSeek.

Tsels-Chernetka (Target-Draft)

Spekulativnoto dekodirane mozhe da se postigne chrez svirzvane na sashtesvuvajh malak LLM kato model-chernetka kam tselev model za generirane na posledovatelnosti ot kandidati. V proizvodstvo sme uskorili Sonar, izpolzvajki model Llama-1B, finastroen varhu sashtija nabor danni kato tseleveia. Vapreki che tozi podhod ne iziskvashe obuchenie na chernetka ot nula, malkijat model vse oshte izpolzva znachitelen kapatsitet na KV kesh-pametta i vavezhda leka overhead pri pred-zapolvaneto, uvelichavajki TTFT.

Pri tozi podhod dekoderut spekulira samo varhu paketi, prednaznacheni samo za dekodirane, generirajki tokeni chrez standartno vzimane na probi po vreme na pred-zapolvane ili varhu smeseni paketi za pred-zapolvane i dekodirane. V etapa na pred-zapolvane tseleveite logiti se vzimat nezabavno s probi, za da se zapolni sashto taka novogeneriranija token v KV kesh-pametta na chernetkata. Chernetkata vse oshte ne e probvana, no logitite, koito tja proizvejda, se prenasjat kam etapa na dekodirane.

Уголеми

Pri dekodiraneto modelut-chernetka se pridsvizhwa, vzimajki s probi naj-gornija token na vseki etap. sled dostigane na zhelanata dylzhina na chernetkata, tokenite se puskat prez tseleveja model, za da proizvedat logitite, na bazata na koito sampler-at opredelja prietata dylzhina na posledovatelnostta. Priemaneto se opredelja chrez sravniavane na pulnite razpredelenija na verojatnostite ot chernetkata i tseleveia model. Tyj kato tseleveiat model vinagi izvezhda edin nabor logiti sled prietata posledovatelnost na chernetkata, toi se vzima s probi za proizvodstvo na dopolnitelen izhod. Tyj kato modelut-chernetka vse oshte ne e vidjal tozi priet token, toi se puska nanovo, za da zapolni savpadastite elementi na KV kesh-pametta si v podgotovka za sledvashtata stypka na dekodirane, prenasjajki logitite nanovo.

EAGLE

EAGLE e shema za spekulativno dekodirane, kojato izsledva mnozhestvo posledovatelnosti-chernetki, generirani chrez darvovidno obhodzhane na verojatni tokeni-chernetki. Fiksiran (EAGLE) ili dinamichno oformen (EAGLE-2) darvo se izsledva s pomoshtta na posledovatelni izpulnenija na tokenite na chernetkata, vzimajki predvid Top-K kandidatite na vseki vazel, vmesto da sledva tokena s nai-visok rezultat v linearna posledovatelnost. Sled tova posledovatelnosttase otsenjavat i se izbira nai-dylgata podhodjashta, za da produlzhi, kato se dobavia i dopolnitelen token ot tseleveia model.

Уголеми

Za da se postigne po-tochno predskazane, model-chernetka EAGLE predskazva ne samo na bazata na tokeni, no sashto i izpolzvajki tselevite harakteristiki (skritite systojanija na poslednija sloi) na tseleveja model. Nedostatakat na EAGLE e nuzhdata ot obuchenie na personalizirani, malki modeli-chernetki, koito sa dostatachno tochni za generirane na podhodjashti kandidati v ramkite na budzhet za latentsija. Obiknoveno modelut-chernetka e edin-jedinstven transformeren sloi, identichen na sloia na dekodera na originalnija model, kojato e tyrsno svirzan s tseleveia chrez svirzvane s negovite vgradvania i lm_head proektsii. Tyj kato tova iziskva po-malko kapatsitet na KV kesh-pametta, EAGLE imas po-nysyk otpechatyk v pametta.

Za da se proveriat darvovidnite posledovatelnosti v tseleveia model, triabva da se izpolzvat personalizirani maski na vnimanieto. Zashchoto izpolzvaneto na personalizirana maska za tsiala posledovatelnost znachitelno zabaivia vnimanieto za realitichni vhodiashhi dylzhini (s do 50%), anulirajki chast ot uskorenieto, postizhimo chrez spekulatsii. Poradi tazi prichina vse oshte ne sme deploy-vali pulno izsledvane na darveta v proizvodstvo, a se fokusirame varhu spetsialnijat sluchaj na predskazane na edin token chrez shemi, podobni na MTP, predstaveni v tehnicheskija doklad na DeepSeek-V3.

MTP

Tazi shema e podobna na dekodiraneto chernetka-tsel, s izkljuchenie na izpolzvaneto na skriti systojanija zaedno s tokenite za predskazane. Malko poveche rabota triabva da se svyrshen v etepite na pred-zapolvane i dekodirane v sravnenie s obiknovenata spekulatsija chernetka-tsel. Modelut-chernetka izpolzva kakto tokeni, taka i skriti systojanija: tokenat t_{i+1} se vzima s probi ot logitite L_i, sapatstvashti tokena t_i, koito ot svoia strana se izvedeni ot skritite systojanija H_i. Sledovatelno, vhodiashhite buferi za tokeni triabva da se premestiat s edna stypka naliavo spriamo vektorite na skritite systojanija, izvedeni ot tseleveja model. Na figurata dolo sa otbelezani savpadenijata, izpolzvani za obuchenie, kakto i premestvaneto po vreme na inferens.

Уголеми

Potokat na dekodirane e dosta podoben na dekodiraneto chernetka-tsel, s izkljuchenie na prenasjaneto kakto na skriti systojanija, taka i na logiti. Nashata realizatsija spadelia vsichki svirzani vzimanija na probi i obrabotki na logiti, spetsializirajki samo izvikvanijata na modela napred (forward). Kogato se predskazvat nkolko tokeni, modelut-chernetka izpolzva skriti systojanija na chernetkata za predskazane, sashto taka zapolvajki elementi na KV kesh-pametta na bazata na sobstvenite si harakteristiki. V dylgosrochen plan tova mozhe da vloishi tochnostta. V posledstvie, kogato puskat modela-chernetka za zapolvane na elementa na KV kesh-pametta za tselevoto predskazane, go puskat varhu tsialata posledovatelnost, vzimajki po-tochnite skriti systojanija na tseleveja model kato vhodi. Tyj kato tezi modeli-chernetki sa malki, dobavenata stoimost na obrabotkata na dopolnitelenite tokeni e prenebrezhimo mala.

Obuchenie na MTP glavi (MTP Heads)

Za da se polzuvame ot MTP, izgrazhdahme infrastrukturata, nuzhna za obuchenie na MTP glavi, prirapeni kam nashite finastroeni modeli varhu naborite danni na Perplexity, raboteshti na edin vazel s 8xH100 ustroistva. Za okolo edin den mozhem da izgrazhdem glavi za modeli ot Llama-1B do Llama-70B i DeepSeek V2-Lite. Za po-golemi modeli razchitame na MTP glavi, izgradeni po vreme na protsesa na finastroitvane.

Tseleveiat na MTP obuchenieto e da sapostavi skritite systojanija na chernetkata i logitite, extrapolirani ot skritite systojanija na tseleveja model, kam logitite i skritite systojanija na sledvashtija token na tseleveja model. Tyj kato inferensyt za skriti systojanija e skyp, gi pred-izchisljame, izpolzvajki nashata optimizirana za inferens realizatsija na tseleveja model, kojato da se izpolzva po vreme na obuchenieto. Vapreki tova, za da validirame inferens realizatsiiata na MTP i da garantireme, che chislenite razliki poradi kvantuvane ili optimizatsii ne prechat na rezultatite, za zagubata pri validatsia i otsenjaneto na tochnostta napulno izpolzvate nanovo inferens realizatsiiata kakto na tseleveja, taka i na modela-chernetka.

Kogato mashtabirame ot nabora danni ShareGPT, izpolzvan v originalnija dokument, kam po-golemi izvadki, zabelyazahme, che arhitexturata na MTP glavite, opisana i realizirana v dokumenta EAGLE, ne uspia da se obuchi za modeli s razmer 70B. Za razlika ot ShareGPT, kojato sydrzhashe po-goliam broi po-kysni posledovatelnosti, nie obuchavame varhu malko po-malk sbor ot syštestveno po-dylgi promptove. Tyj kato originalnite EAGLE glavi leko se otklonjavaha po struktura ot tipichen transformer, vavedohte nanovo njakoi sloeve za RMS normalizatsia, koito bjah premahnatri. Ustanovihme, che tova ne samo pozvoli na obuchenieto da se svide, no sashto taka povishi tochnostta na glavite s njakolko protsentni punkta.

Уголеми

Ne samo che normite na sloevete ulesnyvat obuchenieto, vavejdaneto im nanovo e sashto taka matematicheski intuitivno. MTP glavite izpolzvat nanovo vgradvaniyata i proektsiite na logitite na tseleveja model, tyj kato te mogat da sa znachitelni po razmer (okolo 2 GB za Llama 70B). Po vreme na obuchenieto tezi sa zamrazeni i o chakvanieto e, che MTP slojat se uchi da vgradva predskazanijata v sashtoto vektorno prostranstvo, kato tova, koeto proektionnijat sloi na originalnija model e nauchil po vreme na obuchenieto. Chrez mahane na normite se ochakva edin edinstven MLP da nauchi sashtata funktsija kato MLP, sledvan ot norma, koeto prechi na savpadenieto mezhdu skritite systojanija na chernetkata i tseleveite modeli.

Inferens sys spekulativno dekodirane

V rezhima na inferens, za da se generirat tokeni za vhodiashhi posledovatelnosti, te triabva pyrvo da se grupirat v paketi s razumna golemina, sled tova triabva da se razdeljat stranitsi v KV kesh-pametta za sledvashtite tokeni. Vhodiashhite tokeni i informatsiiata za KV stranitsite se opakovat v bufer, izlychen do vsichki paralelni rangove, izpulniavashti modela. Naj-nakra metadata se kopira v GPU pametta i modelut se izpulniava, za da proizvede logitite, ot koito se vzima proba za sledvashtija token.

Za razlika ot opredeleni realizatsii, koito svirzvat labavo chernetka i tselev inferens sarvytr chrez obvivka, orkestrirashta zaiavki mezhdu tjah, nashite dvojki chernetka-tsel sa tylno svirzani i minavat prez generiraneto v unisson. Planiraneto na paketi i razdelyneto na KV stranitsi se spadelia mezhdu modelite za vsichki formi na spekulativno dekodirane: tova unifitsira statistikata, svirzvashta modela s obshchia inferens sarvytr, tyj kato vsichki te izlagat edin i sasht interfeis.

Inferens runtime v Perplexity e izgraden okolo FlashInfer, kojato opredelja metadata, koiaot triabva da se izgradi za konfigurirane i planirane na kernela na vnimanieto. Predvid njakoi vhodiashhi posledovatelnosti, formirashti paket, za pred-zapolvane, dekodirane ili proverka, triabva da se svyrshen CPU rabota za razdelyane na mezhdini buferi i zapolvane na opredeleni postojanni buferi, izpolzvani v vnimanieto. Tazi rabota e v dopolnenie kam stoimosta na planiraneto na paketi i razdelyneto na KV stranitsi, koito sashto prichinjavat latencii, koito triabva da se skriiat, za da se maksimizira izpolzvaneto na GPU.

Vapreki che napulno paralelizuhtme CPU-strannata i GPU-strannata rabota za inferens bez spekulatsii, ustanovihme, che balansat CPU-GPU za spekulativno dekodirane e po-slozhen. Glavnoto predizvikatelstvo proizitira ot fakta, che brojat na prietite tokeni opredelja dylzhinata na posledovatelnostta za sledvashto izpulnenie, vavezhdajki trudna za izbjagvane GPU-kum-CPU sinhronizatsionna tochka. Eksperimentirahme s razlichni shemi na planirane, za da skriem nai-dobre latencijata na CPU rabotata.

Grafik na chernetka-tsel (Draft-Target Schedule)

Vapreki che e po-malak ot tseleveia model, kogato tsial LLM se izpolzva kato chernetka, toi vse oshte vavezhda znachitelna latentsija na GPU, predostavjajki prostranstvo za skrivane na skupi CPU operatsii. Tyj kato po-malkite modeli ne se polzvat ot tenzoren paralelizm, ima nesavpadenie mezhdu broia rangove, prez koito sa shardnati tseleveiat i chernetkata. V nashata realizatsija modelut-chernetka raboti samo na vodehtija rang na TP grupa.

Уголеми

Kakto be otbelezano predi, stypkata na dekodirane prenasja logitite v sledvashtoto izpulnenie. Tova ni pozvoljava da prisvoim edno izpulnenie na modela-chernetka s rabotata po planirane na paketi ot stranata na CPU. sled sborvaneto na paketa, povtoreni povikvanija kam samplera i chernetkata proizvezhdat tokenite na chernetkata. V paralel paketyt za proverka se sborva za tseleveia model i se sinhronizira s paralelnite rabotnitsi. Tseleveite logiti se proverjavat i vzimat s probi, za da se opredeljat prietite dylzhini na posledovatelnostta. V tozi moment GPU-kum-CPU sinhronizatsijata e neobhodima za opredeliane na sledvashtite dylzhini na posledovatelnostta. Tyj kato modelut-chernetka raboti samo na vodehtija vazel, negovijat paket se nastroiva posledovatelno i izpulnenieto mu se startira za zapolvane na elementite na KV kesh-pametta s dopolnitelnia token, koito tseleveiat model e proizvel. Logitite, proizvedeni ot tova izpulnenie na chernetkata v tekushtoto izpulnenie, shte se izpolzvat za vzimane na proba za pyrvia token na chernetkata v sledvashtoto izpulnenie. Naj-vazhnoto e, che dokato chernetkata raboti, sledvashtijat paket mozhe da bide planiran.

MTP grafik za edin token

Vapreki che runtime vse oshte ne predlagha darvovidno izsledvane na chernetki v stil Eagle, realizirahme spetsialen sluchaj na tazi shema, razglezhdajki linearna posledovatelnost ot tokeni-chernetki, proizvedeni ot model s razmer na edin transformeren sloi na dekoder. Tazi shema mozhe da se izpolzva za predskazane na chernetka, izpolzvajki teglite s otvoren kod na DeepSeek R1. Podsluchajiat na predskazane na edin token e interesen, tyj kato golemi MTP sloeve postigat dostatachno visoki procenti na priemane, za da opravdajat svoia overhead.

MTP planiraneto e malko po-slozno, tyj kato modelut-chernetka e mnogo po-byrz, skrivajki po-malka CPU-stranna latentsija. Dopalnitelno, chernetkata e shardnata zaedno s tseleveia model, iziskvajki transferi v spadelena pamet za informatsia za paketi. Izpulnenieto zapochva s transfer na informatsia za paketi i vzimane na proba za pyrvia token ot prenesenite logiti, podobno na predishnata shema. Sled tova tseleveiat model se puska za validirane na tokeni, obrabotvajki 2 * D tokeni, kyдето D e dylzhinata na paketa za dekodirane. Tova e idealno za mikro-paketirane v modeli Mixture-of-Experts (MoE) varhu po-bavni vryzki kato InfiniBand, tyj kato paketyt se razdelja ravnomerno na dve polovini. Skritite systojanija na tseleveja model se prenasjat kam sledvashtoto izpulnenie na chernetkata, dokato logitite se podavat v samplera za proverka.

Уголеми

Chrez izpulnenie na ogranichen broi dopolnitelna rabota na GPU, izbjagvame GPU-kum-CPU sinhronizatsija sled priemane na posledovatelnostta na chernetkata. sled kato vhodiashhite tokeni na tseleveiia model sa premesteni, kernel vliza v sledvashtite tselevi tokeni v savpadastite im mesta. Chernetkata se puska nanovo s sashtata informatsia za paketi kato tseleveia model, zapolvajki elementi na KV kesh-pametta i izgrazhdajki logitite i skritite systojanija za sledvashtoto izpulnenie, pravejki njakakva izbyvna rabota varhu tokeni, koito ne sa bili prieti. V tezi situatsii latencijata na neizpolzvanata rabota e edva izmerima poradi malkija razmer na modela-chernetka. V paralel s izpulnenieto na chernetkata dylzhinite na posledovatelnostta se opredeljat na CPU i planiraneto na sledvashtija paket se startira, bez da se nuzhdae da chakane zavarshvaneto na GPU rabotata.

Overhead-at na dopolnitelnata rabota v sloia na chernetkata ne se zabeliazva v vnimanieto, no MLP sloevete sa po-problematični. Tyj kato instruktsiite za matrichno umnozhenie padding-vat do granitsa 64 po izmerenieto na broia tokeni, ako udvojavaneto ne iziskva znachitelno poveche blokoove, overhead-at se skriva. Za po-dylgi posledovatelnosti na chernetkata overhead-at e po-skyp i shemata, izpolzvana za obiknoveni modeli chernetka-tsel, raboti po-dobre.

Referentsii

Baryz inferens ot transformer chrez spekulativno dekodirane

EAGLE: Spekulativnoto vzimane na probi iziskva preosmyslyne na neochigurnostta na harakteristikite

EAGLE-2: Po-baryz inferens na ezikovi modeli s dinamichni darveta-chernetki

EAGLE-3: Mashtabirane na uskorenieto na inferensa na golemi ezikovi modeli chrez test po vreme na obuchenie

Medusa: Rramka za uskoriavane na LLM inferens s mnozhestvo glavi za dekodirane

Normalizatsia na sloevete

FlashInfer: Efektiven i nastroim dvigatel na vnimanieto za obsluzhivane na LLM inferens

Tehnicheski doklad za DeepSeek-V3

Цитиране

@online{perplexity2025AcceleratingSonarThroughSpeculation,
  author = {{Perplexity} and Nandor Licker and Erin McKnight},
  title = {{Accelerating Sonar through speculation}},
  date = {2025-06-10},
  url = {https://perplexity.coolkeypoint.com/hub/blog/accelerating-sonar-through-speculation}
}