Sikring af agenter på tværs af Perplexitys klient-slutpunkter med Numbat

AI-agenter skal være sikre for at være nyttige. Efterhånden som model- og systemkapaciteterne udvikler sig, gør den årvågenhed, der kræves for at beskytte brugere, det samme.

Tidligere agent-sikkerhedsforskning var fokuseret på prompt-injektioner og andre former for modstridende input. Alligevel giver den seneste udvikling inden for agent-autonomi anledning til sikkerhedsincidents, der ikke behøver at forudsætte eksistensen af modstridende input – eller menneskelige modstandere overhovedet.

Tværtimod kan agenter, der er instrueret i at forfølge overordnede mål uden præskriptiv vejledning i, hvordan disse mål nås, blive modstanderen. Dette sker, når en agent, som reaktion på et brugerspecificeret mål, vælger en handlingsforløb, som brugeren ikke havde til hensigt og ikke ville have godkendt. Selvom sådanne hændelser kun blev teoretiseret for få måneder siden, er de hurtigt blevet et praktisk anliggende.

Da disse adfærdsmønstre ikke fuldt ud kan patches i modellaget, skal et robust forsvar derfor indgå i det omgivende system, herunder det agent-harness, der fungerer som modellens grænseflade til omverdenen. Vi open-sourcer Numbat, vores agent-sikkerhedssuite, som hjælper forsvarere med at forhindre, opdage og afbøde agentrelaterede hændelser. Numbat identificerer og integrerer direkte med agent-harnesses, der almindeligvis findes på virksomheders klient-slutpunkter, håndhæver sikkerhedsregler og muliggør hurtig detektion og respons.

Brugen af agenter medfører nye sikkerhedsudfordringer for både udviklere, brugere og forsvarere. Dette gælder især, når virksomheder implementerer agenter direkte på klient-slutpunkter med privilegiad adgang til virksomhedssystemer og data.

Agent-implementeringer på klient-slutpunkter, såsom CLI-baserede eller skrivebordsapp-baserede kodningsagenter, leveres med forskellige niveauer af sandboxing og isolering. Brugerne udnytter disse agenter til utallige use cases, hver med deres eget tilhørende handlingsrum, der kan påvirke selve slutpunktet eller andre systemer, der er tilgængelige fra slutpunktet. I stigende grad forventes agenter at fungere autonomt i timer eller endda dage. For disse arbejdsprocesser vælger mange brugere at uddelegere godkendelser af agenthandlinger til klassifikatorer eller omgå godkendelser helt med bekymrende navngivne konfigurationsflag som --dangerously-skip-permissions og --yolo. Mangfoldigheden af agent-use cases og konfigurationer, kombineret med bredden af handlinger, som kodningsagenter kan udføre på privilegerede slutpunkter, skaber en risikoprofil, der kræver proaktiv styring af sikkerhedsteams.

I dag frigiver vi Numbat, en open source-agent-sikkerhedssuite, som vi har bygget til at opdage, undersøge og forhindre farlig aktivitet fra AI-agenter. Efterhånden som flere virksomheder tager frontier-agentprodukter til sig, giver Numbat sikkerhedsteams mulighed for at holde trit med de resulterende sikkerhedsudfordringer. Den integrerer i hver af de mest udbredte klient-side agent-harnesses, samtidig med at den eksponerer en konsistent grænseflade på tværs af dem alle. Numbat frigør således sikkerhedsteams fra byrden ved at opbygge tilpassede sikkerhedsforanstaltninger og overvågningsværktøjer til hver enkelt agent, som deres brugere er afhængige af. Numbat er tilgængelig for forsvarer-økosystemet som en del af Perplexitys medlemskab af Open Secure AI Alliance med NVIDIA og andre organisationer.

Systemarkitektur for Numbat-sikrede agenter. Numbat lægger vægt på lokal-først detektion og agent-agnostisk kriminalteknik.

Denne artikel begynder med en diskussion af de sikkerhedsudfordringer, der motiverer Numbat. Derefter præsenterer vi Numbats design og arkitektur sammen med vores erfaringer fra implementering af Numbat på tværs af tusindvis af Perplexitys egne slutpunkter.

Landskabet for AI-agent-sikkerhedsincidents udvikler sig hurtigt. Meget af den eksisterende agent-sikkerhedslitteratur fokuserer på injektionsangreb, hvor en svigagtig nyttelast indføres i model-prompter eller kontekst for at forvirre agenter til upassende adfærd. Injektionsangreb og sikkerhedsforanstaltninger er blevet grundig undersøgt, og agent-udviklere, herunder Perplexity, har udarbejdet stadigt mere robuste forsvar mod injektionsangreb.

Men en AI-agent behøver ikke en svigagtig nyttelast for at skabe et sikkerhedsincident. Faktisk behøver man ikke at antage eksistensen af en modstander overhovedet. En betroet agent, der opererer inde i et betroet miljø med administratorgodkendte værktøjer, kan udføre skadelige handlinger blot fordi den forsøger for hårdt på at fuldføre sin opgave.

Forskere beskriver denne feiltilstand som et "utilsigtet meltdown": skadelig agentadfærd udløst ikke af modstridende input, men af en almindelig miljøfejl. En manglende fil, mislykket API-anmodning, udløbet legitimationsoplysninger eller tilladelsesnægtelse kan sende en agent på jagt efter en omvej. I forfølgelsen af sit oprindelige brugerspecifizerede mål kan agenten krydse sikkerhedsgrænser gennem uautoriseret rekognoscering, ændringer i adgangskontrol, hemmelig opdagelse eller dataudsivning. I stedet for at agenten bliver co-opet af en angriber, er agenten selv angriberen. Desuden kan angrebet målrette interne systemer, eksterne systemer eller begge dele, uden mulighed for at vide det, før angrebet allerede er i gang.

Det første bredt omtalte utilsigtede meltdown ankom i denne måned med OpenAIs offentliggørelse af et agent-initieret angreb, der kompromitterede Hugging Faces produktionsinfrastruktur. Under evalueringer af en forhåndsreleaset GPT-model fandt modellen sig ude af stand til at gøre fremskridt på evalueringen med den leverede kontekst. For at bryde dette dødvande fandt modellen en måde at flygte fra sit sandbox-testmiljø og udvinde evaluationssvarene fra Hugging Face. Modellen udnyttede sit harness til at undslippe tilsigtede netværksbegrænsninger, eskalere rettigheder ud over sandbox-grænser, opnå hemmeligheder og få adgang til sikre Hugging Face-systemer – alt sammen for at forfølge det snævre mål at løse evalueringen.

Meltdowns omfatter også utilsigtet systemmutation og sletning. Selvom det måske er mere prosaisk end at bryde igennem et eksternt system, er disse forekomster hyppigere og mere markante for enhver powerbruger af kodningsagenter. Sletning af produktionsdatabaser eller hjemmemapper er enhver udviklers værste mareridt, og agenter skal kunne styre udenom sådan adfærd under hele deres udførelse.

AI-forskere arbejder på at afbøde denne adfærd i selve modellerne. Selvom disse bestræbelser helt sikkert er værdifulde, opfatter mange i forskningssamfundet en fundamental spænding mellem træningsmodeller for stærke sikkerhedsegenskaber og træning af de samme modeller til at udføre stadigt mere komplekse opgaver. Vi tror det er usandsynligt, at forsvar, der udelukkende fokuserer på modellaget, vil reducere meltdown-risikoen til acceptable niveauer.

Resultatet er, at agentsikkerhed ikke udelukkende kan hvile på model-, bruger- eller opgaveniveau-sikkerhedsforanstaltninger. Tværtimod har sikkerhedsteams brug for synlighed i, hvad agenter faktisk gør på klient-slutpunkter, plus kontroller, der kan stoppe farlige handlinger, før de kører. Dette er system-level kontroller, der skal være tæt integreret med agent-harnesset.

Numbat leverer disse kontroller i form af en letvægts statisk Go-binær fil, der tilsluttes problemfrit i førende klient-side agent-harnesses. Den tilbyder live-overvågning, policy-håndhævelse og retsmedicinsk rekonstruktion på tværs af agent-harnesses og eksekveringsmiljøer.

De vigtigste integrationspunkter mellem Numbat og et agent-harness er hooks, session-artefakter og OTLP-telemetri. Vi diskuterer hver enkelt efter tur.

Stort set alle kodningsagenter besidder et hook-undersystem. Hooks giver agenter mulighed for deterministisk at udføre subrutiner på forudspecificerede punkter i agentens eksekveringslivscyklus. Agentbrugere konfigurerer typisk hooks til at forsyne modeller med yderligere kontekst på forudsigelige måder, implementere test- og verifikationsløkker og foretage andre forbedringer af agentkapaciteter.

De samme deterministiske egenskaber, der gør hooks attraktive til disse formål, gør dem også attraktive til detektion og respons. Det er typisk utilstrækkeligt at fange de fleste forekomster af en potentielt bekymrende hændelse. Tværtimod skal man dække alle sådanne forekomster for detektion og respons. Numbat konfigurerer flere typer hooks, hvilket giver sikkerhedsteams og IT-administratorer mulighed for at implementere rig detektionslogik.

I de fleste kodningsagenter er visse typer hooks (almindeligvis kaldet "pre-action" hooks) også i stand til at blokere udførelsen af agentens næste handling. Ved hjælp af disse pre-action hooks er Numbat i stand til at implementere ikke kun detektionslogik, men også præventive sikkerhedsregler for at forhindre et meltdown i at opstå i første omgang.

Hooks er stærke midler til at implementere detektions- og forebyggelseslogikk i realtid. Imidlertid skal denne logik kunne specificeres i kode. Ofte antager et agent-sikkerhedsincident en form, der ikke kunne være forudset på forhånd, endsige reduceret til kildekode. Derfor har Numbat også evnen til at få adgang til og analysere session-artefakter retroaktivt.

Session-artefakter omfatter mange typer logfiler og diagnostik. Måske er den vigtigste type logfil session-transskriptionen, som optager LLM-samtalerne, der dikterer agentens rækkefølge af handlinger. Powerbrugere af kodningsagenter er allerede vant til at eksportere session-transskriptioner til yderligere analyse gennem harness-leverede kommandoer. Men disse eksportformater er typisk i plaintext-format, som er dårligt egnet til sikkerhedsteams, der har brug for maskinlæsbare logfiler med et konsistent, forudsigeligt skema.

Numbat henter således session-artefakter direkte fra selve filsystemet. Da de fleste klient-side agent-harnesses gemmer originale artefakter på filsystemet (typisk i et agent-specifikt dot-bibliotek under $HOME), giver det at tappe ind i filsystemet den mest direkte rute til disse data i deres mest brugbare og uberørte form. Sikkerhedsteams, der bruger Numbat, kan indsamle disse artefakter i normaliseret NDJSON-tidslinjeformat gennem numbat scan, enten til lokal behandling på klient-slutpunktet eller asynkron fjernanalyse. Da session-artefakter er statiske, selvsagte optegnelser, er Numbat i stand til at rekonstruere disse tidslinjer selv for sessioner, der fandt sted længe før Numbat blev installeret.

De fleste klient-side agent-harnesses tilbyder omfattende telemetri gennem OpenTelemetry-protokollen (OTLP). Denne telemetri giver typisk mange signaler ud over dem, der er tilgængelige gennem hooks eller session-artefakter.

Numbat kan fungere som OTLP-modtager via kommandoen numbat collect. Denne kommando starter en server, som kodningsagenter sender OTLP-telemetri til til downstream-analyse. Vigtigt er det, at denne server er lokal og som standard kun lytter på localhost, hvilket betyder, at al telemetri forbliver på enheden som standard. Sikkerhedsadministratorer kan derefter afgøre, hvad de vil gøre med den loggede telemetri, uanset om det indebærer implementering af letvægts on-device-behandling, fjernbehandling via numbat ship eller mere involveret analyse på analytiske platforme som ClickHouse.

Inden for Perplexity bruger vi Numbat til at sikre vores ingeniørers brug af klient-side kodningsagenter, herunder Claude Code, Codex, OpenCode og Pi.

Både vores forebyggelses- og detektionsindsats gør udbredt brug af Numbat-regler, som implementeres via hver agents hook-undersystem. Vi formulerede flere basale regler til vores egne behov, hvor mange af dem vi shippede som en del af Numbats 52 indbyggede regler. Disse regler er organiseret i 11 adfærdskategorier og et sæt af sekvensdetektioner i flere trin såsom hemmelig adgang, udsivning, rettighedseskalering og lateral bevægelse. Regler bruger CEL-udtryk over normaliserede hændelser, og operatører kan tilføje deres egne regler og tests uden at ændre Numbats kode.

For eksempel opdager den indbyggede privilege.sudoers_tamper-regel skrivninger til sudoers-politik, brug af visudo og forsøg på at installere NOPASSWD-rettigheder. Dette er handlinger med højt signal, der kan omdanne en begrænset agentproces til vedvarende root-adgang.

yaml

# privilege.sudoers_tamper (simplified for readability)
id: privilege.sudoers_tamper
severity: high
expr: |
  (
    event.event_type == "file.write" &&
    event.file_path.matches("(^|/)etc/sudoers$|(^|/)etc/sudoers\\.d/[^/]+$")
  ) || (
    event.event_type == "command.exec" &&
    event.command.matches("\\bvisudo\\b|\\bNOPASSWD\\s*:")
  )

Individuelle kommandoer ser ikke altid svigagtige ud i sig selv, så Numbat korrelerer også sekvenser inden for en session. Den indbyggede chain.secret_manager_read_then_egress-regel opdager, når en agent læser en værdi fra et almindeligt hemmelighedshåndteringsværktøj og senere forsøger en databærende curl- eller wget-anmodning. En hemmelig læsning kan være legitim. En udgående anmodning kan være legitim. Sekvenseret sammen kræver de undersøgelse.

yaml

# chain.secret_manager_read_then_egress (simplified for readability)
id: chain.secret_manager_read_then_egress
severity: high
sequence:
  within_events: 64
  steps:
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("secretsmanager|get-secret|vault read")
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("curl.*(--data|--upload-file)|wget.*--post")

Ligesom Bumblebee, vores open source-scanner for forsyningskædeeksponering på udvikler-slutpunkter, implementeres Numbat på tværs af vores flåde gennem MDM. Hver Numbat optager agentaktivitet lokalt og sender struktureret telemetri til vores centraliserede sikkerhedssystemer.

Derfra gennemgår Perplexity Computer de seneste Numbat-fund og audit-logfiler på en tilbagevendende tidsplan for mistænkelig eller svigagtig adfærd. Den undersøger detektioner, rekonstruerer relevante sessioner og giver yderligere opmærksomhed til handlinger, som Numbat blokerede.

Perplexitys interne pipeline til overvågning af Numbat-telemetri. En planlagt Perplexity Computer-opgave gennemgår asynkront nye signaler og advarer sikkerhedsteamet om risikofyldt aktivitet.

Computer leter også efter huller i vores dækning. Den analyserer ny adfærd, foreslår forbedringer af Numbats detektioner, tester disse ændringer og åbner pull requests til menneskelig gennemgang. Når de er godkendt og implementeret, forbedrer disse regler overvågningen på tværs af flåden og producerer bedre beviser til næste undersøgelse.

Dette skaber et selvforbedrende sikkerhedsflywheel: agenter genererer aktivitet, Numbat omdanner denne aktivitet til normaliserede tidslinjer og telemetri, Computer undersøger og forbedrer reglerne, og menneskeligt gennemgåede opdateringer styrker de kontroller, der beskytter fremtidige sessioner.

Hos Perplexity tror vi på, at AI-agenter vil eksekvere på tværs af alle typer miljøer: lokale, cloud og hybrid. Hver kombination af agent-harness og eksekveringsmiljø udgør unikke sikkerhedsudfordringer, hvor den kombinatoriske kompleksitet truer med at overvælde båndbredde-begrænsede sikkerhedsteams. Agent-meltdowns og andre nye sårbarheder komplicerer sikkerhedsbilledet endnu mere.

Forsvar, der bor i selve agentsystemet, kan forbedre en brugers sikkerhedsstilling uanset hvor agenten eksekverer. Dette er præcis, hvad Numbat leverer: tæt integrerede agent-sikkerhedsforanstaltninger, der giver forsvarere mulighed for at forhindre, opdage og reagere på bekymrende adfærd i realtid. At kombinere Numbat med Perplexity Computer skaber en kraftfuld agent-sikkerhedsplatform, der giver forsvarere mulighed for at være på forkant.

Numbat er tilgængelig i dag som et open source-projekt til macOS, Linux og Windows. Vores egne klient-slutpunkter er sikret af Numbat, hvilket gør det muligt for Perplexity-teammedlemmer trygt at bruge agenter over bredt afgrænsede opgaver og lange horisonter. Vi inviterer sikkerhedsteams overalt til at udnytte Numbats system-level tilgang til sikring og beskyttelse af deres agent-implementeringer.

BibTeX

@online{perplexity2026SecuringAgentsAcrossPerplexitySClientEndpointsWithNumbat,
  author = {{Perplexity} and Adel Karimishiraz and Bex Brooker and Phi Hoang and Jerry Ma},
  title = {{Securing agents across Perplexity's client endpoints with Numbat}},
  date = {2026-07-29},
  url = {https://perplexity.coolkeypoint.com/hub/blog/securing-agents-across-perplexity-s-client-endpoints-with-numbat}
}

Introduktion

Kortlægning af sårbarhedslandskabet

Sikring af kodningsagenter gennem indfødte harness-integrationer

Hooks

Session-artefakter

OTLP-telemetri

Implementering af Numbat i Perplexity

Håndtering og overvågning af Numbats på tværs af flåden

Konklusion

Citering