Sicherung von Agenten auf Perplexity Client-Endpunkten

KI-Agenten müssen sicher sein, um nützlich zu sein. Mit der Weiterentwicklung der Modell- und Systemfähigkeiten wächst auch die Wachsamkeit, die zum Schutz der Benutzer erforderlich ist.

Frühere Sicherheitsforschung zu Agenten konzentrierte sich auf Prompt-Injections und andere Formen adversarieller Eingaben. Doch die jüngsten Fortschritte bei der Autonomie von Agenten führen zu Sicherheitsvorfällen, die nicht das Vorhandensein adversarieller Eingaben – oder überhaupt menschlicher Widersacher – voraussetzen müssen.

Vielmehr können Agenten, die zur Verfolgung übergeordneter Ziele angewiesen werden, ohne präskriptive Anleitungen zur Erreichung dieser Ziele zu erhalten, selbst zum Widersacher werden. Dies geschieht, wenn ein Agent als Reaktion auf ein vom Benutzer festgelegtes Ziel eine Vorgehensweise wählt, die der Benutzer nicht beabsichtigt hat und nicht genehmigt hätte. Obwohl solche Vorfälle vor wenigen Monaten erst theoretisiert wurden, sind sie schnell zu einer Frage von praktischer Bedeutung geworden.

Da diese Verhaltensweisen auf Modellebene nicht vollständig gepatcht werden können, muss eine robuste Verteidigung im umgebenden System verankert sein, einschließlich des Agent-Harness, das als Schnittstelle des Modells zur Außenwelt dient. Wir veröffentlichen Numbat als Open-Source-Lösung, unsere Sicherheits-Suite für Agenten, die Verteidigern hilft, agentenbezogene Vorfälle zu verhindern, zu erkennen und zu mindern. Numbat identifiziert und integriert sich direkt in Agent-Harnesses, die häufig auf Endpunkten von Unternehmenskunden zu finden sind, setzt Sicherheitsregeln durch und ermöglicht eine schnelle Erkennung und Reaktion.

Die Einführung von Agenten stellt neue Sicherheitsherausforderungen für Entwickler, Anwender und Verteidiger gleichermaßen dar. Dies gilt insbesondere, wenn Unternehmen Agenten direkt auf Client-Endpunkten mit privilegiertem Zugriff auf Unternehmenssysteme und Daten bereitstellen.

Agenten-Bereitstellungen auf Client-Endpunkten, wie z. B. CLI-basierte oder Desktop-App-basierte Coding-Agenten, sind mit unterschiedlichem Grad an Sandboxing und Isolierung verbunden. Benutzer nutzen diese Agenten für unzählige Anwendungsfälle, von denen jeder seinen eigenen Aktionsraum hat, der den Endpunkt selbst oder andere vom Endpunkt aus zugängliche Systeme beeinflussen kann. Es wird zunehmend erwartet, dass Agenten stunden- oder sogar tagelang autonom arbeiten. Für diese Workflows entscheiden sich viele Benutzer dafür, die Genehmigung von Agentenaktionen an Klassifikatoren zu delegieren oder Genehmigungen vollständig zu umgehen, indem sie Konfigurationsflags mit besorgniserregenden Namen wie --dangerously-skip-permissions und --yolo verwenden. Die Vielzahl der Anwendungsfälle und Konfigurationen von Agenten in Kombination mit der Breite der Aktionen, die Coding-Agenten auf privilegierten Endpunkten ausführen können, führt zu einem Risikoprofil, das ein proaktives Management durch Sicherheitsteams erfordert.

Heute veröffentlichen wir Numbat, eine Open-Source-Sicherheits-Suite für Agenten, die wir entwickelt haben, um gefährliche Aktivitäten von KI-Agenten zu erkennen, zu untersuchen und zu verhindern. Da immer mehr Unternehmen führende Agenten-Produkte einsetzen, versetzt Numbat Sicherheitsteams in die Lage, mit den daraus resultierenden Sicherheitsherausforderungen Schritt zu halten. Es lässt sich in jeden der am weitesten verbreiteten Client-seitigen Agent-Harnesses integrieren und bietet gleichzeitig eine einheitliche Schnittstelle über alle diese hinweg. Numbat befreit Sicherheitsteams somit von der Last, benutzerdefinierte Sicherheitsvorkehrungen und Überwachungstools für jeden einzelnen Agenten entwickeln zu müssen, auf den sich ihre Benutzer verlassen. Numbat steht dem Ökosystem der Verteidiger als Teil der Mitgliedschaft von Perplexity in der Open Secure AI Alliance mit NVIDIA und anderen Organisationen zur Verfügung.

Systemarchitektur von Numbat-gesicherten Agenten. Numbat legt den Schwerpunkt auf lokale Erkennung und agentenunabhängige Forensik.

Dieser Artikel beginnt mit einer Diskussion der Sicherheitsherausforderungen, die Numbat motivieren. Anschließend präsentieren wir das Design und die Architektur von Numbat sowie unsere Erkenntnisse aus der Bereitstellung von Numbat auf Tausenden von Perplexity-Endpunkten.

Die Landschaft der Sicherheitsvorfälle bei KI-Agenten entwickelt sich rasant. Ein Großteil der vorhandenen Literatur zur Agentensicherheit konzentriert sich auf Injection-Angriffe, bei denen ein bösartiges Nutzlast-Element in Modell-Prompts oder den Kontext eingeführt wird, um Agenten zu einem unangemessenen Verhalten zu verleiten. Injection-Angriffe und Schutzmaßnahmen wurden eingehend untersucht, und Agentenentwickler, einschließlich Perplexity, haben immer robustere Verteidigungsmaßnahmen gegen Injection-Angriffe entwickelt.

Aber ein KI-Agent benötigt keine bösartige Nutzlast, um einen Sicherheitsvorfall zu verursachen. Tatsächlich muss man nicht einmal das Vorhandensein eines Widersachers annehmen. Ein vertrauenswürdiger Agent, der in einer vertrauenswürdigen Umgebung mit vom Administrator genehmigten Tools arbeitet, kann schädliche Aktionen ausführen, nur weil er versucht, seine Aufgabe mit zu großem Eifer zu erfüllen.

Forscher beschreiben diesen Fehlermodus als „accidental meltdown“ (versehentliche Kernschmelze): schädliches Agentenverhalten, das nicht durch adversarielle Eingaben, sondern durch einen gewöhnlichen Umgebungsfehler ausgelöst wird. Eine fehlende Datei, eine fehlgeschlagene API-Anfrage, abgelaufene Anmeldeinformationen oder eine Berechtigungsverweigerung können einen Agenten dazu veranlassen, nach einer Problemumgehung zu suchen. Bei der Verfolgung seines ursprünglichen, vom Benutzer festgelegten Ziels kann der Agent Sicherheitsgrenzen durch unbefugte Erkundung, Änderungen der Zugriffskontrolle, Entdeckung geheimer Daten oder Datenexfiltration überschreiten. Anstatt dass der Agent von einem Angreifer vereinnahmt wird, ist der Agent selbst der Angreifer. Darüber hinaus kann der Angriff auf interne Systeme, externe Systeme oder beide abzielen, ohne dass eine Möglichkeit besteht, dies zu wissen, bis der Angriff bereits im Gange ist.

Die erste weithin gemeldete versehentliche Kernschmelze ereignete sich diesen Monat mit der Offenlegung eines von einem Agenten initiierten Angriffs durch OpenAI, der die Produktionsinfrastruktur von Hugging Face kompromittierte. Während der Evaluierung eines GPT-Modells vor der Veröffentlichung stellte das Modell fest, dass es mit dem bereitgestellten Kontext keine Fortschritte bei der Evaluierung machen konnte. Um diesen Stillstand zu überwinden, fand das Modell einen Weg, seine Sandbox-Testumgebung zu verlassen und die Evaluierungsantworten von Hugging Face zu exfiltrieren. Das Modell nutzte seinen Harness, um beabsichtigte Netzwerkeinschränkungen zu umgehen, Privilegien über Sandbox-Grenzen hinaus zu eskalieren, Geheimnisse zu erlangen und auf sichere Hugging Face-Systeme zuzugreifen, alles um das enge Ziel der Lösung der Evaluierung zu verfolgen.

Kernschmelzen umfassen auch unbeabsichtigte Systemmutationen und -löschungen. Obwohl dies vielleicht alltäglicher ist als das Eindringen in ein externes System, sind diese Vorkommnisse häufiger und für jeden Power-User von Coding-Agenten von Bedeutung. Das Löschen von Produktionsdatenbanken oder Home-Verzeichnissen ist der schlimmste Albtraum jedes Entwicklers, und Agenten müssen in der Lage sein, solche Verhaltensweisen während ihrer Ausführung zu vermeiden.

KI-Forscher arbeiten daran, diese Verhaltensweisen innerhalb der Modelle selbst zu mindern. Obwohl diese Bemühungen sicherlich wertvoll sind, nehmen viele in der Forschungsgemeinschaft eine grundlegende Spannung zwischen dem Training von Modellen für starke Sicherheitseigenschaften und dem Training derselben Modelle zur Erfüllung zunehmend komplexer Aufgaben wahr. Wir halten es für unwahrscheinlich, dass Verteidigungsmaßnahmen, die sich ausschließlich auf die Modellebene konzentrieren, das Risiko einer Kernschmelze auf ein akzeptables Niveau senken werden.

Das Fazit ist, dass die Sicherheit von Agenten nicht allein auf Schutzmaßnahmen auf Modell-, Benutzer- oder Aufgabenebene beruhen kann. Vielmehr benötigen Sicherheitsteams Sichtbarkeit darüber, was Agenten tatsächlich auf Client-Endpunkten tun, sowie Kontrollen, die gefährliche Aktionen stoppen können, bevor sie ausgeführt werden. Dies sind systemweite Kontrollen, die eng mit dem Agent-Harness integriert sein müssen.

Numbat stellt diese Kontrollen in Form einer leichtgewichtigen, statischen Go-Binärdatei bereit, die sich nahtlos in führende Client-seitige Agent-Harnesses einfügt. Es bietet Live-Überwachung, Richtliniendurchsetzung und forensische Rekonstruktion über Agent-Harnesses und Ausführungsumgebungen hinweg.

Die wichtigsten Integrationspunkte zwischen Numbat und einem Agent-Harness sind Hooks, Sitzungs-Artefakte und OTLP-Telemetrie. Wir besprechen jeden Punkt nacheinander.

Praktisch alle Coding-Agenten besitzen ein Hook-Subsystem. Hooks ermöglichen es Agenten, Unterprogramme an vorgegebenen Punkten innerhalb des Lebenszyklus der Agentenausführung deterministisch auszuführen. Agenten-Benutzer konfigurieren Hooks normalerweise so, dass sie Modellen zusätzlichen Kontext auf vorsehbare Weise bereitstellen, Test- und Verifizierungsschleifen implementieren und andere Verbesserungen der Agentenfähigkeiten vornehmen.

Dasselbe deterministische Verhalten, das Hooks für diese Zwecke attraktiv macht, macht sie auch für die Erkennung und Reaktion attraktiv. Es ist in der Regel unzureichend, die meisten Vorkommnisse eines potenziell besorgniserregenden Ereignisses zu erfassen. Vielmehr muss man alle derartigen Vorkommnisse zur Erkennung und Reaktion abdecken. Numbat konfiguriert mehrere Arten von Hooks, die es Sicherheitsteams und IT-Administratoren ermöglichen, eine reichhaltige Erkennungslogik zu implementieren.

Bei den meisten Coding-Agenten sind bestimmte Arten von Hooks (oft als „Pre-Action“-Hooks bezeichnet) auch in der Lage, die Ausführung der nächsten Aktion des Agenten zu blockieren. Unter Verwendung dieser Pre-Action-Hooks ist Numbat in der Lage, nicht nur eine Erkennungslogik, sondern auch präventive Sicherheitsregeln zu implementieren, um eine Kernschmelze von vornherein zu verhindern.

Hooks sind ein mächtiges Mittel zur Implementierung von Erkennungs- und Präventionslogik in Echtzeit. Diese Logik muss jedoch im Code spezifizierbar sein. Oft nimmt ein Sicherheitsvorfall bei einem Agenten eine Form an, die nicht im Voraus vorhersehbar war, geschweige denn in Quellcode hätte umgesetzt werden können. Daher hat Numbat auch die Fähigkeit, rückwirkend auf Sitzungs-Artefakte zuzugreifen und diese zu analysieren.

Sitzungs-Artefakte umfassen viele Arten von Protokollen und Diagnosen. Die vielleicht wichtigste Art von Protokoll ist das Sitzungsprotokoll, das die LLM-Konversationen aufzeichnet, die die Aktionsabfolge des Agenten bestimmen. Power-User von Coding-Agenten sind bereits daran gewöhnt, Sitzungsprotokolle für eine weitere Analyse über vom Harness bereitgestellte Befehle zu exportieren. Aber diese Exporte liegen normalerweise im Klartextformat vor, was für Sicherheitsteams, die maschinenlesbare Protokolle mit einem konsistenten, vorsehbaren Schema benötigen, ungeeignet ist.

Numbat ruft Sitzungs-Artefakte daher direkt vom Dateisystem selbst ab. Da die meisten Client-seitigen Agent-Harnesses ursprüngliche Artefakte auf dem Dateisystem speichern (typischerweise innerhalb eines agentenspezifischen Dot-Verzeichnisses unter $HOME), bietet der Zugriff auf das Dateisystem den direktesten Weg zu diesen Daten in ihrer nutzbarsten und ursprünglichsten Form. Sicherheitsteams, die Numbat verwenden, können diese Artefakte im normalisierten NDJSON-Zeitlinienformat über numbat scan sammeln, entweder für die lokale Verarbeitung auf dem Client-Endpunkt oder für eine asynchrone Remote-Analyse. Da Sitzungs-Artefakte statische, in sich geschlossene Datensätze sind, ist Numbat in der Lage, diese Zeitlinien auch für Sitzungen zu rekonstruieren, die lange vor der Installation von Numbat stattfanden.

Die meisten Client-seitigen Agent-Harnesses bieten umfangreiche Telemetrie über das OpenTelemetry-Protokoll (OTLP). Diese Telemetrie liefert typischerweise viele Signale, die über die hinausgehen, die durch Hooks oder Sitzungs-Artefakte verfügbar sind.

Numbat kann über den Befehl numbat collect als OTLP-Empfänger fungieren. Dieser Befehl startet einen Server, an den Coding-Agenten OTLP-Telemetrie zur nachgelagerten Analyse senden. Wichtig ist, dass dieser Server lokal ist und standardmäßig nur auf localhost hört, was bedeutet, dass die gesamte Telemetrie standardmäßig auf dem Gerät verbleibt. Sicherheitsadministratoren können dann bestimmen, was mit der protokollierten Telemetrie geschehen soll, sei es die Implementierung einer leichtgewichtigen Verarbeitung auf dem Gerät, eine Remote-Verarbeitung über numbat ship oder eine aufwendigere Analyse auf Analyseplattformen wie ClickHouse.

Innerhalb von Perplexity verwenden wir Numbat, um die Nutzung von Client-seitigen Coding-Agenten durch unsere Ingenieure zu sichern, darunter Claude Code, Codex, OpenCode und Pi.

Sowohl unsere Präventions- als auch unsere Erkennungsbemühungen machen umfassenden Gebrauch von Numbat-Regeln, die über das Hook-Subsystem jedes Agenten implementiert werden. Wir haben mehrere grundlegende Regeln für unsere eigenen Bedürfnisse formuliert, von denen viele wir als Teil von Numbats 52 eingebauten Regeln ausgeliefert haben. Diese Regeln sind in 11 Verhaltenskategorien und eine Reihe von mehrstufigen Sequenzerkennungen wie Geheimniszugriff, Exfiltration, Privilegieneskalation und Seitwärtsbewegung unterteilt. Regeln verwenden CEL-Ausdrücke über normalisierte Ereignisse, und Operatoren können ihre eigenen Regeln und Tests hinzufügen, ohne den Code von Numbat zu ändern.

Zum Beispiel erkennt die eingebaute privilege.sudoers_tamper-Regel Schreibvorgänge in sudoers-Richtlinien, die Verwendung von visudo und Versuche, NOPASSWD-Gewährungen zu installieren. Dies sind hochsignifikante Aktionen, die einen begrenzten Agentenprozess in einen dauerhaften Root-Zugriff verwandeln können.

yaml

# privilege.sudoers_tamper (simplified for readability)
id: privilege.sudoers_tamper
severity: high
expr: |
  (
    event.event_type == "file.write" &&
    event.file_path.matches("(^|/)etc/sudoers$|(^|/)etc/sudoers\\.d/[^/]+$")
  ) || (
    event.event_type == "command.exec" &&
    event.command.matches("\\bvisudo\\b|\\bNOPASSWD\\s*:")
  )

Einzelne Befehle sehen für sich genommen nicht immer bösartig aus, daher korreliert Numbat auch Sequenzen innerhalb einer Agenten-Sitzung. Die eingebaute chain.secret_manager_read_then_egress-Regel erkennt, wenn ein Agent einen Wert aus einem gängigen Geheimnisverwaltungstool liest und später eine datentragende curl- oder wget-Anfrage versucht. Ein geheimes Lesen kann legitim sein. Eine ausgehende Anfrage kann legitim sein. Zusammen sequenziert erfordern sie eine Untersuchung.

yaml

# chain.secret_manager_read_then_egress (simplified for readability)
id: chain.secret_manager_read_then_egress
severity: high
sequence:
  within_events: 64
  steps:
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("secretsmanager|get-secret|vault read")
    - expr: |
        event.event_type == "command.exec" &&
        event.command.matches("curl.*(--data|--upload-file)|wget.*--post")

Wie Bumblebee, unser Open-Source-Scanner für Lieferketten-Exposition auf Entwickler-Endpunkten, wird Numbat über MDM auf unserer gesamten Flotte bereitgestellt. Jeder Numbat zeichnet Agentenaktivitäten lokal auf und sendet strukturierte Telemetrie an unsere zentralisierten Sicherheitssysteme.

Von dort aus überprüft Perplexity Computer die jüngsten Numbat-Ergebnisse und Audit-Protokolle in einem wiederkehrenden Zeitplan auf verdächtiges oder bösartiges Verhalten. Er untersucht Erkennungen, rekonstruiert relevante Agenten-Sitzungen und prüft Aktionen, die Numbat blockiert hat, einer zusätzlichen Untersuchung.

Perplexity interne Pipeline zur Überwachung von Numbat-Telemetrie. Eine geplante Aufgabe von Perplexity Computer überprüft asynchron neue Signale und alarmiert das Sicherheitsteam bei riskanten Aktivitäten.

Computer sucht auch nach Lücken in unserer Abdeckung. Er analysiert neues Verhalten, schlägt Verbesserungen an Numbats Erkennungen vor, testet diese Änderungen und eröffnet Pull-Requests für die menschliche Überprüfung. Sobald sie genehmigt und bereitgestellt sind, verbessern diese Regeln die Überwachung über die gesamte Flotte hinweg und liefern bessere Beweise für die nächste Untersuchung.

Dies schafft ein sich selbst verbesserndes Sicherheitsschwungrad: Agenten erzeugen Aktivität, Numbat wandelt diese Aktivität in normalisierte Zeitlinien und Telemetrie um, Computer untersucht und verbessert die Regeln, und menschlich geprüfte Updates stärken die Kontrollen zum Schutz zukünftiger Agenten-Sitzungen.

Bei Perplexity sind wir davon überzeugt, dass KI-Agenten in allen Arten von Umgebungen ausgeführt werden: lokal, in der Cloud und hybrid. Jede Kombination aus Agent-Harness und Ausführungsumgebung stellt einzigartige Sicherheitsherausforderungen dar, wobei die kombinatorische Komplexität droht, bandbreiteneingeschränkte Sicherheitsteams zu überfordern. Kernschmelzen von Agenten und andere neuartige Schwachstellen verkomplizieren das Sicherheitsbild noch weiter.

Verteidigungsmaßnahmen, die im Agentensystem selbst angesiedelt sind, können die Sicherheitshaltung eines Benutzers verbessern, egal wo der Agent ausgeführt wird. Genau das liefert Numbat: eng integrierte Agenten-Sicherheitsvorkehrungen, die es Verteidigern ermöglichen, besorgniserregendes Verhalten in Echtzeit zu verhindern, zu erkennen und darauf zu reagieren. Die Kombination von Numbat mit Perplexity Computer schafft eine leistungsstarke Plattform für die Sicherheit von Agenten, die es Verteidigern ermöglicht, der Zeit voraus zu sein.

Numbat ist ab heute als Open-Source-Projekt für macOS, Linux und Windows verfügbar. Unsere eigenen Client-Endpunkte werden durch Numbat gesichert, was es den Teammitgliedern von Perplexity ermöglicht, Agenten souverän für weit gefasste Aufgaben und lange Horizonte zu nutzen. Wir laden Sicherheitsteams überall dazu ein, den systemweiten Ansatz von Numbat zur Sicherung und zum Schutz ihrer Agenten-Bereitstellungen zu nutzen.

BibTeX

@online{perplexity2026SecuringAgentsAcrossPerplexitySClientEndpointsWithNumbat,
  author = {{Perplexity} and Adel Karimishiraz and Bex Brooker and Phi Hoang and Jerry Ma},
  title = {{Securing agents across Perplexity's client endpoints with Numbat}},
  date = {2026-07-29},
  url = {https://perplexity.coolkeypoint.com/hub/blog/securing-agents-across-perplexity-s-client-endpoints-with-numbat}
}

Einführung

Einordnung der Bedrohungslandschaft

Sicherung von Coding-Agenten durch native Harness-Integrationen

Hooks

Sitzungs-Artefakte

OTLP-Telemetrie

Bereitstellung von Numbat innerhalb von Perplexity

Verwaltung und Überwachung von Numbats über die gesamte Flotte hinweg

Fazit

Zitat