Sicherere KI-Browser mit BrowseSafe entwickeln

Heute veröffentlichen wir BrowseSafe, ein offenes Forschungs-Benchmark und Content-Erkennungsmodell, das darauf abzielt, die Sicherheit von Nutzern bei der Navigation im agentischen Web zu gewährleisten.

Da sich KI-Assistenten von Suchfeldern in den Browser selbst verlagern, gehen wir davon aus, dass sich die nächste Generation des Internets von Seiten hin zu Agenten verschiebt: weniger davon abhängig, wo Informationen gespeichert sind, sondern wer sie abruft und darauf reagiert. Comet macht den Browser zu einem Ort, an dem ein Assistent Aufgaben erledigen kann, statt nur Fragen zu beantworten. Daher gilt ein Grundsatz, der nicht verhandelbar ist: Er muss auf der Seite des Nutzers bleiben.

BrowseSafe: Schutz von Agenten und Nutzern durch Echtzeit-Content-Scans

BrowseSafe ist ein Erkennungsmodell, das speziell darauf abgestimmt wurde, eine einzige, fokussierte Frage zu beantworten: Enthält eine Seite basierend auf ihrem HTML schädliche Anweisungen, die gegen den Agenten gerichtet sind? Große Allzweckmodelle können diese Fälle zwar gut analysieren, sind jedoch oft zu langsam und teuer, um sie auf jeder Seite auszuführen. BrowseSafe scannt vollständige Webseiten in Echtzeit, ohne den Browser zu verlangsamen. Wir veröffentlichen zudem die BrowseSafe-Bench-Evaluierungssuite als Ressource zur Bewertung und Verbesserung der Abwehreffektivität.

Vertrauensgrenzen und mehrschichtige Verteidigung

Eine neue Generation des KI-gestützten Surfens bedeutet jedoch auch eine neue Generation von Cybersicherheitsbedrohungen, die neuartige Ansätze zum Schutz der Nutzer erfordern. In einem früheren Beitrag haben wir erläutert, wie Comet mehrere Verteidigungsschichten nutzt, um sicherzustellen, dass der Assistent das tut, was der Nutzer verlangt, selbst wenn eine Website versucht, ihn durch Prompt-Injection zu kapern. Heute konzentrieren wir uns darauf, wie wir dieses Problem angehen: wie diese Bedrohungen definiert und gegen reale Angriffe getestet werden und wie sie zur Schulung spezialisierter Modelle verwendet werden, die bösartige Anweisungen schnell genug erkennen und stoppen können, um sicher im Browser zu laufen.

Wie Browser-Prompt-Injection funktioniert

Prompt-Injection ist bösartige Sprache, die in den Text eingebettet ist, den eine KI liest, und die darauf ausgelegt ist, deren ursprüngliche Absicht zu überschreiben. Im Browser lesen Agenten ganze Seiten, sodass sich Angriffe an Orten wie Kommentaren, Vorlagen oder langen Fußzeilen verbergen können.

Angreifer nutzen diese Stellen, um Anweisungen einzuschleusen, die den Agenten unbemerkt umleiten. Da der Agent alles liest, einschließlich Inhalten, die den meisten Menschen nie auffallen, können diese Nachrichten das Verhalten ohne starke Schutzvorkehrungen kapern.

Diese Angriffe vermeiden oft offensichtliche Phrasen, können in geschliffener oder mehrsprachiger Sprache verfasst sein oder in HTML-Elementen platziert werden, die niemals auf dem Bildschirm erscheinen, wie z. B. Datenattribute oder Formularfelder, die Browser nicht sichtbar darstellen, die Agenten aber dennoch parsen.

BrowseSafe-Bench: Förderung der Agentensicherheit in realen Umgebungen

Um diese Angriffe in einer Umgebung zu untersuchen, die dem realen Web ähnelt, haben wir BrowseSafe entwickelt, ein von uns trainiertes und als Open-Source bereitgestelltes Erkennungsmodell, sowie BrowseSafe‑Bench, einen öffentlichen Benchmark mit 14.719 Beispielen, die produktive Seiten nachahmen. Er enthält komplexes HTML, verrauschte Inhalte und eine Mischung aus schädlichen und harmlosen Proben, die auf drei Achsen variieren: was der Angreifer zu erreichen versucht, wo sich die Anweisung auf der Seite befindet und wie die Sprache verfasst ist.

Der Benchmark umfasst 11 Angriffsarten, neun Injektionsstrategien, die von versteckten Feldern bis hin zu sichtbaren Absätzen und Fußzeilen reichen, sowie drei sprachliche Stile, von expliziten Befehlen bis hin zu indirekten, getarnten Texten.

Ein Ansatz der Tiefenverteidigung

In unserem Bedrohungsmodell lebt der Assistent selbst in einer vertrauenswürdigen Umgebung, aber alles, was aus dem Web kommt, ist nicht vertrauenswürdig. Angreifer können ganze Websites kontrollieren oder einfach Inhalte wie Produktbeschreibungen, Kommentare und Beiträge in ansonsten gutartige Seiten einschleusen, die der Assistent besucht. Um dieses Risiko zu verwalten, werden Tools, die nicht vertrauenswürdige Inhalte wie Webseiten, E-Mails oder Dateien zurückgeben können, markiert und ihre Rohausgaben werden immer von BrowseSafe gescannt, bevor der Agent sie lesen oder darauf reagieren kann.

BrowseSafe ist eine Ebene in einem breiteren Verteidigungsansatz. Rohinhalte werden vor der Verwendung gescannt, Tool-Berechtigungen sind standardmäßig eingeschränkt und sensible Aktionen können eine explizite Bestätigung des Nutzers erfordern – all dies zusätzlich zu den bestehenden Browser-Sicherheitsfunktionen. Defense-in-Depth ermöglicht es Nutzern, leistungsstarke Browser-Assistenten zu nutzen, ohne die Sicherheit zugunsten der Leistungsfähigkeit zu opfern.

Was beeinflusst die Effektivität von Angriffen?

Die Evaluierungsergebnisse von BrowseSafe‑Bench zeigen klare Muster. Direkte Angriffe, wie die Aufforderung an den Agenten, seinen System-Prompt preiszugeben oder Informationen über URL-Segmente zu exfiltrieren, gehören zu den am einfachsten zu erkennenden Angriffen für Modelle. Im Gegensatz dazu sind mehrsprachige Angriffe sowie solche, die als indirekte oder hypothetische Anweisungen verfasst sind, deutlich schwieriger zu erkennen, da sie die offensichtlichen Schlüsselwörter vermeiden, auf die sich viele Detektoren implizit verlassen.

Auch die Platzierung spielt eine Rolle. Angriffe, die in Kommentaren versteckt sind, werden relativ gut erkannt, während Versionen, die in sichtbare Fußzeilen, Tabellenzellen oder Inline-Absätze umgeschrieben wurden, sich als weitaus schwieriger erweisen und eine strukturelle Verzerrung zugunsten von „versteckten“ Injektionen offenbaren. Sorgfältiges Training an gut konzipierten Beispielen kann die Fähigkeit der Modelle, diese Muster zu erkennen, erheblich verbessern.

Entwickeln Sie sicherere Agenten mit BrowseSafe

BrowseSafe und BrowseSafe-Bench sind vollständig Open-Source. Jeder Entwickler, der autonome Agenten erstellt, kann seine Systeme sofort gegen Prompt-Injection absichern – ohne Schutzmechanismen von Grund auf neu erstellen zu müssen. Das Open-Weight-Erkennungsmodell läuft lokal und markiert bösartige Anweisungen, bevor sie die Kernlogik Ihres Agenten erreichen, schnell genug, um jede Seite zu scannen, ohne die Nutzer zu verlangsamen.

Nutzen Sie die über 14.000 realen Angriffsszenarien von BrowseSafe-Bench, um Ihre eigenen Modelle gegen komplexe HTML-Fallen zu testen, die Standard-LLMs zum Absturz bringen. Unsere Chunking- und parallelen Scan-Techniken ermöglichen es Agenten, riesige, nicht vertrauenswürdige Seiten effizient zu verarbeiten – leistungsstarke Browser-Funktionen, ohne Nutzer Gefahren auszusetzen. Weitere Informationen darüber, wie wir BrowseSafe und BrowseSafe-Bench entwickelt haben, finden Sie im Blog von Perplexity Research.