Creare browser IA più sicuri con BrowseSafe

Oggi presentiamo BrowseSafe, un benchmark di ricerca aperto e un modello di rilevamento dei contenuti finalizzato a garantire la sicurezza degli utenti durante la navigazione sul web basato su agenti.

Mentre gli assistenti IA si spostano dalle caselle di ricerca al browser stesso, prevediamo che la prossima generazione del web passerà dalle pagine agli agenti: meno attenzione al luogo in cui risiedono le informazioni e maggiore importanza a chi le recupera e agisce su di esse. Comet trasforma il browser in un luogo in cui un assistente può completare attività, non solo rispondere a domande, pertanto un principio è imprescindibile: deve rimanere dalla parte dell'utente.

BrowseSafe: protezione di agenti e utenti tramite scansione dei contenuti in tempo reale

BrowseSafe è un modello di rilevamento ottimizzato per rispondere a un'unica domanda mirata: dato l'HTML di una pagina, contiene istruzioni dannose rivolte all'agente? I modelli generici di grandi dimensioni sono in grado di ragionare bene su questi casi, ma sono spesso troppo lenti e costosi per essere eseguiti su ogni pagina. BrowseSafe scansiona intere pagine web in tempo reale senza rallentare il browser. Stiamo inoltre rilasciando la suite di valutazione BrowseSafe-Bench come risorsa per valutare e migliorare l'efficacia della difesa.

Confini di fiducia e difese stratificate

Tuttavia, una nuova generazione di navigazione basata su IA comporta anche una nuova generazione di minacce alla sicurezza informatica che richiedono approcci innovativi per mantenere gli utenti al sicuro. In un post precedente, abbiamo spiegato come Comet utilizzi molteplici livelli di protezione per far sì che l'assistente svolga ciò che l'utente ha richiesto, anche quando un sito web tenta di dirottarlo con la prompt injection. Oggi ci concentriamo su come affrontiamo tale problema: come queste minacce vengono definite, testate contro attacchi nel mondo reale e utilizzate per addestrare modelli specializzati in grado di individuare e bloccare istruzioni dannose abbastanza rapidamente da essere eseguiti in sicurezza nel browser.

Come funziona la prompt injection nel browser

La prompt injection consiste in un linguaggio dannoso incorporato nel testo letto dall'IA, progettato per sovrascrivere l'intento originale. Nel browser, gli agenti leggono intere pagine, quindi gli attacchi possono nascondersi in luoghi come commenti, modelli o lunghi piè di pagina.

Gli aggressori utilizzano tali punti per inserire istruzioni che reindirizzano silenziosamente l'agente. Poiché legge tutto, inclusi i contenuti che la maggior parte delle persone non nota mai, tali messaggi possono dirottare il comportamento in assenza di forti salvaguardie.

Questi attacchi evitano spesso frasi ovvie e possono essere scritti in un linguaggio curato o multilingue, oppure inseriti in elementi HTML che non compaiono mai sullo schermo, come attributi dati o campi di modulo che i browser non visualizzano ma che gli agenti analizzano comunque.

BrowseSafe-Bench: far progredire la sicurezza degli agenti in ambienti reali

Per studiare questi attacchi in un ambiente simile al web reale, abbiamo creato BrowseSafe, un modello di rilevamento che abbiamo addestrato e reso open-source, e BrowseSafe-Bench, un benchmark pubblico di 14.719 esempi che imitano le pagine di produzione. Include HTML complesso, contenuti rumorosi e un mix di campioni dannosi e innocui che variano lungo tre assi: cosa tenta di fare l'aggressore, dove si trova l'istruzione nella pagina e come è scritto il linguaggio.

Il benchmark include 11 tipi di attacco, nove strategie di injection che spaziano dai campi nascosti ai paragrafi e piè di pagina visibili, e tre stili linguistici, da comandi espliciti a testo indiretto e camuffato.

Un approccio di difesa in profondità

Nel nostro modello di minaccia, l'assistente stesso risiede in un ambiente attendibile, ma tutto ciò che proviene dal web non è attendibile. Gli aggressori possono controllare interi siti o semplicemente inserire contenuti, come descrizioni di prodotti, commenti e post in pagine altrimenti benigne visitate dall'assistente. Per gestire tale rischio, gli strumenti in grado di restituire contenuti non attendibili, come pagine web, e-mail o file, vengono contrassegnati e i loro output grezzi vengono sempre scansionati da BrowseSafe prima che l'agente possa leggerli o agire su di essi.

BrowseSafe è un livello di un più ampio approccio di difesa. Il contenuto grezzo viene scansionato prima dell'uso, le autorizzazioni degli strumenti sono limitate per impostazione predefinita e le azioni sensibili possono richiedere l'esplicita conferma dell'utente, il tutto oltre alle funzionalità di sicurezza esistenti del browser. La difesa in profondità consente agli utenti di adottare potenti assistenti browser senza sacrificare la sicurezza per la funzionalità.

Cosa influenza l'efficacia dell'attacco?

I risultati della valutazione su BrowseSafe-Bench mostrano schemi chiari. Gli attacchi diretti, come chiedere all'agente di rivelare il proprio prompt di sistema o esfiltrare informazioni tramite segmenti URL, sono tra i più facili da intercettare per i modelli. Al contrario, gli attacchi multilingue e quelli scritti come istruzioni indirette o ipotetiche sono significativamente più complessi, poiché evitano le parole chiave ovvie su cui molti rilevatori fanno implicitamente affidamento.

Anche il posizionamento è importante. Gli attacchi nascosti nei commenti vengono rilevati relativamente bene, mentre le versioni riscritte in piè di pagina visibili, celle di tabelle o paragrafi in linea si rivelano molto più difficili, rivelando una distorsione strutturale verso le injection "nascoste". Un addestramento attento su esempi ben progettati può migliorare significativamente la capacità dei modelli di rilevare tali schemi.

Crea agenti più sicuri con BrowseSafe

BrowseSafe e BrowseSafe-Bench sono completamente open-source. Qualsiasi sviluppatore che crea agenti autonomi può immediatamente rafforzare i propri sistemi contro la prompt injection, senza bisogno di creare barriere di sicurezza da zero. Il modello di rilevamento a pesi aperti viene eseguito localmente e contrassegna le istruzioni dannose prima che raggiungano la logica centrale dell'agente, abbastanza velocemente da scansionare ogni pagina senza rallentare gli utenti.

Utilizza gli oltre 14.000 scenari di attacco del mondo reale di BrowseSafe-Bench per sottoporre a stress test i tuoi modelli contro le complesse insidie HTML che rompono gli LLM standard. Le nostre tecniche di chunking e scansione parallela consentono agli agenti di elaborare pagine enormi e non attendibili in modo efficiente, garantendo potenti funzionalità di navigazione senza esporre gli utenti a pericoli. Per saperne di più su come abbiamo creato BrowseSafe e BrowseSafe-Bench, consulta il blog di Perplexity Research.