Agentes ou bots? Compreender a IA na web aberta

À medida que a internet evolui, o mesmo acontece com as formas como acedemos e interagimos com a informação. Nos primeiros tempos da web, os bots automatizados desempenhavam um papel simples e bem compreendido: indexar sites para pesquisa, verificar links ou recolher dados de acordo com regras claras estabelecidas pelos proprietários dos sites.

Mas com o surgimento de assistentes alimentados por IA e agentes orientados pelo utilizador, a fronteira entre o que conta como "apenas um bot" e o que serve as necessidades imediatas de pessoas reais tornou-se cada vez mais difusa.

O Surgimento dos Assistentes Digitais

Os assistentes de IA modernos funcionam de forma fundamentalmente diferente do rastreio web tradicional. Quando faz uma pergunta ao Perplexity que requer informação atual - digamos, "Quais são as avaliações mais recentes para esse novo restaurante?" -, a IA não tem já essa informação guardada numa base de dados em algum lugar. Em vez disso, vai aos sites relevantes, lê o conteúdo e traz um resumo adaptado à sua pergunta específica.

Isto é fundamentalmente diferente do rastreio web tradicional, no qual os rastreadores visitam sistematicamente milhões de páginas para construir bases de dados massivas, quer alguém tenha pedido essa informação específica ou não. Os agentes orientados pelo utilizador, por contraste, apenas obtêm conteúdo quando uma pessoa real solicita algo específico, e utilizam esse conteúdo imediatamente para responder à pergunta do utilizador. Os agentes orientados pelo utilizador do Perplexity não armazenam a informação nem treinam com ela.

Porque é que esta distinção importa

A diferença entre o rastreio automatizado e a obtenção orientada pelo utilizador não é apenas técnica - trata-se de quem tem acesso à informação na web aberta. Quando o motor de busca da Google rastreia para construir o seu índice, isso é diferente de quando obtém uma página web porque pediu uma pré-visualização. Os "obtentores acionados pelo utilizador" da Google priorizam a sua experiência em detrimento das restrições do robots.txt porque estes pedidos acontecem em seu nome.

O mesmo se aplica aos assistentes de IA. Quando o Perplexity obtém uma página web, é porque fez uma pergunta específica que requer informação atual. O conteúdo não é armazenado para treino - é utilizado imediatamente para responder à sua pergunta.

Quando empresas como a Cloudflare caracterizam mal os assistentes de IA orientados pelo utilizador como bots maliciosos, estão a argumentar que qualquer ferramenta automatizada que sirva os utilizadores deve ser suspeita - uma posição que criminalizaria clientes de email e navegadores web, ou qualquer outro serviço que um potencial guardião decidisse que não gosta.

Esta controvérsia revela que os sistemas da Cloudflare são fundamentalmente inadequados para distinguir entre assistentes de IA legítimos e ameaças reais. Se não consegue distinguir um assistente digital útil de um extrator malicioso, então provavelmente não deveria estar a tomar decisões sobre o que constitui tráfego web legítimo.

Este bloqueio excessivo prejudica todos. Considere alguém que usa IA para pesquisar condições médicas, comparar avaliações de produtos ou aceder a notícias de múltiplas fontes. Se o seu assistente for bloqueado como um "bot malicioso", perde o acesso a informação valiosa.

O resultado é uma internet a dois níveis onde o seu acesso não depende das suas necessidades, mas sim de saber se as ferramentas escolhidas foram abençoadas pelos controladores de infraestruturas, que se importam mais com os seus meios. Isto mina a escolha do utilizador e ameaça a acessibilidade da web aberta para serviços inovadores que competem com gigantes estabelecidos.

Um apelo à clareza: como os agentes de utilizador realmente funcionam

Um assistente de IA funciona exatamente como um assistente humano. Quando faz uma pergunta a um assistente de IA que requer informação atual, eles não sabem a resposta de antemão. Pesquisam por si para completar qualquer tarefa que tenha pedido.

No Perplexity e em todas as outras plataformas de IA baseadas em agentes, isto acontece em tempo real, em resposta ao seu pedido, e a informação é utilizada imediatamente para responder à sua pergunta. Não é armazenada em bases de dados massivas para uso futuro, nem é utilizada para treinar modelos de IA.

Os agentes orientados pelo utilizador apenas agem quando os utilizadores fazem pedidos específicos, e apenas obtêm o conteúdo necessário para cumprir esses pedidos. Esta é a diferença fundamental entre um agente de utilizador e um bot.

Abordando diretamente a Cloudflare: uma questão de competência

A recente publicação no blogue da Cloudflare conseguiu errar quase tudo sobre como os assistentes de IA modernos realmente funcionam.

Para além de mal-entender que 20-25M de pedidos de agentes de utilizador não são extratores, a Cloudflare afirmou que o Perplexity estava envolvido em "rastreio furtivo", utilizando bots ocultos e táticas de impersonação para contornar restrições de websites. Mas os factos técnicos contam uma história diferente.

Parece que a Cloudflare confundiu o Perplexity com 3-6M de pedidos diários de tráfego não relacionado do BrowserBase, um serviço de navegador em nuvem de terceiros que o Perplexity apenas utiliza ocasionalmente para tarefas altamente especializadas (menos de 45.000 pedidos diários).

Como a Cloudflare ofuscou convenientemente a sua metodologia e recusou responder a perguntas para ajudar as nossas equipas a compreender, só conseguimos reduzir isto a duas explicações possíveis.

A Cloudflare precisava de um momento de publicidade inteligente e nós – os seus próprios clientes – acabámos por ser um nome útil para o conseguir.

A Cloudflare atribuiu erroneamente de forma fundamental 3-6M de pedidos diários do serviço de navegador automatizado do BrowserBase ao Perplexity, uma falha básica de análise de tráfego que é particularmente embaraçosa para uma empresa cujo negócio principal é compreender e categorizar o tráfego web.

Qualquer que seja a explicação verdadeira, os erros técnicos na análise da Cloudflare não são apenas embaraçosos — são desqualificantes. Quando atribui erradamente milhões de pedidos, publica diagramas técnicos completamente imprecisos e demonstra um mal-entendido fundamental de como funcionam os assistentes de IA modernos, perdeu qualquer direito a reclamar perícia neste espaço.

Esta controvérsia revela que os sistemas da Cloudflare são fundamentalmente inadequados para distinguir entre assistentes de IA legítimos e ameaças reais. Se não consegue distinguir um assistente digital útil de um extrator malicioso, então provavelmente não deveria estar a tomar decisões sobre o que constitui tráfego web legítimo.

A fanfarronice em torno deste problema também revela que a liderança da Cloudflare está perigosamente mal informada sobre os conceitos básicos de IA, ou simplesmente é mais aparato do que nuvem. Isto importa porque os clientes da Cloudflare incluem empresas de todos os tipos, empresas que não se podem dar ao luxo de confiar a sua infraestrutura a manobras publicitárias de charlatões.

Ainda mais embaraçoso, a Cloudflare publicou um diagrama técnico que supostamente mostrava o "fluxo de trabalho de rastreio do Perplexity" que não tem qualquer semelhança com a forma como o Perplexity realmente funciona. Se a Cloudflare estivesse verdadeiramente interessada em compreender os dados que estava a ver, como os nossos sistemas funcionam, ou estes conceitos fundamentais delineados acima, poderiam ter feito o que encorajamos todos os utilizadores do Perplexity a fazer. Basta perguntar.