Agentes ou bots? Entendendo a IA na web aberta

À medida que a internet evolui, também evoluem as formas pelas quais acessamos e interagimos com as informações. Nos primórdios da web, os bots automatizados desempenhavam um papel simples e bem compreendido: indexar sites para pesquisa, verificar links ou extrair dados de acordo com regras claras estabelecidas pelos proprietários dos sites.

Contudo, com a ascensão dos assistentes alimentados por IA e agentes orientados pelo usuário, a fronteira entre o que é considerado "apenas um bot" e o que atende às necessidades imediatas de pessoas reais tornou-se cada vez mais difusa.

A Ascensão dos Assistentes Digitais

Os assistentes de IA modernos operam de forma fundamentalmente diferente do rastreamento web tradicional. Quando você faz uma pergunta ao Perplexity que exige informações atuais — por exemplo, "Quais são as últimas avaliações daquele novo restaurante?" — a IA não possui essas informações armazenadas em um banco de dados. Em vez disso, ela acessa os sites relevantes, lê o conteúdo e traz um resumo adaptado à sua pergunta específica.

Isso é fundamentalmente diferente do rastreamento web tradicional, no qual os rastreadores visitam sistematicamente milhões de páginas para construir bancos de dados massivos, independentemente de alguém ter solicitado ou não aquela informação específica. Por outro lado, os agentes orientados pelo usuário buscam conteúdo apenas quando uma pessoa real solicita algo específico, utilizando esse conteúdo imediatamente para responder à pergunta do usuário. Os agentes orientados pelo usuário do Perplexity não armazenam as informações nem as utilizam para treinamento.

Por que esta Distinção é Importante

A diferença entre o rastreamento automatizado e a busca orientada pelo usuário não é apenas técnica — trata-se de quem tem acesso às informações na web aberta. Quando o mecanismo de busca do Google rastreia a web para criar seu índice, isso é diferente de quando ele busca uma página porque você solicitou uma prévia. Os "buscadores acionados pelo usuário" do Google priorizam sua experiência em detrimento das restrições do robots.txt, porque essas solicitações são feitas em seu nome.

O mesmo se aplica aos assistentes de IA. Quando o Perplexity busca uma página da web, é porque você fez uma pergunta específica que exige informações atuais. O conteúdo não é armazenado para fins de treinamento — ele é usado imediatamente para responder à sua pergunta.

Quando empresas como a Cloudflare caracterizam erroneamente assistentes de IA orientados pelo usuário como bots maliciosos, elas argumentam que qualquer ferramenta automatizada que sirva aos usuários deve ser suspeita — uma posição que criminalizaria clientes de e-mail e navegadores web, ou qualquer outro serviço que um potencial controlador de acesso decida que não lhe agrada.

Essa controvérsia revela que os sistemas da Cloudflare são fundamentalmente inadequados para distinguir entre assistentes de IA legítimos e ameaças reais. Se você não consegue distinguir um assistente digital útil de um extrator malicioso, provavelmente não deveria estar tomando decisões sobre o que constitui tráfego web legítimo.

Esse bloqueio excessivo prejudica a todos. Considere alguém que usa IA para pesquisar condições médicas, comparar avaliações de produtos ou acessar notícias de várias fontes. Se o assistente dessa pessoa for bloqueado como um "bot malicioso", ela perderá o acesso a informações valiosas.

O resultado é uma internet de dois níveis, onde seu acesso não depende de suas necessidades, mas sim de se as ferramentas escolhidas foram aprovadas por controladores de infraestrutura, que se preocupam mais com os seus meios. Isso mina a escolha do usuário e ameaça a acessibilidade da web aberta para serviços inovadores que competem com gigantes estabelecidos.

Um Apelo por Clareza: Como os Agentes de Usuário Realmente Funcionam

Um assistente de IA funciona exatamente como um assistente humano. Quando você faz uma pergunta a um assistente de IA que requer informações atuais, ele não sabe a resposta de antemão. Ele a pesquisa para você, a fim de concluir a tarefa que você solicitou.

No Perplexity e em todas as outras plataformas de IA com agentes, isso ocorre em tempo real, em resposta à sua solicitação, e a informação é usada imediatamente para responder à sua pergunta. Ela não é armazenada em bancos de dados massivos para uso futuro, nem é usada para treinar modelos de IA.

Os agentes orientados pelo usuário agem apenas quando os usuários fazem solicitações específicas, e buscam apenas o conteúdo necessário para atender a essas solicitações. Essa é a diferença fundamental entre um agente de usuário e um bot.

Abordando Diretamente a Cloudflare: Uma Questão de Competência

A postagem recente no blog da Cloudflare conseguiu errar quase tudo sobre como os assistentes de IA modernos realmente funcionam.

Além de compreender erroneamente que 20-25 milhões de solicitações de agentes de usuário não são extratores, a Cloudflare afirmou que o Perplexity estava envolvido em "rastreamento furtivo", usando bots ocultos e táticas de impersonação para contornar restrições de sites. Mas os fatos técnicos contam uma história diferente.

Ao que parece, a Cloudflare confundiu o Perplexity com 3-6 milhões de solicitações diárias de tráfego não relacionado proveniente do BrowserBase, um serviço de navegador em nuvem de terceiros que o Perplexity utiliza apenas ocasionalmente para tarefas altamente especializadas (menos de 45.000 solicitações diárias).

Como a Cloudflare ofuscou convenientemente sua metodologia e se recusou a responder às perguntas que ajudariam nossas equipes a entender a situação, só podemos reduzir isso a duas explicações possíveis.

A Cloudflare precisava de um momento publicitário inteligente e nós — seus próprios clientes — acabamos sendo um nome útil para conseguir isso.

A Cloudflare atribuiu fundamentalmente de forma incorreta 3-6 milhões de solicitações diárias do serviço de navegador automatizado do BrowserBase ao Perplexity, uma falha básica de análise de tráfego que é particularmente constrangedora para uma empresa cujo negócio principal é entender e categorizar o tráfego web.

Seja qual for a explicação correta, os erros técnicos na análise da Cloudflare não são apenas constrangedores — são desqualificantes. Quando se atribui incorretamente milhões de solicitações, publica-se diagramas técnicos completamente imprecisos e demonstra-se uma incompreensão fundamental de como os assistentes de IA modernos funcionam, perde-se qualquer pretensão de especialização neste espaço.

Essa controvérsia revela que os sistemas da Cloudflare são fundamentalmente inadequados para distinguir entre assistentes de IA legítimos e ameaças reais. Se você não consegue distinguir um assistente digital útil de um extrator malicioso, provavelmente não deveria estar tomando decisões sobre o que constitui tráfego web legítimo.

A agitação em torno desta questão também revela que a liderança da Cloudflare está perigosamente mal informada sobre o básico da IA, ou simplesmente possui mais fachada do que nuvem. Isso é importante porque os clientes da Cloudflare incluem empresas de todos os tipos, empresas que não podem se dar ao luxo de confiar sua infraestrutura a manobras publicitárias de charlatães.

Ainda mais constrangedor, a Cloudflare publicou um diagrama técnico supostamente mostrando o "fluxo de trabalho de rastreamento do Perplexity" que não tem nenhuma semelhança com a forma como o Perplexity realmente funciona. Se a Cloudflare estivesse realmente interessada em entender os dados que estava vendo, como nossos sistemas funcionam ou esses conceitos fundamentais delineados acima, eles poderiam ter feito o que incentivamos todos os usuários do Perplexity a fazer: Basta perguntar.