¿Agentes o bots? Dándole sentido a la IA en la web abierta

A medida que internet evoluciona, también lo hacen las formas en que accedemos a la información e interactuamos con ella. En los primeros días de la web, los bots automatizados desempeñaban un papel sencillo y bien entendido: indexar sitios para la búsqueda, comprobar enlaces o extraer datos de acuerdo con reglas claras establecidas por los propietarios de los sitios web.

Sin embargo, con el auge de los asistentes impulsados por IA y los agentes dirigidos por el usuario, la línea entre lo que cuenta como "un simple bot" y lo que satisface las necesidades inmediatas de personas reales se ha vuelto cada vez más difusa.

El auge de los asistentes digitales

Los asistentes de IA modernos funcionan de manera fundamentalmente distinta al rastreo web tradicional. Cuando le haces una pregunta a Perplexity que requiere información actual —por ejemplo, "¿Cuáles son las últimas reseñas de ese nuevo restaurante?"—, la IA no tiene ya esa información almacenada en alguna base de datos. En su lugar, visita los sitios web relevantes, lee el contenido y ofrece un resumen adaptado a tu pregunta específica.

Esto es fundamentalmente diferente del rastreo web tradicional, en el cual los rastreadores visitan sistemáticamente millones de páginas para construir bases de datos masivas, lo haya pedido alguien o no. Los agentes dirigidos por el usuario, por el contrario, solo obtienen contenido cuando una persona real solicita algo específico, y utilizan ese contenido de inmediato para responder a la pregunta del usuario. Los agentes dirigidos por el usuario de Perplexity no almacenan la información ni la utilizan para entrenar.

Por qué importa esta distinción

La diferencia entre el rastreo automatizado y la obtención dirigida por el usuario no es solo técnica; se trata de quién puede acceder a la información en la web abierta. Cuando el motor de búsqueda de Google rastrea para construir su índice, eso es diferente a cuando recupera una página web porque pediste una vista previa. Los "recuperadores activados por el usuario" de Google priorizan tu experiencia por encima de las restricciones de robots.txt porque estas solicitudes ocurren en tu nombre.

Lo mismo se aplica a los asistentes de IA. Cuando Perplexity recupera una página web, se debe a que hiciste una pregunta específica que requiere información actual. El contenido no se almacena para entrenamiento; se utiliza de inmediato para responder a tu pregunta.

Cuando empresas como Cloudflare caracterizan erróneamente a los asistentes de IA dirigidos por el usuario como bots maliciosos, están argumentando que cualquier herramienta automatizada que sirva a los usuarios debe ser sospechosa, una postura que criminalizaría a los clientes de correo electrónico y a los navegadores web, o a cualquier otro servicio que un posible guardián decida que no le gusta.

Esta controversia revela que los sistemas de Cloudflare son fundamentalmente inadecuados para distinguir entre asistentes de IA legítimos y amenazas reales. Si no puedes diferenciar entre un asistente digital útil y un recolector malicioso, probablemente no deberías tomar decisiones sobre lo que constituye tráfico web legítimo.

Este bloqueo excesivo perjudica a todos. Considera a alguien que usa la IA para investigar condiciones médicas, comparar reseñas de productos o acceder a noticias de múltiples fuentes. Si su asistente es bloqueado como un "bot malicioso", pierden el acceso a información valiosa.

El resultado es una internet de dos niveles donde tu acceso no depende de tus necesidades, sino de si las herramientas que elegiste han recibido el visto bueno de los controladores de infraestructura, a quienes les importan más tus medios. Esto socava la elección del usuario y amenaza la accesibilidad de la web abierta para los servicios innovadores que compiten con los gigantes establecidos.

Un llamado a la claridad: cómo funcionan realmente los agentes de usuario

Un asistente de IA funciona igual que un asistente humano. Cuando le haces una pregunta a un asistente de IA que requiere información actual, este no conoce la respuesta de antemano. La busca por ti para completar cualquier tarea que hayas solicitado.

En Perplexity y en todas las demás plataformas de IA agéntica, esto ocurre en tiempo real, en respuesta a tu solicitud, y la información se utiliza de inmediato para responder a tu pregunta. No se almacena en bases de datos masivas para uso futuro, ni se utiliza para entrenar modelos de IA.

Los agentes dirigidos por el usuario solo actúan cuando los usuarios hacen solicitudes específicas, y solo obtienen el contenido necesario para satisfacer esas solicitudes. Esta es la diferencia fundamental entre un agente de usuario y un bot.

Abordando directamente a Cloudflare: una cuestión de competencia

La reciente publicación en el blog de Cloudflare logró equivocarse en casi todo sobre cómo funcionan realmente los asistentes de IA modernos.

Además de malinterpretar que entre 20 y 25 millones de solicitudes de agentes de usuario no son recolectores, Cloudflare afirmó que Perplexity realizaba un "rastreo sigiloso", utilizando bots ocultos y tácticas de suplantación de identidad para eludir las restricciones del sitio web. Pero los hechos técnicos cuentan una historia diferente.

Parece que Cloudflare confundió a Perplexity con entre 3 y 6 millones de solicitudes diarias de tráfico no relacionado procedentes de BrowserBase, un servicio de navegador en la nube de terceros que Perplexity solo utiliza ocasionalmente para tareas muy especializadas (menos de 45,000 solicitudes diarias).

Debido a que Cloudflare ha oscurecido convenientemente su metodología y se ha negado a responder preguntas para ayudar a nuestros equipos a comprender, solo podemos acotar esto a dos explicaciones posibles.

Cloudflare necesitaba un momento de publicidad inteligente y nosotros —su propio cliente— resultamos ser un nombre útil para conseguirlo.

Cloudflare atribuyó erróneamente de forma fundamental entre 3 y 6 millones de solicitudes diarias del servicio de navegador automatizado de BrowserBase a Perplexity, un fallo básico de análisis de tráfico que es particularmente vergonzoso para una empresa cuyo negocio principal es comprender y categorizar el tráfico web.

Cualquiera que sea la verdad, los errores técnicos en el análisis de Cloudflare no solo son vergonzosos, sino descalificadores. Cuando atribuyes erróneamente millones de solicitudes, publicas diagramas técnicos completamente inexactos y demuestras una incomprensión fundamental de cómo funcionan los modernos asistentes de IA, has perdido cualquier derecho a reclamar experiencia en este espacio.

Esta controversia revela que los sistemas de Cloudflare son fundamentalmente inadecuados para distinguir entre asistentes de IA legítimos y amenazas reales. Si no puedes diferenciar entre un asistente digital útil y un recolector malicioso, probablemente no deberías tomar decisiones sobre lo que constituye tráfico web legítimo.

La fanfarronería en torno a este tema también revela que el liderazgo de Cloudflare está peligrosamente mal informado sobre los conceptos básicos de la IA, o simplemente tiene más estilo que sustancia. Esto importa porque los clientes de Cloudflare incluyen empresas de todo tipo, compañías que no pueden permitirse confiar su infraestructura a trucos publicitarios de charlatanes.

Aún más vergonzoso, Cloudflare publicó un diagrama técnico que supuestamente mostraba el "flujo de trabajo de rastreo de Perplexity" que no se parece en nada a cómo funciona realmente Perplexity. Si Cloudflare estuviera realmente interesado en comprender los datos que veía, cómo funcionan nuestros sistemas o estos conceptos fundamentales descritos anteriormente, podría haber hecho lo que animamos a todos los usuarios de Perplexity a hacer. Solo preguntar.