Cloudfare presenta herramientas para gestionar y monetizar el acceso de los bots de IA a las webs

Cloudfare ha anunciado nuevas herramientas para que los clientes puedan gestionar el acceso de los rastreadores de IA a sus páginas web, que buscan restringir su paso o monetizar dicho acceso a través de un pago.

Las páginas web pueden usar el archivo robots.txt para limitar el acceso de los rastreadores de los buscadores a todo o parte del contenido, para que no lo indexen, pero se trata de un recurso "infrautilizado", según apuntan desde Cloudfare, ya que solo el 37 por ciento de los 10.000 dominios principales lo tienen.

Los rastreadores de búsqueda generan tráfico y ayudan a los creadores a monetizar su contenido, si así lo quieren, ya que hacen que sus webs sean más fáciles de encontrar. Sin embargo, recientemente ha aparecido un tipo de rastreador que recopila datos para entrenar modelos de IA que apenas genera tráfico.

Según Cloudfare, de ese 37%, "pocos incluyen directivas de deshabilitación para los principales 'bots' de IA" más populares, entre los que se encuentran los de OpenAI, Anthropic, Google y Perplexity, como explica en su blog oficial.

"Los propietarios de sitios web deberían tener control sobre la actividad de los bots de IA en sus sitios web", afirma Cloudfare, en referencia a una situación que afrontan los creadores que se han preocupado por crear contenido original y facilitar su indexación, pero no quieren que se use para entrenar modelos de IA.

Cloudfare ha facilitado a sus clientes un nuevo botón que activa el archivo robots.txt para gestionar el tráfico de los 'bots' de IA, que pueden configurar para que restrinjan el acceso o para que los rastreadores puedan acceder a determinadas partes y bloquear, por ejemplo, solo donde se muestran anuncios.

Por otra parte, los clientes de Cloudfare también podrán cobrar a los rastreadores de IA por el acceso a su contenido. "En lugar de un bloqueo general o un acceso abierto sin compensación, queremos empoderar a los propietarios de contenido para que moneticen su contenido a escala de internet", explican desde la compañía tecnológica.

El pago por rastreo se integra en la infraestructura web para crear un marco para el acceso a contenido pago. Está actualmente en una fase de desarrollo beta privada.