Cloudflare vai bloquear crawlers de IA que não pagarem publishers
A Cloudflare deu um prazo concreto para as empresas de IA arrumarem a casa: 15 de setembro de 2026. A partir dessa data, qualquer crawler que misture busca tradicional, agentes de IA e coleta para treinamento vai ser bloqueado por padrão em páginas que exibem anúncios. Sem negociação, sem aviso extra.
O que muda na prática
Hoje, muitos crawlers fazem tudo ao mesmo tempo — indexam para busca, alimentam agentes e coletam dados para treinar modelos. A Cloudflare quer que isso acabe. A nova configuração padrão vai afetar novos clientes, novos sites de clientes já existentes e toda a base de clientes gratuitos. Quem quiser abrir exceção precisa ajustar manualmente.
O raciocínio da empresa é simples: a maioria dos donos de site quer aparecer nas buscas e até em serviços de IA, mas não quer ter o conteúdo sugado de graça para treinar modelos proprietários.
A indireta para o Google
A Cloudflare citou o maior mecanismo de busca do mundo — sim, é o Google — dizendo que ele acessa cerca de duas vezes mais informação que outras empresas de IA, porque sites precisam aceitar o Googlebot para continuar aparecendo na busca. O Google rebate que oferece o Google Extended, um bot separado que permite ao dono do site optar por não ter o conteúdo usado em produtos como o Gemini, sem perder posição no índice de busca. Mesmo assim, o Googlebot principal ainda rastreia para AI Overviews e AI Mode.
Pay Per Crawl virou Pay Per Use
A Cloudflare já tinha lançado o Pay Per Crawl, que cobra das empresas de IA por cada visita ao site. Agora o modelo evolui para Pay Per Use: o publisher só recebe quando o conteúdo realmente gera valor — quando aparece numa resposta, não só quando foi buscado.
Isso importa porque os dados da própria Cloudflare mostram que mais de 50% do tráfego de crawlers de IA é gasto rebuscando páginas que não mudaram nada. Ou seja, banda consumida sem nenhum retorno.
Os primeiros parceiros do Pay Per Use são Ceramic.ai e You.com. Quando um publisher opta pelo programa, recebe quando seu conteúdo aparece nos resultados do Ceramic ou quando o You.com acessa conteúdo premium.
O contexto maior
Matthew Prince, CEO da Cloudflare, lembrou que bots já representam a maioria do tráfego na internet — um marco que era esperado só para 2027.
Agora que a maior parte do tráfego é não humana, precisamos ir mais longe e agir mais rápido para que um ecossistema sustentável possa emergir.
Para quem opera um site, a mensagem é direta: a Cloudflare está te dando mais controle sobre quem acessa o quê — e quanto você recebe por isso.