Patreon cansou de pedir educadamente e agora bloqueia bots de IA
Robots.txt sempre foi, na prática, um pedido educado. Você escreve umas linhas dizendo ‘não me raspe’, publica no seu domínio e reza pra quem programou o crawler ter decidido respeitar. A Patreon descobriu, do jeito difícil, que isso não funciona mais.
A plataforma de assinaturas para criadores anunciou nesta quinta que vai parar de confiar no bom senso dos bots e passar a bloquear ativamente crawlers de treinamento de IA, usando a infraestrutura da Cloudflare. O recurso se chama AI Crawl Control e já estava em uso parcial desde 2023, mas agora ganha dentes.
O robots.txt não estava sendo respeitado
Um arquivo típico de bloqueio se parece com isso:
User-agent: GPTBot Disallow: /
É basicamente uma instrução HTTP em texto puro, sem nenhuma camada de enforcement por trás. Segundo a Patreon, depois de ativar o bloqueio de fato via Cloudflare, as tentativas semanais de acesso de crawlers de treinamento caíram de milhares para zero. Ou seja: os bots estavam ignorando o arquivo e raspando o site do mesmo jeito.
Isso é o tipo de dado que qualquer engenheiro que já olhou log de acesso reconhece na hora. Regra sem verificação é sugestão, não controle de acesso.
Nem tudo é bloqueado
A empresa deixa passar bots que indexam páginas e organizam informação para redirecionar tráfego de volta à Patreon, o que faz sentido do ponto de vista de negócio: descoberta de conteúdo ajuda o criador, treinamento de modelo sem consentimento não.
No blog da empresa, a justificativa é direta:
Consentimento não deveria depender de o scraper decidir se comportar bem.
O chefe de produto da Patreon, Drew Rowny, reforçou o ponto: na maior parte da internet, criadores são obrigados a aceitar treinamento de IA sobre o próprio trabalho só para conseguir alcance. A Patreon quer oferecer outra opção.
Contexto: a Cloudflare está construindo o pedágio da IA
Isso não é caso isolado. A Cloudflare vem expandindo esse tipo de controle desde 2024, e no início de julho mudou a política padrão para bloquear por default crawlers de uso misto (que indexam e treinam ao mesmo tempo) em páginas com anúncios. Também mantém um marketplace, o Pay Per Crawl, para cobrar bots de IA por acesso.
Do ponto de vista de infraestrutura, é um movimento óbvio: se a demanda por dados de treinamento é alta e o custo de scraping é baixo, alguém vai automatizar o abuso até existir um mecanismo de enforcement real. A Patreon só formalizou isso na camada de rede, em vez de deixar como política de boa vontade.