Cloudflare: bloquear treino de IA derruba o seu Googlebot

A carteirada primeiro: eu cuido dessas contas, não comento sobre elas

Vou dar a minha carteirada antes de opinar, porque esse assunto virou terreno de palpite. Eu tenho empresa de tecnologia e eu lido com milhares de views todos os dias. Eu cuido de infraestrutura com a mão na massa, não de fora. E, pra ter isso de pé, a gente tem vários sites — e eu não uso WordPress em nenhum deles. Boa parte desses domínios está na Cloudflare, e é por isso que o e-mail dela cai na minha caixa e não numa caixa de marketing.

Não é palpite de fora: eu já tive que investigar log de verdade pra descobrir que o bloqueio de robô de IA estava ligado em domínio meu sem ninguém da minha equipe ter ligado. Contei esse caso inteiro quando escrevi que o meu site estava invisível pro ChatGPT e eu não sabia. O texto de hoje é a etapa seguinte, e ela é outra: agora não é sobre descobrir que travou, é sobre decidir o que você quer em cada uma das três chaves antes que a plataforma decida por você.

O e-mail que chegou: o que mudou de verdade

Eu estava mexendo aqui, fazendo os vídeos de hoje, abri o e-mail e lá estava a Cloudflare com um aviso até extenso. Resumo do que eu entendi lendo, e que eu depois fui conferir na documentação: antes existiam umas poucas chaves que faziam uma coisa só — bloqueia ou libera os robôs de inteligência artificial, em bloco. Agora ficou granular: o robô é tratado pelo que ele faz, não pelo rótulo de "robô de IA".

Apuração minha, feita em 27/09/2026, porque no ar eu falei de cabeça e aqui eu quero te dar a letra. A Cloudflare anunciou isso em 1º de julho de 2026, no post "Your site, your rules: new AI traffic options for all customers", e as definições das três categorias estão na documentação de bloqueio de robôs de IA, nestas palavras:

• Search — "crawlers that collect or index your content to answer questions about it later". É o robô que lê hoje pra te citar depois. É o que traz gente.
• Training — "crawlers taking your content to train or fine-tune a model, including mixed-purpose crawlers that are used both for Training and for Search". Guarde esse pedaço final: ele é a armadilha do texto todo.
• Agent — "automated activity acting in real time on a person's behalf, such as chat fetch bots and browser-use agents". É a IA abrindo a sua página agora, porque alguém pediu.

E cada uma das três aceita três ajustes, também na letra da documentação: "Block (on all pages)", "Block on pages with ads" — com detecção automática da Cloudflare pra saber se a página exibe anúncio — e "Allow (do not block)". O caminho é Security Settings → Configure AI bot policies, e o registro de mudanças da própria Cloudflare diz que isso vale pra todos os clientes, inclusive no plano grátis. Ou seja: não tem desculpa de "isso é coisa de plano caro".

A armadilha: o Googlebot conta como treino

Aqui está a parte que eu não sabia quando liguei a câmera, e é a mais importante deste texto. Eu abri a gravação dizendo que a Cloudflare está bloqueando o seu site, o treinamento das IAs e o robô da busca do Google. Eu falei isso pela sensação de quem administra essas contas. Quando eu fui ler a documentação com calma, descobri que tem base escrita, e ela é pior do que eu imaginava.

Repare de novo na definição de Training: ela inclui "mixed-purpose crawlers that are used both for Training and for Search". E o anúncio da Cloudflare fecha a conta sem rodeio: "Multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training". A imprensa técnica registrou a mesma regra em 02/07/2026 com a frase que eu colaria na parede de quem cuida de site: "If a website blocks Training crawlers, multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked, even when Search crawlers are allowed".

Traduzindo pro nosso lado, porque isso vale dinheiro: Googlebot é o mesmo robô que alimenta a busca e que alimenta treino. Quando você marca "não quero ser usado pra treinar IA" no painel da Cloudflare, vale a regra mais restritiva e ele leva o robô da busca junto. Você achou que estava fazendo uma escolha ideológica sobre IA e fez uma escolha comercial sobre aparecer no Google.

Isso me obriga a um ajuste no que eu mesmo escrevi aqui quatro dias atrás. Quando eu tratei do meu site invisível, eu disse — e continua certo — que bloquear o Google-Extended no robots.txt não te tira do Google: a documentação do Google é explícita nisso. Só que o interruptor Training do painel da Cloudflare não é o Google-Extended: ele pega o crawler de duplo papel inteiro. São duas chaves com nome parecido e consequência oposta, e é exatamente aí que a pessoa se atropela.

Por que alguém bloquearia — e por que você, que vende, não

Antes de escolher, vale entender por que essa trava existe, porque na origem ela faz sentido. Empresa de mídia e comunicação — empresa que gasta dinheiro com jornalista, com produção de conteúdo único e relevante — não quer que a inteligência artificial fique acessando o site dela e raspando o conteúdo. Ir lá, catar a notícia e republicar. Essas empresas até têm processo na justiça pra que as IAs e o Google passem a remunerar os portais, porque na prática usam a notícia e ganham dinheiro em cima dela. É briga legítima e antiga.

A Cloudflare está empurrando o mercado pra esse lado de propósito. Apuração minha: no noticiário de 01/07/2026 sobre a nova política, a separação entre robô de busca e robô de treino aparece justo como o passo que viabiliza cobrar das empresas de IA, num modelo que ela chamou de "Pay Per Use" — cobrar quando o conteúdo gera valor, não só quando é baixado. Tem até um número que explica a irritação de quem paga banda: "over 50% of crawl traffic from AI crawlers is spent re-fetching unchanged pages". Metade do rastreio é robô relendo página que não mudou.

Só que agora vira a mesa pro nosso lado. Pra você que quer vender produto, pra você que está fazendo um site pro seu cliente: isso é relevante ou não é relevante? É relevante. Imagina você querer que o site apareça nas primeiras posições e que, quando a pessoa perguntar no ChatGPT, ele referencie o seu site. E ele não aparecer de jeito nenhum. Pois é — pode ser que a Cloudflare esteja bloqueando o seu site pra inteligência artificial, e a solução que nasceu pra proteger jornal está servida por padrão pro seu site de cinco páginas, que só queria ser encontrado.

Eu já escrevi o outro lado dessa mesma moeda quando mostrei que empresa sem site não vai ser recomendada nem pela IA. Ter site e estar bloqueado dá no mesmo — com o agravante de você estar pagando por ele achando que está resolvido.

Onde eu me corrijo: não é bloqueio geral, é nas páginas com anúncio

Eu falei no ar que, por padrão, a Cloudflare vai deixar bloqueado o treino de IA e bloqueada a visita do agente de IA, e liberado o web search — voltando a ser como era antes da IA. A direção está certa e o tamanho eu exagerei, e eu prefiro corrigir do que repetir.

O que está escrito: a partir de 15 de setembro de 2026, pra todo domínio novo entrando na Cloudflare, Training e Agent ficam bloqueados nas páginas que exibem anúncio e Search continua liberada. Não é o site inteiro fechado — é a página monetizada. E o próprio anúncio diz que quem não quer o padrão novo pode sair dele nas configurações de segurança antes da data, e que a Cloudflare continuaria notificando os clientes conforme a data chegasse. Foi um desses avisos que caiu na minha caixa — e isso também ajusta a minha leitura no ar de que a empresa "empurra goela abaixo sem avisar": ela empurra, mas avisa por e-mail, naquele e-mail extenso que quase todo mundo arquiva sem ler.

Uma ressalva honesta, porque eu não vou fingir precisão que eu não tenho: a documentação fala em "domínio novo". A leitura da imprensa especializada é que o padrão novo também alcança zona existente que nunca salvou uma preferência explícita, e conta de plano grátis. Isso eu não achei com essas palavras na documentação oficial, então trate como leitura de terceiro, não como fato da Cloudflare. E é justamente por isso que a minha recomendação não depende de resolver essa dúvida: abra e olhe. Quem administra centenas de domínios como eu aprende rápido que suposição nesse assunto custa tráfego.

O que eu faço na conta de cada cliente, na ordem

Isso aqui é o que eu faria hoje se eu tivesse uma agência de site ou uma carteira de clientes na Cloudflare — e é barato, é chato e leva poucos minutos por domínio:

1. Abra Security Settings → Configure AI bot policies e olhe as três categorias. Não olhe uma e presuma as outras.
2. Search: liberar, em site que quer cliente. Essa é a mais fácil das três e é a que paga a conta.
3. Training: decida com consciência — e lembre que bloquear aqui leva Googlebot, Applebot e Bingbot junto. Se o seu conteúdo é a sua mercadoria, bloqueie sabendo o preço. Se o seu site é vitrine de serviço, bloquear treino pra "proteger" um texto de vitrine é tiro no próprio pé.
4. Agent: pense em quem está do outro lado. Se o seu site vende, tira dúvida ou tem catálogo, o agente pode ser um cliente real que pediu pra IA resolver. Se o seu site vive de anúncio pra humano, aí a conta muda.
5. Confira o robots.txt e as regras de bot depois. É o roteiro de diagnóstico que eu já detalhei no texto do site invisível — painel liberado com robots.txt fechado continua invisível.
6. Anote a data da vistoria em cada conta. Esse assunto mudou em 01/07/2025, mudou em 15/09/2026, e vai mudar de novo.

E se você não sabe onde clicar: vá na Cloudflare, procure na documentação dela, procure no YouTube, ou pede ajuda pra IA que você usa — Claude, Codex, o que estiver na sua mão. Isso é trabalho chato que a IA faz bem: ler termo, achar menu, resumir o que mudou.

Repare na ordem das coisas, porque é o erro que eu mais vejo em quem está começando a viver de fazer site: primeiro a pessoa escolhe o nome — e eu já contei por que nome e domínio vêm antes do site; depois faz o site; e para. Falta a última parte, que é a que dá dinheiro: fazer o site ser encontrado. Quem entrega site pra cliente e não vistoria isso está entregando serviço pela metade — e eu já mostrei a conta de quem faz site e fatura de verdade com isso.

Nota de cronologia (importante)

Eu gravei em 27/09/2026, de manhã, com o e-mail recém-aberto, e escrevi este texto no mesmo dia — a apuração na documentação é de 27/09/2026. Duas coisas eu corrigi em relação ao que eu falei no ar, e faço isso de bom grado: o padrão novo bloqueia nas páginas que exibem anúncio, não o site todo, e a Cloudflare avisou por e-mail antes de mudar. Uma coisa a apuração confirmou e piorou: o interruptor de treino realmente atinge o robô da busca, porque Googlebot é crawler de duplo papel. Esse assunto está mudando rápido — o padrão de 01/07/2025 não é o de 15/09/2026, e o nome dos menus essas empresas trocam sem avisar. Não tome nada aqui como eterno; tome o método: abra, olhe as três chaves, anote a data.

Perguntas frequentes

Resumindo o que eu levaria disso pra dentro da minha operação: quem se preocupa com site, quem precisa vender, quem precisa mostrar o site, tem que ir lá ajustar. Não por medo de IA — por controle. As três chaves existem pra você escolher, e escolher errado hoje tem um preço bem concreto, que é sumir da busca sem saber por quê. Se você tem agência de site ou quer aprender a construir site de uma forma escalável e simples, é disso que eu trato nas minhas imersões — e valor, data e condição ficam na página de cada uma, que é onde essa informação está certa. Um abraço, e até a próxima.