O crescimento de modelos de linguagem e agentes autônomos gerou uma onda de varredura automatizada na web sem precedentes. Rastreadores como Bytespider, CCBot, ClaudeBot, GPTBot e dezenas de scrapers menores percorrem sites em busca de dados de treinamento e indexação para respostas sintéticas. Diferente do rastreamento previsível do Googlebot, esses agentes costumam operar sem coordenação de carga. Eles disparam centenas de requisições simultâneas em páginas dinâmicas, esgotam conexões do banco de dados e elevam a latência do servidor de origem.
Quando a origem fica sobrecarregada, o primeiro afetado é o Googlebot. Se o tempo de resposta do servidor sobe ou se erros HTTP 503 e 504 começam a ocorrer, o Google reduz a taxa de rastreamento para evitar a queda do site. O resultado prático é a perda de crawl budget, demora na indexação de novos conteúdos e estagnação de páginas atualizadas.
A reação mais comum de equipes de infraestrutura é ativar o botão de bloqueio geral de IA no Cloudflare ou bloquear nomes de agentes no robots.txt. Ambas as abordagens trazem problemas sérios. O robots.txt é ignorado por muitos scrapers. O bloqueio geral no WAF elimina rastreadores de busca baseados em IA que enviam tráfego real e referências de marca. A solução exige uma gestão granular de tráfego com o Cloudflare WAF.
Como os scrapers de IA afetam a infraestrutura e o crawl budget
Para entender o perigo desses agentes, precisamos olhar para a física da infraestrutura web. Um visitante comum carrega o documento HTML, arquivos estáticos em cache e faz poucas chamadas de API. Um crawler de IA varre estruturas inteiras de URLs em minutos.
Esgotamento de recursos na origem
Muitos scrapers de IA ignoram o cache de borda. Eles enviam cabeçalhos que forçam requisições dinâmicas ou navegam deliberadamente por páginas de busca interna, filtros facetados e paginações profundas. Cada requisição desse tipo atinge diretamente o servidor de aplicação:
- Consumo de CPU e memória: a renderização de páginas complexas e consultas pesadas no banco de dados consom threads do PHP, Node.js ou Python.
- Pool de conexões exaurido: o banco atinge o limite máximo de conexões simultâneas, devolvendo erros 500 ou 503 para usuários reais e bots de busca.
- Evicção de cache: o volume excessivo de URLs frias limpa objetos quentes da memória do servidor e da CDN, reduzindo a taxa de acerto de cache.
O impacto direto no Googlebot
O Google monitora continuamente a saúde da sua infraestrutura durante o rastreamento. Quando o Googlebot encontra latência elevada, o algoritmo Host Load reduz a velocidade de varredura.
Se o seu site publica centenas de páginas diárias ou depende de atualização constante de estoque e preços em e-commerce, uma queda no rastreamento significa que o Google levará semanas para descobrir suas alterações. Monitorar essa correlação em arquivos de log brutos é fundamental. Na prática, você pode correlacionar essas quedas cruzando dados da CDN e do servidor, processo detalhado no artigo sobre análise de log files para SEO com DuckDB.
Por que o arquivo robots.txt e o bloqueio global falham
Tratar o problema com soluções simplistas costuma gerar dois extremos: ou a proteção não funciona, ou o site perde oportunidades de tráfego orgânico.
A limitação do robots.txt
O arquivo robots.txt é uma convenção voluntária. Grandes empresas respeitam as diretivas para seus agentes oficiais declarados, mas há três falhas fundamentais:
- Atraso na leitura: muitos bots leem o robots.txt a cada 24 ou 48 horas. Se um scraper começar uma varredura agressiva agora, novas regras não surtem efeito imediato.
- Scrapers não oficiais: agentes não declarados, scrapers acadêmicos e coletores de dados comerciais ignoram o arquivo completamente.
- Consumo de banda: o bot ainda faz a conexão TLS e a requisição HTTP para o servidor antes de avaliar a regra. O consumo de rede na borda continua existindo.
O risco do bloqueio em lote no Cloudflare
O Cloudflare oferece uma opção de um clique chamada “Block AI Scrapers and Crawlers”. Embora pareça conveniente, esse recurso opera como um interruptor binário. Ele bloqueia qualquer assinatura conhecida de IA, sem diferenciar a finalidade do rastreador.
Nem todo crawler de IA tem o mesmo objetivo. Bloquear todos os agentes impede que mecanismos modernos de busca indexem seu conteúdo. Se a sua empresa busca visibilidade em novas plataformas de busca conversacional, essa decisão corta o tráfego na raiz.
Classificação técnica de bots de IA
Antes de criar regras no WAF, é preciso separar os agentes em categorias claras de acordo com a contrapartida que oferecem ao seu negócio.
1. Scrapers brutos de treinamento
Esses robôs coletam dados brutos para alimentar conjuntos de treinamento de modelos de base. Eles não exibem links diretos para o seu site, não geram cliques e raramente trazem retorno comercial direto:
- Bytespider: operado pela ByteDance, conhecido pelo volume desproporcional de requisições e desrespeito a limites comuns de frequência.
- CCBot: o coletor do Common Crawl, que alimenta diversos modelos abertos e comerciais.
- Diffbot: crawler comercial que estrutura dados da web para revenda.
- ImagesiftBot: focado em varredura de mídia e imagens.
Estes agentes são os principais candidatos a bloqueio imediato na borda da CDN.
2. Robôs de busca e citação em tempo real
Estes agentes navegam na web para responder a dúvidas de usuários em interfaces de chat ou buscadores baseados em modelos de linguagem, incluindo referências diretas e links para a fonte original:
- OAI-SearchBot: rastreador específico do SearchGPT e buscas do ChatGPT, voltado para indexação e direcionamento de tráfego, diferente do bot de treino geral.
- PerplexityBot: rastreia conteúdo para gerar respostas com citações com links diretos no Perplexity.
- Claude-Web: agente do Anthropic usado quando o usuário solicita navegação em tempo real.
Bloquear esses agentes impede que o seu domínio seja citado em respostas sintéticas. Entender como essas plataformas citam referências faz parte da estratégia de rastreamento de citações no Google AI Overviews e novas ferramentas de busca.
| Categoria de Bot | Exemplos de User-Agent | Ação Recomendada | Justificativa |
|---|---|---|---|
| Treinamento agressivo | Bytespider, CCBot, Diffbot | Block (HTTP 403) | Alto consumo de infraestrutura sem retorno de tráfego. |
| Treinamento corporativo | GPTBot, ClaudeBot | Block ou Rate Limit | Depende da política de licenciamento do site. |
| Busca e citação | OAI-SearchBot, PerplexityBot | Allow + Edge Cache | Permite citações com tráfego sem tocar a origem. |
| Mecanismos tradicionais | Googlebot, Bingbot | Bypass / Whitelist | Essenciais para o SEO tradicional e ranqueamento. |
Arquitetura de regras no Cloudflare WAF
Para proteger o site sem prejudicar o SEO, construímos uma arquitetura de regras com o Cloudflare Firewall Expression Language (wirefilter). A ordem das regras no painel de Security é decisiva.
A estrutura recomendada segue quatro camadas de prioridade.
Regra 1: Liberação expressa de bots de busca verificados
Esta é a regra de prioridade máxima. Ela garante que nenhum bot legítimo de busca caia em bloqueios posteriores, mesmo que envie cabeçalhos incomuns ou realize volume alto de requisições.
A Cloudflare mantém uma lista criptograficamente validada de bots por meio de DNS reverso e análise de ASN via campo cf.bot_management.verified_bot. Se um scraper tentar forjar o cabeçalho User-Agent: Googlebot, essa verificação identifica a fraude.
Expressão no Cloudflare WAF:
(cf.bot_management.verified_bot and (http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot"))- Ação: Skip (ignora todas as regras de WAF e Rate Limiting subsequentes).
- Posição: Regra número 1 na ordem de execução.
Regra 2: Bloqueio sumário de scrapers agressivos de treinamento
A segunda camada descarta os bots que sobrecarregam o servidor e não trazem valor de tráfego orgânico ou citações. Como esses agentes não são bots verificados pelo Cloudflare, podemos filtrar pelo http.user_agent.
Expressão no Cloudflare WAF:
(not cf.bot_management.verified_bot and (http.user_agent contains "Bytespider" or http.user_agent contains "CCBot" or http.user_agent contains "Diffbot" or http.user_agent contains "ImagesiftBot" or http.user_agent contains "cohere-ai"))- Ação: Block (retorna HTTP 403 imediato na borda da CDN, sem consumir processamento do seu servidor de origem).
Regra 3: Isolamento de rotas caras e spider traps
Robôs de IA de busca, como OAI-SearchBot ou PerplexityBot, podem ser úteis no conteúdo editorial, mas não devem navegar em filtros de busca interna, páginas de checkout ou rotas pesadas de banco de dados.
Criamos uma regra que permite a navegação desses bots apenas em conteúdo informativo (blog, artigos, documentação) e bloqueia o acesso a rotas dinâmicas.
Expressão no Cloudflare WAF:
(not cf.bot_management.verified_bot and (http.request.uri.path contains "/busca" or http.request.uri.path contains "/search" or http.request.uri.path contains "/api/" or http.request.uri.path contains "/filtro") and (http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot"))- Ação: Block ou Managed Challenge.
- Efeito: o robô continua indexando suas páginas de conteúdo estático ou em cache, mas é impedido de acionar consultas caras no banco de dados.
Regra 4: Rate limiting para robôs de citação e busca
Mesmo robôs úteis como OAI-SearchBot podem gerar picos de tráfego se encontrarem milhares de páginas ao mesmo tempo. Em vez de bloquear, aplicamos uma regra de limitação de taxa (Rate Limiting) no Cloudflare.
Configuração no painel de Rate Limiting Rules:
- Critério de correspondência:
(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot") and not cf.bot_management.verified_bot - Taxa limite: 10 requisições a cada 10 segundos por IP.
- Ação ao estourar o limite: Managed Challenge ou HTTP 429 (Too Many Requests).
- Duração da penalidade: 60 segundos.
Essa configuração ensina o bot a respeitar uma cadência saudável sem fechar as portas para a indexação em plataformas de IA.
Otimização de cache na borda para mitigar requisições de agentes
O bloqueio seletivo resolve a parte mais crítica, mas você pode ir além: garantir que qualquer robô permitido consuma 100% de dados da rede de borda do Cloudflare, gerando zero requisições no servidor de origem.
Configuração de Cache Rules
No menu Caching > Cache Rules do Cloudflare, crie uma regra de cache agressivo para conteúdos públicos:
- Condição:
(http.request.uri.path starts_with "/blog/" or http.request.uri.path starts_with "/artigos/") and http.response.status_code eq 200 - Configuração de cache:
- Cache Eligibility: Eligible for cache
- Edge Cache TTL: Use status code TTL (ex: 200 -> 7 dias)
- Browser Cache TTL: Bypass cache ou 4 horas
- Serve stale content: Ativado (Stale While Revalidate)
Com o cache de borda ativado e stale-while-revalidate funcionando, se o PerplexityBot ou o OAI-SearchBot requisitarem 500 artigos em 1 minuto, todas as respostas serão entregues diretamente pelos datacenters do Cloudflare. O seu servidor nem saberá que a varredura aconteceu.
Monitoramento do impacto no Search Console e logs
Após aplicar a política no Cloudflare WAF, é preciso validar se a infraestrutura estabilizou e se o Googlebot recuperou o ritmo de varredura.
Indicadores no Google Search Console
Acesse o menu Configurações > Estatísticas de Rastreamento (Crawl Stats) no Google Search Console. Observe três métricas principais nos 14 dias seguintes à alteração:
- Tempo médio de resposta (ms): deve apresentar queda consistente. Médias saudáveis ficam abaixo de 300 ms. Se a média estava acima de 1.000 ms durante os ataques de scrapers, você verá uma linha descendente imediata.
- Total de solicitações de rastreamento: após a estabilização do tempo de resposta, o volume diário de páginas rastreadas pelo Googlebot tende a subir, pois o algoritmo reconhece a capacidade do servidor de receber mais carga.
- Status do host: verifique se as falhas de conexão de rede ou erros 5xx de servidor caíram para zero.
Verificação de falsos positivos no painel de segurança
No painel Security > Events do Cloudflare, filtre as requisições bloqueadas pela regra de bots de IA:
- Agrupe por ASN e país para garantir que nenhum IP de ferramentas críticas de monitoramento ou parceiros foi atingido.
- Verifique se o
cf.bot_management.verified_botmanteve todas as requisições do Googlebot intactas na ação de bypass. - Confirme que a taxa de códigos 403 gerados coincide com a queda de tráfego nos gráficos de consumo de CPU da sua hospedagem.
Essa governança garante que a infraestrutura permaneça protegida sem criar barreiras invisíveis para a aquisição orgânica. Se você precisa desenhar essa arquitetura para o seu portal ou e-commerce, conheça nossos serviços de consultoria em SEO técnico e entre em contato para estruturar uma proteção sob medida.