Limiar por IP que barra varredura sem derrubar o Googlebot
Onde o limiar por IP realmente mora na stack, como isentar buscador sem abrir porta pelo User-Agent e a conferência de log que mostra se o Google continuou recebendo 200.

Resposta curta: defina um limiar por IP (120 requisições por minuto é um ponto de partida arbitrário para site institucional, a calibrar com o log), isente pela lista de bots do servidor e audite por DNS reverso e direto. Depois confira 24 h de log.
Neste artigo
- O problema não é o IP de ontem, é o limiar que não existe
- Desafio e bloqueio são camadas diferentes
- Como achar o limiar no log em vez de chutar um número
- A exceção que evita o desastre é o bot verificado por DNS reverso
- O que conferir no access log 24 horas depois de aplicar
- Como padronizar limiar, exceção e checagem na carteira
- A frase pronta para o cliente que pergunta se foi invadido
- Três quedas que parecem varredura e o limiar não resolve
O problema não é o IP de ontem, é o limiar que não existe
A sequência é sempre parecida. O cliente liga dizendo que o site caiu. Você abre o log bruto, encontra um IP com centenas de hits em poucos minutos varrendo /?s=, /wp-login.php ou URLs de filtro de catálogo, bloqueia esse IP e o site volta. Dois dias depois, outro IP, mesmo padrão, mesma ligação.
Bloquear IP é reação. O que resolve na carteira inteira é um limiar: acima de X requisições por minuto vindas do mesmo IP, aquele IP para de ser servido normalmente. Quem é gente quase nunca chega lá. Quem é script de varredura chega em segundos, e o custo de CPU e de banco de dados some.
O medo legítimo de quem opera site de cliente é derrubar o Googlebot junto. Ele rastreia rápido, em rajada, de muitos IPs, e um limiar mal configurado transforma rastreamento em erro de servidor. Por isso este padrão tem três partes que só funcionam juntas: limiar, exceção para bot e conferência no log depois de 24 horas, com o IP verificado por DNS. Sem a terceira parte você não sabe o que fez.
Desafio e bloqueio são camadas diferentes
Vale separar duas coisas que costumam ser confundidas, porque a configuração fica em lugares distintos.
A primeira é o bloqueio por limiar por IP: contar requisições por minuto de cada cliente e, ao passar do número, recusar. A resposta típica aqui é 403 (ou 503, dependendo de quem responde). No LiteSpeed essa contagem fica no throttling por cliente, com limites de conexões e de requisições estáticas e dinâmicas por segundo por IP. Em CDN e WAF, é a regra de rate limiting.
A segunda é o desafio (reCAPTCHA), que o LiteSpeed em cPanel traz embutido e configurável no WHM, com chave do reCAPTCHA, tipo do desafio, número de tentativas e uma lista de bots que passam sem ser desafiados. O gatilho documentado desse recurso não é "requisições por minuto daquele IP": ele entra quando o servidor está sob carga, acima dos limites de conexões concorrentes, e serve o desafio no lugar de simplesmente recusar conexão. Os campos e o caminho no WHM estão na documentação de reCAPTCHA do LiteSpeed para cPanel. Os nomes exatos mudam entre versões do plugin, então confira lá antes de sair replicando a configuração em 30 sites.
Na prática as duas camadas se somam: o throttling por cliente corta o IP que varre, e o reCAPTCHA dá caminho de volta para gente de verdade quando o servidor está apertado. Se você quer desafio disparado pelo próprio limiar por IP, isso hoje vem de CDN ou WAF na frente do site, onde a regra de rate limiting permite escolher a ação (bloquear ou desafiar). No servidor de origem, o limiar por IP responde erro, não desafio.
Por que a distinção importa para você, que responde pelo site:
| Estratégia | Custo para o visitante legítimo | Custo para o scanner | Risco de falso positivo |
|---|---|---|---|
| Bloqueio de IP após o incidente | Zero, mas só depois do site cair | Nenhum: ele volta de outro IP | Baixo, e inútil no dia seguinte |
| Limiar por IP na origem (403/503) | Erro sem saída enquanto durar a janela | Alto | Médio a alto, conforme o número escolhido |
| Limiar por IP no CDN/WAF com ação de desafio | Um clique, uma vez | Alto, sem caminho de volta | Baixo, e reversível pelo próprio visitante |
| reCAPTCHA do LiteSpeed sob carga | Um clique, só quando o servidor está apertado | Médio | Baixo |
O que não muda entre as stacks é a lógica: limiar, mais exceção para buscador, mais verificação no log.
Como achar o limiar no log em vez de chutar um número
Não existe número universal, e quem te der um sem olhar o site está chutando. O limiar depende de quantas requisições uma visita humana normal gera em um minuto, e isso varia conforme quantos assets são servidos pelo mesmo domínio.
Como ordem de grandeza, para você saber se o log está dizendo algo esperado ou estranho: uma página com imagens, CSS, JS e fontes no mesmo host tende a gerar algumas dezenas de requisições em uma navegação rápida, e cai bastante quando os estáticos estão em CDN separada. Esses valores são estimativa, não medição: o número que vale é o do log do site em questão, medido como está abaixo.
Pegue o log de um dia normal e veja quantas requisições por minuto os IPs mais ativos e legítimos produzem:
# IPs mais ativos no arquivo de log do dia
awk '{print $1}' ~/access-logs/exemplo.com.br | sort | uniq -c | sort -rn | head -20
# pico por minuto de um IP específico
grep '203.0.113.45' ~/access-logs/exemplo.com.br \
| awk -F'[][]' '{print $2}' | cut -d: -f1-3 \
| sort | uniq -c | sort -rn | head
O IP 203.0.113.45 é exemplo (faixa reservada para documentação). A primeira linha da saída do segundo comando mostra o minuto de pico daquele IP: a contagem vem antes do timestamp. Seu limiar precisa ficar acima do pico dos humanos e abaixo do volume da varredura, que costuma ser uma ordem de grandeza maior.
Os valores abaixo são heurística de configuração, não medição: números arbitrários para você ter por onde começar e calibrar com o log do próprio site. Não os trate como apurados.
| Tipo de site | Assets no mesmo domínio | Ponto de partida arbitrário (req/min por IP) |
|---|---|---|
| Institucional, poucas páginas | sim | 120 |
| Blog com tráfego e CDN separada | não | 60 |
| Loja WooCommerce | sim | 180 |
| Site com área logada e AJAX intenso | sim | 240 |
Suba o limiar se aparecer reclamação de visitante barrado à toa. Desça se a varredura estiver passando. Registre o número escolhido na ficha do cliente, porque daqui a seis meses você não vai lembrar por que aquele site está em 180.
A exceção que evita o desastre é o bot verificado por DNS reverso
Isentar o Googlebot pelo User-Agent é o erro mais comum e o mais perigoso. User-Agent é texto livre: qualquer script escreve Googlebot/2.1 no cabeçalho e passa direto pela sua lista de exceções. Você teria construído um limiar com uma porta aberta e uma senha pública.
A verificação correta é a confirmação direta e reversa do DNS (forward-confirmed reverse DNS), que é o método que os próprios buscadores documentam.
Reverse lookup do IP que se diz Googlebot
host 66.249.66.1
# saída esperada: 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
O nome precisa terminar em googlebot.com ou google.com para o Googlebot, e em search.msn.com para o Bingbot. Qualquer outro domínio no ponteiro reverso significa que não é o buscador.
Forward lookup do nome, que precisa devolver o mesmo IP
host crawl-66-249-66-1.googlebot.com
# a resposta precisa voltar exatamente o IP do passo 1
Se os dois passos batem, é o buscador de verdade. Se o reverso não resolve, ou se o direto devolve outro IP, é falsificação e esse tráfego deve ser tratado como qualquer outro: sujeito ao limiar.
Confirme na documentação do próprio buscador quais sufixos são válidos hoje, porque essa lista é responsabilidade deles e muda. Google e Microsoft publicam também as faixas de IP dos rastreadores em JSON, o que serve bem para automatizar a lista de exceção sem depender de consulta DNS em tempo real.
Onde a exceção entra na configuração do servidor
No LiteSpeed, a lista de bots que não recebem desafio fica na própria seção de reCAPTCHA descrita na documentação oficial, e a identificação ali é por agente. Trate essa lista como conveniência operacional, não como controle de segurança: ela evita desafiar o rastreador, e a checagem de DNS reverso é o que te diz, no log, se quem passou era mesmo ele. As duas camadas se completam. Você isenta pela lista do servidor e audita pelo DNS. Se quiser isenção que não dependa de texto livre, use as faixas de IP publicadas pelos buscadores na regra do CDN ou do WAF.
O que conferir no access log 24 horas depois de aplicar
Sem essa etapa o trabalho fica no achismo. Vinte e quatro horas depois de aplicar o limiar, abra o log do dia e responda duas perguntas: o buscador continuou recebendo 200, e a varredura passou a receber negativa.
# 1) status devolvidos a quem se declara Googlebot nas ultimas 24 h
grep -i 'Googlebot' ~/access-logs/exemplo.com.br \
| awk '{print $9}' | sort | uniq -c | sort -rn
# 2) quem esta recebendo negativa, agrupado por IP
awk '$9 ~ /^(403|503)$/ {print $1}' ~/access-logs/exemplo.com.br \
| sort | uniq -c | sort -rn | head -20
O comando 1 sozinho não prova nada, porque filtra pelo mesmo campo falsificável que a seção anterior descreve. Antes de concluir que o Google recebeu 200, verifique os IPs por trás daquele User-Agent:
# 3) IPs que se declaram Googlebot, com o reverso de cada um
for ip in $(grep -i 'Googlebot' ~/access-logs/exemplo.com.br \
| awk '{print $1}' | sort -u); do
ptr=$(host "$ip" | awk '/pointer/ {print $NF}')
echo "$ip ${ptr:-SEM_REVERSO}"
done
Para cada linha com reverso terminando em googlebot.com. ou google.com., rode o forward lookup e confirme que volta o mesmo IP. Os IPs que não fecham o par são falsos, e o que interessa neles é o contrário: se estão recebendo 200 em volume, seu limiar está isentando scanner pelo agente. Alternativa mais rápida em site com muitos IPs: cruzar a lista com o JSON de faixas publicado pelo Google e pela Microsoft.
Só depois disso o comando 1 vira evidência. Refaça a contagem de status considerando apenas os IPs confirmados.
O campo $9 é o status HTTP no formato combined padrão do Apache. Se o seu log tem o nome do vhost como primeiro campo, tudo desloca uma posição e o status vira $10. Confira com head -1 arquivo antes de confiar no resultado, é o erro que mais faz gente concluir o oposto do que o log diz.
O que você quer ver:
| Agente | Status esperado | Se não for isso |
|---|---|---|
| Googlebot / Bingbot confirmados por DNS | 200, 301, 304 | Exceção não aplicada ou limiar baixo demais: suba o limiar e revise a lista |
| IP que se diz buscador e não fecha o par DNS | 403, 503 ou desafio | Se está em 200, a exceção por agente virou porta aberta |
| IP de varredura | 403 ou 503, ou o desafio | Limiar alto demais, ou a regra não está no caminho da requisição |
| Visitante comum | 200 | Se aparecer bloqueio para humano recorrente, suba o limiar |
Um detalhe que engana: se o mesmo IP aparece com 200 e 403 misturados, isso costuma ser o esperado. O limiar age por janela de tempo, então as primeiras requisições passam e as seguintes, dentro do mesmo minuto, são barradas.
Complemente com o relatório de estatísticas de rastreamento do Search Console. Ele mostra a distribuição de respostas que o Google efetivamente recebeu, na visão do Google, sem depender de User-Agent no seu log, e é a evidência que você manda para o cliente que não lê log. Se o total de solicitações de rastreamento cair a pique junto com aumento de 403 ou 503, o limiar pegou o buscador e precisa ser afrouxado no mesmo dia.
Como padronizar limiar, exceção e checagem na carteira
O valor está na repetição, não no site que você salvou hoje. Padronize três coisas: o mesmo limiar por categoria de site, a mesma lista de exceção e a mesma checagem de log. Guarde uma ficha por cliente, uma linha em planilha resolve:
| Campo | Exemplo de preenchimento |
|---|---|
| Domínio | exemplo.com.br |
| Categoria | Loja WooCommerce |
| Limiar aplicado (req/min por IP) | 180 |
| Camada onde o limiar roda | Throttling por cliente no servidor |
| Data da aplicação | 12/03 |
| Pico legítimo medido no log | 96 req/min |
| Exceções ativas | Googlebot, Bingbot, monitor externo |
| Data da checagem de 24 h | 13/03, IPs do Googlebot confirmados por DNS, só 200 e 304 |
| Revisão seguinte | 12/06 |
Rotina trimestral, 10 minutos por site
- Rodar os dois comandos de status do log do dia anterior.
- Conferir se algum IP legítimo conhecido (escritório do cliente, monitor, gateway de pagamento) aparece entre os barrados.
- Verificar por DNS reverso e direto o IP mais ativo que se declara buscador.
- Atualizar a ficha e a data da próxima revisão.
Erros que aparecem quando você replica em 30 sites
- Gateway de pagamento e webhooks barrados. Callback de gateway, integração de ERP e webhook de formulário chegam de IP fixo e, em pico, viram rajada. Coloque esses IPs na exceção antes de aplicar o limiar, não depois da primeira venda perdida.
- Plugin de backup que consome a própria API. Alguns fazem dezenas de requisições HTTP ao próprio domínio. Se o backup começou a falhar no dia seguinte ao limiar, é isso.
- Preview do editor e clientes de leitura de feed. Baixo volume, mas gera bloqueio em quem publica conteúdo. Vale isentar o IP da redação.
- Site atrás de proxy sem cabeçalho de IP real. Se o servidor enxerga todos os visitantes com o mesmo IP do proxy, o limiar barra o site inteiro. Confirme que o IP real está chegando antes de ligar qualquer contagem por IP.
A frase pronta para o cliente que pergunta se foi invadido
O cliente não quer saber de limiar. Ele quer saber se foi invadido. Volume alto de requisições não responde essa pergunta: varredura e site comprometido convivem bem. Então a frase que você manda depende de você ter checado, ou não.
A checagem mínima, cinco minutos: usuários administradores criados recentemente, arquivos modificados nas últimas 48 horas fora de wp-content/uploads e de pastas de cache, integridade do core (wp core verify-checksums e wp plugin verify-checksums --all) e uma varredura de malware do painel ou da ferramenta que você já usa.
Se a checagem foi feita e veio limpa:
Se a checagem ainda não foi feita:
Três elementos fazem essas frases funcionarem: dizem o que foi verificado e o que não foi, explicam o mecanismo sem jargão e antecipam a pergunta seguinte, que é sempre se o Google foi afetado. Mantenha os dois modelos salvos e troque só o nome do site e o prazo. Padronizar a explicação economiza tanto tempo quanto padronizar a configuração.
Três quedas que parecem varredura e o limiar não resolve
Vale dizer contra o próprio hábito: nem toda queda é bot. Antes de ligar limiar em um site, descarte três causas que se parecem com varredura no relato do cliente e não se parecem no log.
A primeira é consulta lenta de banco. Se o site cai sempre no mesmo horário e o log de acesso não mostra concentração de IP, olhe o slow query log e o plugin que fez a última atualização. Limiar nenhum conserta uma query sem índice.
A segunda é pico legítimo. Campanha de e-mail, post que viralizou, cliente que anunciou em rádio. Nesse caso o tráfego vem de muitos IPs distintos com poucas requisições cada, o oposto do padrão de varredura, e o limiar por IP não pega nada. O que resolve é cache de página e capacidade.
A terceira é o próprio WordPress se autoflagelando: wp-cron disparando em cada pageview num site com muito tráfego, plugin de heartbeat em intervalo curto, ou dois plugins de segurança rodando varredura de arquivos ao mesmo tempo.
O teste é simples: se o top 20 de IPs do dia da queda tem um IP com volume muito acima dos demais, o limiar resolve. Se a distribuição está achatada, o problema é outro e o limiar só vai atrapalhar visitante de verdade.
Referências
- Documentação oficial (litespeed) — reCAPTCHA (LiteSpeed no cPanel). Consultado em 2026-09-20.