blog
Infraestrutura web

Limiar por IP que barra varredura sem derrubar o Googlebot

Onde o limiar por IP realmente mora na stack, como isentar buscador sem abrir porta pelo User-Agent e a conferência de log que mostra se o Google continuou recebendo 200.

JR · · 12 min de leitura · 4 tabelas · 5 blocos de código

Resposta curta: defina um limiar por IP (120 requisições por minuto é um ponto de partida arbitrário para site institucional, a calibrar com o log), isente pela lista de bots do servidor e audite por DNS reverso e direto. Depois confira 24 h de log.

Neste artigo
  1. O problema não é o IP de ontem, é o limiar que não existe
  2. Desafio e bloqueio são camadas diferentes
  3. Como achar o limiar no log em vez de chutar um número
  4. A exceção que evita o desastre é o bot verificado por DNS reverso
  5. O que conferir no access log 24 horas depois de aplicar
  6. Como padronizar limiar, exceção e checagem na carteira
  7. A frase pronta para o cliente que pergunta se foi invadido
  8. Três quedas que parecem varredura e o limiar não resolve

O problema não é o IP de ontem, é o limiar que não existe

A sequência é sempre parecida. O cliente liga dizendo que o site caiu. Você abre o log bruto, encontra um IP com centenas de hits em poucos minutos varrendo /?s=, /wp-login.php ou URLs de filtro de catálogo, bloqueia esse IP e o site volta. Dois dias depois, outro IP, mesmo padrão, mesma ligação.

Bloquear IP é reação. O que resolve na carteira inteira é um limiar: acima de X requisições por minuto vindas do mesmo IP, aquele IP para de ser servido normalmente. Quem é gente quase nunca chega lá. Quem é script de varredura chega em segundos, e o custo de CPU e de banco de dados some.

O medo legítimo de quem opera site de cliente é derrubar o Googlebot junto. Ele rastreia rápido, em rajada, de muitos IPs, e um limiar mal configurado transforma rastreamento em erro de servidor. Por isso este padrão tem três partes que só funcionam juntas: limiar, exceção para bot e conferência no log depois de 24 horas, com o IP verificado por DNS. Sem a terceira parte você não sabe o que fez.

As três partes do padrão de limiarLimiarRequisições por minuto por IPExceçãoBuscador confirmado, IPs de integraçãoConferência 24 hStatus no log, IP verificado
As três partes só funcionam juntas: sem a conferência, você não sabe o que fez.

Desafio e bloqueio são camadas diferentes

Vale separar duas coisas que costumam ser confundidas, porque a configuração fica em lugares distintos.

A primeira é o bloqueio por limiar por IP: contar requisições por minuto de cada cliente e, ao passar do número, recusar. A resposta típica aqui é 403 (ou 503, dependendo de quem responde). No LiteSpeed essa contagem fica no throttling por cliente, com limites de conexões e de requisições estáticas e dinâmicas por segundo por IP. Em CDN e WAF, é a regra de rate limiting.

A segunda é o desafio (reCAPTCHA), que o LiteSpeed em cPanel traz embutido e configurável no WHM, com chave do reCAPTCHA, tipo do desafio, número de tentativas e uma lista de bots que passam sem ser desafiados. O gatilho documentado desse recurso não é "requisições por minuto daquele IP": ele entra quando o servidor está sob carga, acima dos limites de conexões concorrentes, e serve o desafio no lugar de simplesmente recusar conexão. Os campos e o caminho no WHM estão na documentação de reCAPTCHA do LiteSpeed para cPanel. Os nomes exatos mudam entre versões do plugin, então confira lá antes de sair replicando a configuração em 30 sites.

Na prática as duas camadas se somam: o throttling por cliente corta o IP que varre, e o reCAPTCHA dá caminho de volta para gente de verdade quando o servidor está apertado. Se você quer desafio disparado pelo próprio limiar por IP, isso hoje vem de CDN ou WAF na frente do site, onde a regra de rate limiting permite escolher a ação (bloquear ou desafiar). No servidor de origem, o limiar por IP responde erro, não desafio.

Por que a distinção importa para você, que responde pelo site:

Estratégia Custo para o visitante legítimo Custo para o scanner Risco de falso positivo
Bloqueio de IP após o incidente Zero, mas só depois do site cair Nenhum: ele volta de outro IP Baixo, e inútil no dia seguinte
Limiar por IP na origem (403/503) Erro sem saída enquanto durar a janela Alto Médio a alto, conforme o número escolhido
Limiar por IP no CDN/WAF com ação de desafio Um clique, uma vez Alto, sem caminho de volta Baixo, e reversível pelo próprio visitante
reCAPTCHA do LiteSpeed sob carga Um clique, só quando o servidor está apertado Médio Baixo

O que não muda entre as stacks é a lógica: limiar, mais exceção para buscador, mais verificação no log.

Como achar o limiar no log em vez de chutar um número

Não existe número universal, e quem te der um sem olhar o site está chutando. O limiar depende de quantas requisições uma visita humana normal gera em um minuto, e isso varia conforme quantos assets são servidos pelo mesmo domínio.

Como ordem de grandeza, para você saber se o log está dizendo algo esperado ou estranho: uma página com imagens, CSS, JS e fontes no mesmo host tende a gerar algumas dezenas de requisições em uma navegação rápida, e cai bastante quando os estáticos estão em CDN separada. Esses valores são estimativa, não medição: o número que vale é o do log do site em questão, medido como está abaixo.

Pegue o log de um dia normal e veja quantas requisições por minuto os IPs mais ativos e legítimos produzem:

# IPs mais ativos no arquivo de log do dia
awk '{print $1}' ~/access-logs/exemplo.com.br | sort | uniq -c | sort -rn | head -20

# pico por minuto de um IP específico
grep '203.0.113.45' ~/access-logs/exemplo.com.br \
  | awk -F'[][]' '{print $2}' | cut -d: -f1-3 \
  | sort | uniq -c | sort -rn | head

O IP 203.0.113.45 é exemplo (faixa reservada para documentação). A primeira linha da saída do segundo comando mostra o minuto de pico daquele IP: a contagem vem antes do timestamp. Seu limiar precisa ficar acima do pico dos humanos e abaixo do volume da varredura, que costuma ser uma ordem de grandeza maior.

Os valores abaixo são heurística de configuração, não medição: números arbitrários para você ter por onde começar e calibrar com o log do próprio site. Não os trate como apurados.

Tipo de site Assets no mesmo domínio Ponto de partida arbitrário (req/min por IP)
Institucional, poucas páginas sim 120
Blog com tráfego e CDN separada não 60
Loja WooCommerce sim 180
Site com área logada e AJAX intenso sim 240

Suba o limiar se aparecer reclamação de visitante barrado à toa. Desça se a varredura estiver passando. Registre o número escolhido na ficha do cliente, porque daqui a seis meses você não vai lembrar por que aquele site está em 180.

A exceção que evita o desastre é o bot verificado por DNS reverso

Isentar o Googlebot pelo User-Agent é o erro mais comum e o mais perigoso. User-Agent é texto livre: qualquer script escreve Googlebot/2.1 no cabeçalho e passa direto pela sua lista de exceções. Você teria construído um limiar com uma porta aberta e uma senha pública.

A verificação correta é a confirmação direta e reversa do DNS (forward-confirmed reverse DNS), que é o método que os próprios buscadores documentam.

Reverse lookup do IP que se diz Googlebot

host 66.249.66.1
# saída esperada: 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

O nome precisa terminar em googlebot.com ou google.com para o Googlebot, e em search.msn.com para o Bingbot. Qualquer outro domínio no ponteiro reverso significa que não é o buscador.

Forward lookup do nome, que precisa devolver o mesmo IP

host crawl-66-249-66-1.googlebot.com
# a resposta precisa voltar exatamente o IP do passo 1

Se os dois passos batem, é o buscador de verdade. Se o reverso não resolve, ou se o direto devolve outro IP, é falsificação e esse tráfego deve ser tratado como qualquer outro: sujeito ao limiar.

Confirme na documentação do próprio buscador quais sufixos são válidos hoje, porque essa lista é responsabilidade deles e muda. Google e Microsoft publicam também as faixas de IP dos rastreadores em JSON, o que serve bem para automatizar a lista de exceção sem depender de consulta DNS em tempo real.

Onde a exceção entra na configuração do servidor

No LiteSpeed, a lista de bots que não recebem desafio fica na própria seção de reCAPTCHA descrita na documentação oficial, e a identificação ali é por agente. Trate essa lista como conveniência operacional, não como controle de segurança: ela evita desafiar o rastreador, e a checagem de DNS reverso é o que te diz, no log, se quem passou era mesmo ele. As duas camadas se completam. Você isenta pela lista do servidor e audita pelo DNS. Se quiser isenção que não dependa de texto livre, use as faixas de IP publicadas pelos buscadores na regra do CDN ou do WAF.

Verificar buscador por DNS antes de isentarPegue o IP no logAgente diz GooglebotReverso do IPPonteiro termina em googlebot.comDireto do nomePrecisa devolver o mesmo IPPar fechaBuscador real, isento do limiarPar não fechaTráfego comum, sujeito ao limiar
User-Agent é texto livre. Só a confirmação direta e reversa separa buscador de scanner.

O que conferir no access log 24 horas depois de aplicar

Sem essa etapa o trabalho fica no achismo. Vinte e quatro horas depois de aplicar o limiar, abra o log do dia e responda duas perguntas: o buscador continuou recebendo 200, e a varredura passou a receber negativa.

# 1) status devolvidos a quem se declara Googlebot nas ultimas 24 h
grep -i 'Googlebot' ~/access-logs/exemplo.com.br \
  | awk '{print $9}' | sort | uniq -c | sort -rn

# 2) quem esta recebendo negativa, agrupado por IP
awk '$9 ~ /^(403|503)$/ {print $1}' ~/access-logs/exemplo.com.br \
  | sort | uniq -c | sort -rn | head -20

O comando 1 sozinho não prova nada, porque filtra pelo mesmo campo falsificável que a seção anterior descreve. Antes de concluir que o Google recebeu 200, verifique os IPs por trás daquele User-Agent:

# 3) IPs que se declaram Googlebot, com o reverso de cada um
for ip in $(grep -i 'Googlebot' ~/access-logs/exemplo.com.br \
            | awk '{print $1}' | sort -u); do
  ptr=$(host "$ip" | awk '/pointer/ {print $NF}')
  echo "$ip ${ptr:-SEM_REVERSO}"
done

Para cada linha com reverso terminando em googlebot.com. ou google.com., rode o forward lookup e confirme que volta o mesmo IP. Os IPs que não fecham o par são falsos, e o que interessa neles é o contrário: se estão recebendo 200 em volume, seu limiar está isentando scanner pelo agente. Alternativa mais rápida em site com muitos IPs: cruzar a lista com o JSON de faixas publicado pelo Google e pela Microsoft.

Só depois disso o comando 1 vira evidência. Refaça a contagem de status considerando apenas os IPs confirmados.

O campo $9 é o status HTTP no formato combined padrão do Apache. Se o seu log tem o nome do vhost como primeiro campo, tudo desloca uma posição e o status vira $10. Confira com head -1 arquivo antes de confiar no resultado, é o erro que mais faz gente concluir o oposto do que o log diz.

O que você quer ver:

Agente Status esperado Se não for isso
Googlebot / Bingbot confirmados por DNS 200, 301, 304 Exceção não aplicada ou limiar baixo demais: suba o limiar e revise a lista
IP que se diz buscador e não fecha o par DNS 403, 503 ou desafio Se está em 200, a exceção por agente virou porta aberta
IP de varredura 403 ou 503, ou o desafio Limiar alto demais, ou a regra não está no caminho da requisição
Visitante comum 200 Se aparecer bloqueio para humano recorrente, suba o limiar

Um detalhe que engana: se o mesmo IP aparece com 200 e 403 misturados, isso costuma ser o esperado. O limiar age por janela de tempo, então as primeiras requisições passam e as seguintes, dentro do mesmo minuto, são barradas.

Complemente com o relatório de estatísticas de rastreamento do Search Console. Ele mostra a distribuição de respostas que o Google efetivamente recebeu, na visão do Google, sem depender de User-Agent no seu log, e é a evidência que você manda para o cliente que não lê log. Se o total de solicitações de rastreamento cair a pique junto com aumento de 403 ou 503, o limiar pegou o buscador e precisa ser afrouxado no mesmo dia.

Como padronizar limiar, exceção e checagem na carteira

O valor está na repetição, não no site que você salvou hoje. Padronize três coisas: o mesmo limiar por categoria de site, a mesma lista de exceção e a mesma checagem de log. Guarde uma ficha por cliente, uma linha em planilha resolve:

Campo Exemplo de preenchimento
Domínio exemplo.com.br
Categoria Loja WooCommerce
Limiar aplicado (req/min por IP) 180
Camada onde o limiar roda Throttling por cliente no servidor
Data da aplicação 12/03
Pico legítimo medido no log 96 req/min
Exceções ativas Googlebot, Bingbot, monitor externo
Data da checagem de 24 h 13/03, IPs do Googlebot confirmados por DNS, só 200 e 304
Revisão seguinte 12/06

Rotina trimestral, 10 minutos por site

  1. Rodar os dois comandos de status do log do dia anterior.
  2. Conferir se algum IP legítimo conhecido (escritório do cliente, monitor, gateway de pagamento) aparece entre os barrados.
  3. Verificar por DNS reverso e direto o IP mais ativo que se declara buscador.
  4. Atualizar a ficha e a data da próxima revisão.

Erros que aparecem quando você replica em 30 sites

A frase pronta para o cliente que pergunta se foi invadido

O cliente não quer saber de limiar. Ele quer saber se foi invadido. Volume alto de requisições não responde essa pergunta: varredura e site comprometido convivem bem. Então a frase que você manda depende de você ter checado, ou não.

A checagem mínima, cinco minutos: usuários administradores criados recentemente, arquivos modificados nas últimas 48 horas fora de wp-content/uploads e de pastas de cache, integridade do core (wp core verify-checksums e wp plugin verify-checksums --all) e uma varredura de malware do painel ou da ferramenta que você já usa.

Se a checagem foi feita e veio limpa:

Se a checagem ainda não foi feita:

Três elementos fazem essas frases funcionarem: dizem o que foi verificado e o que não foi, explicam o mecanismo sem jargão e antecipam a pergunta seguinte, que é sempre se o Google foi afetado. Mantenha os dois modelos salvos e troque só o nome do site e o prazo. Padronizar a explicação economiza tanto tempo quanto padronizar a configuração.

Três quedas que parecem varredura e o limiar não resolve

Vale dizer contra o próprio hábito: nem toda queda é bot. Antes de ligar limiar em um site, descarte três causas que se parecem com varredura no relato do cliente e não se parecem no log.

A primeira é consulta lenta de banco. Se o site cai sempre no mesmo horário e o log de acesso não mostra concentração de IP, olhe o slow query log e o plugin que fez a última atualização. Limiar nenhum conserta uma query sem índice.

A segunda é pico legítimo. Campanha de e-mail, post que viralizou, cliente que anunciou em rádio. Nesse caso o tráfego vem de muitos IPs distintos com poucas requisições cada, o oposto do padrão de varredura, e o limiar por IP não pega nada. O que resolve é cache de página e capacidade.

A terceira é o próprio WordPress se autoflagelando: wp-cron disparando em cada pageview num site com muito tráfego, plugin de heartbeat em intervalo curto, ou dois plugins de segurança rodando varredura de arquivos ao mesmo tempo.

O teste é simples: se o top 20 de IPs do dia da queda tem um IP com volume muito acima dos demais, o limiar resolve. Se a distribuição está achatada, o problema é outro e o limiar só vai atrapalhar visitante de verdade.

Referências

  1. Documentação oficial (litespeed) — reCAPTCHA (LiteSpeed no cPanel). Consultado em 2026-09-20.
Leia também