# Limiar por IP que barra varredura sem derrubar o Googlebot

Onde o limiar por IP realmente mora na stack, como isentar buscador sem abrir porta pelo User-Agent e a conferência de log que mostra se o Google continuou recebendo 200.

> defina um limiar por IP (120 requisições por minuto é um ponto de partida arbitrário para site institucional, a calibrar com o log), isente pela lista de bots do servidor e audite por DNS reverso e direto. Depois confira 24 h de log.

João Rizzon · 2026-09-21 · Infraestrutura web

---

## O problema não é o IP de ontem, é o limiar que não existe

A sequência é sempre parecida. O cliente liga dizendo que o site caiu. Você abre o log bruto, encontra um IP com centenas de hits em poucos minutos varrendo `/?s=`, `/wp-login.php` ou URLs de filtro de catálogo, bloqueia esse IP e o site volta. Dois dias depois, outro IP, mesmo padrão, mesma ligação.

Bloquear IP é reação. O que resolve na carteira inteira é um limiar: acima de X requisições por minuto vindas do mesmo IP, aquele IP para de ser servido normalmente. Quem é gente quase nunca chega lá. Quem é script de varredura chega em segundos, e o custo de CPU e de banco de dados some.

O medo legítimo de quem opera site de cliente é derrubar o Googlebot junto. Ele rastreia rápido, em rajada, de muitos IPs, e um limiar mal configurado transforma rastreamento em erro de servidor. Por isso este padrão tem três partes que só funcionam juntas: **limiar**, **exceção para bot** e **conferência no log depois de 24 horas, com o IP verificado por DNS**. Sem a terceira parte você não sabe o que fez.

## Desafio e bloqueio são camadas diferentes

Vale separar duas coisas que costumam ser confundidas, porque a configuração fica em lugares distintos.

A primeira é o **bloqueio por limiar por IP**: contar requisições por minuto de cada cliente e, ao passar do número, recusar. A resposta típica aqui é 403 (ou 503, dependendo de quem responde). No LiteSpeed essa contagem fica no throttling por cliente, com limites de conexões e de requisições estáticas e dinâmicas por segundo por IP. Em CDN e WAF, é a regra de rate limiting.

A segunda é o **desafio (reCAPTCHA)**, que o LiteSpeed em cPanel traz embutido e configurável no WHM, com chave do reCAPTCHA, tipo do desafio, número de tentativas e uma lista de bots que passam sem ser desafiados. O gatilho documentado desse recurso não é "requisições por minuto daquele IP": ele entra quando o servidor está sob carga, acima dos limites de conexões concorrentes, e serve o desafio no lugar de simplesmente recusar conexão. Os campos e o caminho no WHM estão na [documentação de reCAPTCHA do LiteSpeed para cPanel](https://docs.litespeedtech.com/lsws/cp/cpanel/recaptcha/). Os nomes exatos mudam entre versões do plugin, então confira lá antes de sair replicando a configuração em 30 sites.

Na prática as duas camadas se somam: o throttling por cliente corta o IP que varre, e o reCAPTCHA dá caminho de volta para gente de verdade quando o servidor está apertado. Se você quer desafio disparado pelo próprio limiar por IP, isso hoje vem de CDN ou WAF na frente do site, onde a regra de rate limiting permite escolher a ação (bloquear ou desafiar). No servidor de origem, o limiar por IP responde erro, não desafio.

Por que a distinção importa para você, que responde pelo site:

| Estratégia | Custo para o visitante legítimo | Custo para o scanner | Risco de falso positivo |
|---|---|---|---||
| Bloqueio de IP após o incidente | Zero, mas só depois do site cair | Nenhum: ele volta de outro IP | Baixo, e inútil no dia seguinte |
| Limiar por IP na origem (403/503) | Erro sem saída enquanto durar a janela | Alto | Médio a alto, conforme o número escolhido |
| Limiar por IP no CDN/WAF com ação de desafio | Um clique, uma vez | Alto, sem caminho de volta | Baixo, e reversível pelo próprio visitante |
| reCAPTCHA do LiteSpeed sob carga | Um clique, só quando o servidor está apertado | Médio | Baixo |

O que não muda entre as stacks é a lógica: limiar, mais exceção para buscador, mais verificação no log.

## Como achar o limiar no log em vez de chutar um número

Não existe número universal, e quem te der um sem olhar o site está chutando. O limiar depende de quantas requisições uma visita humana normal gera em um minuto, e isso varia conforme quantos assets são servidos pelo mesmo domínio.

Como ordem de grandeza, para você saber se o log está dizendo algo esperado ou estranho: uma página com imagens, CSS, JS e fontes no mesmo host tende a gerar algumas dezenas de requisições em uma navegação rápida, e cai bastante quando os estáticos estão em CDN separada. Esses valores são estimativa, não medição: o número que vale é o do log do site em questão, medido como está abaixo.

Pegue o log de um dia normal e veja quantas requisições por minuto os IPs mais ativos e legítimos produzem:

```bash
# IPs mais ativos no arquivo de log do dia
awk '{print $1}' ~/access-logs/exemplo.com.br | sort | uniq -c | sort -rn | head -20

# pico por minuto de um IP específico
grep '203.0.113.45' ~/access-logs/exemplo.com.br \
  | awk -F'[][]' '{print $2}' | cut -d: -f1-3 \
  | sort | uniq -c | sort -rn | head
```

O IP `203.0.113.45` é exemplo (faixa reservada para documentação). A primeira linha da saída do segundo comando mostra o minuto de pico daquele IP: a contagem vem antes do timestamp. Seu limiar precisa ficar acima do pico dos humanos e abaixo do volume da varredura, que costuma ser uma ordem de grandeza maior.

Os valores abaixo são heurística de configuração, não medição: números arbitrários para você ter por onde começar e calibrar com o log do próprio site. Não os trate como apurados.

| Tipo de site | Assets no mesmo domínio | Ponto de partida arbitrário (req/min por IP) |
|---|---|---||
| Institucional, poucas páginas | sim | 120 |
| Blog com tráfego e CDN separada | não | 60 |
| Loja WooCommerce | sim | 180 |
| Site com área logada e AJAX intenso | sim | 240 |

Suba o limiar se aparecer reclamação de visitante barrado à toa. Desça se a varredura estiver passando. Registre o número escolhido na ficha do cliente, porque daqui a seis meses você não vai lembrar por que aquele site está em 180.

## A exceção que evita o desastre é o bot verificado por DNS reverso

Isentar o Googlebot pelo User-Agent é o erro mais comum e o mais perigoso. User-Agent é texto livre: qualquer script escreve `Googlebot/2.1` no cabeçalho e passa direto pela sua lista de exceções. Você teria construído um limiar com uma porta aberta e uma senha pública.

A verificação correta é a confirmação direta e reversa do DNS (forward-confirmed reverse DNS), que é o método que os próprios buscadores documentam.

### Reverse lookup do IP que se diz Googlebot

```bash
host 66.249.66.1
# saída esperada: 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
```

O nome precisa terminar em `googlebot.com` ou `google.com` para o Googlebot, e em `search.msn.com` para o Bingbot. Qualquer outro domínio no ponteiro reverso significa que não é o buscador.

### Forward lookup do nome, que precisa devolver o mesmo IP

```bash
host crawl-66-249-66-1.googlebot.com
# a resposta precisa voltar exatamente o IP do passo 1
```

Se os dois passos batem, é o buscador de verdade. Se o reverso não resolve, ou se o direto devolve outro IP, é falsificação e esse tráfego deve ser tratado como qualquer outro: sujeito ao limiar.

Confirme na documentação do próprio buscador quais sufixos são válidos hoje, porque essa lista é responsabilidade deles e muda. Google e Microsoft publicam também as faixas de IP dos rastreadores em JSON, o que serve bem para automatizar a lista de exceção sem depender de consulta DNS em tempo real.

### Onde a exceção entra na configuração do servidor

No LiteSpeed, a lista de bots que não recebem desafio fica na própria seção de reCAPTCHA descrita na [documentação oficial](https://docs.litespeedtech.com/lsws/cp/cpanel/recaptcha/), e a identificação ali é por agente. Trate essa lista como conveniência operacional, não como controle de segurança: ela evita desafiar o rastreador, e a checagem de DNS reverso é o que te diz, no log, se quem passou era mesmo ele. As duas camadas se completam. Você isenta pela lista do servidor e audita pelo DNS. Se quiser isenção que não dependa de texto livre, use as faixas de IP publicadas pelos buscadores na regra do CDN ou do WAF.

## O que conferir no access log 24 horas depois de aplicar

Sem essa etapa o trabalho fica no achismo. Vinte e quatro horas depois de aplicar o limiar, abra o log do dia e responda duas perguntas: o buscador continuou recebendo 200, e a varredura passou a receber negativa.

```bash
# 1) status devolvidos a quem se declara Googlebot nas ultimas 24 h
grep -i 'Googlebot' ~/access-logs/exemplo.com.br \
  | awk '{print $9}' | sort | uniq -c | sort -rn

# 2) quem esta recebendo negativa, agrupado por IP
awk '$9 ~ /^(403|503)$/ {print $1}' ~/access-logs/exemplo.com.br \
  | sort | uniq -c | sort -rn | head -20
```

O comando 1 sozinho não prova nada, porque filtra pelo mesmo campo falsificável que a seção anterior descreve. Antes de concluir que o Google recebeu 200, verifique os IPs por trás daquele User-Agent:

```bash
# 3) IPs que se declaram Googlebot, com o reverso de cada um
for ip in $(grep -i 'Googlebot' ~/access-logs/exemplo.com.br \
            | awk '{print $1}' | sort -u); do
  ptr=$(host "$ip" | awk '/pointer/ {print $NF}')
  echo "$ip ${ptr:-SEM_REVERSO}"
done
```

Para cada linha com reverso terminando em `googlebot.com.` ou `google.com.`, rode o forward lookup e confirme que volta o mesmo IP. Os IPs que não fecham o par são falsos, e o que interessa neles é o contrário: se estão recebendo 200 em volume, seu limiar está isentando scanner pelo agente. Alternativa mais rápida em site com muitos IPs: cruzar a lista com o JSON de faixas publicado pelo Google e pela Microsoft.

Só depois disso o comando 1 vira evidência. Refaça a contagem de status considerando apenas os IPs confirmados.

O campo `$9` é o status HTTP no formato combined padrão do Apache. Se o seu log tem o nome do vhost como primeiro campo, tudo desloca uma posição e o status vira `$10`. Confira com `head -1 arquivo` antes de confiar no resultado, é o erro que mais faz gente concluir o oposto do que o log diz.

O que você quer ver:

| Agente | Status esperado | Se não for isso |
|---|---|---||
| Googlebot / Bingbot confirmados por DNS | 200, 301, 304 | Exceção não aplicada ou limiar baixo demais: suba o limiar e revise a lista |
| IP que se diz buscador e não fecha o par DNS | 403, 503 ou desafio | Se está em 200, a exceção por agente virou porta aberta |
| IP de varredura | 403 ou 503, ou o desafio | Limiar alto demais, ou a regra não está no caminho da requisição |
| Visitante comum | 200 | Se aparecer bloqueio para humano recorrente, suba o limiar |

Um detalhe que engana: se o mesmo IP aparece com 200 e 403 misturados, isso costuma ser o esperado. O limiar age por janela de tempo, então as primeiras requisições passam e as seguintes, dentro do mesmo minuto, são barradas.

Complemente com o relatório de estatísticas de rastreamento do Search Console. Ele mostra a distribuição de respostas que o Google efetivamente recebeu, na visão do Google, sem depender de User-Agent no seu log, e é a evidência que você manda para o cliente que não lê log. Se o total de solicitações de rastreamento cair a pique junto com aumento de 403 ou 503, o limiar pegou o buscador e precisa ser afrouxado no mesmo dia.

## Como padronizar limiar, exceção e checagem na carteira

O valor está na repetição, não no site que você salvou hoje. Padronize três coisas: o mesmo limiar por categoria de site, a mesma lista de exceção e a mesma checagem de log. Guarde uma ficha por cliente, uma linha em planilha resolve:

| Campo | Exemplo de preenchimento |
|---|---||
| Domínio | exemplo.com.br |
| Categoria | Loja WooCommerce |
| Limiar aplicado (req/min por IP) | 180 |
| Camada onde o limiar roda | Throttling por cliente no servidor |
| Data da aplicação | 12/03 |
| Pico legítimo medido no log | 96 req/min |
| Exceções ativas | Googlebot, Bingbot, monitor externo |
| Data da checagem de 24 h | 13/03, IPs do Googlebot confirmados por DNS, só 200 e 304 |
| Revisão seguinte | 12/06 |

### Rotina trimestral, 10 minutos por site

- Rodar os dois comandos de status do log do dia anterior.
- Conferir se algum IP legítimo conhecido (escritório do cliente, monitor, gateway de pagamento) aparece entre os barrados.
- Verificar por DNS reverso e direto o IP mais ativo que se declara buscador.
- Atualizar a ficha e a data da próxima revisão.

### Erros que aparecem quando você replica em 30 sites

- **Gateway de pagamento e webhooks barrados.** Callback de gateway, integração de ERP e webhook de formulário chegam de IP fixo e, em pico, viram rajada. Coloque esses IPs na exceção antes de aplicar o limiar, não depois da primeira venda perdida.
- **Plugin de backup que consome a própria API.** Alguns fazem dezenas de requisições HTTP ao próprio domínio. Se o backup começou a falhar no dia seguinte ao limiar, é isso.
- **Preview do editor e clientes de leitura de feed.** Baixo volume, mas gera bloqueio em quem publica conteúdo. Vale isentar o IP da redação.
- **Site atrás de proxy sem cabeçalho de IP real.** Se o servidor enxerga todos os visitantes com o mesmo IP do proxy, o limiar barra o site inteiro. Confirme que o IP real está chegando antes de ligar qualquer contagem por IP.

## A frase pronta para o cliente que pergunta se foi invadido

O cliente não quer saber de limiar. Ele quer saber se foi invadido. Volume alto de requisições não responde essa pergunta: varredura e site comprometido convivem bem. Então a frase que você manda depende de você ter checado, ou não.

A checagem mínima, cinco minutos: usuários administradores criados recentemente, arquivos modificados nas últimas 48 horas fora de `wp-content/uploads` e de pastas de cache, integridade do core (`wp core verify-checksums` e `wp plugin verify-checksums --all`) e uma varredura de malware do painel ou da ferramenta que você já usa.

**Se a checagem foi feita e veio limpa:**

> **** Verificamos o site: não há sinal de invasão. Nenhum usuário administrador novo, nenhum arquivo do sistema alterado e a varredura de malware não apontou nada. O que aconteceu foi um robô automatizado fazendo milhares de requisições em poucos minutos, o servidor ficou sem capacidade de responder e passou a recusar esses acessos para proteger o banco de dados. Já configuramos um limite que barra esse tipo de tráfego automaticamente, e o Google continua acessando o site normalmente, o que conferimos no log do servidor e no relatório de rastreamento do Search Console.

**Se a checagem ainda não foi feita:**

> **** A indisponibilidade de hoje foi causada por um robô automatizado que fez milhares de requisições em poucos minutos: o servidor ficou sem capacidade de responder e passou a recusar esses acessos. Já configuramos um limite que barra esse tipo de tráfego automaticamente e o site voltou ao normal. Ainda estamos verificando se houve alguma alteração indevida em arquivos ou usuários, o que é um procedimento separado, e retorno até [prazo] com essa confirmação.

Três elementos fazem essas frases funcionarem: dizem o que foi verificado e o que não foi, explicam o mecanismo sem jargão e antecipam a pergunta seguinte, que é sempre se o Google foi afetado. Mantenha os dois modelos salvos e troque só o nome do site e o prazo. Padronizar a explicação economiza tanto tempo quanto padronizar a configuração.

## Três quedas que parecem varredura e o limiar não resolve

Vale dizer contra o próprio hábito: nem toda queda é bot. Antes de ligar limiar em um site, descarte três causas que se parecem com varredura no relato do cliente e não se parecem no log.

A primeira é consulta lenta de banco. Se o site cai sempre no mesmo horário e o log de acesso não mostra concentração de IP, olhe o slow query log e o plugin que fez a última atualização. Limiar nenhum conserta uma query sem índice.

A segunda é pico legítimo. Campanha de e-mail, post que viralizou, cliente que anunciou em rádio. Nesse caso o tráfego vem de muitos IPs distintos com poucas requisições cada, o oposto do padrão de varredura, e o limiar por IP não pega nada. O que resolve é cache de página e capacidade.

A terceira é o próprio WordPress se autoflagelando: `wp-cron` disparando em cada pageview num site com muito tráfego, plugin de heartbeat em intervalo curto, ou dois plugins de segurança rodando varredura de arquivos ao mesmo tempo.

O teste é simples: se o top 20 de IPs do dia da queda tem um IP com volume muito acima dos demais, o limiar resolve. Se a distribuição está achatada, o problema é outro e o limiar só vai atrapalhar visitante de verdade.

