Por que recebi um aviso de “página inacessível” para algumas das minhas páginas?
Esta mensagem é exibida se o rastreador do On Page SEO Checker tiver sido bloqueado ou não conseguir rastrear sua página. Confira se o arquivo robots.txt em seu site permite que agentes de usuário rastreiem as páginas.
Se nossos robôs não estiverem bloqueados no robots.txt, para corrigir o problema, você precisa colocar na lista de permissões os seguintes endereços IP e o User-agent em seu provedor de hospedagem e quaisquer plug-ins/serviços com os quais você possa gerenciar seu site (por exemplo, Cloudflare, ModSecurity):
85.208.98.53
85.208.98.0/24
User-agent: SemrushBot-SI
Para especificar a Porta, use uma das seguintes opções:
Porta 80: HTTP
Porta 443: HTTPS
Além disso, você também precisa colocar na lista de permissões o robô da Auditoria do site usado para rastrear páginas no seguinte endereço IP:
85.208.98.128/25 (uma sub-rede usada somente pela ferramenta de Auditoria do site)
Nome do user-agent: SiteAuditBot
Se for exibida a mensagem de erro "O SEMRushBot-Desktop não conseguiu rastrear a página porque foi bloqueado pelo robots.txt", os ajustes de crawl-delay (atraso de rastreamento) do seu robots.txt não estão em conformidade com o On Page SEO Checker.
Os rastreadores do On Page SEO Checker aceitam somente um crawl-delay de 1 segundo. Qualquer valor acima disso fará o rastreador ignorar a página. Se isso acontecer, essa mensagem pode ser exibida, e somente algumas ideias de otimização serão fornecidas para a página de destino específica.
Para corrigir esse problema, altere o crawl-delay no arquivo robots.txt para 1 segundo.
- Por que recebi um aviso de “página inacessível” para algumas das minhas páginas?
- I can’t Change the Target Location. What do I do?
- Why can’t I Upload a File to On Page SEO Checker?
- On Page SEO Checker doesn’t see a video on my page
- Como configurar o On Page SEO Checker
- On Page SEO Checker Overview
- Reviewing Your Optimization Ideas
- Top 10 Benchmarking
- On Page SEO Checker Detailed Analysis
- Tracking Results in the Idea Tasks Report