Conhecimento
Kits de ferramentas da Semrush
SEO
On Page SEO Checker
Por que recebi um aviso de “página inacessível” para algumas das minhas páginas?

Por que recebi um aviso de “página inacessível” para algumas das minhas páginas?

Esta mensagem é exibida se o rastreador do On Page SEO Checker tiver sido bloqueado ou não conseguir rastrear sua página. Confira se o arquivo robots.txt em seu site permite que agentes de usuário rastreiem as páginas.

Se nossos robôs não estiverem bloqueados no robots.txt, para corrigir o problema, você precisa colocar na lista de permissões os seguintes endereços IP e o User-agent em seu provedor de hospedagem e quaisquer plug-ins/serviços com os quais você possa gerenciar seu site (por exemplo, Cloudflare, ModSecurity):

85.208.98.53
85.208.98.0/24
User-agent: SemrushBot-SI

Para especificar a Porta, use uma das seguintes opções:

Porta 80: HTTP
Porta 443: HTTPS

Além disso, você também precisa colocar na lista de permissões o robô da Auditoria do site usado para rastrear páginas no seguinte endereço IP:

85.208.98.128/25 (uma sub-rede usada somente pela ferramenta de Auditoria do site)
Nome do user-agent: SiteAuditBot

Se for exibida a mensagem de erro "O SEMRushBot-Desktop não conseguiu rastrear a página porque foi bloqueado pelo robots.txt", os ajustes de crawl-delay (atraso de rastreamento) do seu robots.txt não estão em conformidade com o On Page SEO Checker. 

Os rastreadores do On Page SEO Checker aceitam somente um crawl-delay de 1 segundo. Qualquer valor acima disso fará o rastreador ignorar a página. Se isso acontecer, essa mensagem pode ser exibida, e somente algumas ideias de otimização serão fornecidas para a página de destino específica.

Para corrigir esse problema, altere o crawl-delay no arquivo robots.txt para 1 segundo. 

 

Mostrar mais
Mostrar mais
Mostrar mais