Como otimizar a velocidade de rastreamento do recurso Auditoria do site

Quando você audita seu site com o recurso Auditoria do Site, enviamos um rastreador para inspecionar as páginas que você instrui na configuração da ferramenta. 

No entanto, é possível encontrar problemas relacionados ao rastreamento, como:

• O rastreador rastreia o site rápido demais, causando uma falha temporária ou deixando o site lento para os usuários.
• O rastreador rastreia o site rápido demais, impedindo que as páginas carreguem corretamente. Com isso, a Semrush apresenta “falsos positivos” ou relata problemas que não teriam aparecido nos resultados se o processo tivesse ocorrido a uma velocidade mais baixa, e o site não travaria como resultado. 
• O rastreador está demorando demais para rastrear o site e você está esperando muito tempo para receber os resultados.

Acelere a Auditoria do site

Se a Auditoria do site estiver rastreando muito lentamente, você pode acelerá-la na etapa Configurações do rastreador da janela de configuração. 

Para acelerar a Auditoria do site, escolha “Mínimo” para rastrear o site o mais rápido possível. 

Esta ação garantirá que nosso bot ignore eventuais instruções de atraso de rastreamento no arquivo robots.txt do site e rastreie na velocidade mais rápida possível.

Se a velocidade de rastreamento ainda não estiver satisfatória, faça suas páginas carregarem mais rápido, pois a lentidão no carregamento desacelera o rastreamento. 

Lembre-se de que os usuários do site podem ter uma experiência de carregamento mais lenta se um bot estiver rastreando seu site a uma velocidade muito alta. 

Portanto, em certos casos, pode ser sensato realmente desacelerar o rastreamento, em vez de acelerá-lo. 

Desacelere a Auditoria do site

Se a Auditoria do site estiver fazendo o rastreamento a uma velocidade muito alta, seu site pode cair temporariamente, o tempo de carregamento pode aumentar para os usuários e a auditoria pode apresentar falsos positivos. Desacelere a velocidade do rastreamento para garantir que os resultados da auditoria sejam fiéis à experiência de um usuário no site. 

Para desacelerar a auditoria, você tem algumas opções nas configurações de configuração:

• Instrua a Semrush a rastrear um URL a cada dois segundos. Com isso, o rastreamento não sobrecarregará o servidor do seu site com muitas atividades em um breve período. 
• Defina um atraso de rastreamento personalizado no arquivo robots.txt do seu site. Se a opção “Respeitar o robots.txt” for selecionada nas etapas de configuração, nosso bot rastreará as páginas apenas na velocidade definida por você. 
  
  Por exemplo, se você adicionar “Crawl-delay: 5” ao arquivo robots.txt, o bot esperará 5 segundos para acessar o site para visualizar outra página. Novamente, isso garantirá que o rastreamento ocorra a um ritmo que não travará o site nem desacelerará seu carregamento (veja abaixo). 

  User-agent: SemrushBot
  Crawl-delay: 5
  
  User-agent: SiteAuditBot
  Crawl-delay: 5

   

Atenção: o atraso de rastreamento pode ser de, no máximo, 30, então qualquer valor acima de 30 será igual a 30 para o nosso bot. 

Se você ainda estiver enfrentando problemas ao executar a Auditoria do site, use o Guia de solução de problemas ou entre em contato com nossa equipe de suporte.