Para configurar uma Auditoria do site, primeiro você precisa criar um Projeto para o domínio. Depois de criar seu novo projeto, selecione o botão “Configurar” no bloco Auditoria do Site da sua interface do Projeto.

Se você se deparar com algum problema ao executar a Auditoria do site, consulte Solução de problemas de Auditoria do site para obter ajuda.

Domínio e limite de páginas

Você será levado para a primeira janela do assistente de configuração, Domínio e limite de páginas. A partir daqui, você pode optar por “Iniciar auditoria do site”, para executar imediatamente uma auditoria do seu site com nossas configurações padrão, ou prosseguir para personalizar as configurações de sua auditoria ao seu gosto. Mas não se preocupe, você sempre pode alterar suas configurações e executar novamente sua auditoria para rastrear uma área mais específica do seu site após fazer a configuração inicial.

Escopo de rastreamento

Para rastrear um domínio, subdomínio ou subpasta específico, você pode inseri-lo no campo "Escopo de rastreamento". Se você inserir um domínio neste campo, terá a opção de rastrear todos os subdomínios do seu domínio ativando uma caixa de seleção.

Limite de páginas verificadas

Em seguida, selecione quantas páginas você deseja rastrear por auditoria. Você pode inserir um valor personalizado usando a opção "Personalizado". Escolhe esse número com cuidado, dependendo do nível de sua assinatura e da frequência com que planeja auditar novamente seu site.

• Os usuários Pro podem rastrear até 100.000 páginas por mês e 20.000 páginas por auditoria
• Os usuários do plano Guru podem rastrear 300.000 páginas por mês e 20.000 páginas por auditoria
• Os usuários do plano Business podem rastrear até 1 milhão de páginas por mês e 100.000 páginas por auditoria

Fonte de rastreamento

Definir a fonte de rastreamento determina como o bot da Auditoria do site da Semrush vai rastrear seu site e encontrar páginas para auditoria. Além de definir a fonte de rastreamento, você pode definir máscaras e parâmetros para incluir/excluir da auditoria nas etapas 3 e 4 do assistente de configuração.

Existem 4 opções para definir como fonte de rastreamento da sua Auditoria: Site, Sitemap do site, URL do Sitemap e um arquivo de URLs.

1. Rastreamento a partir de Site significa que rastrearemos seu site como o GoogleBot, usando um algoritmo de pesquisa abrangente e navegando pelos links que vemos no código da sua página, começando na página inicial.

Se você deseja rastrear apenas as páginas mais importantes de um site, optar por rastrear do Sitemap em vez do site permitirá que a auditoria rastreie as páginas mais importantes, em vez de escolher apenas as páginas mais acessíveis na página inicial.

2. Rastreamento de Sitemaps do site significa que rastrearemos apenas os URLs encontrados no sitemap do arquivo robots.txt.

3. O rastreamento por URL do Sitemap é o mesmo processo que o rastreamento de "Sitemap do site", mas essa opção permite que você insira especificamente o URL do seu sitemap.

Como os mecanismos de pesquisa usam sitemaps para entender quais páginas eles precisam rastrear, você deveria sempre tentar manter seu sitemap o mais atualizado possível e usá-lo como fonte de rastreamento com nossa ferramenta para obter uma auditoria precisa.

4. O rastreamento de um arquivo de URLs permite auditar um conjunto superespecífico de páginas em um site. Certifique-se de que seu arquivo esteja formatado corretamente como .csv ou .txt com um URL por linha e carregue-o diretamente na Semrush do seu computador.

Esse é um método útil se você quiser verificar páginas específicas e conservar seu orçamento de rastreamento. Se você fez alguma alteração em apenas algumas páginas do seu site, pode usar esse método para executar uma auditoria específica e não desperdiçar seu orçamento de rastreamento.

Depois de carregar o seu arquivo, o assistente informará quantos URLs foram detectados para que você possa verificar se deu certo antes de executar a auditoria.

Rastreando Javascript

Se você usa JavaScript em seu site, pode habilitar a renderização JS nas configurações de sua campanha de auditoria do site.



Por favor, note que este recurso está disponível apenas em uma assinatura Guru ou Business.

Auditoria de AMPs

A caixa de seleção "Rastrear páginas AMP primeiro" garante que sua auditoria rastreie suas páginas AMP para verificar os problemas mais importantes relacionados à implementação de AMP. No momento, as verificações de AMP estão disponíveis apenas para assinaturas Business.

Depois de definir essas configurações, você pode executar sua Auditoria do Site. No entanto, se você quiser adicionar máscaras ou remover parâmetros e definir sua programação de auditorias, use as instruções avançadas de configuração abaixo.

Configurações avançadas

Observação: Os quatro passos a seguir são avançados e opcionais.

Configurações do rastreador

É aqui que você pode escolher o bot que vai rastrear seu site. Primeiro, defina o user agent de sua auditoria escolhendo entre a versão mobile ou desktop do SemrushBot ou do GoogleBot.

Conforme você altera o bot, verá o código na caixa de diálogo abaixo mudar também. Este é o código do user agent e pode ser usado em um url se você quiser testar o user agent por conta própria.

Opções de atraso de rastreamento

Em seguida, você tem três opções para definir um atraso de rastreamento: atraso mínimo, respeitar o robots.txt e 1 URL a cada 2 segundos.

Se você deixar o atraso mínimo entre as páginas marcado, o bot rastreará seu site na velocidade normal. Por padrão, o SemrushBot aguardará um segundo antes de iniciar o rastreamento de outra página.

Se você tiver um arquivo robots.txt em seu site com um atraso de rastreamento especificado, poderá selecionar a opção "respeitar o atraso de rastreamento do robots.txt" para que nosso rastreador de auditoria do site siga essas instruções.

Veja abaixo um exemplo de atraso de rastreamento em um arquivo robots.txt:

Crawl-delay: 20

Se nosso rastreador deixar seu site mais lento e você não tiver uma diretiva de atraso de rastreamento em seu arquivo robots.txt, você pode instruir a Semrush a rastrear 1 URL a cada 2 segundos. Dessa forma a sua auditoria pode demorar mais para ser concluída, mas causará menos problemas de velocidade para usuários reais presentes no seu site durante a auditoria.

Permitir/proibir URLs

Essa opção permitirá que você rastreie ou bloqueie subpastas selecionadas de um site. Pode incluir tudo dentro do URL após o TLD. Por exemplo, se você quiser rastrear a subpasta http://www.example.com/shoes/mens/, digite: “/shoes/mens/” na caixa de permissão à esquerda.

Para evitar o rastreamento de subpastas específicas, você precisa inserir o caminho dessa subpasta na caixa de proibição. Por exemplo, para rastrear a categoria de calçados masculinos, evitando a subcategoria de botas de caminhada (https://example.com/shoes/mens/hiking-boots/), insira /shoes/mens/hiking-boots / na caixa de proibição.

Se você esquecer de inserir o símbolo / no final da URL na caixa de proibição (ex: /shoes), a Semrush pulará todas as páginas na subpasta /shoes/, bem como todos os URLs que começam com /shoes (como www.example.com/shoes-men).

Remover parâmetros de URL

Parâmetros de URL (também conhecidos como strings de consulta) são elementos de um URL que não se encaixam na estrutura de caminho hierárquico. Em vez disso, eles são adicionados ao final de uma URL e fornecem instruções lógicas ao navegador da web.

Os parâmetros de URL sempre têm em um ? seguido pelo nome do parâmetro (page, utm_medium, etc) e =.

Portanto, “?page=3” é um parâmetro de URL simples que pode indicar a 3ª página de rolagem em um único URL.

O 4to passo da configuração da Auditoria do Site permite que você especifique quaisquer parâmetros de URL que seu site usa para removê-los dos URLs durante o rastreamento. Isso ajuda a Semrush a evitar a rastrear a mesma página duas vezes em sua auditoria. Se um bot vê dois URLs; um com um parâmetro e outro sem, ele pode rastrear ambas as páginas e desperdiçar seu orçamento de rastreamento como resultado.

Por exemplo, se você adicionar “página” a essa caixa, isso removerá todos os URLs que incluem “página” na extensão de URL. Por exemplo, os URLs com valores como ?page=1, ?page=2 etc. Isso evitaria o rastreamento da mesma página duas vezes (por exemplo, “/shoes” e “/shoes/?page=1” como um URL) no processo de rastreamento.

Os usos comuns de parâmetros de URL incluem páginas, idiomas e subcategorias. Esses tipos de parâmetros são úteis para sites com grandes catálogos de produtos ou informações. Outro tipo de parâmetro de URL comum são os UTMs, usados para rastrear cliques e tráfego de campanhas de marketing.

Se você já tem um projeto configurado e deseja alterar suas configurações, pode fazê-lo usando a engrenagem Configurações:

Você usará as mesmas instruções listadas acima selecionando as opções “Máscaras” e “Parâmetros removidos”.

Contornando as restrições do site

Para auditar um site em pré-produção ou oculto por autenticação de acesso básico, a etapa 5 oferece duas opções:

1. Ignorar a proibição em robots.txt e metatag robots
2. Fazer o rastreamento com suas credenciais para contornar áreas protegidas por senha

Se você quiser ignorar os comandos de disallow no robots.txt ou meta tag (geralmente isso pode ser encontrado na tag <head> do seu site), você terá que fazer o upload do arquivo .txt fornecido pela Semrush para a pasta principal do seu site.

Você pode fazer upload desse arquivo da mesma forma que faria upload de um arquivo para verificação de GSC, por exemplo, diretamente na pasta principal do seu site. Esse processo verifica a sua propriedade do site e nos permite rastrear o site.

Depois que o arquivo for carregado, você poderá iniciar a Auditoria do Site e coletar os resultados.

Para rastrear com suas credenciais, basta digitar o nome de usuário e a senha que você usa para acessar a parte oculta do seu site. Nosso bot usará suas informações de login para acessar as áreas ocultas e fornecer os resultados da auditoria.

Agendamento

Por fim, selecione com que frequência você gostaria que auditássemos automaticamente seu site. As opções são:

• Semanalmente (escolha qualquer dia da semana)
• Diariamente
• Uma vez

Você sempre pode executar a auditoria novamente dentro do Projeto.

Depois de concluir todas as configurações desejadas, selecione “Iniciar auditoria do site”

Solução de problemas

Ao ver a caixa de diálogo "auditoria do domínio falhou", você precisa verificar se nosso rastreador de auditoria do site não está bloqueado pelo seu servidor. Para garantir o rastreamento adequado, siga nossos passos de Solução de problemas de auditoria do site para colocar nosso bot na lista de permissões.

Como alternativa, você pode baixar o arquivo de log gerado quando ocorre o rastreamento com falha e fornecer o arquivo de log ao seu webmaster para que ele possa analisar a situação e tentar encontrar um motivo pelo qual estamos impedidos de rastrear.

Conectando o Google Analytics e a Auditoria do site

Após finalizar a configuração, você poderá conectar a sua conta do Google Analytics para incluir problemas relacionados às suas páginas mais visualizadas.

Se algum problema persistir com a execução da Auditoria do site, tente Solucionar problemas de auditoria do site ou entre em contato com a nossa equipe de suporte e teremos prazer em ajudá-lo.