Como a Semrush transforma dados de tráfego em inteligência de tráfego

Talvez você tenha se perguntado de onde vem a inteligência de tráfego que encontra nas nossas ferramentas Análise de tráfego e Market Explorer. 

Este post explica os principais processos, da coleta de dados brutos até insights prontos para uso disponíveis nas ferramentas.

Basicamente, todos os dados passam por quatro etapas principais:

1. Coleta de dados
2. Limpeza de dados
3. Modelagem de dados
4. Entrega de dados

Coleta de dados

Recebemos terabytes de dados de vários provedores de dados terceirizados a cada um ou dois dias. Isso é o que é chamado de dados de clickstream, ou seja, uma visualização agregada de milhões de jornadas online anônimas e reais de usuários da Internet, seguindo suas atividades online. 

Os dados de clickstream nos permitem identificar estatísticas e tendências gerais de comportamento do usuário. 

Limpeza de dados

Todos os dados são agregados e alinhados com um formato comum no sistema de análise de tráfego. 

Usando nosso modelo proprietário de aprendizado de máquina, limpamos dados de várias anomalias. 

Conforme nossa IA aprende, começa a reconhecer padrões de forma parecida a como o cérebro humano faz, transformando nosso modelo em um algoritmo extenso que pode identificar anomalias e separar melhor dados questionáveis de dados representativos.

Também verificamos os dados em relação ao banco de dados de backlinks da Semrush e ao banco de dados de posições orgânicas da SERP para conferir se correspondem às especificidades de cada país e dispositivo.

Depois que os dados são analisados com nosso algoritmo, temos uma imagem mais realista das sessões dos usuários genéricos, e esse é o conjunto de dados em torno do qual construímos nossas métricas de engajamento.

Modelagem e entrega de dados

Nesta etapa, temos uma caixa de big data em que armazenamos os dados de clickstream e os dados proprietários.

Antes de inserirmos esses dados no nosso modelo de aprendizado de máquina, eles passam por mais uma verificação. Normalizamos os dados, levando em consideração a popularidade do domínio, assim como o comportamento "típico" do usuário em países, dados demográficos, dispositivos e vários setores.

Por exemplo, é mais provável que um usuário dos EUA que usa a web apenas uma vez por mês visite o Google (um domínio popular) do que o site da FDA (um domínio um pouco menos visitado), então eliminamos a parte de usuários com padrões de atividade muito fracos para obter dados mais precisos para os sites mais populares e os menos visitados.

Assim, conseguimos inserir dados mais significativos em nosso modelo de aprendizado de máquina. 

O algoritmo passa por aprendizado supervisionado, o que significa que nossa tecnologia de big data continua melhorando e aprendendo todos os dias.

Sobre a cobertura de dados de tráfego da Semrush

Quando o assunto é a qualidade dos dados, o céu é o limite. Portanto, estamos constantemente trabalhando para adicionar novos dados às nossas ferramentas, enquanto nossa IA e tecnologia de big data continuam aprendendo e aprimorando seus algoritmos. 

Recentemente, atualizamos nosso modelo de processamento de dados para coletar insights de tráfego, o que nos permitiu expandir nossa cobertura de dados de tráfego em 20%.

Abaixo, você pode descobrir o que mudou exatamente.

*Eventos representa a visita de um usuário a uma determinada página.

**Sessões sãoum conjunto de ações que um usuário faz com um determinado site durante um período de tempo limitado. Na Semrush . Trends, nos referimos a sessões como visitas.