O rastreamento e a indexação tem sido um tema candente nos últimos anos. Assim que o Google lançou o Google Panda, as pessoas correu para seus logs do servidor e estatísticas de rastreamento e começaram a corrigir o índice de inundações. Todos esses problemas não existiram na era “SEO = backlinks” há alguns anos atrás. Com este crescimento exponencial do SEO técnico, precisamos obter cada vez mais técnicos. Dito isto, ainda não sabemos como exatamente o Google rastreia nossos sites. Muitos SEO ainda não conseguem distinguir a diferença entre rastreamento e indexação.

O maior problema, porém, é que quando queremos solucionar problemas de indexação, a única ferramenta em nosso arsenal é o Google Search Console e a ferramenta Fetch and Render . Uma vez que seu site inclui mais que HTML e CSS, há muita adivinhação de como seu conteúdo será indexado pelo Google. Essa abordagem é arriscada, dispendiosa e pode falhar várias vezes. Mesmo quando você descobre as peças do seu site que não foram indexadas corretamente, é extremamente difícil chegar ao fundo do problema e encontrar os fragmentos de código responsáveis ​​pelos problemas de indexação.

O futuro do Googlebot

Há rumores de que o modo sem cabeça do Chrome 59 foi criado para o Googlebot, ou pelo menos que foi discutido durante o processo de design. É difícil dizer se alguma dessas conversas é verdadeira, mas, se for, isso significa que, até certo ponto, o Googlebot “verá” o site da mesma forma que usuários comuns da Internet.

Isso definitivamente tornaria tudo mais simples para desenvolvedores que não teriam que se preocupar com a capacidade do Googlebot de rastrear até os sites mais complexos.

Chrome 41 versus a eficiência de rastreamento do Googlebot

O Chrome 41 é uma poderosa ferramenta para depurar rastreamento e indexação de JavaScript. No entanto, é crucial não pular no trem de excitação aqui e começar a lançar sites que “passam o teste do Chrome 41”.

Mesmo que o Googlebot possa “ver” o nosso site, existem muitos outros fatores que afetarão a eficiência de rastreamento do seu site. Como exemplo, já temos provas de que o Googlebot pode rastrear e indexar JavaScript e muitos frameworks de JavaScript. Isso não significa que o JavaScript seja ótimo para o SEO. Eu coletei evidências significativas mostrando que as páginas de JavaScript não são rastreadas até metade tão eficazmente quanto as páginas baseadas em HTML.

Em suma

O tweet de Ilya Grigorik mostra mais luz sobre como o Google rastreia páginas e, graças a isso, não precisamos criar experimentos para cada recurso que estamos testando – podemos usar o Chrome 41 para depuração em vez disso. Este passo simples definitivamente salvará muitos sites de problemas de indexação, como quando o JavaScript SEO da Hulu.com se atrasou.