Loading...

SEO : Budget Crawl et analyse de logs

Que vous ayez confié votre SEO à votre neveu, au Freelance de votre quartier, à une armée de consultants experts ou encore une agence de référencement naturel basée à Paris, l’analyse de logs est un point structurant en SEO. Surtout si votre site est un « gros site » et que le SEO fait partie de vos principaux canaux d’acquisition de trafic…

Commençons cet article par un petit rappel en référencement naturel concernant le mode de fonctionnement des moteurs. Les robots ou spider des moteurs de recherche (Googlebot pour Google), parcourent vos pages en cliquant sur tous leurs liens et sauvegardent le contenu de vos pages.

On appelle cette étape d’exploration : le crawl. Cette phase qui prend beaucoup de temps aux moteurs a donné naissance au « budget crawl » (en France, « crawl budget » ailleurs). Derrière ce terme, l’objectif est d’optimiser au maximum le parcours des robots pour qu’ils voient plutôt les contenus de qualité, à forte valeur ajoutée (pages clés) en priorité. En fait, votre mission est d’éviter de faire perdre du temps à Google. Le budget crawl, c’est l’énergie accordé par Google pour crawler un site.

Budget crawl : quels sont les critères ?

La taille du site

Ce sont les sites à fort volume de pages qui sont les plus concernés. Si vous avez quelques dizaines de pages ou que vos pages sont indexées dans les 24 heures, vous n’êtes pas concerné.

Le serveur 

Les temps de réponse de votre serveur jouent sur l’exploration de votre site.

La fréquence de mise à jour 

Un site peu mis à jour, ne sera pas crawlé souvent (logique). Un site en plein projet de refonte (redirections 301 et compagnie) sera également moins crawlé.

Quelles sont les pages à faible valeur ajoutée ?

Les pages de navigation à facettes, les URLs avec ID de session, les contenus dupliquées, les erreurs « soft 404 ». Concrètement ces pages détournent Googlebot de vos pages rentables…

Le budget crawl n’est pas un critère direct de référencement cependant, plus un site est facile à crawler plus il aura de chance d’avoir ses meilleures pages analysées par l’algorithme de Google. Ce type d’analyse est évidemment à réaliser sur le long terme.

L’analyse de logs pour optimiser son budget crawl

L’analyse de logs vous permettra de mieux comprendre la notion de budget crawl, un autre élément clé pour l’optimisation de votre référencement naturel.

Pour rappel, le log est un fichier qui stocke l’historique des visites de votre site. Ainsi, à chaque fois qu’un appareil se connecte à votre site, une ligne de logs s’ajoute au fichier. Concrètement, avec les logs vous verrez toutes les connexions de Googlebot à votre site : date de la visite, l’url visitée, l’url source (referrer), le code réponse de la page (code 404, code 200, ..), son poids , etc..

Vous obtiendrez de nombreux indicateurs pour rectifier vos actions, stratégies et travailler votre projet SEO :

  • comprendre rapidement une chute de positionnement et optimiser les résultats
  • Connaitre votre taux de crawl : ratio entre les pages vues par Google et les pages dans la structure de votre site
  • Voir les pages que Googlebot consulte le plus / le moins
  • Analyse le temps de crawl des pages
  • Etudier la répartition du crawl et des visites par types de pages

Bon à savoir : il existe des outils experts comme Oncrawl ou Botify qui vous sortent de beaux graphiques tout prêts extraits de votre fichier de logs. Ils fournissement également des recommandations. Tous ces éléments vous aideront à prendre les bonnes décisions.

Merci aux experts de l’agence seo Pixalione de m’avoir aidée à rédiger cet article !

You might also like

No Comments

Leave a Reply