Lorsqu’on parle de SEO technique, on pense souvent à Google Search Console, aux audits de crawl ou à l’analyse des performances. Pourtant, un autre type de donnée permet d’aller beaucoup plus loin : les logs du serveur.

L’analyse des logs consiste à étudier les requêtes enregistrées par un serveur lorsqu’un utilisateur ou un robot visite un site. Pour les professionnels du référencement naturel, ces données permettent notamment de comprendre comment Googlebot explore réellement un site, quelles pages sont crawlées, lesquelles sont ignorées et où le budget de crawl est éventuellement gaspillé.

Mais encore faut-il disposer des bons outils.

Qu’est-ce qu’un log serveur ?

Un log serveur est un fichier qui enregistre les requêtes adressées à un serveur web.

Selon sa configuration, il peut contenir des informations comme :

• l’URL demandée ;
• la date et l’heure de la requête ;
• le code HTTP retourné ;
• l’adresse IP du client ;
• le User-Agent ;
• la méthode HTTP utilisée ;
• le temps de réponse ;
• le volume de données transférées.

Pour le SEO, le User-Agent est particulièrement intéressant. Il permet notamment d’identifier les passages de Googlebot, Bingbot ou d’autres robots.

Contrairement à un outil de crawl qui simule le comportement d’un moteur de recherche, les logs montrent ce qui s’est réellement passé sur le serveur.

C’est toute leur valeur.

Pourquoi analyser les logs pour le SEO ?

L’analyse de logs permet de répondre à des questions auxquelles les outils SEO traditionnels ne donnent pas toujours de réponse.

Par exemple :

Googlebot visite-t-il réellement mes pages stratégiques ?

Quelles sections de mon site sont les plus crawlées ?

Quels paramètres d’URL consomment du crawl ?

Googlebot rencontre-t-il beaucoup d’erreurs 404 ou 5xx ?

Les pages récemment publiées sont-elles explorées rapidement ?

Le budget de crawl est-il gaspillé sur des pages sans intérêt SEO ?

Ces informations sont particulièrement précieuses pour les gros sites : e-commerce, marketplaces, sites d’annonces, médias, plateformes comportant des milliers ou millions d’URL.

Sur un petit site, l’analyse des logs peut être moins indispensable. Sur un site volumineux, elle peut révéler des problèmes invisibles lors d’un simple crawl.

1. Screaming Frog Log File Analyser

Screaming Frog propose Log File Analyser, un outil spécifiquement conçu pour exploiter les fichiers de logs.

Il permet notamment d’importer des fichiers de logs et d’analyser le comportement des robots.

L’un de ses principaux avantages est sa complémentarité avec Screaming Frog SEO Spider.

Vous pouvez par exemple comparer :

• les URL découvertes par votre crawler ;
• les URL réellement explorées par Googlebot ;
• les pages qui reçoivent beaucoup de crawl ;
• les pages qui ne sont jamais visitées par les robots ;
• les erreurs rencontrées par les moteurs.

Cette comparaison peut faire apparaître des écarts particulièrement intéressants.

Une page peut être parfaitement accessible lors d’un crawl SEO et pourtant être très peu explorée par Googlebot.

À l’inverse, certaines URL inutiles peuvent être régulièrement demandées.

Pourquoi l’utiliser ?

Screaming Frog Log File Analyser est particulièrement intéressant pour les consultants SEO et les équipes techniques qui souhaitent combiner crawl et analyse des logs dans un même environnement de travail.

2. OnCrawl

OnCrawl fait partie des plateformes SEO qui ont largement intégré l’analyse des logs dans leur approche.

L’intérêt d’OnCrawl est de pouvoir croiser différentes sources de données : crawl, logs, données SEO et informations provenant notamment de Google Analytics ou Google Search Console selon la configuration.

Cette approche permet d’aller au-delà de la simple question :

« Quelles URL Googlebot visite-t-il ? »

On peut également chercher à comprendre si le crawl se concentre sur les pages qui ont réellement une valeur SEO.

Par exemple, on peut comparer le comportement de Googlebot avec :

• le trafic organique ;
• les pages indexées ;
• les backlinks ;
• la profondeur des pages ;
• le type de contenu ;
• les performances SEO.

Un outil adapté aux gros sites

OnCrawl est particulièrement pertinent pour les environnements complexes et les sites de grande taille.

Son principal intérêt réside dans la possibilité de croiser les logs avec d’autres données afin de transformer les informations brutes du serveur en recommandations SEO plus exploitables.

3. Botify

Botify est une autre solution très connue dans le domaine du SEO technique et de l’analyse du crawl.

La plateforme s’adresse principalement aux sites importants et aux organisations qui ont besoin d’analyser de très gros volumes de données.

Botify permet notamment d’étudier :

• le comportement des robots ;
• le crawl des moteurs de recherche ;
• l’indexation ;
• la performance des pages ;
• la relation entre crawl et visibilité organique.

L’un de ses intérêts est son orientation enterprise SEO.

Pour un site de plusieurs millions d’URL, traiter manuellement des fichiers de logs n’est évidemment pas réaliste. Une plateforme spécialisée permet de centraliser, traiter et visualiser ces informations.

4. JetOctopus

JetOctopus combine également crawling et analyse de logs.

La plateforme est particulièrement appréciée pour l’analyse des gros volumes d’URL.

Elle permet notamment de visualiser les passages des robots et d’identifier les URL qui consomment une part importante du crawl.

L’un des intérêts de ce type de solution est de pouvoir segmenter les données.

On peut par exemple comparer le comportement de Googlebot sur :

• les pages produits ;
• les catégories ;
• les articles ;
• les filtres ;
• les pages paginées ;
• les URL contenant des paramètres.

Cette segmentation permet de repérer plus facilement les zones dans lesquelles le crawl est mal réparti.

5. Semrush Log File Analyzer

Semrush propose également des fonctionnalités liées à l’analyse des logs.

L’intérêt d’une plateforme comme Semrush est de pouvoir intégrer l’analyse des logs dans un écosystème SEO plus large.

Les données issues des logs peuvent ainsi compléter :

• l’audit technique ;
• l’analyse des mots-clés ;
• le suivi des positions ;
• l’analyse des backlinks ;
• l’étude de la concurrence.

Pour les équipes qui utilisent déjà une suite SEO complète, cette intégration peut être plus pratique que l’utilisation d’un outil exclusivement consacré aux logs.

6. Google Search Console : complément indispensable

Google Search Console n’est pas un outil d’analyse de logs.

Il est néanmoins indispensable pour interpréter correctement les données de logs.

Search Console fournit des informations sur la manière dont Google voit votre site, tandis que les logs montrent ce que les robots ont réellement demandé au serveur.

Ces deux sources sont donc complémentaires.

Par exemple, vous pouvez constater dans Search Console qu’une URL est indexée, puis consulter les logs pour savoir si Googlebot continue de la visiter régulièrement.

À l’inverse, une URL peut recevoir beaucoup de passages de Googlebot sans générer de trafic organique significatif.

Le rapprochement de ces informations permet d’identifier les problèmes de crawl et d’indexation avec davantage de précision.

7. BigQuery : pour les équipes techniques

Pour les organisations disposant d’une infrastructure data plus avancée, Google BigQuery peut être une solution particulièrement intéressante.

L’idée est de ne pas forcément utiliser un logiciel SEO spécialisé, mais d’importer les logs dans un entrepôt de données et de les analyser avec SQL.

Cette approche offre une grande liberté.

On peut par exemple créer des requêtes permettant de déterminer :

• le nombre de passages de Googlebot par répertoire ;
• les codes HTTP les plus fréquents ;
• les URL les plus crawlées ;
• les paramètres d’URL les plus sollicités ;
• les temps de réponse moyens ;
• l’évolution du crawl dans le temps.

L’inconvénient est évidemment la complexité technique.

BigQuery est particulièrement adapté aux équipes qui disposent déjà de compétences en SQL, data engineering et visualisation de données.

Comment choisir son outil d’analyse de logs ?

Le meilleur outil dépend surtout de la taille et de la complexité du site.

Il ne faut cependant pas choisir uniquement en fonction du nombre de fonctionnalités.

Le plus important est de vérifier :

• le volume de logs accepté ;
• les moteurs analysables ;
• les possibilités de segmentation ;
• les capacités d’export ;
• l’historisation des données ;
• les intégrations disponibles ;
• le coût ;
• la facilité d’utilisation.

Que faut-il analyser dans les logs ?

Une fois les logs récupérés, l’objectif n’est pas de produire une multitude de graphiques.

Il faut chercher des anomalies et des tendances qui ont une conséquence SEO.

Le crawl de Googlebot

Commencez par mesurer le nombre de requêtes effectuées par Googlebot.

Observez ensuite leur évolution.

Une chute brutale du crawl peut être un signal intéressant à investiguer, notamment après une migration ou une modification importante du site.

Les codes HTTP

Les codes HTTP sont essentiels.

Surveillez notamment :

• 200 : réponse correcte ;
• 301/302 : redirections ;
• 404 : ressource introuvable ;
• 410 : ressource définitivement supprimée ;
• 5xx : erreurs serveur.

Un volume important de 404 ou de redirections peut révéler un problème d’architecture ou de maillage interne.

Des erreurs 5xx répétées peuvent également empêcher les robots d’explorer correctement certaines parties du site.

Les paramètres d’URL

Les sites e-commerce sont particulièrement concernés.

Imaginez que Googlebot découvre :

/chaussures?couleur=noir
/chaussures?couleur=rouge
/chaussures?taille=42
/chaussures?taille=43

Si des milliers de combinaisons existent, les robots peuvent consacrer une quantité importante de crawl à des URL qui n’ont pas forcément de valeur SEO.

L’analyse des logs permet de mesurer l’ampleur réelle du problème.

Les pages jamais crawlées

Une page importante mais rarement visitée par Googlebot mérite votre attention.

Cela peut notamment révéler :

• un mauvais maillage interne ;
• une profondeur excessive ;
• un problème de découverte ;
• des directives techniques inadaptées ;
• une faible importance perçue par les moteurs.

Les logs permettent ainsi de compléter l’analyse classique du maillage interne.

L’analyse de logs permet-elle d’améliorer le budget de crawl ?

Oui, mais il faut éviter de transformer le crawl budget en objectif absolu.

Tous les sites n’ont pas besoin d’une optimisation poussée du budget de crawl.

Le sujet devient particulièrement pertinent lorsque le site possède un très grand nombre d’URL ou génère beaucoup de variantes.

L’objectif n’est pas simplement de faire crawler davantage de pages.

Il s’agit plutôt de faire en sorte que les ressources de crawl soient utilisées de manière pertinente.

Si Googlebot passe une grande partie de son temps sur des URL inutiles alors que des pages stratégiques sont peu explorées, l’analyse des logs peut aider à identifier ce déséquilibre.

Les erreurs à éviter

Se limiter à Googlebot

Googlebot est évidemment important, mais il peut être utile d’analyser également Bingbot et d’autres robots.

Cela permet de mieux comprendre l’activité générale sur le serveur.

Analyser uniquement les volumes

Dire que Googlebot a effectué 500 000 requêtes n’est pas très utile en soi.

Il faut savoir où ces requêtes ont été effectuées et pourquoi.

La segmentation par répertoire, type de page, code HTTP ou paramètre d’URL est beaucoup plus intéressante.

Confondre crawl et indexation

Un passage de Googlebot ne signifie pas qu’une page est indexée.

Les logs permettent d’étudier le comportement du crawler, pas de remplacer les données d’indexation de Google Search Console.

Négliger la qualité des données

Un fichier de logs mal configuré ou incomplet peut conduire à de mauvaises conclusions.

Avant toute analyse, vérifiez notamment que les logs couvrent une période suffisante et que les informations nécessaires sont bien enregistrées.

Conclusion

L’analyse des logs est l’un des outils les plus puissants du SEO technique, car elle permet de passer de la théorie à l’observation du comportement réel des robots.

Un crawler SEO vous montre ce qu’il peut découvrir.

Google Search Console vous montre une partie de ce que Google comprend de votre site.

Les logs vous montrent ce que les robots ont effectivement demandé au serveur.

Pour un petit site, cette analyse peut être ponctuelle. Pour un grand site, elle peut devenir un véritable outil de pilotage technique.

Parmi les solutions à envisager, Screaming Frog Log File Analyser, OnCrawl, Botify et JetOctopus sont particulièrement intéressantes pour les professionnels du SEO, tandis que BigQuery constitue une excellente option pour les équipes capables de construire leurs propres analyses de données.

Le plus important reste toutefois de ne pas analyser les logs « pour analyser les logs ». Leur véritable valeur apparaît lorsque les données permettent de répondre à des questions concrètes : Googlebot explore-t-il les bonnes pages ? Consomme-t-il son crawl sur les bonnes URL ? Et notre architecture facilite-t-elle réellement son travail ?

C’est à partir de ces réponses que l’analyse des logs devient un véritable levier SEO.