Analyse de logs SEO : le guide pratique pour comprendre comment Googlebot explore vraiment ton site
Tu passes des heures à optimiser tes balises, à peaufiner ton maillage interne et à produire du contenu. Mais au fond, tu n’as aucune idée de ce que Googlebot voit vraiment sur ton site. Est-ce qu’il explore toutes tes pages ? Lesquelles l’intéressent ? Lesquelles il ignore complètement ? L’analyse de logs SEO est le seul moyen de répondre à ces questions avec certitude. Ce guide te donne les clés pour comprendre, interpréter et agir sur tes logs.
Qu’est-ce que l’analyse de logs en SEO ?
Un fichier de log (access.log) est un fichier texte généré automatiquement par ton serveur web. Chaque fois qu’un visiteur, un robot ou Googlebot arrive sur ton site, le serveur enregistre la requête dans ce fichier. Une ligne de log typique contient : l’adresse IP, le timestamp, la méthode HTTP, l’URL demandée, le code de réponse HTTP, l’agent logiciel (Googlebot, Chrome…) et le poids de la page en octets.
Ces fichiers sont la mémoire brute de ton serveur. Contrairement aux données de Google Search Console qui sont déjà agrégées et filtrées par Google lui-même, les logs sont la source de vérité unique : ils t’enregistrent chaque passage de Googlebot, sans intermédiaire ni interprétation.
L’analyse de logs en SEO consiste à exploiter ces fichiers pour comprendre comment Googlebot explore ton site : quelles pages il visite, à quelle fréquence, combien de temps il y passe et quels codes de réponse il obtient. C’est la radiographie du comportement de Googlebot sur ton serveur.
Pourquoi l’analyse de logs est cruciale pour ton SEO
Pour bien comprendre l’enjeu, il faut visualiser la pyramide du SEO crawl-centric (concept popularisé par Serge Esteves chez Creapulse) : potentiel du site > pages en ligne > pages crawlées > pages indexées > pages actives > pages efficaces > conversion. Chaque étage rétrécit. Sans crawl, pas d’indexation. Sans indexation, pas de trafic.
Google dispose d’un budget de crawl limité. Il n’explore jamais 100% des pages d’un site, sauf sur les très petits. Ce budget est influencé par plusieurs critères : le PageRank interne, la popularité du site, la fraîcheur du contenu, la vitesse et la profondeur. Chaque page inutile consomme une partie de ce budget au détriment de tes pages à fort potentiel.
Les logs sont le seul moyen de savoir ce que Googlebot fait réellement, par opposition à ce qu’un crawler SEO simule. Un crawler SEO explore ton site comme un navigateur classique, tandis que Googlebot suit ses propres règles d’exploration, influencées par des centaines de signaux. Sans analyse de logs, tu travailles en aveugle.
Les 3 métriques clés à connaître dans tes logs
L’analyse de logs SEO repose sur trois métriques fondamentales. Chacune te donne une perspective différente sur le comportement de Googlebot. Les voici en détail.
Le taux de crawl
Le taux de crawl est le ratio entre les pages vues par Googlebot et les pages présentes dans la structure de ton site. Si ton site a 1 000 pages et que Googlebot en visite 500, ton taux de crawl est de 50%. Un site est rarement vu à 100% par Google, sauf s’il est très petit.
Augmenter ton taux de crawl, c’est augmenter ton taux d’indexation, et donc ton audience. Exemple concret issu d’un audit réel : 9% des URLs représentaient 25% du crawl de Google et 66% des visites. C’est la loi de Pareto appliquée au SEO.
La fréquence de crawl
La fréquence de crawl est le nombre de fois que Googlebot explore une page sur une période donnée. On parle aussi d’âge des pages crawlées, soit la période entre deux passages de Google. Google peut crawler jusqu’à 50 fois par jour une page très populaire, comme une page d’accueil très visitée.
La fréquence de crawl est un excellent indicateur de l’intérêt que Google porte à une page ou une catégorie de pages. Si une catégorie stratégique a une faible fréquence, cherche les causes : un mauvais maillage interne, du contenu dupliqué ou un contenu de faible qualité.
La fenêtre de crawl
La fenêtre de crawl est la fréquence de crawl nécessaire pour que le site génère 90% de son audience. Si 90% de ton trafic provient de pages crawlées en 7 temps, la fenêtre de crawl est de 7 jours. L’âge des pages actives est alors de 7 jours.
La fenêtre de crawl varie selon le type de pages : les articles longue traîne ont une fenêtre plus large que les pages de catégorie. En règle générale, elle oscille entre 7 et 15 jours, mais peut atteindre 3 mois pour certains forums. Pour analyser correctement ta fenêtre de crawl, observe son évolution dans le temps : un élargissement peut indiquer que tu produis plus de contenu longue traîne, un rétrécissement peut signaler que Google se concentre sur un petit nombre de pages.
Ce que les logs révèlent que la Search Console ne montre pas
La Search Console est utile, mais elle ne te montre qu’une version filtrée de la réalité. Les logs révèlent des problèmes techniques invisibles ailleurs.
- Les pages orphelines (nomatch) : des pages que Googlebot détecte mais qui sont hors de la structure de ton site. Elles n’ont aucun lien interne qui les relie au reste du site, donc elles ne bénéficient pas du PageRank. Résultat : un potentiel de trafic réduit et un gaspillage du budget de crawl.
- Les spider traps : des pièges à robots comme les calendriers générant des URLs à l’infini, les URLs infinies (bugs de liens relatifs), les navigations à facettes sur les sites e-commerce, ou les URLs avec session ID qui se multiplient à chaque visite.
- Les pages inutiles qui consomment le budget de crawl sans générer de valeur SEO (pages dupliquées, soft 404, contenu pauvre).
- Les codes HTTP réels : les logs t’affichent les vrais codes renvoyés (404, 301, 500), alors qu’un crawler SEO peut ne pas détecter certaines erreurs serveur.
- Le comportement mobile vs desktop de Googlebot : tu vois si Googlebot Smartphone se comporte différemment de Googlebot Desktop.
- Les robots IA : GPTBot, CCBot et autres robots d’intelligence artificielle apparaissent aussi dans tes logs. Tu peux identifier leur comportement et décider de les bloquer via ton fichier robots.txt.
Ces informations sont cruciales pour détecter des problèmes techniques que tu ne verrais jamais avec un simple crawl SEO.
Comment analyser tes logs en 4 étapes concrètes
Voici une méthodologie reproductible pour réaliser ta première analyse de logs.
Étape 1 : récupérer les fichiers de logs sur ton serveur
Accède à tes fichiers via cPanel, FTP ou SSH. Leur emplacement typique : /var/log/apache2/access.log pour Apache ou /var/log/nginx/access.log pour Nginx. Tu as besoin d’un accès en lecture à ces fichiers. Assure-toi d’avoir au moins 30 jours de rétention pour une analyse significative. Si ton hébergeur ne conserve pas les logs assez longtemps, demande-lui d’augmenter la durée.
Étape 2 : repérer uniquement Googlebot dans tes logs
Tu dois identifier les lignes correspondant à Googlebot en cherchant le mot « Googlebot » dans l’agent logiciel. Les principaux robots à garder : Googlebot (le principal), Googlebot-Image, Googlebot-News, Googlebot-Video. Exclus tout le trafic humain et les autres moteurs de recherche (Bingbot, Yandex…). Pour les petits volumes, tu peux utiliser grep ou awk sous Linux, ou même Excel. C’est une étape essentielle pour analyser uniquement l’activité de Googlebot.
Étape 3 : croiser les logs avec un crawl de ton site
Lance un crawl SEO (avec un outil comme SeoLap ou un autre crawler) pour cartographier la structure complète de ton site. Ensuite, compare les URLs de ce crawl avec les URLs vues par Googlebot dans les logs. Tu identifies ainsi deux catégories :
- Les pages dans ta structure mais jamais crawlées par Google
- Les pages crawlées par Google mais hors de ta structure (orphelines)
Ce croisement crawl + logs est la combinaison la plus puissante pour auditer un site.
Étape 4 : interpréter les résultats et prioriser les actions
Calcule le taux de crawl par catégorie de pages. Repère les pages à forte fréquence de crawl mais faible trafic. Identifie les pages stratégiques à faible fréquence de crawl. Détecte les anomalies de codes HTTP.
Voici l’ordre de priorité recommandé :
- Pages orphelines : à intégrer dans la structure ou à rediriger
- Spider traps : à neutraliser d’urgence (calendriers, facettes, sessions IDs)
- Pages à faible crawl : à optimiser via le maillage interne et l’amélioration du contenu
- Optimisation du maillage interne : pour améliorer la circulation du PageRank
Cette méthodologie te permet d’améliorer significativement ton SEO technique.
Les outils pour analyser tes logs (gratuits et payants)
Plusieurs outils s’offrent à toi pour réaliser ton analyse de logs. Voici les principaux :
| Outil | Type | Avantages | Limites |
|---|---|---|---|
| Screaming Frog Log File Analyser | Payant | Référence du marché, interface claire | Coût élevé pour une utilisation ponctuelle |
| GoAccess | Open source | Gratuit, rapide, interface web | Nécessite des compétences Linux |
| Graylog / Kibana | Open source | Très puissant pour de gros volumes | Courbe d’apprentissage raide, infrastructure à gérer |
| Commandes Linux (grep, awk, sort) | Gratuit | Analyse rapide sans installation | Chronophage, demande de la pratique |
Les outils payants comme Screaming Frog, Botify ou Oncrawl sont très complets mais coûteux pour les petites équipes. Les solutions open source demandent des compétences serveur avancées. C’est là qu’une approche combinée crawl + logs avec un outil SaaS peut faire la différence.
Questions fréquentes sur l’analyse de logs
L’analyse de logs est-elle utile pour un petit site de moins de 1 000 pages ?
Oui, absolument. Même un petit site peut avoir des pages orphelines, des pièges à robots ou un mauvais maillage interne qui réduisent son potentiel de trafic. Les logs te permettent de détecter ces problèmes rapidement.
À quelle fréquence analyser les logs ?
Une analyse mensuelle est un bon rythme pour détecter les anomalies. Si ton site est très actif (plusieurs milliers de pages), une analyse hebdomadaire peut être pertinente. L’essentiel est de le faire régulièrement pour suivre l’évolution.
Quelle est la différence entre analyse de logs et crawl SEO ?
Un crawl SEO simule Googlebot depuis un outil externe. Il explore ton site comme le ferait un navigateur. L’analyse de logs, elle, observe ce que Googlebot a réellement fait sur ton serveur. Les deux sont complémentaires : le crawl te donne la structure, les logs te donnent le comportement réel.
Les crawlers IA comme GPTBot apparaissent-ils dans les logs ?
Oui, tout à fait. Tu peux identifier leur passage et décider de les autoriser ou de les bloquer via ton fichier robots.txt. C’est un avantage des logs : rien ne leur échappe.
Faut-il garder les logs indéfiniment ?
Non. 30 à 90 jours suffisent pour une analyse SEO. La conservation longue est coûteuse en stockage et rend l’analyse plus lourde. Garde un historique pour suivre les tendances, mais archive ou supprime les fichiers les plus anciens.