Analyse de logs SEO : comment optimiser ton budget de crawl avec les données Googlebot
Qu’est-ce que l’analyse de logs en SEO ?
Lorsqu’un visiteur (humain ou robot) accède à ton site, le serveur enregistre chaque requête dans un fichier journal : le fichier de log. Ces fichiers contiennent pour chaque passage l’URL visitée, le referrer (provenance), le code HTTP retourné (200, 404, 301…), le user-agent (Googlebot, navigateur, autre bot), le timestamp précis et la taille de la page. L’analyse de logs, c’est l’exploitation de ces données pour comprendre ce que Googlebot voit réellement sur ton site.
Un crawler SEO classique (Screaming Frog, Botify, etc.) simule le comportement de Googlebot. Il explore ta structure de liens et te montre ce qu’un moteur de recherche pourrait voir. Mais la réalité est différente : Googlebot ne suit pas exactement le même chemin, il a ses propres limites de temps, il connaît des pages par des backlinks que ton crawler ne détecte pas. Les fichiers logs sont la seule source de vérité pour savoir ce que Google a réellement crawlé.
Les travaux fondateurs sur l’analyse de logs expliquent que cette discipline est indispensable dès que ton site dépasse 1 000 pages. En dessous, l’écart entre simulation et réalité reste marginal. Au-dessus, il devient un gouffre.
Pourquoi l’analyse de logs est un levier SEO sous-estimé
Google ne crawle jamais l’intégralité d’un site. Il existe toujours un écart entre les pages en ligne et les pages réellement connues de Google. Ce constat, confirmé par les Google Leaks de mai 2024, a des conséquences directes sur ton budget de crawl : les ressources que Google alloue à l’exploration de ton site sont limitées.
Plusieurs facteurs influencent ce budget : le PageRank interne (répartition du « jus de lien » entre tes pages), la popularité du site via les backlinks entrants, la fraîcheur du contenu, la vitesse de ton serveur et la profondeur de tes pages. Google répartit son temps de crawl en fonction de ces signaux. Si tes pages stratégiques sont trop profondes ou mal maillées, elles reçoivent moins de passages.
Pour visualiser l’enjeu, imagine la pyramide SEO crawl-centric : tout en haut, le potentiel de contenu de ton site. Ensuite, les pages effectivement en ligne. Puis les pages crawlées par Google. Ensuite les pages indexées. Puis les pages actives (celles qui reçoivent des visites). Enfin, les pages efficaces (qui convertissent). Chaque niveau filtre une partie des pages. L’objectif de toute stratégie d’indexation et d’exploration est de transformer cette pyramide en cylindre : réduire les fuites à chaque étage.
Les 3 groupes d’URLs que les logs révèlent
En croisant les données de logs avec un crawl SEO, tu découvres trois ensembles d’URLs qui changent radicalement ta vision du site.
- Structure + Logs : les pages présentes dans ta structure ET connues de Google. C’est le groupe sain, celui où tout fonctionne.
- Structure – Logs : les pages dans ta structure mais jamais crawlées par Google. Ce sont des pages qui consomment des ressources de production sans aucun retour SEO. C’est du budget perdu.
- Logs – Structure : les pages connues de Google mais absentes de ta structure de liens. Ce sont les fameuses pages orphelines (nomatch). Google les a trouvées via un sitemap obsolète, un backlink résiduel ou une ancienne version du site.
Les pages orphelines posent deux problèmes majeurs. D’abord, elles ne bénéficient plus du PageRank interne (PRi) puisque plus aucun lien interne ne pointe vers elles. Leur potentiel de trafic s’effondre. Ensuite, elles gaspillent du budget de crawl au détriment des pages dans ta structure. Les causes fréquentes incluent les migrations sans redirection, les pages expirées qui répondent encore en 200 au lieu d’un 404/410, et un sitemap XML qui référence des URLs mortes.
Comment analyser tes logs : méthode en 4 étapes
Voici une méthode pratique pour réaliser ta propre analyse de logs sans dépendre d’outils coûteux. L’approche est manuelle et te prendra quelques heures, mais elle te donnera une vision que Google Analytics et Search Console ne peuvent pas fournir.
- Récupère les fichiers de logs : connecte-toi à ton serveur via FTP ou SSH, localise le dossier des logs (souvent /var/log/apache2/ ou /var/log/nginx/). Télécharge une période de 30 à 90 jours pour avoir un échantillon représentatif.
- Filtre par user-agent Googlebot : conserve uniquement les lignes contenant « Googlebot » dans le user-agent. Depuis le Mobile First Index, privilégie « Googlebot Mobile » (Mozilla/5.0…). Utilise grep ou un analyseur de logs dédié.
- Croise avec le sitemap et le crawl SEO : exporte la liste de tes URLs depuis un crawl (Screaming Frog par exemple) et depuis ton sitemap XML. Dans Excel, fais un RechercheV entre les URLs des logs et celles de la structure. Tu obtiendras les 3 groupes vus plus haut.
- Identifie les anomalies et priorise : repère les pages orphelines, les codes 5xx vus par Googlebot, les pages stratégiques avec une fréquence de crawl trop faible, et les segments entiers jamais crawlés. Classe par volume de trafic potentiel.
Les 10 indicateurs clés à surveiller dans tes logs
Une fois tes logs analysés, voici les KPIs qui te donneront une vision complète de la santé de ton crawl. Ces indicateurs sont directement inspirés des méthodologies de la communauté SEO technique.
| Indicateur | Formule / Définition | Ce qu’il révèle |
|---|---|---|
| Volume de crawl | Nombre total de requêtes Googlebot | Activité globale du crawl |
| Pages uniques crawlées | URLs distinctes dans les logs | Couverture réelle du site |
| Fréquence de crawl | Volume / Pages uniques | Intérêt de Google par page |
| Fenêtre de crawl | Temps pour couvrir 90% de l’audience | Taux de fraîcheur du crawl |
| Taux de crawl | Pages crawlées / Pages dans la structure | % de pages connues par Google |
| Taux de pages actives | Pages avec visites / Pages connues | Efficacité de l’indexation |
| Efficacité visites/crawl | Visites / Volume de crawl Googlebot | Rendement de chaque passage |
| Codes de réponse | 200, 301, 404, 5xx vus par Googlebot | Erreurs techniques réelles |
| PRic (PageRank crawlées) | PRi filtré sur pages vues par Google | Répartition réelle du jus de lien |
| Crawl mobile vs desktop | Ratio Googlebot Mobile / Desktop | Conformité Mobile First Index |
La fenêtre de crawl oscille généralement entre 7 et 15 jours sur la plupart des sites, jusqu’à 3 mois pour les très longue traîne (forums par exemple). Google peut crawler jusqu’à 50 fois la même page par jour (page d’accueil très populaire). Un taux de crawl de 50% signifie que Google ne voit que la moitié de tes pages en ligne. L’efficacité visites/crawl est le KPI le plus sous-exploité : une valeur élevée signifie que Google crawle peu mais que la page convertit bien, une valeur faible indique un problème de contenu ou de duplication.
Pages orphelines : le gaspillage silencieux de ton budget de crawl
Les pages orphelines (nomatch) sont un des problèmes les plus fréquents sur les sites de plus de 5 000 pages. Google les connaît mais plus aucun lien interne n’y mène. Leur mécanique est simple : un sitemap XML obsolète les référence encore, un backlink externe les maintient dans l’index de Google, mais elles ne font plus partie de ta structure.
L’impact sur ton budget de crawl est direct : le temps que Google passe sur ces pages se fait au détriment de tes pages stratégiques. Comme le démontre les tableaux de bord SEO par logs, le taux de pages actives des pages orphelines est toujours inférieur à celui des URLs dans la structure. Si les orphelines accaparent une part importante de ton crawl, c’est une piste d’optimisation prioritaire.
Les cas typiques incluent les vieux produits e-commerce expirés, les URLs de calendrier générées en masse, les pages d’une ancienne version du site non redirigées après migration, et les paramètres de session qui créent des URLs infinies. Pour chaque page orpheline, trois solutions : la rediriger en 301 vers une page équivalente, la passer en 410 si elle n’a plus aucune valeur, ou la réintégrer dans le maillage interne si son contenu est encore pertinent.
Les outils pour analyser tes logs (et leurs limites)
Plusieurs outils existent pour réaliser une analyse de logs, chacun avec ses forces et ses faiblesses. Aucun ne remplace complètement la méthode manuelle de croisement, mais ils automatisent une partie du travail.
- Screaming Frog Log File Analyser : gratuit jusqu’à 500 URLs, il importe tes logs et les croise avec un crawl. Pratique pour une analyse ponctuelle, mais le traitement est local et il n’y a pas de suivi dans le temps.
- Oncrawl / Botify : très puissants, ils intègrent crawl + logs dans une même plateforme. Mais leurs tarifs les réservent aux grands sites et aux agences. Pas à la portée d’une petite équipe marketing.
- Seolyzer : accessible, mais limité en fonctionnalités avancées (pas de PRic, pas d’analyse par segment).
- Solutions open source (Graylog, Kibana) : gratuites mais nécessitent des compétences Linux et une configuration lourde. La courbe d’apprentissage est raide.
La limite commune à tous ces outils est leur caractère ponctuel : ils analysent un état à un instant T, mais ne permettent pas un monitoring continu. Tu obtiens un diagnostic, pas une alerte en temps réel.
6 cas d’usage concrets de l’analyse de logs
L’analyse de logs n’est pas un exercice théorique. Voici 6 situations où elle révèle des insights actionnables qu’aucun autre outil ne peut fournir.
- Monitorer le crawl Googlebot et détecter les anomalies : une chute soudaine du volume de crawl peut signaler un problème technique (erreur 5xx généralisée, blocage robots.txt).
- Comprendre ce que voient réellement les bots : tu crois que Google explore toutes tes fiches produits ? Les logs te montrent la vérité, souvent surprenante.
- Débloquer les freins à l’indexation : des pages stratégiques ignorées par Google sont souvent trop profondes ou mal maillées. Les logs le confirment par une fréquence de crawl proche de zéro.
- Quantifier et prioriser les actions SEO : tu veux convaincre ton équipe de refaire le menu ? Montre que 30% du budget de crawl part dans des pages orphelines grâce aux preuves chiffrées des logs.
- Détecter les spider traps : calendriers, URLs infinies, navigations à facettes, session IDs. Les logs révèlent ces gouffres à budget de crawl.
- Améliorer l’efficacité visites/crawl par catégorie : certaines catégories sont sur-crawlées pour peu de visites, d’autres sous-crawlées avec un fort potentiel. Le maillage interne peut rééquilibrer la balance.
Questions fréquentes sur l’analyse de logs SEO
Qu’est-ce que l’analyse de logs en SEO ?
C’est l’étude des fichiers de logs du serveur pour comprendre comment Googlebot explore réellement ton site, quelles pages il voit, à quelle fréquence, et quelles erreurs il rencontre.
Pourquoi analyser les logs de son serveur ?
Parce qu’un crawler SEO simule Googlebot, mais ne voit pas la réalité. Les logs sont la seule source de vérité pour connaître le comportement réel de Googlebot sur ton site.
Comment récupérer les fichiers de logs ?
Via un accès FTP ou SSH à ton serveur. Les logs sont généralement dans /var/log/apache2/ ou /var/log/nginx/. Tu peux aussi les demander à ton hébergeur.
À quelle fréquence analyser les logs ?
Idéalement toutes les semaines pour un monitoring actif. En analyse ponctuelle, une fois par mois ou après chaque changement majeur (migration, redesign, ajout massif de contenu).
Quels sont les meilleurs outils d’analyse de logs ?
Screaming Frog Log File Analyser pour les analyses ponctuelles, Botify/Oncrawl pour les sites volumineux, et les solutions open source (Graylog, Kibana) pour les équipes techniques.
Les crawlers IA (GPTBot, Claude) apparaissent-ils dans les logs ?
Oui, chaque bot IA a son propre user-agent. Tu les vois dans les logs au même titre que Googlebot. Leur volume de crawl est en forte augmentation depuis 2024.
Quelle durée de conservation pour les fichiers logs ?
30 jours minimum pour une analyse fiable, 90 jours pour observer des tendances. Certains hébergeurs ne conservent que 7 jours, ce qui limite l’analyse.
À partir de combien de pages l’analyse de logs est-elle utile ?
Dès 1 000 pages. En dessous, l’écart entre simulation et réalité est marginal. Au-dessus, il devient un levier de croissance significatif.