Deux plafonds, pas une enveloppe
Le terme est trompeur. On imagine un quota mensuel attribué à chaque site, du genre « vous avez droit à 40 000 pages ce mois-ci ». Ce n'est pas comme ça que ça marche. Google décrit le budget de crawl comme la rencontre de deux choses très différentes, et c'est la plus basse des deux qui décide.
La première, c'est la limite de capacité d'exploration. Googlebot ne veut pas mettre votre serveur à genoux : il surveille en continu ses temps de réponse et les erreurs qu'il reçoit. Si le serveur répond vite et proprement, la limite monte doucement. S'il ralentit ou renvoie des erreurs serveur, elle redescend, parfois brutalement. C'est un plafond technique, et il est en grande partie entre vos mains.
La seconde, c'est la demande d'exploration. Là, c'est Google qui décide, en fonction de trois choses : l'inventaire qu'il pense que vous avez (le nombre d'URL qu'il connaît chez vous), la popularité de ces URL, et leur fraîcheur, c'est-à-dire à quel rythme leur contenu change réellement. Une page qui n'a pas bougé depuis trois ans sera revisitée de plus en plus rarement, c'est normal et ce n'est pas une sanction.
Un site rapide avec peu de demande sera peu exploré. Un site très demandé mais lent sera bridé par sa capacité. Les deux plafonds ne se compensent pas.
Est-ce que ça vous concerne ?
Réponse honnête : probablement pas. Google est assez direct sur ce point dans sa documentation dédiée aux gros sites, où il fixe lui-même les ordres de grandeur : un site de plus d'un million de pages dont le contenu évolue environ une fois par semaine, ou un site de plus de dix mille pages dont le contenu change chaque jour. En dessous, si vos nouvelles pages sont explorées dans les jours qui suivent leur publication, le sujet n'existe pas pour vous.
Le vrai signal d'alerte n'est d'ailleurs pas une taille, c'est un symptôme. Vous publiez et Google met des semaines à passer. Le rapport d'indexation de la Search Console se remplit d'URL au statut « Découverte, actuellement non indexée », c'est-à-dire des adresses que Google connaît mais n'a jamais pris la peine d'aller chercher. Vos mises à jour importantes mettent un temps déraisonnable à se refléter dans les résultats. Là, oui, il y a matière à creuser.
À l'inverse, j'ai vu passer des blogs de 200 articles où on m'expliquait sérieusement qu'il fallait « optimiser le crawl ». On perd son temps. Sur ces sites, le frein est ailleurs : qualité, maillage, autorité. Pas exploration.
Où part le budget quand il part
Quand un site souffre réellement, le coupable est presque toujours le même : un inventaire d'URL très supérieur au nombre de pages utiles. Google explore consciencieusement des dizaines de milliers d'adresses qui ne méritent pas une seconde de son temps, et il n'en reste plus pour les vraies.
Les gouffres classiques, dans l'ordre où je les rencontre en audit :
- La navigation à facettes. Trois filtres combinables et un paramètre de tri, et votre catalogue de 500 produits génère des centaines de milliers d'URL toutes légèrement différentes. C'est de très loin le premier poste de gaspillage sur un e-commerce.
- Les paramètres d'URL qui ne changent pas le contenu : identifiants de session, tags de campagne, ancres transformées en paramètres.
- Les espaces infinis. Un calendrier qui permet de cliquer sur « mois suivant » jusqu'à l'an 3000, une pagination sans fin, une recherche interne indexable.
- Les chaînes de redirections. Chaque saut consomme une requête, et une chaîne de quatre maillons coûte quatre fois le prix d'une URL directe.
- Les soft 404, ces pages vides qui répondent 200 au lieu d'avouer qu'elles n'ont plus rien à montrer. Google continue de repasser dessus.
Le point commun de cette liste : ce sont des variantes, pas des contenus. On traite la duplication à la source plutôt que d'espérer que Google fasse le tri seul, en commençant par comprendre ce que la balise canonical sert exactement à faire. Google trie, oui, mais il paie ce tri en requêtes.
Mesurer avant de toucher quoi que ce soit
Deux sources, et une seule dit toute la vérité.
La première, gratuite et suffisante dans la plupart des cas : le rapport Statistiques sur l'exploration de la Search Console, planqué dans les Paramètres de la propriété. Nombre de requêtes par jour, temps de réponse moyen, et surtout des répartitions parlantes : par code de réponse, par type de fichier, par objectif (découverte d'une nouvelle URL contre actualisation d'une URL connue). Cette dernière ventilation trahit les sites malades : quand la découverte écrase l'actualisation alors que le site ne grandit pas, Googlebot passe ses journées dans des URL fantômes.
La seconde source, c'est vos logs serveur. Rien ne les remplace : ils listent chaque passage de Googlebot, URL par URL, avec le code renvoyé et l'horodatage. C'est là qu'on découvre qu'un tiers du crawl part sur des pages de filtres, ou qu'une section entière du site n'a pas reçu de visite depuis deux mois. L'analyse demande un peu d'outillage, mais c'est le seul moyen d'arrêter de deviner. Cette lecture croisée fait partie de ce que je regarde systématiquement quand j'explique comment mener un audit SEO technique par vous-même.
Les leviers qui déplacent vraiment l'aiguille
Le principe tient en une phrase : on n'augmente pas le budget, on arrête de le gâcher. Concrètement, quatre familles d'actions.
Réduire l'inventaire, d'abord. Bloquer dans le robots.txt les espaces d'URL sans valeur (facettes combinatoires, recherche interne, calendriers infinis) reste l'arme la plus efficace, parce qu'elle agit avant la requête : Googlebot ne va même pas chercher la page. C'est le bon usage du fichier, et j'ai détaillé ailleurs comment reprendre la main sur l'exploration avec le robots.txt et le sitemap XML. Dans le même mouvement : renvoyer un vrai 404 ou 410 sur ce qui a disparu, corriger les soft 404, aplatir les chaînes de redirections.
Consolider, ensuite. Une URL canonique par contenu, un maillage interne qui pointe vers elle et pas vers ses variantes, un sitemap qui ne liste que des adresses finales en 200, avec des dates de modification honnêtes. Google se sert de ces dates quand elles se révèlent fiables : les falsifier pour forcer des repassages est le meilleur moyen de les faire ignorer.
Soigner la capacité, enfin. Un serveur qui répond vite laisse Googlebot monter en cadence. Ce n'est pas un levier magique, mais sur un gros site, diviser par deux le temps de réponse se voit dans le rapport d'exploration.
Et maintenant ce qui ne marche pas, parce que c'est là qu'on perd le plus de temps. La balise noindex n'économise rien : pour la lire, Google doit explorer la page, donc payer la requête. Elle sert à désindexer, pas à ménager le crawl. La directive crawl-delay du robots.txt est ignorée par Google, point. Le nofollow sur un lien interne n'empêche pas la découverte de l'URL si elle est atteignable ailleurs. Et l'outil de suppression d'URL de la Search Console masque une page dans les résultats pendant quelques mois, sans rien changer à l'exploration.
Dernière chose, qui évite un contresens fréquent : le budget de crawl n'est pas un critère de classement. Être exploré davantage ne fait pas monter une page. Ça la rend simplement éligible, et plus vite. La confusion vient de la chaîne complète : explorer, indexer, classer sont trois étapes distinctes, et ce budget ne joue que sur la première.
Par où commencer si vous êtes concerné
Un ordre simple, rodé sur des sites à catalogue. Un : ouvrir le rapport Statistiques sur l'exploration, regarder la répartition par objectif et par code de réponse. Deux : comparer le nombre d'URL connues de Google au nombre de pages que vous croyez avoir ; l'écart fait souvent le diagnostic à lui seul. Trois : fermer proprement le premier gouffre (dans la plupart des cas, les facettes ou les paramètres). Quatre : remesurer quelques semaines plus tard, Google réévalue lentement.
Ce qu'on cherche n'est pas un chiffre qui monte. C'est un déplacement : moins de requêtes dans le vide, plus de passages sur les pages qui rapportent quelque chose.