Googlebot : le crawler dont dépend votre visibilité Google

Googlebot est le robot d'exploration principal de Google : il découvre, télécharge et rafraîchit les pages qui composent l'index de Google Search. Depuis l'arrivée des AI Overviews, son rôle s'est étendu — les réponses générées par IA de Google puisent dans ce même index. Un site que Googlebot ne crawle pas n'existe ni dans la recherche classique, ni dans les réponses IA de Google.

Fiche technique

Opérateur: Google
Rôle: Indexation Google Search
Jeton robots.txt: Googlebot
User-agent (exemple): Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Respecte robots.txt: Oui (fondateur du standard)
Plages IP officielles: 585 plages publiées par l'opérateur, tous bots confondus (snapshot du 2026-07-23, rafraîchi à chaque déploiement) — fichier officiel
Documentation officielle: Documentation Googlebot

Le bot le plus usurpé du web

« Googlebot » est le déguisement préféré des scrapers : se faire passer pour lui ouvre les portes que les sites réservent aux moteurs. Google publie deux protections officielles : la vérification par reverse DNS et les plages d'IP officielles (googlebot.json). Tout hit « Googlebot » dont l'IP sort de ces plages est un imposteur — nos analyses de logs en croisent régulièrement.

Cette vérification n'est pas un raffinement : analyser du faux Googlebot fausse toutes vos conclusions SEO (volume de crawl surestimé, pages « crawlées » qui ne le sont pas, erreurs attribuées à tort au moteur).

Lire le comportement de Googlebot dans vos logs

Trois lectures valent la peine : la fréquence par page (vos pages stratégiques sont-elles recrawlées régulièrement ?), les codes de réponse servis (une 5xx récurrente réduit le crawl, Google le documente), et la tendance du volume global (une chute annonce souvent un problème avant la baisse de trafic). Vos logs sont la seule source exhaustive de ces signaux — Search Console échantillonne.

Vérifier que c'est vraiment Googlebot

Google documente officiellement deux méthodes : le reverse DNS (l'IP doit résoudre vers googlebot.com ou google.com, et inversement) et la comparaison aux plages d'IP du fichier googlebot.json, rafraîchi par Google. Notre analyseur applique la seconde automatiquement sur chaque hit, dans votre navigateur — les IP de vos logs ne sont jamais transmises.

Consulter les plages IP officielles de Googlebot (JSON)

Bloquer ou autoriser Googlebot (robots.txt)

Ne bloquez jamais Googlebot sur les contenus que vous voulez voir dans Google : c'est la seule porte d'entrée de l'index. Utilisez robots.txt pour lui épargner les zones sans valeur (paramètres, ressources techniques) et préserver votre budget de crawl — pas pour restreindre vos pages stratégiques.

Pour le bloquer :

User-agent: Googlebot
Disallow: /

Pour l'autoriser explicitement :

User-agent: Googlebot
Allow: /

Questions fréquentes

Comment vérifier qu'un hit Googlebot est authentique ?

Deux méthodes officielles documentées par Google : le reverse DNS (l'IP doit résoudre vers googlebot.com ou google.com) et les plages d'IP publiées dans googlebot.json. Un user-agent « Googlebot » avec une IP hors plages est un scraper déguisé — c'est le bot le plus usurpé du web.

Googlebot alimente-t-il les AI Overviews ?

Oui : les AI Overviews de Google s'appuient sur l'index de recherche constitué par Googlebot. Il n'existe pas de crawler séparé à autoriser pour y figurer — et bloquer Googlebot vous en retire, comme de la recherche classique. Le jeton Google-Extended, lui, ne concerne que l'entraînement de Gemini.

Pourquoi Googlebot crawle-t-il moins mon site qu'avant ?

Les causes documentées par Google : lenteurs ou erreurs serveur répétées (le crawl baisse proportionnellement aux URL en erreur 5xx), contenu peu renouvelé, ou perte de signaux (liens). Une chute durable mérite une analyse de logs : elle précède souvent une baisse de trafic visible.

Quelle part de mon crawl vient réellement de Googlebot ?

Seuls vos logs le disent précisément. Glissez vos access.log dans notre analyseur : il isole Googlebot des autres bots Google (GoogleOther notamment), vérifie chaque hit par IP et montre pages crawlées, fréquences et codes de réponse — sans upload.

Sources

Chaque fait de cette fiche s'appuie sur une source primaire — la documentation officielle de l'opérateur et, quand elle existe, sa liste d'IP publiée.

Voyez ce que ce bot fait sur votre site

Glissez vos fichiers access.log dans l'analyseur de logs Crawl Lab : il isole Googlebot, vérifie son authenticité et liste les pages qu'il consulte — entièrement dans votre navigateur, sans upload.

Analyser mes logs