Crawl Lab
EN

Analyseur de logs serveur pour le SEO

Glissez un ou plusieurs fichiers de logs (Apache/Nginx, format combined de préférence), pratique pour les fichiers tournants (access.log, access.log.1…). L'analyse se fait entièrement dans votre navigateur : les fichiers ne sont jamais envoyés sur un serveur, même pour plusieurs Go de logs cumulés. Vous obtenez en quelques secondes le crawl de Googlebot et des robots IA, les pages les plus explorées, le budget de crawl gaspillé et les erreurs rencontrées.

Aucun upload · aucune IP transmise · RGPD-safe

Pourquoi analyser les logs serveur de votre site

Les rapports de crawl classiques (Search Console, outils tiers) estiment l'activité des robots. Vos logs serveur, eux, l'enregistrent : chaque visite de Googlebot, Bingbot ou d'un crawler IA laisse une ligne horodatée, avec l'URL demandée et le code de réponse. Analyser ces logs, c'est passer de l'estimation à la preuve.

Trois choses ressortent presque toujours d'une première analyse : du budget de crawl gaspillé (les bots passent du temps sur des paramètres d'URL, des fichiers statiques ou des chemins techniques au lieu de vos pages stratégiques), des pages en erreur vues uniquement par les robots (un 404 ou 500 servi à Googlebot mais invisible pour vos visiteurs), et une concentration du crawl sur une poignée d'URL pendant que le reste du site reste peu exploré.

À l'ère des moteurs génératifs, l'analyse de logs prend une dimension supplémentaire : elle révèle quels crawlers IA visitent votre site (GPTBot, ClaudeBot, PerplexityBot, Google-Extended…), à quelle fréquence, et sur quels contenus. Une information clé pour le GEO (Generative Engine Optimization) que les outils classiques n'affichent pas encore.

Où récupérer vos logs serveur

Pour analyser votre crawl, il vous faut d'abord le fichier de logs d'accès de votre serveur. Son emplacement dépend de votre hébergement :

  • Hébergement mutualisé (cPanel, Plesk, o2switch, OVH…) : téléchargez les journaux depuis la rubrique « Raw Access Logs » ou « Journaux d'accès » de votre panneau — ils sont déjà au format Apache combined.
  • Serveur dédié ou VPS (Apache, Nginx) : le fichier access.log se trouve en général dans /var/log/apache2/ ou /var/log/nginx/, avec ses archives compressées (access.log.1.gz) que vous pouvez déposer telles quelles.
  • Site derrière un CDN (Cloudflare, Fastly…) : une partie du trafic des robots est servie par le CDN sans jamais atteindre votre serveur d'origine ; récupérez alors aussi les logs au niveau du CDN pour ne pas sous-estimer le crawl.

Une fois le fichier en main, déposez-le tel quel dans l'outil ci-dessus (plusieurs fichiers et archives .gz acceptés)  : tout est lu localement, rien n'est envoyé.

Guide complet : comment récupérer vos logs serveurPas à pas selon votre hébergeur — Apache, Nginx, cPanel et CDN — pour obtenir un fichier prêt à analyser.

Questions fréquentes

Qu'est-ce qu'un analyseur de logs serveur pour le SEO ?

C'est un outil qui lit les fichiers de logs d'accès de votre serveur (access.log) et en extrait l'activité des robots d'indexation : quelles URL sont crawlées, par quels bots, à quelle fréquence, avec quels codes de réponse. C'est la source la plus fiable pour comprendre le crawl réel de votre site, sans estimation ni échantillonnage.

Quels formats de logs sont pris en charge ?

Les formats Apache/Nginx « combined » et « common », y compris les fichiers compressés .gz (utile pour les logs tournants access.log.1.gz). Vous pouvez déposer plusieurs fichiers d'un coup : ils sont agrégés en une seule analyse.

Mes fichiers de logs sont-ils envoyés sur un serveur ?

Non. Tout le traitement se fait dans votre navigateur, en streaming. Vos logs, et les adresses IP qu'ils contiennent, ne quittent jamais votre machine, ne sont jamais stockés, et disparaissent au rechargement de la page. C'est RGPD-safe par construction.

Quels crawlers IA l'outil détecte-t-il ?

GPTBot et OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended, Bytespider, Amazonbot et d'autres, en plus des moteurs classiques comme Googlebot et Bingbot. L'outil distingue aussi le crawl d'entraînement du crawl de citation, et vérifie l'authenticité des bots via les plages d'IP officielles.

Quelle taille de fichier puis-je analyser ?

Plusieurs gigaoctets au total. Le fichier est lu en streaming, sans être chargé entièrement en mémoire : un mois complet de logs passe sans ralentir. Et comme rien n'est uploadé, il n'y a aucune limite de taille imposée par un serveur.

L'outil est-il vraiment gratuit ?

Oui, entièrement et sans inscription. Il n'y a ni palier payant, ni essai limité, ni compte à créer.