L'analyse de logs serveur, au service de votre SEO et des moteurs IA.
Crawl Lab est une boîte à outils SEO gratuite qui analyse les logs serveur directement dans le navigateur, sans upload ni inscription. Son analyseur de logs lit les fichiers access.log Apache et Nginx et montre quelles pages Googlebot et les crawlers IA — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot — explorent réellement : fréquence de crawl, erreurs rencontrées et budget de crawl gaspillé. Comme le traitement se fait localement, les adresses IP contenues dans les logs ne quittent jamais la machine de l'utilisateur.
Rien n'est uploadé
Le parsing tourne dans votre navigateur. Vos logs, et les adresses IP qu'ils contiennent, restent sur votre machine. RGPD-safe par construction, sans compte ni serveur tiers.
Pensé pour les crawlers IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended… Une base de signatures maintenue pour distinguer le crawl IA du trafic des moteurs classiques comme Googlebot.
Gratuit, même à 1 Go
Aucune limite de taille côté serveur, aucun compute à payer. Un mois entier de logs se lit en streaming, sans ralentir votre navigateur.
L'analyse de logs, concrètement
Vos logs serveur sont la seule source de vérité sur le crawl
Chaque fois qu'un robot d'indexation visite une page, votre serveur l'inscrit dans un fichier de logs (access.log). C'est l'enregistrement le plus fiable qui existe : aucune estimation, aucun échantillonnage, juste ce qui s'est réellement passé. Un analyseur de logs serveur transforme ces millions de lignes brutes en un diagnostic SEO lisible.
Avec l'arrivée des moteurs IA, l'enjeu double. En plus de Googlebot et Bingbot, une nouvelle génération de crawlers (GPTBot pour ChatGPT, ClaudeBot pour Anthropic, PerplexityBot, Google-Extended) parcourt le web pour entraîner les modèles ou citer des sources. Savoir lesquels visitent votre site, à quelle fréquence et sur quelles pages devient un vrai sujet de référencement (et de GEO, la « Generative Engine Optimization »).
Ce que Google explore vraiment
Les rapports classiques estiment le crawl. Vos logs serveur le prouvent, ligne par ligne : quelles URL Googlebot visite, à quelle fréquence, et lesquelles il ignore complètement.
Un budget de crawl mieux dépensé
Si les robots passent leur temps sur des paramètres d'URL, des fichiers inutiles ou des pages en erreur, ils explorent moins vos pages stratégiques. L'analyse de logs révèle ce gaspillage.
Les erreurs vues par les robots
Une page qui répond 404 ou 500 à Googlebot mais 200 à vos visiteurs passe inaperçue partout, sauf dans les logs. On les remonte, datées et classées par bot.
À la une
Nos articles à ne pas manquer
Les outils
Une boîte à outils SEO qui s'étoffe
Des outils gratuits, sans compte et respectueux de vos données, pour piloter votre référencement à l'ère des moteurs IA. On commence par les logs ; d'autres suivent.
Générateur de llms.txt
Générez un fichier llms.txt optimisé pour guider les crawlers IA vers vos contenus les plus importants.
Audit de citations IA
Vérifiez comment votre marque est citée dans les réponses de ChatGPT, Perplexity et Google AI Overviews.
Prêt à voir votre crawl en clair ?
Glissez un fichier de logs et obtenez un diagnostic en quelques secondes. Rien n'est envoyé, rien n'est stocké.