L'analyse de logs serveur, au service de votre SEO et des moteurs IA.
Crawl Lab est une boîte à outils SEO gratuite pour l'ère des moteurs génératifs. Notre premier outil décode vos logs serveur Apache/Nginx pour révéler comment Googlebot et les robots IA explorent réellement votre site, sans rien uploader et sans inscription.
Rien n'est uploadé
Le parsing tourne dans votre navigateur. Vos logs, et les adresses IP qu'ils contiennent, restent sur votre machine. RGPD-safe par construction, sans compte ni serveur tiers.
Pensé pour les crawlers IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended… Une base de signatures maintenue pour distinguer le crawl IA du trafic des moteurs classiques comme Googlebot.
Gratuit, même à 1 Go
Aucune limite de taille côté serveur, aucun compute à payer. Un mois entier de logs se lit en streaming, sans ralentir votre navigateur.
L'analyse de logs, concrètement
Vos logs serveur sont la seule source de vérité sur le crawl
Chaque fois qu'un robot d'indexation visite une page, votre serveur l'inscrit dans un fichier de logs (access.log). C'est l'enregistrement le plus fiable qui existe : aucune estimation, aucun échantillonnage, juste ce qui s'est réellement passé. Un analyseur de logs serveur transforme ces millions de lignes brutes en un diagnostic SEO lisible.
Avec l'arrivée des moteurs IA, l'enjeu double. En plus de Googlebot et Bingbot, une nouvelle génération de crawlers (GPTBot pour ChatGPT, ClaudeBot pour Anthropic, PerplexityBot, Google-Extended) parcourt le web pour entraîner les modèles ou citer des sources. Savoir lesquels visitent votre site, à quelle fréquence et sur quelles pages devient un vrai sujet de référencement (et de GEO, la « Generative Engine Optimization »).
Ce que Google explore vraiment
Les rapports classiques estiment le crawl. Vos logs serveur le prouvent, ligne par ligne : quelles URL Googlebot visite, à quelle fréquence, et lesquelles il ignore complètement.
Un budget de crawl mieux dépensé
Si les robots passent leur temps sur des paramètres d'URL, des fichiers inutiles ou des pages en erreur, ils explorent moins vos pages stratégiques. L'analyse de logs révèle ce gaspillage.
Les erreurs vues par les robots
Une page qui répond 404 ou 500 à Googlebot mais 200 à vos visiteurs passe inaperçue partout, sauf dans les logs. On les remonte, datées et classées par bot.
Les outils
Une boîte à outils SEO qui s'étoffe
Des outils gratuits, sans compte et respectueux de vos données, pour piloter votre référencement à l'ère des moteurs IA. On commence par les logs ; d'autres suivent.
Générateur de llms.txt
Générez un fichier llms.txt optimisé pour guider les crawlers IA vers vos contenus les plus importants.
Audit de citations IA
Vérifiez comment votre marque est citée dans les réponses de ChatGPT, Perplexity et Google AI Overviews.
Prêt à voir votre crawl en clair ?
Glissez un fichier de logs et obtenez un diagnostic en quelques secondes. Rien n'est envoyé, rien n'est stocké.