Crawl Lab

Le blogue

SEO à l'ère des moteurs IA

GEO, crawlers IA et visibilité dans les réponses génératives.

Log serveurs

Détecter les crawlers IA dans vos logs serveur : la méthode complète

GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot : invisibles dans Google Analytics, visibles dans vos logs. Comment les identifier et vérifier leur authenticité par plage d'IP.

29 juil. 2026
Robots.txt & contrôle des crawlers

Cloudflare bloque les crawlers IA par défaut le 15 septembre 2026 : ce qui change

Le 15 septembre 2026, Cloudflare bloque Training et Agent par défaut sur les pages publicitaires. Googlebot, Applebot et Bingbot peuvent être emportés par le même réglage. Comment le vérifier dans vos logs serveur.

29 juil. 2026
Budget de crawl

Budget de crawl d'un site neuf : 1 722 requêtes de robots passées au crible

Nous avons capturé chaque passage de robot sur notre site pendant ses deux premières semaines. 1 722 hits plus tard : ce que nos logs confirment, nuancent et réfutent dans la documentation Google de juillet 2026.

27 juil. 2026
Budget de crawl

Budget de crawl : ce que la nouvelle documentation Google change vraiment

Google a réécrit sa documentation sur le budget de crawl le 22 juillet 2026. Capacité partagée entre tous ses robots, plafond initial identique pour tous, cache HTTP : ce qui change et ce qu'il faut vérifier dans vos logs.

26 juil. 2026
Log serveurs

Erreurs 404 et 5xx vues par les crawlers : les repérer dans les logs SEO

Une page qui répond 200 aux humains mais 404 ou 500 à Googlebot passe inaperçue partout, sauf dans les logs. Voici comment repérer ces erreurs et les corriger.

21 juil. 2026
Log serveurs

Analyse de log SEO : quels KPI suivre et comment les interpréter

Volume de crawl, pages ignorées, budget gaspillé, codes de réponse, fréquence par type de page : les KPI essentiels de l'analyse de logs et leur interprétation.

20 juil. 2026
Log serveurs

Comment récupérer ses logs serveurs pour le SEO (Apache, Nginx, cPanel, CDN)

Hébergement mutualisé, VPS, cloud ou CDN : découvrez toutes les méthodes pour récupérer vos logs serveurs bruts et démarrer votre analyse SEO sans upload.

20 juil. 2026
Log serveurs

Analyse de log serveur pour le SEO : le guide complet (2026)

Vos logs serveur sont la seule preuve du crawl réel de Googlebot et des robots IA. Voici comment les analyser, étape par étape, pour piloter votre SEO.

16 juil. 2026