Le blogue

Robots.txt & contrôle des crawlers

Contrôle des crawlers : robots.txt, blocage au niveau réseau, et arbitrages entre entraînement des modèles et citation dans les réponses IA.

Cloudflare bloque les crawlers IA par défaut le 15 septembre 2026 : ce qui change

Le 15 septembre 2026, Cloudflare bloque Training et Agent par défaut sur les pages publicitaires. Googlebot, Applebot et Bingbot peuvent être emportés par le même réglage. Comment le vérifier dans vos logs serveur.

29 juil. 2026