robots.txt, llms.txt : laisser entrer les crawlers IA (ou pas)

Crawlers d'entraînement, robots de réponse : qui visite votre site ?

Les robots IA qui parcourent votre site n'ont pas tous le même rôle, et toute la décision tient à cette différence : certains collectent du contenu pour entraîner les futurs modèles, d'autres lisent vos pages en direct pour construire une réponse. Les confondre mène aux mauvais choix.

Les crawlers d'entraînement

GPTBot (OpenAI), ClaudeBot (Anthropic) ou CCBot (Common Crawl) constituent les corpus qui serviront à entraîner les prochains modèles. Google-Extended est un cas à part : ce n'est pas un robot distinct mais un jeton que Googlebot lit dans votre robots.txt pour savoir s'il peut utiliser vos contenus pour l'entraînement de Gemini. Bloquer cette famille est un choix légitime — vous refusez que votre contenu nourrisse les modèles — mais ses effets sont diffus et lointains : votre visibilité actuelle dans les réponses n'en dépend pas directement.

Les robots des moteurs de réponse

OAI-SearchBot construit l'index de recherche de ChatGPT ; ChatGPT-User va chercher une page précise quand une conversation l'exige. Claude-SearchBot et Claude-User jouent le même rôle chez Anthropic, PerplexityBot et Perplexity-User chez Perplexity. Ces robots alimentent la réponse en direct — celle qui cite des sources. Les bloquer ne « protège » rien : cela vous retire des réponses, tout simplement. Notre guide Comment ChatGPT choisit ses sources détaille ce qui se passe une fois la page lue.

Le cas Google

Les AI Overviews ne dépendent d'aucun robot « IA » spécifique : elles puisent dans l'index de recherche classique, construit par Googlebot. Bloquer Google-Extended ne vous en retire donc pas ; bloquer Googlebot, si — et votre référencement tout entier avec. Pour y être cité, le levier n'est pas robots.txt mais le contenu, comme l'explique Apparaître dans les AI Overviews.

Quel robots.txt pour rester visible dans les IA ?

Le principe tient en trois règles : autoriser explicitement les moteurs de réponse, trancher en connaissance de cause pour l'entraînement, et protéger les espaces privés vis-à-vis de tous. Exemple commenté :

# Espaces privés : interdits à tous les robots
User-agent: *
Disallow: /compte/
Disallow: /admin/

# Moteurs de réponse : accès explicite.
# Un robot nommé ignore le groupe * : on répète les Disallow.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /compte/
Disallow: /admin/

# Entraînement : un choix éditorial (ici, autorisé).
# Pour refuser : remplacer Allow: / par Disallow: /
User-agent: GPTBot
User-agent: ClaudeBot
Allow: /
Disallow: /compte/
Disallow: /admin/

Sitemap: https://www.exemple.fr/sitemap.xml

Une subtilité mérite d'être répétée : dès qu'un robot est nommé dans son propre groupe, il ignore complètement le groupe User-agent: *. Accorder un Allow: / à OAI-SearchBot sans redire vos Disallow, c'est lui ouvrir vos espaces privés. D'où la répétition dans l'exemple.

Rappel utile : en l'absence de règle, tout est autorisé. Si votre robots.txt actuel se contente de protéger /admin/, les robots IA passent déjà. L'exemple ci-dessus sert surtout à rendre vos choix explicites — et relisibles dans six mois.

llms.txt : que vaut vraiment ce fichier ?

llms.txt est une proposition apparue en 2024 : un fichier Markdown, placé à la racine du site, qui offre aux LLM un plan condensé — quelques lignes de présentation, puis la liste des pages clés avec une courte description chacune. L'idée est séduisante : plutôt que de laisser un robot deviner ce qui compte au milieu de vos gabarits HTML, vous le lui dites.

Sur le papier, tout le monde y gagne : le modèle dispose d'un condensé propre à lire, vous choisissez la présentation. Une variante, llms-full.txt, va jusqu'à reprendre le contenu intégral des pages importantes.

En pratique : créez-le si l'effort est marginal, tenez-le à jour si votre site évolue peu, mais n'y consacrez jamais le temps que mérite votre contenu. Un llms.txt impeccable ne rendra pas citable une page qui ne l'est pas — ce chantier-là, autrement décisif, est traité dans Écrire du contenu que les IA citent.

Comment savoir quels robots IA lisent réellement votre site ?

La réponse est dans vos logs serveur : chaque visite y laisse une ligne avec le user-agent déclaré. Une recherche simple suffit pour un premier état des lieux :

# Qui est passé ? (logs d'accès Apache ou Nginx)
grep -i -E "gptbot|oai-searchbot|chatgpt-user|claudebot|perplexity" access.log

Vous y verrez quelles familles passent, quelles pages elles lisent et à quelle fréquence. Un passage de ChatGPT-User est particulièrement parlant : il signifie qu'un utilisateur, quelque part, a posé une question qui a conduit ChatGPT jusqu'à votre page. Les principaux éditeurs publient les plages d'adresses IP de leurs robots, ce qui permet de démasquer les imposteurs qui empruntent ces user-agents ; les grands CDN signalent aussi les robots vérifiés dans leurs tableaux de bord.

Les logs disent qui vous lit ; ils ne disent pas ce que les IA font de cette lecture. Être lu sans jamais être cité est un signal en soi — l'un des angles qu'un audit de visibilité IA mesure. Brand Monitor suit chaque semaine, sur ChatGPT, les Google AI Overviews et AI Mode, les sources citées comme les pages lues mais non citées : la contrepartie de vos logs, vue depuis la réponse.

Quelles erreurs coûtent des citations ?

Les erreurs les plus fréquentes relèvent moins de la technique que du réflexe — bloquer d'abord, comprendre ensuite. Quatre cas reviennent sans cesse :

• Bloquer tous les bots d'un geste. Règles anti-scraping héritées, option « bloquer les robots IA » cochée d'un clic dans un CDN, Disallow: / oublié depuis la préproduction : autant de façons de disparaître des réponses sans le savoir. Ces blocages globaux mélangent les deux familles — l'entraînement, que vous vouliez peut-être refuser, et la recherche, qui vous rendait visible.
• Interdire ce que le sitemap annonce. Un robots.txt qui bloque un répertoire déclaré dans votre sitemap envoie un signal contradictoire : les pages promises sont illisibles. Vérifiez la cohérence des deux fichiers à chaque refonte.
• Nommer un robot sans répéter les interdits. On l'a vu : un groupe dédié fait ignorer le groupe générique. Chaque groupe nommé doit porter ses propres Disallow.
• Confondre robots.txt et sécurité. Ce fichier est public et déclaratif : il indique vos répertoires « privés » à qui veut les lire, et n'arrête que les robots de bonne volonté. Les contenus réellement sensibles se protègent par authentification, pas par Disallow.

Ouvrir sa porte aux bons robots est la condition d'entrée, pas la stratégie entière : une fois les crawlers accueillis, tout se joue sur ce qu'ils trouvent derrière.

Questions fréquentes

Bloquer GPTBot fait-il disparaître ma marque de ChatGPT ?

Non, pas directement. GPTBot alimente l'entraînement des futurs modèles ; les réponses en direct passent par OAI-SearchBot et ChatGPT-User, et l'IA peut parler de votre marque via des sources tierces (presse, comparatifs, avis) sans jamais lire votre site. Bloquer GPTBot est un choix sur l'usage de votre contenu, pas un interrupteur de visibilité.

À quoi ressemble concrètement un fichier llms.txt ?

C'est un fichier Markdown placé à la racine du site, qui présente l'activité en quelques lignes puis liste les pages clés, chacune accompagnée d'une courte description. Une variante, llms-full.txt, reprend le contenu intégral des pages importantes. L'effort de création reste volontairement minime — à l'image de ce que ce pari peut rapporter aujourd'hui.

Les robots IA respectent-ils toujours robots.txt ?

C'est une convention, pas une barrière technique : les principaux éditeurs documentent leurs user-agents et s'engagent publiquement à la respecter, mais rien ne l'impose, et le respect effectif se vérifie dans vos logs. Pour un blocage réel, agissez au niveau du serveur ou du CDN, pas dans ce seul fichier.

Bloquer Google-Extended me retire-t-il des AI Overviews ?

Non. Google-Extended contrôle uniquement l'usage de vos contenus pour l'entraînement des modèles Gemini. Les AI Overviews puisent dans l'index de recherche classique construit par Googlebot : tant que votre site est indexé, il peut y être cité — et bloquer Googlebot vous coûterait tout votre référencement.