Analyser ses logs serveur : la preuve de ce que les IA font de votre site

Pourquoi vos logs en disent plus que votre robots.txt

Parce que le robots.txt dit qui vous autorisez, alors que les logs disent qui vient — et les deux listes ne coïncident presque jamais. Votre robots.txt est une déclaration d'intention : il exprime vos choix, sans garantir qu'ils sont suivis. Vos logs d'accès, eux, sont un registre : chaque visite y laisse une ligne, avec la date, la page demandée, le code de réponse et le user-agent déclaré.

Tout le reste de la mesure GEO s'observe depuis l'extérieur : on interroge les IA et on analyse leurs réponses. Les logs sont le seul point d'observation situé chez vous. Ils tranchent des questions qu'aucun autre outil ne peut trancher : les robots IA que j'autorise viennent-ils vraiment ? Lisent-ils les pages qui comptent, ou s'attardent-ils sur des pages secondaires ? Un blocage involontaire — règle CDN, vieux Disallow oublié — les tient-il à l'écart ?

Bonne nouvelle : obtenir ces réponses ne demande ni outil payant ni compétence rare. Un fichier de logs et trois commandes suffisent.

Quels robots IA chercher dans vos logs ?

Une dizaine de user-agents couvrent l'essentiel des visites IA, et ils se rangent en trois familles selon ce que leur passage signifie : collecte pour l'entraînement des modèles, construction d'un index de recherche, ou visite déclenchée en direct par un utilisateur.

Cas particulier : Google-Extended. Vous ne le trouverez pas dans vos logs — ce n'est pas un robot mais un jeton que Googlebot lit dans votre robots.txt pour l'entraînement de Gemini. Côté Google, le crawl reste signé Googlebot, IA ou pas.

La famille change tout à l'interprétation. Un passage de GPTBot ou de ClaudeBot nourrit les futurs modèles : effet diffus, lointain. Un passage d'OAI-SearchBot ou de PerplexityBot alimente l'index dans lequel le moteur de réponse puisera. Un passage de ChatGPT-User ou de Perplexity-User est le signal le plus précieux : quelque part, un utilisateur vient de poser une question qui a mené l'IA jusqu'à cette page — le mécanisme décrit dans Comment ChatGPT choisit ses sources.

Trois commandes pour extraire l'essentiel

Trois commandes appliquées à votre fichier de logs d'accès — access.log sur Apache comme sur Nginx — suffisent pour un état des lieux complet. Sur un hébergement mutualisé type cPanel, vous n'avez pas la main sur le fichier : exportez les logs bruts depuis l'interface (rubrique « Accès brut », Raw Access en anglais), puis lancez les commandes sur votre machine.

# 1. Quels robots IA sont passés ?
grep -i -E "gptbot|oai-searchbot|chatgpt-user|claudebot|claude-user|perplexity|bingbot|amazonbot|meta-externalagent" access.log

# 2. Quelles pages les robots d'OpenAI lisent-ils le plus ?
# ($7 = colonne de l'URL dans le format de log courant)
grep -i -E "gptbot|oai-searchbot|chatgpt-user" access.log \
  | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

# 3. Combien de passages par robot ?
for bot in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-User \
  PerplexityBot Perplexity-User Bingbot Amazonbot Meta-ExternalAgent; do
  echo "$bot : $(grep -ci "$bot" access.log)"
done

Adaptez la liste des user-agents à ce que la première commande révèle, et le numéro de colonne si votre format de log diffère. L'objectif n'est pas la précision au passage près : c'est de savoir qui vient, sur quoi, et dans quelles proportions.

Comment lire ce que vous trouvez ?

Les pages les plus lues — rarement celles qu'on croit

Premier réflexe : regarder quelles pages arrivent en tête. Le résultat surprend presque toujours — rarement la page d'accueil ou les pages produit, souvent un vieux billet de blog, une FAQ, une page d'aide oubliée. Ces pages sont, de fait, vos ambassadrices auprès des IA : vérifiez qu'elles sont à jour, exactes, et qu'elles présentent la marque comme vous le souhaitez.

Les pages jamais visitées

Une page importante qu'aucun robot IA ne visite a deux explications possibles. Un problème d'accès : blocage dans le robots.txt ou au niveau du CDN, contenu chargé en JavaScript qu'un crawler ne rend pas. Ou un problème d'intérêt : page orpheline, mal maillée, absente du sitemap — rien n'y mène. Dans les deux cas, la page n'existe pas pour les IA.

Le robot passe, mais ignore vos pages clés

Troisième cas, le plus instructif : le user-agent est bien présent, mais il tourne autour de vos pages stratégiques sans jamais les lire. Le problème n'est plus l'accès, c'est la structure : maillage interne trop faible vers ces pages, sitemap incomplet, contenus décisifs enfouis à trois clics de tout. Le chantier est éditorial et structurel, pas technique.

Un user-agent, ça s'imite : le faux positif à connaître

Avant de tirer des conclusions, une précaution s'impose : le user-agent est une simple chaîne de caractères déclarée par le visiteur, et rien n'empêche de la falsifier.

Être crawlé n'est pas être cité : croiser avec la mesure de visibilité

Les logs montrent l'amont — ce que les IA lisent de votre site ; ils ne disent rien de l'aval — ce qu'elles en font. Une page peut être crawlée chaque semaine sans jamais apparaître en source, et votre marque peut être mentionnée dans des réponses sans que votre site soit lu : les deux mesures sont disjointes, comme le détaille Mention vs citation.

Le croisement des deux est particulièrement parlant. Un robot lit vos pages, mais aucune réponse ne les cite ? C'est le « lu mais non cité » : l'IA vous consulte, puis vous écarte au moment de rédiger — signe que le contenu n'est pas assez citable, pas que l'accès est en cause. Brand Monitor mesure précisément cette contrepartie de vos logs : chaque semaine, sur ChatGPT, les Google AI Overviews et AI Mode, il relève les sources citées et les pages lues mais non citées, côté réponse.

Intégrez enfin ces observations à votre tableau de bord : la présence des bons robots dans les logs est un indicateur d'infrastructure, à lire à côté des indicateurs de résultat — mentions, citations, sentiment — décrits dans Les KPI du GEO. Les logs vous disent que la porte est ouverte et empruntée ; la mesure de visibilité vous dit si cela produit des réponses où vous existez.

Questions fréquentes

À quelle fréquence faut-il regarder ses logs ?

Un examen mensuel suffit pour la plupart des sites, complété d'un contrôle après chaque changement important : refonte, nouveau robots.txt, nouvelle section. Attention à la rotation : sur beaucoup d'hébergements, les logs bruts ne sont conservés que quelques semaines. Exportez-les régulièrement si vous voulez comparer dans le temps.

Aucun robot IA ne visite mon site : suis-je invisible dans les IA ?

Pas nécessairement. Les IA peuvent parler de votre marque à partir de sources tierces — presse, comparatifs, avis — sans jamais lire votre site. Mais vérifiez d'abord que votre robots.txt ou votre CDN ne bloque pas ces robots à votre insu : c'est la cause la plus fréquente d'un silence total dans les logs.

Faut-il un outil spécialisé pour analyser ses logs ?

Non. Quelques commandes suffisent pour un état des lieux, et n'importe quel analyseur de logs capable de filtrer par user-agent fait l'affaire pour aller plus loin. L'important n'est pas l'outil mais la question posée : quels robots passent, sur quelles pages, et est-ce cohérent avec ce que vous voulez montrer aux IA.

Un robot IA passe très souvent : faut-il s'en inquiéter ?

Rarement. Des passages fréquents signalent plutôt que votre site est jugé digne d'être tenu à jour. Si la charge devient réellement gênante, limitez-la côté serveur ou CDN plutôt que de tout bloquer : exclure un robot de moteur de réponse vous retire des réponses qu'il rédige.