Fichiers et robots

Le fichier llms.txt est-il utile pour le SEO et la visibilité dans les IA ?

Le fichier llms.txt s'invite dans toutes les listes de « bonnes pratiques GEO ». Standard reconnu, proposition sérieuse ou mode passagère ? Ce qu'il est vraiment, ce que les moteurs en disent, comment vérifier s'il est lu, et la place raisonnable à lui donner dans vos priorités.

Carte blanche sur un présentoir à l'entrée d'une galerie lumineuse, métaphore du fichier llms.txt : est-ce utile ?
Une carte d'accueil à l'entrée d'une galerie : c'est l'idée du fichier llms.txt, un résumé posé à la porte du site.

llms.txt, est-ce utile ? La question appelle une réponse nuancée, précisément ce qui manque à la plupart des discussions. Les uns y voient le robots.txt de l'ère des IA, les autres un gadget. La réalité, à la date de cette analyse, est plus simple : c'est une proposition intéressante et peu coûteuse, dont aucun grand moteur de réponse n'a publiquement documenté l'usage pour choisir ses sources. Elle se teste ; elle ne se vend pas.

D'où vient le fichier llms.txt

Le fichier llms.txt a été proposé en septembre 2024 par Jeremy Howard, cofondateur d'Answer.AI, sous la forme d'une spécification ouverte publiée sur llmstxt.org. Le constat de départ est pratique : les modèles de langage disposent d'une fenêtre de contexte limitée, et une page web, avec sa navigation, ses scripts et ses blocs annexes, est un format peu commode pour eux. L'idée : offrir à la racine du site un point d'entrée concis, lisible par un humain comme par une machine, qui résume le site et pointe vers ses contenus les plus utiles.

L'usage visé est surtout celui de l'inférence : un assistant ou un agent qui doit comprendre un site au moment où un utilisateur l'interroge, par exemple sur la documentation d'un logiciel. La proposition ne parle ni de classement ni de citation dans un moteur de réponse, alors que beaucoup de promesses lui prêtent ce rôle.

Le format s'est d'abord diffusé dans les documentations techniques, où plusieurs plateformes le génèrent automatiquement. Une variante née de l'usage, souvent nommée llms-full.txt, rassemble le contenu complet des pages en un seul document.

Format et contenu : à quoi ressemble un llms.txt

C'est un simple fichier texte en Markdown, placé à l'adresse /llms.txt. La proposition fixe un ordre :

  1. un titre de niveau 1 avec le nom du site, seul élément obligatoire ;
  2. une citation en bloc (ligne commençant par >) qui résume le site en une ou deux phrases ;
  3. facultativement, quelques paragraphes de contexte, sans intertitres ;
  4. des sections de niveau 2 contenant des listes de liens, chacun suivi d'une courte description ;
  5. éventuellement une section Optional, pour les liens secondaires qu'un outil pressé peut ignorer.

Elle suggère aussi de publier une version Markdown des pages utiles, à la même adresse suivie de .md. Voici un exemple pour un cas type, un éditeur de guides sur la rénovation énergétique :

llms.txt · cas type
# Example Guides

> Éditeur indépendant de guides pratiques sur la rénovation
> énergétique des maisons, mis à jour chaque trimestre.

Les guides sont rédigés par des artisans et relus par un
thermicien. Chaque page indique sa date de mise à jour.

## Guides essentiels

- [Isoler des combles perdus](https://www.example.com/guides/combles): méthode, matériaux, erreurs fréquentes
- [Dimensionner une pompe à chaleur](https://www.example.com/guides/pac): critères et étude thermique

## À propos

- [Notre méthode de rédaction](https://www.example.com/methode): sources, relecture, mises à jour

## Optional

- [Archives](https://www.example.com/archives): anciens dossiers, non mis à jour
Un cas type fictif : les adresses en example.com sont des exemples. Le fichier ne liste que des pages indexables et à jour.

Trois remarques de praticien. Le fichier ne remplace aucune page : il pointe vers des contenus qui doivent exister, être accessibles et à jour. Sa valeur tient entièrement à la sélection : un llms.txt qui liste deux mille URL n'est qu'un sitemap mal formaté. Enfin, chaque description doit rester factuelle : c'est un résumé, pas une page de vente.

llms.txt, robots.txt, sitemap : trois fichiers, trois rôles

La confusion la plus fréquente consiste à mettre ces trois fichiers sur le même plan.

Trois fichiers à la racine d'un site, trois rôles distincts
Critèrerobots.txtsitemap.xmlllms.txt
RôleAutoriser ou refuser l'exploration, robot par robotLister les URL à découvrir et leur date de modificationRésumer le site et pointer vers ses contenus clés
StatutStandard de l'IETF (RFC 9309, 2022)Protocole reconnu par les grands moteursProposition ouverte, non standardisée
FormatDirectives en texte brutXMLMarkdown
Effet documentéRespecté par les robots déclarés des grands éditeursAide la découverte des pagesAucun, côté grands moteurs, à ce jour
Sans le fichierTout est explorable par défautDécouverte par les liensAucune conséquence connue

Retenez la hiérarchie : robots.txt décide de l'accès, le sitemap aide la découverte, llms.txt propose un résumé. Un llms.txt ne peut ni ouvrir une page bloquée, ni rendre indexable une page qui ne l'est pas. Et un robot que vous refusez dans le robots.txt, s'il respecte le protocole, ne lira pas davantage votre llms.txt.

Ce que les moteurs et assistants en disent publiquement

C'est le cœur de la question : à la date de cette analyse, aucun grand moteur de réponse n'a publié de documentation indiquant qu'il lit le fichier llms.txt pour explorer un site, choisir ses sources ou décider de ses citations.

  • Google : sa documentation sur les fonctionnalités IA de la recherche indique qu'aucune optimisation particulière n'est nécessaire et ne mentionne pas ce fichier ; ses porte-parole ont déclaré publiquement que la recherche ne s'en sert pas.
  • OpenAI, Anthropic, Perplexity, Microsoft : ils documentent leurs robots, leurs user-agents et leur pilotage par le robots.txt, sans présenter llms.txt comme un critère de sélection des sources.
  • Les éditeurs d'outils : plusieurs publient un llms.txt pour leur propre documentation. C'est un signe d'intérêt pour le format, pas la preuve que leurs robots d'exploration s'en servent.
  • Les agents de développement : certains le consultent quand un utilisateur leur fournit l'adresse d'une documentation. C'est l'usage le plus concret observé aujourd'hui.
établi

Le fichier n'est pas un standard. Aucun grand moteur ne documente son usage pour sélectionner ses sources. Seul le robots.txt pilote l'accès des robots.

à tester

Que certains robots IA le demandent déjà sur votre site, que des agents s'en servent pour parcourir vos contenus, que son statut évolue si un éditeur l'adopte officiellement.

Cette absence de documentation ne prouve pas que personne ne le lit : elle signifie que personne ne s'est engagé. C'est le moment de cesser de débattre et d'aller regarder vos propres données.

Vérifier dans ses logs si un robot le consulte vraiment

Les journaux de votre serveur, ou de votre CDN, enregistrent chaque requête avec l'adresse IP, l'URL demandée, le code de réponse et le user-agent. Ce sont eux, et non les articles de blog, qui disent si un robot s'intéresse à votre llms.txt.

  1. Avant même de créer le fichier, cherchez les requêtes vers /llms.txt : des robots qui le demandent déjà et reçoivent une erreur 404 sont une première information.
  2. Après publication, filtrez les requêtes vers /llms.txt et vers les éventuelles versions .md, puis regroupez-les par user-agent et par semaine.
  3. Vérifiez l'identité des robots, car un user-agent se falsifie facilement : croisez l'adresse IP avec les plages publiées par l'éditeur, ou faites une résolution DNS inverse suivie d'une résolution directe.
  4. Regardez ce que font ensuite ces robots : un robot qui lit le fichier sans suivre aucun lien n'en tire visiblement rien.
  5. Mesurez sur plusieurs semaines : un passage isolé ne fait pas une tendance.
Logs · qui lit llms.txt ?
# Requêtes vers llms.txt, regroupées par user-agent
grep -E '"GET /llms(-full)?\.txt' access.log \
  | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn

# Codes de réponse servis pour ce fichier
grep -E '"GET /llms\.txt' access.log \
  | awk '{print $9}' | sort | uniq -c
Pour un journal au format combiné (Apache, Nginx). Adaptez le chemin et le format à votre hébergement ou à votre CDN.

Cas type : un site de documentation logicielle publie son fichier et, un mois plus tard, n'observe que quelques agents de développement et outils de veille, sans visite des robots de recherche IA. Il sait à quoi s'en tenir : le fichier ne coûte presque rien, il peut rester, mais il ne justifie aucun chantier supplémentaire.

Le créer proprement, sans oublier les vraies priorités

Les vraies priorités avant de s'en occuper

Un llms.txt soigné sur un site mal exploré ne sert à rien. Vérifiez d'abord les points dont l'effet est documenté :

  • Les robots de recherche IA que vous voulez accueillir sont autorisés dans le robots.txt, et le cas des robots d'entraînement est tranché.
  • Les pages clés sont indexées par Google et par Bing, dont l'index alimente aussi des assistants.
  • Le contenu principal existe dans le HTML sans exécution de JavaScript : d'après les observations publiées, plusieurs robots IA n'exécutent pas les scripts.
  • Le sitemap est à jour, avec des dates de modification fiables.
  • Chaque page stratégique répond nettement à sa question, avec des passages compréhensibles hors contexte, comme détaillé dans notre analyse des AI Overviews.

La marche à suivre

  1. Sélectionnez quelques dizaines de pages au plus : celles qui définissent votre activité, vos guides de référence, vos pages de méthode et de contact.
  2. Rédigez un résumé factuel d'une ou deux phrases, puis une courte description par lien, sans superlatifs.
  3. N'utilisez que des URL canoniques, indexables et répondant en 200.
  4. Servez le fichier en texte brut UTF-8 à la racine du domaine principal, et vérifiez que le robots.txt ne le bloque pas.
  5. Générez-le si possible depuis votre CMS, à partir d'une liste maintenue, pour qu'il ne se périme pas.
  6. Datez sa mise en ligne et suivez les requêtes dans vos logs pendant au moins un mois.

FAQ : le fichier llms.txt en pratique

01

Le fichier llms.txt améliore-t-il le référencement sur Google ?

Non. La recherche Google ne s'appuie pas sur ce fichier, et sa documentation sur les fonctionnalités IA indique qu'aucune optimisation particulière n'est nécessaire pour y apparaître. Le référencement dépend toujours de l'exploration, de l'indexation, de la qualité des contenus et de l'autorité du site. Un llms.txt peut exister à côté, sans effet attendu sur le classement.

02

Peut-on bloquer l'entraînement des IA avec llms.txt ?

Non. Le fichier ne contient aucune directive d'accès. C'est le robots.txt qui fait foi, robot par robot, en distinguant les robots d'entraînement comme GPTBot ou ClaudeBot des robots de recherche comme OAI-SearchBot ou PerplexityBot. Vérifiez ensuite dans vos logs que vos règles sont bien respectées.

03

Faut-il créer un llms.txt pour un petit site vitrine ?

Ce n'est pas une priorité. Sur un site de quelques pages, bien structuré et explorable, le fichier n'apporte presque rien qu'une page d'accueil claire et un sitemap ne fournissent déjà. Si vous le créez, gardez-le court et exact, puis regardez dans vos logs s'il est lu avant d'y consacrer davantage de temps.

Verdict de praticien : tester, mesurer, ne rien en attendre de plus

Le fichier llms.txt est une proposition raisonnable, élégante même, pour aider des modèles à comprendre un site. Ce n'est pas un levier de visibilité documenté. La position utile tient en trois verbes : le tester si vous pouvez le générer à faible coût, mesurer dans vos logs qui le lit vraiment, et ne rien en attendre de plus que ce que vos données montrent.

Le jour où un grand moteur documentera son usage, la question changera de colonne, de l'hypothèse vers le fait établi. D'ici là, vos priorités restent celles d'un site explorable, indexé et digne d'être cité.

« Le SEO n'est pas une recette magique. C'est de la rigueur, de la patience et beaucoup de tests. »

Julien Jimenez