referencement

Rédiger un fichier robots.txt sans bloquer ses pages utiles

8 min de lecture
Rédiger un fichier robots.txt sans bloquer ses pages utiles

Le fichier robots.txt est un fichier texte public, placé à la racine d’un site, qui indique aux robots d’exploration les adresses qu’ils peuvent parcourir et celles qu’ils doivent laisser de côté. Il règle l’exploration, pas l’indexation ni la sécurité : bien écrit, il ménage le serveur ; mal écrit, il cache aux moteurs le contenu de pages utiles.

Le protocole d’exclusion des robots : une consigne, pas un verrou

Le fichier applique le protocole d’exclusion des robots, une convention longtemps informelle que l’IETF a normalisée dans la RFC 9309, publiée en septembre 2022. Ce texte fixe l’emplacement du fichier, son vocabulaire et l’arbitrage entre deux règles contradictoires. Il prévient aussi, dès son introduction, que ces règles ne constituent pas une forme d’autorisation d’accès.

Un robot d’exploration respectueux télécharge le fichier, repère le groupe qui le concerne et s’abstient de demander les adresses interdites. Google Search Central présente l’outil comme un moyen de gérer le trafic des robots, surtout pour éviter de surcharger un serveur. Sa documentation précise que Googlebot et les robots sérieux suivent ces instructions, mais qu’aucun fichier ne peut y obliger un robot.

Autre conséquence : le fichier robots.txt est lisible par n’importe qui, à l’adresse /robots.txt de chaque domaine. La section de la RFC consacrée à la sécurité le résume en une phrase : lister un chemin dans le fichier le rend public, donc découvrable. Une préproduction ou des documents internes se protègent par une authentification côté serveur, ce que Google conseille aussi.

Où placer le robots.txt : une adresse par hôte

Le fichier, nommé tout en minuscules, se dépose à la racine de l’hôte, du type https://www.exemple.fr/robots.txt, jamais dans un sous-répertoire. Ses règles valent seulement pour le protocole, l’hôte et le port qui le servent, rappelle Google dans sa page sur l’interprétation de la spécification, mise à jour le 27 octobre 2026. Un sous-domaine réclame donc son propre fichier.

Le format attendu est un texte brut encodé en UTF-8, écrit dans un éditeur de texte plutôt que dans un traitement de texte. Sur un site animé par un gestionnaire de contenu, le fichier peut être produit à la volée sans exister sur le disque : seule l’adresse publique fait foi.

La réponse du serveur compte autant que le contenu. La RFC 9309 et Google s’accordent sur l’essentiel :

  • réponse en 2xx : le fichier est lu et appliqué ;
  • erreur en 4xx, typiquement un fichier absent : aucune restriction ne s’applique, sauf pour le code 429, que Google traite comme une erreur serveur ;
  • erreur en 5xx : la RFC demande de supposer une interdiction complète, et Google suspend l’exploration pendant douze heures, puis s’appuie trente jours sur la dernière version récupérée ;
  • redirection : Google en suit jusqu’à cinq, au-delà le fichier est traité comme absent.

Un serveur qui répond mal sur cette seule adresse freine donc tout le site, un argument de plus pour comparer les offres d’hébergement sur leur stabilité.

La syntaxe du robots.txt, ligne par ligne

Toile d’araignée perlée de rosée tendue entre deux tiges d’herbe au lever du jour

Le fichier se compose de groupes de règles : une ou plusieurs lignes User-agent, puis des lignes Disallow et Allow. Tout ce qui suit un dièse est un commentaire. Les noms de champs ignorent la casse, les chemins non : /Blog/ et /blog/ sont deux adresses distinctes.

User-agent: *          # tous les robots
Disallow: /panier/
Disallow: /recherche
Allow: /recherche/aide

User-agent: exemplebot # robot fictif
Disallow: /brouillons/

Sitemap: https://www.exemple.fr/sitemap.xml

User-agent : à qui parle chaque groupe

La ligne User-agent désigne un robot par son nom, sans tenir compte des majuscules, et l’astérisque vise tous ceux qui ne trouvent pas de groupe à leur nom. Un robot nommé suit son groupe et laisse de côté le groupe générique : les règles ne s’additionnent pas. Dans l’exemple, exemplebot peut donc explorer /panier/. Si plusieurs groupes visent le même robot, la RFC demande de les fusionner.

Disallow, Allow et caractères génériques

Disallow interdit tout chemin qui commence par la valeur indiquée ; Allow rouvre une partie de la zone fermée. En cas de conflit, la RFC 9309 retient la règle la plus spécifique, celle qui compte le plus d’octets, et privilégie Allow à égalité. /recherche/aide reste donc accessible, car la règle la plus longue l’emporte. Une ligne Disallow vide n’interdit rien, et une adresse qu’aucune règle ne vise reste autorisée.

L’astérisque remplace une suite quelconque de caractères, le dollar marque la fin de l’adresse. Disallow: /*.pdf$ ferme les fichiers PDF, tandis que Disallow: /*?tri= écarte les variantes triées d’une liste sans fermer la liste elle-même. Le protocole s’arrête là : aucune expression régulière.

La ligne Sitemap et le plan de site

La RFC range la ligne Sitemap parmi les enregistrements annexes que les robots peuvent interpréter. Le protocole publié sur sitemaps.org en précise l’usage : adresse complète, ligne indépendante des groupes, placée n’importe où et répétable s’il existe plusieurs plans. Chaque plan de site y est plafonné à 50 000 adresses et 50 Mo décompressés. Un plan rangé dans un sous-répertoire ne peut lister que les adresses de ce répertoire, d’où l’habitude de le poser à la racine.

Bloquer l’exploration n’empêche pas l’indexation

Paravent en bois clair tendu de papier de riz devant un fauteuil en rotin, dans une pièce lumineuse

Le robots.txt interdit à un robot de lire une page, pas de connaître son adresse. Google l’écrit sans détour : une page bloquée peut tout de même apparaître dans les résultats si d’autres pages renvoient vers elle, et le résultat s’affiche alors sans description.

Pour sortir une page des résultats, l’outil adapté est la balise meta robots à la valeur noindex, <meta name="robots" content="noindex">, ou l’en-tête HTTP X-Robots-Tag pour les PDF et autres fichiers non HTML. La documentation de Google sur le blocage de l’indexation, révisée fin décembre 2025, pose la condition décisive : pour que la règle noindex soit efficace, la page ne doit pas être bloquée par le robots.txt.

Chaque besoin appelle donc son outil :

  • alléger la charge des robots sur des zones sans intérêt de recherche : le robots.txt ;
  • retirer une page des résultats : noindex, page laissée explorable ;
  • réserver un contenu à certains lecteurs : une authentification.

Pour une page déjà connue des moteurs, l’ordre qui fonctionne est noindex, adresse ouverte, puis passage suivant des robots. Fermer d’abord l’adresse fige la situation, puisque la consigne de retrait ne sera jamais lue.

Les erreurs qui privent les moteurs de pages utiles

La plupart des incidents tiennent en une ligne :

  • un Disallow: / hérité de la préproduction et oublié au lancement, qui ferme tout le site ;
  • une valeur sans barre oblique finale : Disallow: /blog ferme aussi /blog-recettes/, puisque la règle porte sur le début du chemin ;
  • une casse différente de celle des adresses réelles ;
  • des feuilles de style ou des scripts nécessaires au rendu, interdits par précaution ;
  • des chemins sensibles écrits en clair, qui signalent un espace réservé ;
  • des champs ignorés : Google n’accepte que user-agent, allow, disallow et sitemap, et pas crawl-delay ;
  • un fichier démesuré : au-delà de 500 Kio, Google ignore la suite, seuil qui correspond au minimum de lecture fixé par la RFC.

Sur les ressources, Google admet qu’un script secondaire soit exclu, mais demande de ne pas bloquer ceux dont l’absence complique la compréhension de la page. Les styles de la version pour téléphone en font partie : les fermer prive le moteur du travail d’adaptation au mobile.

L’erreur la moins visible consiste à fermer par prudence des pages qui méritent d’être trouvées : catégories, archives, filtres qui répondent à de vraies recherches. Avant d’ajouter une règle Disallow, la question porte sur l’intérêt de la zone pour un internaute, pas sur son aspect technique.

Vérifier le fichier avant et après chaque modification

Mains qui tournent un robinet en laiton au pied d’un mur de pierres sèches

Premier contrôle : ouvrir l’adresse du fichier en navigation privée pour voir ce que reçoit un visiteur anonyme, à savoir une réponse sans erreur, du texte brut et la bonne version. Le même geste dit si un site possède un robots.txt.

Ensuite, une page représentative de chaque grande zone se confronte aux règles : quel groupe s’applique, quelle règle est la plus longue ? Google signale un rapport robots.txt dans l’espace qu’il réserve aux propriétaires de sites, et une bibliothèque d’analyse en source ouverte. Les journaux du serveur complètent le tableau : des erreurs répétées sur l’adresse du fichier peuvent expliquer une exploration qui ralentit.

Robots.txt au quotidien : vos questions

Un site sans fichier robots.txt est-il pénalisé ?

Non. Un fichier absent produit une erreur 404, que la RFC 9309 comme Google interprètent comme l’absence de toute restriction : les robots explorent alors le site librement. Cette situation convient à un petit site dont toutes les pages méritent d’être lues. Le fichier devient utile lorsqu’une zone génère des adresses sans intérêt de recherche, comme les résultats d’un moteur interne ou des combinaisons de filtres, ou pour indiquer l’adresse du plan de site.

Un site multilingue a-t-il besoin de plusieurs fichiers ?

Tout dépend de l’organisation des adresses, car les règles d’un robots.txt ne valent que pour le protocole, l’hôte et le port qui le servent. Des versions linguistiques rangées dans des sous-répertoires d’un même domaine partagent un fichier unique, déposé à la racine. Des versions installées sur des sous-domaines ou des domaines distincts exigent chacune leur propre fichier, rédigé et vérifié séparément, avec sa ligne Sitemap.

En combien de temps une modification est-elle prise en compte ?

Le délai dépend de la copie que chaque robot garde en mémoire. Google indique conserver en général le fichier en cache pendant vingt-quatre heures, et la RFC 9309 demande aux robots de ne pas utiliser une copie plus vieille, sauf quand le fichier devient inaccessible. Une correction publiée le matin peut donc rester sans effet jusqu’au lendemain : mieux vaut tester chaque changement avant sa mise en ligne.