Le fichier robots.txt, c’est quoi ?

Vous avez très certainement à un moment ou un autre entendu parler de loin ou de près du fichier robots.txt.

A quoi sert ce fichier robots.txt ?

Ce fichier permet d’indiquer aux moteurs de recherche les fichiers et parties d’un site à ne pas indexer. Cependant, vous noterez que ce fichier ne permet pas de protéger un fichier par un mot de passe.

Quelle est la taille maximale de ce fichier ?

En ce qui concerne le robots.txt, le fichier est limité à une taille de 500 Ko. Si vous le souhaitez, vous pouvez dépasser cette limite. Cependant, vous devez garder à l’esprit que tout ce qui dépasse cette limite sera tout bonnement ignoré par Google.

Devez-vous créer un fichier robots.txt pour chaque sous-domaine ?

Pour chacun des sous-domaines, vous devrez créer un fichier robots.txt

Votre robots.txt peut-il être vide ?

Même si cela peut vous surprendre, un fichier robots.txt peut être vide.

Quels contenus devez-vous bloquer ?

Les contenus à bloquer sont ceux qui ont peu ou pas d’intérêts pour le référencement de votre site. Parmi les éléments, vous pouvez décider de bloquer des PDF, les modes d’affichages ou des rubriques du site qui ne doivent pas être indexées.

Quel outil pour créer ce type de fichier ?

Un éditeur de texte comme le bloc note ou notepad est un outil très largement suffisant pour éditer un robots.txt. Lors de l’enregistrement de votre fichier, n’omettez pas le S à la fin de robots.

Quelques outils utiles …

Comme pour de nombreux fichiers, il existe des générateurs de robots.txt. Je peux vous citer par exemple :

• http://tools.seobook.com/robots-txt/generator/
• http://outils-seo.info/generateur-de-fichier-robots-txt
• https://smallseotools.com/robots-txt-generator/
• …

Afin de tester votre fichier, Google Search Console vous propose un outil : https://www.google.com/webmasters/tools/robots-testing-tool?hl=fr