Ré­fé­ren­ce­ment naturel avec le fichier robots.txt

En règle générale, il est du devoir des ad­mi­nis­tra­teurs de sites Internet pro­fes­sion­nels de tra­vail­ler au bon ré­fé­ren­ce­ment de leur projet dans les moteurs de recherche. Une des con­di­tions sine qua non est que les robots d’in­dexa­tion puissent lire toutes les URLs pour qu’ils les adoptent par la suite. Par ailleurs, il est important de veiller à ce que les moteurs de recherche ne puissent pas, parfois, explorer certains sites dans leur totalité. En effet, les capacités de ces pro­grammes sont limitées et même Google n’est pas en mesure ni de créer et ni de sau­ve­gar­der des contenus Web à l’infini. Au lieu de cela, chaque nom de domaine est lié à un budget pour un ré­fé­ren­ce­ment naturel. Cette somme indique le nombre d’URLs qui peuvent être indexés et lus tous les jours. Il est conseillé aux ad­mi­nis­tra­teurs de sites Internet d’envergure de procéder ici avec stratégie en signalant, tout d’abord, aux robots de recherche quelles sont les parties de leurs sites Internet qui doivent être indexées, et quelles sont celles à ignorer. Les outils im­por­tants dans le cadre d’un ré­fé­ren­ce­ment naturel sont les in­for­ma­tions sur les robots dans les balises méta, les balises ca­no­niques et bien entendu les fichiers robots.txt dont il est question dans cet article.

Dans cet exemple, le fichier robots.txt est valable uni­que­ment pour le robot d’in­dexa­tion dont le nom est Googlebot, soit l’agent uti­li­sa­teur de Google. Il interdit la lecture du ré­per­toire /temp/ ainsi que celle du fichier news.html. Par ailleurs, tous les fichiers ainsi que les ré­per­toires dont les chemins com­men­cent par print sont bloqués. Il convient ici de faire attention à bien dis­tin­guer la syntaxe de Disallow: /temp/ et de Disallow: /print en omettant un slash à la fin.

Il est possible d’insérer des com­men­taires dans des fichiers robots.txt. Ces derniers peuvent être ajoutés n’importe où grâce à un croi­sil­lon (#).

Si plusieurs moteurs de recherche sont impliqués, le fichier robots.txt a la pos­si­bi­lité de bloquer plusieurs parties d’un site Internet. Par ailleurs, une ligne vide est tout le temps ajoutée devant les agents uti­li­sa­teurs.

Alors que Google interdit le robot d’in­dexa­tion d’explorer dans le ré­per­toire /temp/, Bingbot empêche également l’in­dexa­tion du dossier /print/.

Il convient de mettre un petit as­té­risque (*) pour que tous les robots d’in­dexa­tion soient interdits d’accès à certains ré­per­toires ou fichiers.

Le fichier robots.txt bloque les ré­per­toires /temp/, /print/ et /pictures/ pour tous les moteurs de recherche.

Dans le cas où les agents uti­li­sa­teurs se voient refuser l’accès à tout un site Internet, un simple slash (/) suffit après le mot-clé Disallow.

Dans ce cas, tous les robots d’in­dexa­tion ont pour ins­truc­tion d’ignorer en­tiè­re­ment le site. Un tel fichier robots.txt s’applique par exemple dans le cadre de projets Web qui se trouvent encore dans leur phase de test.

Si un robot a la pos­si­bi­lité d’explorer et d’indexer en­tiè­re­ment un site Internet, les ad­mi­nis­tra­teurs de sites Internet peuvent le signaler en utilisant le mot-clé Disallow sans slash :

Si un fichier robots.txt contient un Disallow sans slash, le site entier est alors ac­ces­sible au robot d’in­dexa­tion défini par l’agent uti­li­sa­teur.

Au-delà de ces fonc­tion­na­li­tés quasi standards, certains moteurs de recherche prennent également en charge des pa­ra­mètres pour préciser des in­for­ma­tions dans le fichier robots.txt. Les fonc­tion­na­li­tés qui suivent sont dis­po­nibles sur l’espace as­sis­tance de Google. Elles pro­vien­nent d’un accord entre Google et Yahoo.

En dehors de Disallow, Google prend en charge un autre mot-clé, soit Allow, dans le fichier robots.txt qui permet de définir des règles d’exception pour les ré­per­toires bloqués.

Le mot-clé Allow permet de partager le fichier "http://www.exemple.fr/news/index.html" avec Googlebot bien que le ré­per­toire parent /news/ ne soit pas bloqué.

Les ad­mi­nis­tra­teurs de sites Web, qui sou­hai­tent interdire à Googlebot la lecture de fichiers com­por­tant des ex­ten­sions spé­ci­fiques, peuvent utiliser des en­re­gis­tre­ments tels que dans l’exemple suivant :

Le mot-clé Disallow fait référence à tous les fichiers com­por­tant l’extension .pdf et les protège de l’accès de Googlebot. L’as­té­risque (*) sert de mé­ta­ca­rac­tère au nom du fichier précédant l’extension. L’entrée avec le signe de dollar ($) à la fin de la ligne signifie l’exclusion.

Hormis le pilotage du com­por­te­ment d’in­dexa­tion, le fichier robots.txt permet également aux robots de se signaler sur le sitemap (plan de site) d’un projet Web. Voilà comment un fichier robots.txt qui comporte un renvoi à un sitemap se constitue :