En règle générale, il est du devoir des administrateurs de sites Internet professionnels de travailler au bon référencement de leur projet dans les moteurs de recherche. Une des conditions sine qua non est que les robots d’indexation puissent lire toutes les URLs pour qu’ils les adoptent par la suite. Par ailleurs, il est important de veiller à ce que les moteurs de recherche ne puissent pas, parfois, explorer certains sites dans leur totalité. En effet, les capacités de ces programmes sont limitées et même Google n’est pas en mesure ni de créer et ni de sauvegarder des contenus Web à l’infini. Au lieu de cela, chaque nom de domaine est lié à un budget pour un référencement naturel. Cette somme indique le nombre d’URLs qui peuvent être indexés et lus tous les jours. Il est conseillé aux administrateurs de sites Internet d’envergure de procéder ici avec stratégie en signalant, tout d’abord, aux robots de recherche quelles sont les parties de leurs sites Internet qui doivent être indexées, et quelles sont celles à ignorer. Les outils importants dans le cadre d’un référencement naturel sont les informations sur les robots dans les balises méta, les balises canoniques et bien entendu les fichiers robots.txt dont il est question dans cet article.
Le fichier robots.txt est un fichier de texte pur qui est placé à la racine d’un nom de domaine. Il permet aux administrateurs de contrôler l’accès des moteurs de recherche à des sites Internet. Les informations contenues dans un fichier robots.txt font référence à l’ensemble de l’arborescence d’un répertoire. C’est ainsi que cet outil d’indexation se distinguent des fichiers des robots méta et de leurs redirections qui ne valent que pour un document HTML unique. L’important est que le fichier robots.txt soit compris des moteurs de recherche comme étant une instruction à suivre. La plupart des moteurs de recherche indiquent qu’ils suivent ces lignes directrices. Par ailleurs, il est possible de ne pas pouvoir accéder à une partie particulière d’un site seulement si celle-ci est protégée par un mot de passe.
Pour que des robots puissent accéder à des instructions d’indexation individuelles, il faut qu’un fichier texte pur soit nommé exactement robots.txt et qu’il se trouve à la racine d’un nom de domaine. S’il faut que des instructions d’indexation soient définies pour le domaine exemple.fr, il convient alors que le fichier robots.txt se trouve dans le même répertoire soit www.exemple.fr. Un tel fichier est téléchargeable sur Internet sous l’adresse www.exemple.fr/robots.txt. Si le modèle d’hébergement choisi ne fournit pas d’accès au répertoire racine du serveur, mais seulement à un sous-dossier (tel que www.exemple.fr/utilisateur/), un référencement naturel au moyen du fichier robots.txt est alors impossible. Les administrateurs de sites Internet qui créent des fichiers robots.txt doivent avoir accès à un éditeur de texte pur tel que vi (Linux) voire notepad.exe (Windows) et s’assurer via transfert FTP que le fichier est transféré dans le mode ASCII. Il est possible de créer des robots.txt grâce à des générateurs présents sur la Toile. Etant donné que des erreurs de syntaxe peuvent avoir des effets dévastateurs sur l’indexation d’un projet Web, il convient de tester le fichier texte avant de la télécharger. Google dispose pour cela d’un outil efficace dans le cadre de son programme Search Console.
Tout fichier robots.txt contient des enregistrements composés de deux parties. La première commence par le mot-clé User-agent et s’adresse à un robot d’indexation qui figure dans la deuxième partie. Ces instructions consistent en général à empêcher l’exploration grâce au premier mot-clé soit Disallow. Par la suite, un répertoire voire un ou plusieurs fichiers sont cités. Voici le schéma de base à respecter :
User-agent: Googlebot
Disallow: /temp/
Disallow: /news.html
Disallow: /print Dans cet exemple, le fichier robots.txt est valable uniquement pour le robot d’indexation dont le nom est Googlebot, soit l’agent utilisateur de Google. Il interdit la lecture du répertoire /temp/ ainsi que celle du fichier news.html. Par ailleurs, tous les fichiers ainsi que les répertoires dont les chemins commencent par print sont bloqués. Il convient ici de faire attention à bien distinguer la syntaxe de Disallow: /temp/ et de Disallow: /print en omettant un slash à la fin.
Il est possible d’insérer des commentaires dans des fichiers robots.txt. Ces derniers peuvent être ajoutés n’importe où grâce à un croisillon (#).
# robots.txt pour http://www.exemple.fr
User-agent: Googlebot
Disallow: /temp/ # Le répertoire contient des fichiers temporaires
Disallow: /print/ # Le répertoire contient des impressions de pages
Disallow: /news.html # Le fichier change tous les jours Si plusieurs moteurs de recherche sont impliqués, le fichier robots.txt a la possibilité de bloquer plusieurs parties d’un site Internet. Par ailleurs, une ligne vide est tout le temps ajoutée devant les agents utilisateurs.
# robots.txt pour http://www.exemple.fr
User-agent: Googlebot
Disallow: /temp/
User-agent: Bingbot
Disallow: /print/Alors que Google interdit le robot d’indexation d’explorer dans le répertoire /temp/, Bingbot empêche également l’indexation du dossier /print/.
Il convient de mettre un petit astérisque (*) pour que tous les robots d’indexation soient interdits d’accès à certains répertoires ou fichiers.
# robots.txt pour http://www.exemple.fr
User-agent: *
Disallow: /temp/
Disallow: /print/
Disallow: /pictures/Le fichier robots.txt bloque les répertoires /temp/, /print/ et /pictures/ pour tous les moteurs de recherche.
Dans le cas où les agents utilisateurs se voient refuser l’accès à tout un site Internet, un simple slash (/) suffit après le mot-clé Disallow.
# robots.txt pour http://www.exemple.fr
User-agent: *
Disallow: /Dans ce cas, tous les robots d’indexation ont pour instruction d’ignorer entièrement le site. Un tel fichier robots.txt s’applique par exemple dans le cadre de projets Web qui se trouvent encore dans leur phase de test.
Si un robot a la possibilité d’explorer et d’indexer entièrement un site Internet, les administrateurs de sites Internet peuvent le signaler en utilisant le mot-clé Disallowsans slash :
# robots.txt pour http://www.exemple.fr
User-agent: Googlebot
Disallow: Si un fichier robots.txt contient un Disallow sans slash, le site entier est alors accessible au robot d’indexation défini par l’agent utilisateur.
| Consignes | Exemples | Functionnalités |
|---|---|---|
| User-agent: | User-agent: Googlebot | S’adresse à un robot d’indexation en particuliers |
| User-agent: * | S’adresse à tous les robots d’indexation | |
| Disallow: | Disallow: | Le site entier peut être exploré |
| Disallow: / | Le site entier est bloqué | |
| Disallow: /répertoire/ | Un répertoire spécifique est bloqué | |
| Disallow: /fichier.html | Un fichier particulier est bloqué |
Au-delà de ces fonctionnalités quasi standards, certains moteurs de recherche prennent également en charge des paramètres pour préciser des informations dans le fichier robots.txt. Les fonctionnalités qui suivent sont disponibles sur l’espace assistance de Google. Elles proviennent d’un accord entre Google et Yahoo.
En dehors de Disallow, Google prend en charge un autre mot-clé, soit Allow, dans le fichier robots.txt qui permet de définir des règles d’exception pour les répertoires bloqués.
# robots.txt pour http://www.exemple.fr
User-agent: Googlebot
Disallow: /news/
Allow: /news/index.html Le mot-clé Allow permet de partager le fichier "http://www.exemple.fr/news/index.html" avec Googlebot bien que le répertoire parent /news/ ne soit pas bloqué.
Les administrateurs de sites Web, qui souhaitent interdire à Googlebot la lecture de fichiers comportant des extensions spécifiques, peuvent utiliser des enregistrements tels que dans l’exemple suivant :
# robots.txt pour http://www.exemple.fr
User-agent: Googlebot
Disallow: /*.pdf$Le mot-clé Disallow fait référence à tous les fichiers comportant l’extension .pdf et les protège de l’accès de Googlebot. L’astérisque (*) sert de métacaractère au nom du fichier précédant l’extension. L’entrée avec le signe de dollar($) à la fin de la ligne signifie l’exclusion.
Hormis le pilotage du comportement d’indexation, le fichier robots.txt permet également aux robots de se signaler sur le sitemap (plan de site) d’un projet Web. Voilà comment un fichier robots.txt qui comporte un renvoi à un sitemap se constitue :
# robots.txt pour http://www.exemple.fr
User-agent: *
Disallow: /temp/
Sitemap: http://www.exemple.fr/sitemap.xml| Instructions | Exemples | foncitonnalités |
|---|---|---|
| Allow: | Allow: /exemple.html | Le fichier indiqué voire le répertoire sont autorisés à être indexé. |
| Disallow: /*…$ | Disallow: /*.jpg$ | Les fichiers comportant des extensions particulières sont bloqués. |
| Sitemap: | Sitemap: http://www.exemple.fr/sitemap.xml | Le sitemap XML se trouve sous l’adresse indiquée. |
Avec WinSCP, le transfert de données entre votre ordinateur local et un serveur Web est sécurisé et pratique. Le logiciel open source soutient l’utilisation de tous les protocoles courants et convainc par son installation simple et rapide. Pour cela, deux interfaces graphiques d’utilisation sont disponibles pour le transfert de données. Ces interfaces vous feront profiter d’une gestion de données...
Vous êtes administrateur d’un serveur Apache ? Alors, vous utilisez certainement .htaccess. Ce fichier de configuration entièrement constitué de textes est une méthode simple et rapide qui permet de modifier les réglages d’un serveur. Vous devez pour cela savoir comment créer ces fichiers et connaître quelques astuces .htaccess. Ce n’est qu’après que vous pourrez commencer à configurer votre...
404, 302, 503, ces combinaisons de chiffres sont plus importantes qu’elles ne paraissent. Elles se trouvent constamment sur le chemin des internautes. Connaître leur signification peut permettre de de réagir au bon moment. Mais ces codes HTTP sont cruciaux avant tout pour les administrateurs de site Internet : d’un côté, ce savoir-faire améliore considérablement l’expérience utilisateur sur une...
Offrez un service performant et fiable à vos clients avec l'hébergement web de IONOS.
Créez une adresse personnalisée Affichez votre sérieux sur Internet Nom de domaine inclus