WordPress et robots.txt : con­fi­gu­ra­tion du fichier

Les sous-pages et les ré­per­toires de votre site ne sont pas im­por­tants au point de devoir né­ces­sai­re­ment tous être explorés par les moteurs de recherche courants. À l’aide du fichier robots.txt, vous pouvez dé­ter­mi­ner quelles sous-pages de WordPress doivent être prises en compte par le robot d’ex­plo­ra­tion et les­quelles ne le doivent pas. Vous améliorez ainsi con­si­dé­ra­ble­ment le po­si­tion­ne­ment de votre site Web dans les re­cherches en ligne. Nous vous ex­pli­quons ici à quoi sert le fichier robots.txt dans WordPress et comment l’optimiser vous-même.

24 heures sur 24, des robots d’ex­plo­ra­tion par­cou­rent Internet à la recherche de sites Web. Les robots sont envoyés par chaque moteur de recherche et sai­sis­sent le plus grand nombre possible de pages et de sous-pages (in­dexa­tion) afin de les rendre dis­po­nibles pour la recherche. Pour que les robots d’ex­plo­ra­tion puissent bien lire votre site, ils doivent être guidés. Vous éviterez ainsi d’indexer des contenus de votre site qui ne sont pas per­ti­nents pour les moteurs de recherche et vous vous assurerez que le robot d’ex­plo­ra­tion ne lit que les contenus qu’il doit lire.

Pour ce contrôle, vous pouvez utiliser le fichier robots.txt. Dans le cas de WordPress et d’autres CMS, vous dé­ter­mi­nez avec ce fichier quelles parties de votre site Web sont saisies par les crawlers et les­quelles ne le sont pas. Le fichier robots.txt vous permet d’exclure ou d’autoriser les robots et de faire des dis­tinc­tions précises entre les entrées qui doivent être trouvées par les moteurs et les autres, et qui les diffusent ensuite dans la recherche. Comme chaque domaine ne dispose que d’un budget d’ex­plo­ra­tion limité, il est d’autant plus important de pousser les pages prin­ci­pales et de retirer les sous-pages in­sig­ni­fiantes du volume de recherche.

Il y a de grands avantages à ce que le fichier robots.txt de WordPress détermine exac­te­ment quels contenus sont indexés et lesquels ne le sont pas. Alors que votre page d’accueil doit être bien classée pour toutes les re­cherches possibles, il n’en va pas de même pour les mentions légales de votre site. Les com­men­taires ou les archives n’apportent pas non plus de valeur ajoutée dans la recherche et peuvent même, au contraire, présenter des in­con­vé­nients, lorsque les moteurs de recherche re­con­nais­sent ici le duplicate Content et l’évaluent né­ga­ti­ve­ment, par exemple. Avec un fichier robots.txt sur WordPress, vous excluez au mieux de tels cas et dirigez plutôt les dif­fé­rents robots d’ex­plo­ra­tion vers les parties de votre site qui doivent vraiment être trouvées.

Au début, WordPress crée lui-même un fichier robots.txt et effectue ainsi le travail pré­pa­ra­toire de base. Toutefois, celui-ci est peu étendu et doit donc être considéré avant tout comme un point de départ. Voici à quoi il ressemble :

L’« user-agent » de la première ligne désigne ici les crawlers. « * » exprime que tous les moteurs de recherche peuvent envoyer leurs robots sur votre site. C’est en principe re­com­mandé dans un premier temps, car cela permet à votre site d’être trouvé plus souvent. La commande « Disallow » bloque les ré­per­toires suivants pour les robots d’ex­plo­ra­tion – dans ce cas, il s’agit de l’ad­mi­nis­tra­tion et du ré­per­toire de tous les fichiers chez WordPress. Robots.txt les bloque pour les moteurs de recherche, car les visiteurs n’ont rien à faire sur les pages con­cer­nées. Afin d’être ef­fec­ti­ve­ment la seule personne à pouvoir y accéder, protégez ces domaines par un bon mot de passe.

Les moteurs de recherche comme Google doivent bien sûr continuer à trouver fa­ci­le­ment votre site. Les services réputés nuisibles ou douteux comme Dugg­Mir­ror ne le doivent toutefois pas ; vous pouvez les exclure de WordPress avec robots.txt. Pour cela, vous devez exclure de l’in­dexa­tion les thèmes, vos mentions légales et les pages qui n’ont pas ou peu de per­ti­nence. Les plugins ne devraient pas non plus être indexés, non seulement parce qu’ils ne sont pas per­ti­nents pour le public, mais aussi pour des raisons de sécurité. Si un plugin présente un problème de sécurité, votre site peut être de cette manière trouvé et endommagé par des pirates.

Dans la plupart des cas, les deux commandes déjà men­tion­nées ci-dessus vous suffiront pour utiliser ju­di­cieu­se­ment robots.txt sur WordPress : « User-agent » détermine auprès de quels bots il faut s’adresser. Vous pouvez ainsi définir des ex­cep­tions pour certains moteurs de recherche ou établir des règles de base. « Disallow » interdit aux robots d’ex­plo­ra­tion l’accès à une page ou sous-page cor­res­pon­dante. La troisième commande « Allow » n’a pas d’im­por­tance dans la plupart des cas, car l’accès est autorisé par défaut. Vous n’avez besoin de cette commande que si vous souhaitez bloquer une page mais débloquer son sous-site.

Vous pouvez également créer et modifier le fichier robots.txt sur WordPress avec un plugin SEO. Cela se fait très fa­ci­le­ment et en toute sécurité dans le tableau de bord et peut donc être encore plus simple. Un plugin populaire à cet effet est Yoast SEO.

Étape 1 : vous devez d’abord installer et activer le plugin.

Étape 2 : permettez ensuite au plugin d’effectuer des mo­di­fi­ca­tions avancées. Pour cela, allez sur « SEO » > « Tableau de bord » > « Fonc­tion­na­li­tés » et cliquez sur « Activés » sous le point « Pa­ra­mètres avancés de la page ».

Étape 3 : après cette ac­ti­va­tion, effectuez des mo­di­fi­ca­tions dans le tableau de bord sous « SEO » > « Outils » > « Éditeur de fichiers ». Vous pouvez y créer et modifier di­rec­te­ment un nouveau fichier robots.txt sur WordPress. Les mo­di­fi­ca­tions sont ensuite di­rec­te­ment mises en œuvre.

Main­te­nant que vous avez configuré votre site, que vous avez fixé des règles et que vous avez, en théorie du moins, bloqué les robots d’in­dexa­tion et rendu les sous-pages in­vi­sibles, il est temps de passer à l’action. Mais comment savoir si toutes vos mo­di­fi­ca­tions ont bien été ef­fec­tuées ? Pour cela, consultez l’aide de Google Search Console. Dans celle-ci, vous trouverez sur le côté gauche sous « Crawl » le « robots.txt Tester ». Vous y saisissez vos pages et sous-pages et voyez ensuite si elles peuvent être trouvées ou si elles sont bloquées. Un « autorisé » en vert en bas à droite signifie que les crawlers trouvent la page et la prennent en compte, un « non autorisé » en rouge signifie que la page n’est pas indexée.

Le fichier robots.txt est pour WordPress une méthode aussi simple qu’efficace pour dé­ter­mi­ner quelles parties de votre site doivent être trouvées et par qui. Si dans tous les cas vous utilisez déjà un plugin SEO comme Yoast, le plus simple est de l’utiliser pour effectuer les mo­di­fi­ca­tions. Sinon, le fichier peut aussi être créé et adapté ma­nuel­le­ment sans problème.