En règle générale, il est du devoir des administrateurs de sites Internet professionnels de travailler au bon référencement de leur projet dans les moteurs de recherche. Une des conditions sine qua non est que les robots d’indexation puissent lire toutes les URLs pour qu’ils les adoptent par la suite. Par ailleurs, il est important de veiller à ce que les moteurs de recherche ne puissent pas, parfois, explorer certains sites dans leur totalité. En effet, les capacités de ces programmes sont limitées et même Google n’est pas en mesure ni de créer et ni de sauvegarder des contenus Web à l’infini. Au lieu de cela, chaque nom de domaine est lié à un budget pour un référencement naturel. Cette somme indique le nombre d’URLs qui peuvent être indexés et lus tous les jours. Il est conseillé aux administrateurs de sites Internet d’envergure de procéder ici avec stratégie en signalant, tout d’abord, aux robots de recherche quelles sont les parties de leurs sites Internet qui doivent être indexées, et quelles sont celles à ignorer. Les outils importants dans le cadre d’un référencement naturel sont les informations sur les robots dans les balises méta, les balises canoniques et bien entendu les fichiers robots.txt dont il est question dans cet article.