Qu’est-ce que le Deep Web ?

Le contenu des sites Web et des boutiques en ligne n’est pas entièrement accessible à l’ensemble des internautes et des moteurs de recherche. La partie du contenu dont l’accès est restreint est ce que l’on nomme le « Deep Web ». Ces restrictions d’accès existent pour différents motifs.

La majorité des gens n’ont probablement jamais entendu parler du « Deep Web ». Ce terme générique désigne les informations auxquelles on ne peut accéder directement via un moteur de recherche ou en saisissant une URL. Il s’agit de la majeure partie des informations et sites normalement disponibles sur Internet. Cela inclut entre autres les bases de données d’entreprises, d’universités et de musées consultables seulement au moyen d’un identifiant, les comptes bancaires, les paniers d’achats, les comptes utilisateur de boutiques en ligne... Stricto sensu, le Deep Web englobe également le Dark Web, bien que leurs contenus respectifs soient très différents.

Comme nous l’avons déjà dit, le contenu du Deep Web n’est pas trouvé et référencé par les robots d’indexation des moteurs de recherche car son accès est restreint et demande de fournir un identifiant et/ou mot de passe. Des conditions d’utilisation à accepter ou une barrière de paiement sont d’autres obstacles possibles. Dans tous ces cas de figure, en tant qu’utilisateur, vous ne pouvez accéder à l’URL que si vous avez préalablement indiqué un mot de passe ou accepté le paiement.

Mais il y a encore une autre situation sur le Deep Web : vous pouvez consulter une page dont vous connaissez l’URL alors que celle-ci n’a pas encore été trouvée et indexée par le crawler du moteur de recherche. Il peut y avoir plusieurs raisons à cela.

D’une part, un webmaster peut empêcher l’indexation du contenu en utilisant la commande nofollow. D’autre part, il est possible qu’une page soit cachée dans un site afin que le robot ne puisse pas la trouver. Pour chaque site Web, le robot dispose pour ainsi dire d’un « budget de pages » limité. Si ce budget est épuisé alors qu’il reste des pages de niveau inférieur, celles-ci sont ignorées. Une troisième possibilité concerne des conditions techniques non remplies pour l’indexation, par exemple l’emploi de Flash.

Normalement, le contenu du Deep Web sur votre site ne pose aucun problème, ni pour vous, ni pour les visiteurs. Au contraire même : on trouve ce genre de pages sur quasiment tous les grands sites et dans les boutiques en ligne, et les utilisateurs n’ont qu’à s’identifier pour y accéder.

La seule conséquence négative d’une non-indexation par Google concerne l’optimisation du référencement sur les moteurs de recherche. En effet, il n’est pas rare que le contenu pertinent se cache derrière une restriction d’accès, notamment dans les domaines scientifiques et médicaux. Votre objectif devrait être de faire en sorte qu’un maximum de contenu soit librement accessible et indexable (dans la mesure où la loi et la politique de l’entreprise le permettent), ou tout du moins de concevoir des pages de renvoi qui donnent aux moteurs de recherche une idée de ce qu’il y a (encore) à trouver sur votre site.