Centre d'Assistance
Accueil

IONOS Crawler

IONOS Crawler est le crawler Web de IONOS. Sa mission consiste à explorer en permanence le Web afin de nous permettre d'améliorer et d'étendre nos services d'hébergement de premier ordre. Pour une transparence maximale, nous avons dressé la liste suivante des questions fréquemment posées (FAQ). Si vous avez d'autres questions ou préoccupations, n'hésitez pas à nous le faire savoir.

Qu'est-ce qu'un crawler Web ?

Un crawler Web est un robot Internet qui explore systématiquement le Web. Les crawlers visitent les domaines accessibles au public et effectuent une série d'actions en fonction de leur objectif, comme l'analyse des mots-clés et des hashtags, l'indexation du contenu des pages et des URL, l'extraction de données et le suivi des redirections existantes afin d'analyser les nouveaux sites. Pour en savoir plus sur le fonctionnement des crawlers Web, consultez notre guide numérique IONOS : Crawler : comment ces robots d'indexation optimisent Internet.

Qu'est-ce que l'agent utilisateur (User-Agent) du crawler IONOS ?

L'agent utilisateur du crawler IONOS est le suivant :

"User-Agent" = "IonCrawl"

Veuillez noter que les informations du User-Agent peuvent être falsifiées. Il est donc important de vérifier qu'une requête provient bien de IONOS.

Comment savoir si le crawl provient du crawler IONOS?

Nous recommandons d'utiliser la recherche DNS inversée (Reverse-DNS-Lookup) pour vérifier l'identité du crawler IONOS. Le nom d'hôte du crawler IONOS est *.1und1.org. Les méthodes de vérification diffèrent selon le système d'exploitation installé.

  • Sous Linux, exécutez la commande "host <IP>".
  • Sous Windows, exécutez la commande "nslookup <IP>".
  • Sous macOS, exécutez la commande "dig <IP>".

Comment puis-je empêcher le crawler IONOS d'explorer mon site ?

Comme d'autres crawlers Web sérieux, le crawler IONOS respecte les instructions indiquées dans le fichier robots.txt. Le robots.txt est une norme utilisée par les sites Web pour communiquer avec les crawlers Web et autres robots Web. Vous pouvez empêcher le robot d'exploration IONOS d'explorer tout ou partie de votre site Web en l'indiquant dans le robots.txt.

La commande suivante bloque le crawler IONOS pour l'ensemble de votre site Web :

User-agent : IonCrawl
Disallow : /

Une fois le robots.txt correctement configuré, les pages Web correspondantes ne sont plus explorées.

Le crawler IONOS respecte-t-il les dispositions relatives à la protection des données ?

Le crawler IONOS respecte toutes les dispositions pertinentes en matière de protection des données, notamment le règlement général sur la protection des données (RGPD) de l'UE. La base juridique du crawl est l'article 6(1)(f) du RGPD. Notre intérêt est d'acquérir des connaissances sur l'utilisation des domaines accessibles au public afin d'améliorer nos produits et services. Nous garantissons le droit d'opposition, article 21 du RGPD, en tenant compte de la norme mondiale robots.txt (voir ci-dessus pour plus d'informations). Nous appliquons ainsi les Recommandations du Working Party 29 le prédécesseur de l'actuel Comité européen de la protection des données (CEPD).

Le droit à l'effacement, article 17 du RGPD, est assuré par une ré-exploration continue, y compris l'effacement automatique des données explorées obsolètes après 60 jours.

De plus, vous avez le droit d'accéder aux données à caractère personnel et de les rectifier, le droit de limiter le traitement, le droit à la portabilité des données et le droit de déposer une plainte auprès d'une autorité de contrôle. Vous trouverez de plus amples informations sur la protection des données dans la Principale déclaration de protection des données de IONOS SARL en tant que responsable du traitement des données.

Quelles mesures de sécurité supplémentaires ont été prises ?

Nous avons mis en place une série de mesures de sécurité supplémentaires pour nous assurer que le crawler IONOS n'a pas d'impact négatif sur les sites Web visités et que toutes les exigences légales applicables sont respectées. Premièrement, lorsque l'accès à un contenu Web est subordonné à un enregistrement d'utilisateur ou à un accord d'utilisation, ce contenu n'est pas crawlé.

Deuxièmement, toutes les mesures techniques visant à empêcher l'exploration sont respectées.

De plus, nous avons limité le nombre de pages auxquelles le crawler IONOS accède. Nous sommes donc certains qu'il n'y aura pas de surcharge de la bande passante. Si toutefois votre serveur a du mal à suivre le rythme de nos demandes d'exploration, veuillez prendre contact avec nous immédiatement (voir les coordonnées ci-dessous).

Le crawler IONOS accède-t-il aux pages d'administration ?

Comme il suit automatiquement les liens disponibles, il se peut que le crawler IONOS accède également à des pages d'administration telles qu'une page de connexion d'administrateur WordPress ("wp-admin/admin.php"), à condition que celles-ci ne soient pas protégées contre un accès public. Le crawler IONOS n'essaie toutefois pas de se connecter, mais visite simplement la page.

Où puis-je signaler des problèmes avec le crawler IONOS?

Si vous avez besoin d'informations supplémentaires ou si vous souhaitez signaler un problème avec le crawler IONOS, veuillez prendre contact avec nous ici. La mise à disposition des fichiers journaux pertinents nous sera d'une grande aide dans l'étude et l'analyse du problème.

Contenu