Les pièges statistiques et autres obstacles en A/B testing

Il est devenu fréquent pour la plupart des développeurs et administrateurs de sites Web de vérifier le bon fonctionnement de différents éléments à l’aide de tests A/B. Tant que le trafic sur le site est suffisant, le processus de l’A/B testing permet de découvrir rapidement si c’est plutôt le scénario A qui permet d’atteindre (à titre d’exemple) le taux de conversion souhaité, ou plutôt le scénario B. Les obstacles rencontrés sont multiples en statistiques, aussi bien pendant la phase de tests que lors de leur analyse. Découvrez dans cet article quelles sont les erreurs statistiques les plus fréquentes et comment les éviter au mieux.

Avant de commencer par la phase de tests, de faux éléments et les réajustements qui en découlent peuvent mener à l’échec d’un projet.

Erreur numéro 1 : miser sur des présuppositions aux dépens d’une hypothèse réfléchie

Une des principales erreurs qui puissent être commises au cours de la phase de préparation consiste à renoncer à une hypothèse dans l’espoir que l’une des variantes du test sera la bonne. Il est certain qu’en adoptant cette approche, il y aura plus de chances de tomber sur un résultat juste parmi les différentes variantes mais un risque se présente également car la variable en question n’apportera pas forcément de valeur ajoutée au projet Web. Avec une seule variante, les chances d’atteindre une optimisation réussie tournent autour de 5%. Les probabilités d’une telle erreur alpha augmentent à chaque variante intégrée, de l’ordre de 14% avec 3 différents objets de test, et de 34% avec 8 variantes. Si vous ne formulez pas de thèse au préalable, vous ne pourrez pas savoir ultérieurement en quoi la variante gagnante du test pourra effectuer une optimisation réussie. C’est pourquoi il faut mettre sur pied une hypothèse, par exemple l’agrandissement d’un bouton visant à améliorer le taux de conversion et analyser les résultats.

Pour résumer, il convient de dire que les tests A/B ne doivent en aucun cas reposer sur le hasard mais plutôt être orientés en fonction d’hypothèses mûrement réfléchies et des variantes logiques qui en découlent.

Si vous travaillez avec des outils comme Optimizely, il vous sera possible de minimiser votre marge d’erreur.

Erreur numéro 2 : utiliser les mauvais indicateurs pour mesurer le succès d’une variante test

En matière d’A/B testing, les indicateurs clés de performance (KPIs, acronyme en anglais de Key Performance Indicator) aident à fixer des objectifs mesurables pour votre projet et jouent un rôle important. Tandis qu’un nombre de clics et de visites croissant pour un blog ou un portail d’actualités constitue un taux de conversions important, ces facteurs sont moins cruciaux pour une boutique en ligne. Pour les plateformes e-commerce, les éléments comme les commandes, le taux de retours, le chiffre d’affaires et la marge sont des éléments plus importants. Ces facteurs sont néanmoins difficiles à mesurer et à quantifier, et c’est pourquoi les tests A/B sont plus difficiles à mettre en place pour ces éléments. Les tests A/B sont cependant plus rapides à mettre en place pour analyser le succès potentiel d’un nouvel article dans une gamme déterminée.

Il est important également de trouver quels sont les indices de mesure adaptés et de cantonner son choix aux facteurs les plus pertinents, tout en gardant en mémoire quelle était l’hypothèse formulée antérieurement. Cela permet de réduire les risques d’erreur sur le long terme.

Erreur numéro 3 : éviter le recours systématique aux tests multivariables 

Dans certains cas, vous serez confronté lors de la préparation de tests A/B au choix face au test de différentes variantes. C’est pourquoi il est recommandé d’opter alternativement pour les tests multivariables. Avec les outils adaptés et un peu d’entraînement, les différentes pages de tests peuvent être créées rapidement et sont faciles à analyser. Il reste cependant nécessaire que votre site attire suffisamment de trafic pour que les tests à plusieurs variables effectués soient efficaces et révélateurs. Avec cette méthode, il reste recommandé de restreindre son choix en matière de variantes de test.

Si le test est en ligne et que les données pertinentes sont enregistrés, le risque persiste qu’il y ait un excès de confiance qui risquerait de mener à des conclusions hâtives, et donc des erreurs. C’est pourquoi les erreurs listées ci-dessous devraient être évitées à tout prix.

Erreur numéro 4 : mettre fin à la phase de tests trop précipitamment

La possibilité d’obtenir des résultats et de les interpréter dès les premières étapes de test pousse parfois les analystes à tirer des conclusions hâtives et le test A/B est interrompu de manière prématurée. C’est pourquoi il faut veiller à ce que chaque test ait une ampleur minimale définie au préalable, même si les résultats les plus probants sont généralement collectés au début de la phase de test mais seul un certain laps de temps peut confirmer la solidité de ces premiers résultats. La performance des variables ne peut donc être confirmée que lorsque le test aura été mené suffisamment longtemps. Comme il est difficile d’estimer la durée idéale d’un test A/B, de nombreux outils sont à votre disposition. Par exemple les outils d’Uptilab, qui permettent d’estimer la durée idéale du test et également de calculer la confiance statistique du test, pour pouvoir par la suite valider les résultats obtenus.

Bien entendu, il est préférable d’interrompre un test dans les premières phases si le résultat est négatif et sans équivoque. 

Erreur numéro 5 : raccourcir la durée du test

Il existe des outils de test A/B qui permettent de réduire la marge d’erreur parmi les résultats et les différentes variantes, par exemple avec les applications comme Optimizely ou les optimiseurs visuels de sites Web comme VWO. Néanmoins, pour plus de fiabilité, il convient de s’assurer que le test a duré suffisamment longtemps pour récolter une quantité de données suffisante, car les effets de hasard ne sont pas pris en compte dans les méthodes de calculs de ces outils.

Il est indubitable que le fait de déterminer des indicateurs clés de performance pertinents représente un véritable défi, ainsi que de formuler des hypothèses justes et d’organiser un test A/B concluant. Le principal défi qui s’impose à vous se trouve toutefois à la fin, lorsqu’il s’agit d’analyser les résultats obtenus et de les exploiter pour optimiser le succès de votre projet Web.

Erreur numéro 6 : se reposer uniquement sur les résultats de l’outil de test

L’outil de test utilisé ne sert pas seulement à initier le test et schématiser graphiquement les résultats, mais dévoile également des données complètes sur les variables les plus efficaces, comme les indicateurs sur le taux de conversion. De plus, les outils ne peuvent pas prendre en compte des éléments comme les indicateurs clés de performance (KPI), c’est pourquoi les données collectées de manière externe doivent également être incluses. C’est notamment lorsque les résultats ne correspondent pas à vos attentes que l’analyse séparée des résultats du programme d’analyse Web en valent la peine, car ils sont souvent plus détaillés en ce qui concerne le comportement des utilisateurs. L’inspection ciblée des différentes données est l’unique moyen de découvrir où se cachent les valeurs statistiques anormales et de les éliminer du résultat final. Ce critère est décisif pour éviter de tirer de mauvaises conclusions. 

Erreur numéro 7 : une trop forte segmentation des résultats

L’analyse détaillée des résultats du test A/B, combinée avec des sources de données externes, offrent bien entendu d’autres options. Bien entendu, il est fréquent de structurer ces données autour de groupes individuels définis d’utilisateurs. Cela permet par exemple de segmenter les groupes cibles, et de découvrir comment les utilisateurs d’une certaine région, tranche d’âge ou d’un navigateur en particulier ont réagi à une variable sur le site. Plus il y aura de segments qui seront comparés les uns aux autres, plus les chances d’effectuer des erreurs seront élevées. C’est pourquoi il est préférable de ne prendre en compte, à titre d’exemple, que les groupes qui sont réellement pertinents pour votre concept de test et qui sont vraiment représentatifs des autres utilisateurs. Si vous vous concentrez par exemple uniquement sur les visiteurs masculins, âgés de moins de 30 ans, qui utilisent un smartphone pour visiter votre site, alors l’échantillon de votre test ne sera pas représentatif de votre groupe cible dans son ensemble. Si vous comptez segmenter les résultats de votre test A/B, il faut donc s’assurer que le test soit mené sur une durée qui permet de récolter suffisamment de données.

Erreur numéro 8 : remettre en cause le succès d’une variable à cause de calculs vagues

Pour mettre en lumière dans quelle mesure une nouvelle variante du site influence le taux de conversion, les résultats du test A/B sont utilisés en tant que socle de base pour des calculs concrets. Mais en raison des différents critères à prendre en compte, ces calculs sont très complexes à mener. Tandis que les résultats d’un test A/B se mesurent principalement sur le court terme (différences dans le comportement des visiteurs du site), les effets ne sont pas mesurables sur le long terme (influence sur la satisfaction par exemple). C’est pourquoi il ne faut pas tirer de conclusions hâtives, notamment si l’on observe un accroissement du nombre de visiteurs. L’augmentation du nombre de visites peut être liée à d’autres facteurs, comme par exemple des facteurs saisonniers, des modifications dans la gamme de produits, les délais de livraison, les promotions, un nouveau groupe cible, etc. Ces éléments ne peuvent pas être pris en compte dans une stratégie A/B testing.

Tout comme avec les autres pièges statistiques et erreurs qui peuvent être commises au cours de tests d’utilisabilité, il convient de garder du recul. Seul la formulation de pronostics et le fait de les travailler et de les analyser peut livrer des résultats satisfaisants en matière de tests A/B.