Les pièges sta­tis­tiques et autres obstacles en A/B testing

Il est devenu fréquent pour la plupart des dé­ve­lop­peurs et ad­mi­nis­tra­teurs de sites Web de vérifier le bon fonc­tion­ne­ment de dif­fé­rents éléments à l’aide de tests A/B. Tant que le trafic sur le site est suffisant, le processus de l’A/B testing permet de découvrir ra­pi­de­ment si c’est plutôt le scénario A qui permet d’atteindre (à titre d’exemple) le taux de con­ver­sion souhaité, ou plutôt le scénario B. Les obstacles ren­con­trés sont multiples en sta­tis­tiques, aussi bien pendant la phase de tests que lors de leur analyse. Découvrez dans cet article quelles sont les erreurs sta­tis­tiques les plus fré­quentes et comment les éviter au mieux.

Avant de commencer par la phase de tests, de faux éléments et les réa­jus­te­ments qui en découlent peuvent mener à l’échec d’un projet. Erreur numéro 1 : miser sur des pré­sup­po­si­tions aux dépens d’une hypothèse réfléchie Une des prin­ci­pales erreurs qui puissent être commises au cours de la phase de pré­pa­ra­tion consiste à renoncer à une hypothèse dans l’espoir que l’une des variantes du test sera la bonne. Il est certain qu’en adoptant cette approche, il y aura plus de chances de tomber sur un résultat juste parmi les dif­fé­rentes variantes mais un risque se présente également car la variable en question n’apportera pas forcément de valeur ajoutée au projet Web. Avec une seule variante, les chances d’atteindre une op­ti­mi­sa­tion réussie tournent autour de 5%. Les pro­ba­bi­li­tés d’une telle erreur alpha aug­men­tent à chaque variante intégrée, de l’ordre de 14% avec 3 dif­fé­rents objets de test, et de 34% avec 8 variantes. Si vous ne formulez pas de thèse au préalable, vous ne pourrez pas savoir ul­té­rieu­re­ment en quoi la variante gagnante du test pourra effectuer une op­ti­mi­sa­tion réussie. C’est pourquoi il faut mettre sur pied une hypothèse, par exemple l’agran­dis­se­ment d’un bouton visant à améliorer le taux de con­ver­sion et analyser les résultats. Pour résumer, il convient de dire que les tests A/B ne doivent en aucun cas reposer sur le hasard mais plutôt être orientés en fonction d’hy­po­thèses mûrement ré­flé­chies et des variantes logiques qui en découlent. Si vous tra­vail­lez avec des outils comme Op­ti­mi­zely, il vous sera possible de minimiser votre marge d’erreur.

Erreur numéro 2 : utiliser les mauvais in­di­ca­teurs pour mesurer le succès d’une variante test

En matière d’A/B testing, les in­di­ca­teurs clés de per­for­mance (KPIs, acronyme en anglais de Key Per­for­mance Indicator) aident à fixer des objectifs me­su­rables pour votre projet et jouent un rôle important. Tandis qu’un nombre de clics et de visites croissant pour un blog ou un portail d’ac­tua­li­tés constitue un taux de con­ver­sions important, ces facteurs sont moins cruciaux pour une boutique en ligne. Pour les pla­te­formes e-commerce, les éléments comme les commandes, le taux de retours, le chiffre d’affaires et la marge sont des éléments plus im­por­tants. Ces facteurs sont néanmoins dif­fi­ciles à mesurer et à quan­ti­fier, et c’est pourquoi les tests A/B sont plus dif­fi­ciles à mettre en place pour ces éléments. Les tests A/B sont cependant plus rapides à mettre en place pour analyser le succès potentiel d’un nouvel article dans une gamme dé­ter­mi­née.

Il est important également de trouver quels sont les indices de mesure adaptés et de cantonner son choix aux facteurs les plus per­ti­nents, tout en gardant en mémoire quelle était l’hypothèse formulée an­té­rieu­re­ment. Cela permet de réduire les risques d’erreur sur le long terme.

Erreur numéro 3 : éviter le recours sys­té­ma­tique aux tests mul­ti­va­riables  Dans certains cas, vous serez confronté lors de la pré­pa­ra­tion de tests A/B au choix face au test de dif­fé­rentes variantes. C’est pourquoi il est re­com­mandé d’opter al­ter­na­ti­ve­ment pour les tests mul­ti­va­riables. Avec les outils adaptés et un peu d’en­traî­ne­ment, les dif­fé­rentes pages de tests peuvent être créées ra­pi­de­ment et sont faciles à analyser. Il reste cependant né­ces­saire que votre site attire suf­fi­sam­ment de trafic pour que les tests à plusieurs variables effectués soient efficaces et ré­vé­la­teurs. Avec cette méthode, il reste re­com­mandé de res­treindre son choix en matière de variantes de test.

Si le test est en ligne et que les données per­ti­nentes sont en­re­gis­trés, le risque persiste qu’il y ait un excès de confiance qui ris­que­rait de mener à des con­clu­sions hâtives, et donc des erreurs. C’est pourquoi les erreurs listées ci-dessous devraient être évitées à tout prix. Erreur numéro 4 : mettre fin à la phase de tests trop pré­ci­pi­tam­ment La pos­si­bi­lité d’obtenir des résultats et de les in­ter­pré­ter dès les premières étapes de test pousse parfois les analystes à tirer des con­clu­sions hâtives et le test A/B est in­ter­rompu de manière pré­ma­tu­rée. C’est pourquoi il faut veiller à ce que chaque test ait une ampleur minimale définie au préalable, même si les résultats les plus probants sont gé­né­ra­le­ment collectés au début de la phase de test mais seul un certain laps de temps peut confirmer la solidité de ces premiers résultats. La per­for­mance des variables ne peut donc être confirmée que lorsque le test aura été mené suf­fi­sam­ment longtemps. Comme il est difficile d’estimer la durée idéale d’un test A/B, de nombreux outils sont à votre dis­po­si­tion. Par exemple les outils d’Uptilab, qui per­met­tent d’estimer la durée idéale du test et également de calculer la confiance sta­tis­tique du test, pour pouvoir par la suite valider les résultats obtenus. Bien entendu, il est pré­fé­rable d’in­ter­rompre un test dans les premières phases si le résultat est négatif et sans équivoque. 

Erreur numéro 5 : rac­cour­cir la durée du test Il existe des outils de test A/B qui per­met­tent de réduire la marge d’erreur parmi les résultats et les dif­fé­rentes variantes, par exemple avec les ap­pli­ca­tions comme Op­ti­mi­zely ou les op­ti­mi­seurs visuels de sites Web comme VWO. Néanmoins, pour plus de fiabilité, il convient de s’assurer que le test a duré suf­fi­sam­ment longtemps pour récolter une quantité de données suf­fi­sante, car les effets de hasard ne sont pas pris en compte dans les méthodes de calculs de ces outils.

Il est in­du­bi­table que le fait de dé­ter­mi­ner des in­di­ca­teurs clés de per­for­mance per­ti­nents re­pré­sente un véritable défi, ainsi que de formuler des hy­po­thèses justes et d’organiser un test A/B concluant. Le principal défi qui s’impose à vous se trouve toutefois à la fin, lorsqu’il s’agit d’analyser les résultats obtenus et de les exploiter pour optimiser le succès de votre projet Web.

Erreur numéro 6 : se reposer uni­que­ment sur les résultats de l’outil de test

L’outil de test utilisé ne sert pas seulement à initier le test et sché­ma­ti­ser gra­phi­que­ment les résultats, mais dévoile également des données complètes sur les variables les plus efficaces, comme les in­di­ca­teurs sur le taux de con­ver­sion. De plus, les outils ne peuvent pas prendre en compte des éléments comme les in­di­ca­teurs clés de per­for­mance (KPI), c’est pourquoi les données col­lec­tées de manière externe doivent également être incluses. C’est notamment lorsque les résultats ne cor­res­pon­dent pas à vos attentes que l’analyse séparée des résultats du programme d’analyse Web en valent la peine, car ils sont souvent plus détaillés en ce qui concerne le com­por­te­ment des uti­li­sa­teurs. L’ins­pec­tion ciblée des dif­fé­rentes données est l’unique moyen de découvrir où se cachent les valeurs sta­tis­tiques anormales et de les éliminer du résultat final. Ce critère est décisif pour éviter de tirer de mauvaises con­clu­sions. 

Erreur numéro 7 : une trop forte seg­men­ta­tion des résultats

L’analyse détaillée des résultats du test A/B, combinée avec des sources de données externes, offrent bien entendu d’autres options. Bien entendu, il est fréquent de struc­tu­rer ces données autour de groupes in­di­vi­duels définis d’uti­li­sa­teurs. Cela permet par exemple de segmenter les groupes cibles, et de découvrir comment les uti­li­sa­teurs d’une certaine région, tranche d’âge ou d’un na­vi­ga­teur en par­ti­cu­lier ont réagi à une variable sur le site. Plus il y aura de segments qui seront comparés les uns aux autres, plus les chances d’effectuer des erreurs seront élevées. C’est pourquoi il est pré­fé­rable de ne prendre en compte, à titre d’exemple, que les groupes qui sont réel­le­ment per­ti­nents pour votre concept de test et qui sont vraiment re­pré­sen­ta­tifs des autres uti­li­sa­teurs. Si vous vous con­cen­trez par exemple uni­que­ment sur les visiteurs masculins, âgés de moins de 30 ans, qui utilisent un smart­phone pour visiter votre site, alors l’échan­til­lon de votre test ne sera pas re­pré­sen­ta­tif de votre groupe cible dans son ensemble. Si vous comptez segmenter les résultats de votre test A/B, il faut donc s’assurer que le test soit mené sur une durée qui permet de récolter suf­fi­sam­ment de données.

Erreur numéro 8 : remettre en cause le succès d’une variable à cause de calculs vagues

Pour mettre en lumière dans quelle mesure une nouvelle variante du site influence le taux de con­ver­sion, les résultats du test A/B sont utilisés en tant que socle de base pour des calculs concrets. Mais en raison des dif­fé­rents critères à prendre en compte, ces calculs sont très complexes à mener. Tandis que les résultats d’un test A/B se mesurent prin­ci­pa­le­ment sur le court terme (dif­fé­rences dans le com­por­te­ment des visiteurs du site), les effets ne sont pas me­su­rables sur le long terme (influence sur la sa­tis­fac­tion par exemple). C’est pourquoi il ne faut pas tirer de con­clu­sions hâtives, notamment si l’on observe un ac­crois­se­ment du nombre de visiteurs. L’aug­men­ta­tion du nombre de visites peut être liée à d’autres facteurs, comme par exemple des facteurs sai­son­niers, des mo­di­fi­ca­tions dans la gamme de produits, les délais de livraison, les pro­mo­tions, un nouveau groupe cible, etc. Ces éléments ne peuvent pas être pris en compte dans une stratégie A/B testing.

Tout comme avec les autres pièges sta­tis­tiques et erreurs qui peuvent être commises au cours de tests d’uti­li­sa­bi­lité, il convient de garder du recul. Seul la for­mu­la­tion de pro­nos­tics et le fait de les tra­vail­ler et de les analyser peut livrer des résultats sa­tis­fai­sants en matière de tests A/B.