Il est conseillé aux utilisateurs débutants d’A/B testing de démarrer avec des tests relativement simples et de ne modifier que des éléments mineurs sur leurs pages (des illustrations ou des boutons). Typiquement, pour un premier test, il convient de ne disposer que d’une seule variable. Son résultat est ensuite facile à appliquer.
Les tests à variables multiples sont eux trop complexes pour les débutants. Par ailleurs, ils tendent à donner des résultats erronés et sont sujets aux pannes. Par conséquent, il est conseillé de commencer avec un test de petite envergure. Il faut garder en mémoire que les changements sur un site Internet, aussi minimes soient-ils, peuvent mener à de gros résultats. Effectuez plusieurs petits tests, vous verrez que ces petites améliorations feront toute la différence.