L'A/B test : conçu pour les géants, vendu à tous les sites

L'A/B test compare deux versions d'une page auprès de visiteurs tirés au sort, pour garder celle qui convertit le mieux. Son résultat dépend du nombre de visiteurs, et sa valeur du chiffre d'affaires du site.

Thomas Sarazin
7 min de lecture

D'où vient l'A/B test, et à qui il s'adresse

L'A/B test fait aujourd'hui partie des outils proposés à toute boutique en ligne et à tout produit numérique. Sa promesse est simple. Plutôt que de deviner quelle version d'une page est la meilleure, le site montre les deux à ses visiteurs et garde celle qui convertit le plus. Cette promesse repose pourtant sur des conditions que peu de projets réunissent. Un A/B test ne donne en effet un résultat fiable et utile qu'avec un volume de visiteurs et un chiffre d'affaires que la plupart des sites n'ont pas.

Une méthode née chez les plus grands sites

Amazon, Google et Microsoft ont mis la méthode au point au début des années 2000, pour des services qui recevaient des millions de visites par jour. Leurs pages étaient déjà très travaillées, si bien qu'une modification ne pouvait plus les améliorer que de très peu. La plupart des tests échouent d'ailleurs. Ronny Kohavi, qui a dirigé l'expérimentation chez Microsoft pendant plus de dix ans, rapporte ainsi que Microsoft n'en réussit qu'un sur trois, contre un sur dix chez Booking, Netflix ou Google Ads. Ces entreprises ont pourtant fait de l'A/B test un réflexe, parce que leur trafic leur permet de mesurer des écarts aussi minces et que leur chiffre d'affaires les transforme en sommes considérables.

Une méthode ouverte à tous les sites

La méthode s'est ensuite diffusée bien au-delà de ces géants, au point de former aujourd'hui un secteur à part entière. Google Optimize, gratuit, en a d'abord été la porte d'entrée, jusqu'à sa fermeture en septembre 2023. Les plateformes d'optimisation du taux de conversion comme VWO, AB Tasty ou Optimizely en ont fait leur fonctionnalité principale, vendue par abonnement aux responsables marketing. Leur éditeur visuel permet de lancer un test sans écrire de code. Les outils d'analyse de produit la proposent eux aussi, à l'image de PostHog, qui relie chaque test aux enregistrements des sessions de visite. Des projets open source comme GrowthBook permettent par ailleurs aux développeurs d'héberger leurs tests eux-mêmes et de les appuyer sur leurs propres données. Les solutions e-commerce s'y mettent enfin, comme Shopify, qui l'intègre depuis juin 2026 à ses forfaits intermédiaires. Quel que soit son budget, n'importe quel site peut donc aujourd'hui lancer un A/B test.

Les deux limites de l'A/B test

Un résultat fiable demande du trafic

Pour des sites aux trafics plus modestes que ceux des géants de l'industrie, la première limite tient au volume. Un A/B test compare en effet deux tendances, qui ne se dégagent qu'à partir d'un grand nombre de visites. En dessous de ce seuil, les résultats fluctuent sans aucune modification du site. Une page peut ainsi passer d'une vente à quatre d'une semaine sur l'autre. Entre deux versions, l'écart observé mêle donc l'effet du changement à ces variations naturelles. Seule l'accumulation des données permet de les distinguer, si bien qu'avec un trafic modeste, il faut attendre des mois, parfois des années, pour obtenir une réponse sûre.

Les outils présentent pourtant les résultats de la même façon, quel que soit le trafic. Un test sur quelques centaines de visites s'affiche avec le même tableau de bord qu'un test sur des millions, comme si les deux volumes offraient la même solidité. Cette équivalence apparente fausse malheureusement encore davantage les résultats. L'outil peut en effet placer une version en tête bien avant le délai nécessaire, alors que son avance ne tient encore qu'à la chance. Kohavi constate d'ailleurs qu'une expérience menée sur trop peu de monde aboutit le plus souvent à un faux gagnant. Qui s'y fie risque alors de conserver une modification qui ne fait pas mieux que l'existant.

Un gain qui ne pèse qu'à grande échelle

La seconde limite tient à ce que rapporte un test réussi. Kohavi situe ainsi l'effet d'un test concluant sur Bing entre 0,1 et 1 %. Sur un chiffre d'affaires de plusieurs milliards, un tel écart représente des millions et justifie qu'une équipe y consacre ses journées. Sur un site qui enregistre quelques centaines de ventes ou d'inscriptions par mois, il se traduit par quelques clients de plus. Le coût d'un test reste en revanche à peu près le même quelle que soit la taille du site. Il faut payer l'outil, préparer les versions et attendre plusieurs semaines. Un résultat peut donc être statistiquement significatif sans rien changer à l'activité.

Ce calcul dépend toutefois des ambitions. Une startup qui prévoit de multiplier son trafic a intérêt à mesurer proprement dès le départ, puisque les tests prendront leur sens à mesure que le volume arrivera. À l'inverse, un projet qui ne vise pas une telle croissance n'a aucune raison de s'équiper d'un outil qu'il ne pourra pas alimenter.

Ce qu'il vaut mieux travailler avant un A/B test

En somme, l'A/B test sert les sites qui ont déjà du volume et cherchent à l'exploiter au mieux. Pour les projets plus modestes, plusieurs questions passent avant celle de la meilleure version d'une page. Il s'agit d'abord de comprendre où et pourquoi les visiteurs renoncent, puis d'en attirer davantage.

Comprendre où et pourquoi les visiteurs abandonnent

Compter les visiteurs à chaque étape du parcours, jusqu'au paiement ou jusqu'au premier usage d'un SaaS, montre où ils décrochent. Cette mesure ne demande pas de gros volume. En France, elle reste d'ailleurs exemptée de consentement. Observer quelques personnes utiliser le site explique ensuite ce qui les bloque, puisque selon Jakob Nielsen, cinq utilisateurs suffisent à repérer environ 85 % des problèmes d'utilisabilité. Les études publiées complètent ces observations. Baymard a par exemple établi que des frais découverts au dernier moment ou une création de compte imposée font abandonner une part importante des paniers. Corriger ces défauts ne demande aucun test. Aucune de ces sources ne suffit seule, mais leur croisement donne une image plus fiable qu'un test mené sur trop peu de monde.

Attirer plus de visiteurs

Reste le trafic, qui compte plus que la conversion à cette échelle. Un site qui reçoit 5 000 visites par mois et convertit 2 % de ses visiteurs gagne dix commandes mensuelles s'il passe à 2,2 %, après plus de deux ans de test. S'il double son trafic, il en gagne cent. Il le constate en outre dès le premier mois. Le référencement, les contenus et la communication sont donc les chantiers prioritaires. Ils supposent une offre claire, sujet que développe notre article sur les sites qui ne convertissent pas. L'A/B test retrouve son intérêt lorsque ce trafic est là, parce que quelques dixièmes de point commencent alors à peser.

Chez Nualt, des indicateurs adaptés à chaque projet

Avant de choisir un outil de mesure, nous partons de l'activité du projet. Ce que le site vend, à qui et à quelle échelle détermine les indicateurs utiles à ses décisions. Pour un site qui démarre, il s'agit souvent de suivre les étapes du parcours de vente et l'origine des visites, dans le respect du consentement. Pour un produit dont le trafic le permet, l'A/B test trouve sa place, avec une architecture capable de le mener côté serveur. Dans tous les cas, le code, les données et les comptes appartiennent au client. Il peut donc faire évoluer son suivi au même rythme que son activité.

Vos questions sur l'A/B test

Les réponses aux questions qu’on nous pose le plus souvent sur ce sujet.

Qu'est-ce qu'un A/B test ?

Un A/B test présente deux versions d'une même page à des visiteurs répartis au hasard, puis compare leur taux de conversion. La version qui l'emporte est conservée, à condition que l'écart mesuré ne puisse pas s'expliquer par le hasard.

Combien de visiteurs faut-il pour un A/B test fiable ?

Le nombre dépend du taux de conversion de départ et de l'écart recherché. Pour un site qui convertit 2 % de ses visiteurs, détecter une hausse à 2,2 % demande environ 156 000 visiteurs au total. Un écart deux fois plus petit en demande quatre fois plus.

Combien de temps doit durer un A/B test ?

La durée se calcule avant le lancement, à partir du trafic disponible, puis elle doit être respectée. Ronny Kohavi recommande au moins une à deux semaines complètes, car les visiteurs du week-end ne se comportent pas comme ceux de la semaine. Arrêter un test dès qu'une version semble gagner multiplie les faux résultats.

Peut-on faire un A/B test sans consentement aux cookies en France ?

Non, selon les recommandations de la CNIL, qui exclut de l'exemption de consentement toute répartition des visiteurs en groupes exposés à des contenus différents. Le simple comptage des visiteurs à chaque étape d'un parcours reste en revanche exempté, sous conditions.

Quelle différence entre un A/B test et un test utilisateur ?

Un A/B test mesure laquelle de deux versions convertit le mieux, sur un grand nombre de visiteurs. Un test utilisateur observe quelques personnes utiliser le site pour comprendre ce qui les bloque. Il ne demande donc pas de gros volume.

Quels outils permettent de faire un A/B test ?

Les plateformes spécialisées comme VWO, AB Tasty ou Optimizely, les outils d'analyse de produit comme PostHog et des projets open source comme GrowthBook proposent tous l'A/B test. Shopify l'intègre aussi depuis juin 2026 à ses forfaits intermédiaires.

Quel est un bon taux de conversion pour un site e-commerce ?

La plupart des boutiques en ligne convertissent entre 1 et 3 % de leurs visiteurs. Littledata mesure par exemple une médiane de 1,3 % sur les boutiques Shopify de ses clients, et IRP Commerce relève 1,97 % au Royaume-Uni. Ces chiffres viennent d'éditeurs d'outils et varient beaucoup selon le secteur.

Racontez-nous ce que vous voulez construire.