PaneliaOutils

Taille d'échantillon pour un A/B test

La plupart des A/B tests échouent avant même de commencer : trop peu de trafic par variante, et la différence observée reste dans le bruit statistique. Avant de lancer, chiffrez l'ordre de grandeur : ce calculateur, pré-réglé sur une marge fine de ±2 %, vous donne le nombre d'utilisateurs nécessaires pour mesurer chaque variante avec précision — comptez ce volume DANS CHAQUE branche du test.

Gardez en tête la différence d'objectif : un sondage estime une proportion ; un A/B test détecte un écart entre deux proportions. La taille ci-dessous garantit la précision de mesure de chaque variante. Pour dimensionner rigoureusement la détection d'un petit uplift (ex. +1 point de conversion), complétez avec un calcul de puissance statistique qui intègre l'effet minimal détectable et le risque β.

Niveau de confiance

95 % est le standard des études de marché. Valeurs z : 1,645 · 1,96 · 2,576 (tables statistiques NIST).

L'écart acceptable entre votre échantillon et la réalité. ±5 % est le choix le plus courant.

Si vous ne savez pas, laissez 50 % : c'est le pire cas, celui qui exige l'échantillon le plus grand.

Le nombre total de personnes de votre cible. Au-delà de ~100 000, l'impact devient négligeable : laissez vide.

Répondants nécessaires

2 401

Il vous faut 2 401 répondants pour un niveau de confiance de 95 % avec une marge d'erreur de ±2 %.

Exporter :

Combien de répondants selon la précision ?

La précision coûte cher : passer de ±5 % à ±2 % multiplie l'échantillon par 6.

101001 00010 0001 %3 %5 %8 %10 %Marge d'erreur

Tableau récapitulatif

Taille d'échantillon pour les combinaisons les plus courantes.

Tableau récapitulatif
Confiance± 3 %± 5 %± 10 %
90 %75227168
95 %1 06838597
99 %1 844664166

La taille, c'est réglé. Reste le terrain…

Un terrain classique prend 6 semaines et 10 000 €. Panelia simule plus de 300 répondants calibrés en 10 minutes.

Simuler mon étude

Questions fréquentes

Le résultat vaut-il pour le test entier ou par variante ?
Par variante. Un test A/B à ±2 % et 95 % de confiance demande ~2 401 utilisateurs dans la branche A ET autant dans la branche B.
Pourquoi ±2 % plutôt que ±5 % pour un A/B test ?
Parce que les écarts de conversion réels sont souvent petits (1 à 3 points). Avec ±5 % de marge, un uplift de 2 points est indétectable : les intervalles des deux variantes se chevauchent.
Quand puis-je arrêter mon test ?
Quand chaque variante a atteint la taille calculée À L'AVANCE — pas quand la différence devient significative. Arrêter un test dès qu'il « passe au vert » gonfle drastiquement le taux de faux positifs.
Mon taux de conversion est de 3 %, pas de 50 %. Ça change quoi ?
Renseignez 3 % dans « proportion attendue » : p·(1−p) diminue et l'échantillon requis baisse. Le réglage 50 % reste le choix prudent si vous ne connaissez pas votre taux de base.