Un test A/B se termine généralement par une seule gagnante pour tout le monde. Mais la version qui gagne globalement n’est pas toujours celle qui gagne sur les téléphones, ou auprès des visiteurs venus des États-Unis. Tests A/B par audience montre les audiences où une autre version gagne — et quand une audience a une Gagnante nette, vous pouvez l’appliquer :
- le test A/B se termine ;
- chaque version gagnante est montrée aux audiences qu’elle a remportées ;
- tous les autres gardent la gagnante globale ;
- les versions qui n’ont gagné nulle part sont désactivées.
Rien ne change tant que personne n’a cliqué sur Appliquer, et vous pouvez annuler.
Regardez la démonstration de 1:38 : un test que Weatherproof remporte globalement, l’audience téléphone où Free shipping est une gagnante nette, son application, la campagne ensuite, et l’annulation.
En quoi cela diffère des autres façons dont un test décide
- Choisir un gagnant (choix automatique) promeut une seule version pour tout le monde.
- L’optimiseur IA (« IA : optimiser en continu ») ajuste en permanence la répartition du trafic pour tout le monde et ne conclut jamais.
- Appliquer les gagnantes par audience conclut le test audience par audience, après votre validation.
Ce qu’il faut
- Une campagne en production qui exécute un test A/B avec deux versions ou plus en rotation — pas un test multivarié, pas une campagne de page d’atterrissage.
- Audience Discovery sur le compte. Les audiences sont celles qu’il a trouvées, et les sessions du test sont découpées selon elles une fois par jour, à partir du lendemain du lancement du test.
- Assez de données par audience : au moins 200 sessions sur chacune des deux versions comparées, et 10 conversions entre elles.
- Aucune modification non publiée en attente en staging pour cette campagne.
Lire les tests A/B par audience
Ouvrez Audiences → Tests A/B par audience et choisissez le test (ou ouvrez …/ab-audiences?campaign=<id>). La période du rapport, dans la barre du haut, s’applique.
- Métrique : Taux d’achat, Taux de conversion, Taux de clics (envois de formulaire inclus), ou Objectif de cette campagne quand elle en a un. La valeur par défaut suit les données : l’objectif de la campagne, puis les achats, puis n’importe quel objectif. Concluants seulement masque les lignes qui ne sont pas concluantes.
- L’en-tête : le taux global de chaque version, la version en tête marquée « mène globalement », et un résumé comme « 3 audiences avec assez de trafic · 2 en désaccord avec le leader global, dont 1 de façon concluante ».
- Le tableau, une ligne par audience : Visites (sa part du test), le taux de chaque version avec conversions / sessions, Leader dans cette audience (« comme au global », ou « pas le leader global »), et Confiance.
Lire les chiffres : la section Audience Discovery de la page Indicateurs de performance explique chaque chiffre de cet écran et comment le lire.
Ce qui fait une gagnante nette
D’après le panneau : « Concluant après la correction pour le nombre d’audiences examinées, en tête dans les deux moitiés des jours, et avec assez de sessions et de conversions pour que cela ait un sens. » En clair :
- La correction. Avec de nombreuses audiences, certaines paraissent gagnantes par chance : le seuil s’élève donc avec le nombre d’audiences vérifiées (une correction du taux de fausses découvertes), au niveau de significativité propre au test — 95 % sauf modification.
- Les deux moitiés. Les jours de la période sont répartis en deux moitiés alternées (jours pairs et impairs), si bien que chaque moitié couvre toute la période, et la version en tête doit l’être dans les deux.
- Assez de données — comme ci-dessus.
- Une gagnante différente — la version en tête dans l’audience doit être différente de celle en tête globalement.
L’absence de gagnante nette est normale Dans la plupart des tests, la meilleure version est la meilleure pour tout le monde. Le rapport le dit au lieu de deviner.
Appliquer, étape par étape
- Cochez les audiences voulues : chaque ligne qui a une gagnante nette comporte une case Appliquer cette gagnante (jusqu’à 10 audiences par campagne).
- Le bouton au-dessus du tableau indique Cochez les audiences à appliquer tant que vous n’en avez coché aucune, puis Appliquer à 1 audience… — le nombre suit la sélection.
- Cliquez dessus. La confirmation, Appliquer les gagnantes à leurs audiences ?, liste exactement ce qui va se passer.
- Cliquez sur Appliquer à 1 audience. Personyze vérifie à nouveau le verdict sur le serveur avant d’écrire quoi que ce soit ; si les données ne le justifient plus, rien ne change.
Quand la campagne a un groupe témoin, la confirmation peut aussi indiquer que certaines audiences « Rien n’est montré, car le groupe témoin les a remportées » — ou que « Rien n’est montré à tous les autres, car le groupe témoin l’a emporté globalement. »
Ce qui change, et où le voir
- Sur le rapport, un bandeau vert : Gagnantes appliquées à leurs audiences, avec la date et l’auteur de l’application, « Le test A/B est terminé. Chacune de ces audiences voit la variation qui l’a emporté auprès d’elle, et tous les autres voient la gagnante globale. », chaque audience avec sa version, Résultats depuis → et Annuler.
- À l’étape Contenu de la campagne, le bandeau A/B indique « Pas de test — tous ceux qui correspondent à cette campagne voient le même contenu. », et la campagne passe à une nouvelle version signée Optimiseur Personyze. Chaque carte conservée indique qui la voit, en violet sous sa ligne de type : Montrée à : Device type is phone sur la gagnante de l’audience, Tout le monde sauf : Device type is phone sur la gagnante globale. Les deux portent un tag Auto-optimized. Une version qui n’a remporté aucune audience affiche le statut Désactivée.
- Dans une action, sa section Limiter aux pages (« Restreindre cette action à des pages spécifiques. ») affiche le groupe de pages créé par l’optimiseur, nommé d’après l’audience (par exemple Shown to: Device type is phone), avec Modifier. Ce groupe de pages appartient à l’action ; il n’est pas proposé aux autres actions.
- Dans Performance, le bouton de période Depuis l’application des gagnantes affiche les résultats après le changement.
Annuler
Cliquez sur Annuler dans le bandeau, puis confirmez : « Annuler remet le test tel qu’il était : les variations tournent de nouveau et les groupes de pages des audiences sont supprimés. » L’annulation reste possible jusqu’à la prochaine modification de la campagne. Une campagne n’accepte qu’une application à la fois : pour ajouter une autre audience plus tard, annulez d’abord, puis appliquez de nouveau en cochant toutes les audiences.
Je ne vois pas de bouton Appliquer
- Le plus souvent, aucune ligne n’a de gagnante nette : essayez une période plus longue, une autre métrique, ou attendez du trafic.
- « Aucune tranche d’audience pour ce test sur la période choisie pour l’instant. » Audience Discovery est désactivé, le test est trop récent (les tranches commencent le lendemain de son lancement), ou la période ne le couvre pas.
- « Aucune audience n’a encore 20 visites dans ce test sur la période. » Attendez du trafic, ou élargissez la période.
- Quand la campagne ne peut pas accepter d’application, une barre orange l’indique — « 1 audience a une gagnante nette, mais elle ne peut pas être appliquée ici. » —, suivie de la raison :
- Les gagnantes ne peuvent pas être appliquées par audience sur une campagne de page d’atterrissage
- Cette campagne a des modifications en attente en staging — publiez-les ou abandonnez-les d’abord
- Cette campagne n’a aucun test A/B en cours
- Les gagnantes ont déjà été appliquées à cette campagne
- Cette campagne mène un test multivarié — les gagnantes ne peuvent être appliquées par audience que sur un test A/B
- Campaign … is not live, so it has no test to conclude
Questions
- Est-ce automatique ? Non. Une personne clique sur Appliquer, et le serveur revérifie à ce moment-là.
- Quels chiffres décident ? La métrique et la période du rapport au moment où vous cliquez sur Appliquer ; elles sont enregistrées avec l’application.
- Un visiteur dans deux audiences ? Il voit la gagnante du résultat le plus fort.
- L’historique est-il conservé ? Oui. La version sur laquelle le test a tourné reste dans l’historique de la campagne.
De l’activation à l’application : ce que vous voyez à chaque étape
| Étape | Ce que vous faites | Ce que vous voyez |
|---|---|---|
| 1. Activer | Modules complémentaires → Découverte d’audiences (essai ou activation) | « Aucune passe n’a encore eu lieu… », puis, en une dizaine de minutes environ, les premières cartes d’audience |
| 2. Vérifier les réglages | Audiences découvertes → Paramètres : le résultat à privilégier (Automatique convient) et les données que les règles peuvent utiliser | Les cartes sont reclassées à la passe suivante |
| 3. Lancer un test A/B | N’importe quelle campagne → Contenu → un test A/B avec deux versions ou plus, publié en production | Rien de nouveau pour l’instant |
| 4. Le lendemain | Audiences → Tests A/B par audience → choisir le test | Une ligne par audience découverte ayant assez de visites ; surtout « comme au global » |
| 5. Les données s’accumulent | Attendre : une gagnante nette nécessite plus de 200 sessions par version comparée et plus de 10 conversions, en tête dans les deux moitiés | Un badge Gagnante nette sur une ligne, et la barre pour cocher et appliquer |
| 6. Appliquer | Cocher, Appliquer, confirmer | Le bandeau, les libellés Montrée à, la version Désactivée, la nouvelle version de la campagne |
| 7. Mesurer | Performance → Depuis l’application des gagnantes | Les résultats après le changement |
Voir aussi
- Tests A/B — lancer le test au départ.
- Audience Discovery — d’où viennent les audiences.
- Audiences et ciblage