A/B-testwinnaars toepassen op hun doelgroepen

Een A/B-test eindigt meestal met één winnaar voor iedereen. Maar de versie die algemeen wint, is niet altijd de versie die wint op telefoons, of bij bezoekers uit de Verenigde Staten. A/B-tests per doelgroep toont de doelgroepen waarin een andere versie wint — en als een doelgroep een Duidelijke winnaar heeft, kun je die toepassen:

• de A/B-test eindigt;
• elke winnende versie wordt getoond aan de doelgroepen waarin hij won;
• iedereen anders houdt de algemene winnaar;
• versies die nergens wonnen, worden uitgezet.

Er verandert niets totdat iemand op Toepassen klikt, en je kunt het ongedaan maken.

Bekijk de walkthrough van 1:38: een test waarin Weatherproof algemeen wint, de doelgroep op telefoons waarin Free shipping een Duidelijke winnaar is, het toepassen, de campagne daarna, en Ongedaan maken.

Hoe het verschilt van de andere manieren waarop een test beslist

• Een winnaar kiezen (automatisch) promoot één versie voor iedereen.
• De AI-optimalisatie (“AI: doorlopend optimaliseren”) blijft de verdeling van het verkeer voor iedereen verschuiven en rondt nooit af.
• Winnaars per doelgroep toepassen rondt de test per doelgroep af, nadat jij het goedkeurt.

Wat het nodig heeft

• Een live campagne met een A/B-test waarin twee of meer versies rouleren — geen multivariaattest, geen landingspaginacampagne.
• Doelgroepontdekking op het account. De doelgroepen zijn die welke het heeft gevonden, en de sessies van de test worden er één keer per dag naar opgedeeld, vanaf de dag nadat de test draait.
• Genoeg data per doelgroep: minstens 200 sessies op elk van de twee vergeleken versies, en samen 10 conversies.
• Geen niet-gepubliceerde wijzigingen die voor die campagne in staging wachten.

A/B-tests per doelgroep lezen

Open Doelgroepen → A/B-tests per doelgroep en kies de test (of open …/ab-audiences?campaign=<id>). De rapportageperiode in de bovenbalk geldt.

• Metriek: Aankooppercentage, Conversiepercentage, Doorklikratio (inclusief verzonden formulieren), of Doel van deze campagne als die er een heeft. De standaard volgt de data: het doel van de campagne, daarna aankopen, daarna elk doel. Alleen overtuigend verbergt de rijen die niet overtuigend zijn.
• De kop: het algemene percentage van elke versie, de koploper gemarkeerd met “leidt algemeen”, en een samenvatting zoals “3 doelgroepen met genoeg verkeer · 2 wijken af van de algemene koploper, 1 daarvan overtuigend”.
• De tabel, één rij per doelgroep: Bezoeken (het aandeel in de test), het percentage van elke versie met conversies / sessies, Koploper in deze doelgroep (“zoals algemeen” of “niet de algemene koploper”), en Betrouwbaarheid.

De cijfers lezen: Doelgroepontdekking op de pagina Prestatiemetrieken legt elk cijfer op dit scherm uit en hoe je het leest.

Wat een Duidelijke winnaar maakt

Uit het paneel: “Overtuigend na de correctie voor het aantal bekeken doelgroepen, voor in beide helften van de dagen en met genoeg sessies en conversies om iets te betekenen.” In gewone taal:

• De correctie. Bij veel doelgroepen lijken sommige door toeval winnaars, dus de lat gaat omhoog met het aantal gecontroleerde doelgroepen (een correctie voor het percentage valse ontdekkingen), bij de eigen significantie-instelling van de test — 95% tenzij gewijzigd.
• Beide helften. De dagen van de periode worden verdeeld in twee afwisselende helften (oneven en even dagen), zodat elke helft de hele periode beslaat, en de koploper moet in beide voorliggen.
• Genoeg data — zoals hierboven.
• Een andere winnaar — de koploper van de doelgroep moet verschillen van de algemene koploper.

Stap voor stap toepassen

1. Vink de doelgroepen aan die je wilt: elke rij met een Duidelijke winnaar heeft een selectievakje Deze winnaar toepassen (tot 10 doelgroepen per campagne).
2. Op de knop boven de tabel staat Vink de doelgroepen aan die je wilt toepassen tot je er een aanvinkt, en daarna Toepassen op 1 doelgroep… — het aantal volgt de selectie.
3. Klik erop. De bevestiging, De winnaars op hun doelgroepen toepassen?, somt precies op wat er gaat gebeuren.
4. Klik op Toepassen op 1 doelgroep. Personyze controleert het oordeel nog een keer op de server voordat het iets wegschrijft; als de data het niet meer ondersteunt, verandert er niets.

Heeft de campagne een controlegroep, dan kan de bevestiging ook zeggen dat sommige doelgroepen “Krijgen niets te zien, omdat de controlegroep bij hen won” — of dat “Iedereen anders krijgt niets te zien, omdat de controlegroep algemeen won.”

Wat er verandert, en waar je dat ziet

• Op het rapport een groene banner: Winnaars toegepast op hun doelgroepen, met de datum en wie het toepaste, “De A/B-test is afgerond. Elk van deze doelgroepen ziet de variatie die bij haar won, en iedereen anders ziet de algemene winnaar.”, elke doelgroep met haar versie, Resultaten sindsdien → en Ongedaan maken.

• In de stap Content van de campagne staat in de A/B-strook “Geen test — iedereen die bij deze campagne past, ziet dezelfde content.”, en de campagne staat op een nieuwe versie, ondertekend door Personyze-optimizer. Elke kaart die blijft, zegt wie hem ziet, in paars onder de regel met het type: Getoond aan: Device type is phone op de winnaar van de doelgroep, Iedereen behalve: Device type is phone op de algemene winnaar. Beide hebben een tag Auto-optimized. Een versie die in geen enkele doelgroep won, toont de status Uit.

• In een actie toont de sectie Inperken tot (“Perk deze actie in tot specifieke pagina’s.”) de paginagroep die de optimizer heeft gemaakt, genoemd naar de doelgroep (bijvoorbeeld Getoond aan: Device type is phone), met Bewerken. Die paginagroep hoort bij de actie; hij wordt niet aan andere acties aangeboden.
• In Prestaties toont de knop voor de periode Sinds de winnaars zijn toegepast de resultaten na de wijziging.

Ongedaan maken

Klik op Ongedaan maken in de banner en bevestig: “Ongedaan maken zet de test terug zoals hij was: de variaties rouleren weer en de paginagroepen van de doelgroepen worden verwijderd.” Ongedaan maken is beschikbaar tot de campagne opnieuw wordt bewerkt. Een campagne kan maar één toepassing tegelijk hebben, dus wil je later een doelgroep toevoegen, maak het dan eerst ongedaan en pas het daarna opnieuw toe met alle doelgroepen aangevinkt.

Ik zie geen knop Toepassen

• Meestal heeft geen enkele rij een Duidelijke winnaar: probeer een langere periode, een andere metriek, of wacht op verkeer.
• “Nog geen doelgroepdelen voor deze test in de gekozen periode.” Doelgroepontdekking staat uit, de test is te nieuw (het opdelen begint de dag nadat hij draait), of de periode valt ernaast.
• “Geen enkele doelgroep heeft 20 bezoeken in deze test in de periode.” Wacht op verkeer, of maak de periode ruimer.
• Kan de campagne niet worden toegepast, dan zegt een oranje balk dat — “1 doelgroep heeft een duidelijke winnaar, maar die kan hier niet worden toegepast.” — gevolgd door de reden:
  • Winnaars kunnen niet per doelgroep worden toegepast op een landingspaginacampagne
  • Deze campagne heeft wijzigingen die in staging wachten — publiceer of verwerp ze eerst
  • Deze campagne heeft geen lopende A/B-test
  • De winnaars zijn al op deze campagne toegepast
  • Deze campagne draait een multivariaattest — winnaars kunnen alleen per doelgroep worden toegepast op een A/B-test
  • Campaign … is not live, so it has no test to conclude

Vragen

• Gaat het automatisch? Nee. Iemand klikt op Toepassen, en de server controleert het op dat moment opnieuw.
• Welke cijfers beslissen? De metriek en periode van het rapport op het moment dat je op Toepassen klikt; die worden bij de toepassing opgeslagen.
• Een bezoeker in twee doelgroepen? Die ziet de winnaar van het sterkste resultaat.
• Blijft de geschiedenis bewaard? Ja. De versie waarop de test draaide, blijft in de geschiedenis van de campagne staan.

Van inschakelen tot toepassen: wat je in elke fase ziet

Gerelateerd

• A/B-testen — de test überhaupt draaien.
• Doelgroepontdekking — waar de doelgroepen vandaan komen.
• Doelgroepen & targeting