Testattavien valinta ja otannan riittävyys

Edellisellä oppitunnilla puhuimme akseleista, joita kannattaa testata. Nyt katsotaan miten valitaan mitä testataan milloinkin, ja miten varmistetaan että otanta on riittävä luotettavalle tulokselle. Testattavien akselien valinta. Hyvä järjestys on lähteä isoista akseleista ja edetä pienempiin. Iso akseli on sellainen, jossa eri valinnat tuottavat hyvin erilaisia kokemuksia — esimerkiksi rationaalinen vs tunteellinen lähestyminen. Pieni akseli on sellainen, jossa erot ovat hienovaraisia — vaikkapa eri värivaihtoehdot toimintapainikkeessa. Aloita isoista, koska niissä voitot ovat suurimpia ja niistä oppii eniten. Kun olet löytänyt isoissa akseleissa hyvät valinnat, voit siirtyä pienempiin viilauksiin. Esimerkki kahden vuoden ohjelmasta. Kuukausi 1: testaa lähestymistapaa (rationaalinen vs tunteellinen). Kuukausi 2: testaa tarinaa (asiakaskertomus vs tuoteominaisuudet). Kuukausi 3: testaa sävyä (ammattimainen vs rento). Vasta kuukauden 6 vaiheessa olet pieniä akseleita, kuten värit ja muotoilut. Tämä järjestys mahdollistaa kumulatiivisen oppimisen. Jokainen testi tuottaa tietoa, jota käytetään seuraavissa testeissä. Otoksen riittävyys on kysymys, jota markkinoijat liian harvoin laskevat etukäteen. Yleinen virhe on aloittaa testi, antaa sen pyöriä viikko, ja katsoa lopussa kummalla on enemmän klikkauksia. Jos otos on liian pieni, lopputulos on satunnaiskohinaa. Hyvä käytäntö: laske ennen testin aloittamista, kuinka monta näyttöä tarvitset. Tähän on yksinkertaisia laskureita verkossa. Anna laskurille perusluku — esim. nykyinen klikkausprosentti — ja minimaalinen ero, jonka haluat tunnistaa luotettavasti. Laskuri kertoo otoksen koon per variantti. Tyypillisesti tämä luku on tuhansia tai kymmeniä tuhansia näyttöjä per variantti. Jos kampanjasi ei voi tuottaa tällaisia näyttömääriä yhtä testiä varten, A/B-testi ei ole järkevä lähestymistapa. Sen sijaan voit käyttää muita menetelmiä: laadullinen tutkimus (esimerkiksi haastattele viittä asiakasta), asiantuntija-arvio (kysy kollegoilta), tai pidempi havainnointijakso (julkaise yhtä versiota ja tarkista pitkän aikavälin tuloksia). Toinen tärkeä huomio: testit kestävät vähintään yhden viikon, vaikka otoksen koko täyttyisi nopeammin. Tämä antaa testille aikaa kerätä tietoa viikon eri ajoilta — viikonloppu vs arkipäivät, aamut vs illat, eri tilanteet. Lyhyemmät testit ovat alttiimpia vinoumalle. Yksi yleinen sudenkuoppa: testin keskeyttäminen, kun yksi variantti näyttää voittavan. Tämä on tilastollisesti virheellistä — se tarkoittaa että alennat efektiivistä otoskokoasi ja kasvatat virheen mahdollisuutta. Päätä etukäteen testin pituus ja otoskoko, ja pidä siitä kiinni, vaikka tuloksesi näyttäisi selvältä jo aikaisin. Tekoälyn rooli tässä: laske otostarpeet ja muistuta sinua testin tilastollisesta tilasta. Voit pyytää sitä laskemaan jokaisesta tilanteesta otoksen vaaditun koon, kun annat perusluvun ja tavoiteltavan eron. Voit myös pyytää sitä tarkistamaan, onko tilanne edennyt riittävän pitkälle ratkaisevan päätelmän tekemiseksi. Lopuksi muistutus: A/B-testit ovat työkalu, ei taikajuoma. Hyvin järjestettynä ne tuottavat oppimista; huonosti järjestettynä satunnaisuutta. Otoksen koko, akselin valinta ja testin kesto ovat tekijöitä, joista riippuu kumpi näistä syntyy.

Kokeile nyt

Mikä on hyvä järjestys A/B-testien akseleille?

Tallenna edistymisesi ja oma oppimisyhteenvetosi