Mitä A/B-testi oikeasti mittaa

Aloitetaan tarkentamalla mitä A/B-testi tarkalleen tekee. Tämä on perustermi, jonka kaikki markkinoijat tietävät nimeltä, mutta sen tilastollinen pohja jää usein epäselväksi — ja juuri se on syy, miksi monet päätökset tehdään väärin. A/B-testi on koe, jossa kaksi versiota — sanotaan vaikkapa mainos A ja mainos B — näytetään rinnakkain eri ihmisille, ja niiden tuloksia mitataan. Jos B saa enemmän klikkauksia kuin A, päätelmä on että B toimii paremmin. Tämä on yksinkertainen kuvaus, mutta totuus on hieman monimutkaisempi. Ongelma on satunnaisuus. Vaikka A ja B olisivat täsmälleen sama mainos, niiden klikkausluvut eivät olisi samoja. Joku näkee mainoksen pahalla tuulella, joku hyvällä. Joku näkee sen mobiilissa, joku tietokoneella. Joku klikkaa vahingossa, joku jättää klikkaamatta vaikka kiinnostuisi. Tämä kaikki tuottaa kohinaa, joka peittää aitoja eroja. Tilastollisesti ilmaistuna: jos näytät A:n sadalle ihmiselle ja B:n sadalle, et voi päätellä paljon, vaikka tulokset olisivat 3 prosenttia ja 4 prosenttia. Ero voi olla todellinen, mutta se voi yhtä hyvin olla pelkkä sattuma. Tarvitset isomman otoksen tai isomman eron ennen kuin voit luottaa tulokseen. Yleinen sääntö, jota markkinoinnin alalla käytetään: ennen kuin sanot A/B-testin tuottaneen ratkaisevan tuloksen, sinun pitää nähdä tilastollinen merkittävyys vähintään 95 prosentin luokkaa. Tämä tarkoittaa että jos ero ei olisi todellinen, sattuma tuottaisi vastaavan eron alle 5 prosenttiin tapauksista. Tilastollisia merkittävyyslaskureita on saatavilla verkossa monessa muodossa; opi käyttämään yhtä luotettavasti. Yksittäinen luottamuskysymys: kuinka iso otoksen pitää olla? Tämä riippuu odotetusta efektikoon — eli kuinka iso ero olet etsimässä — ja taustaluvusta. Yksinkertainen sääntö: jos haluat löytää erottavia eroja, joiden suuruus on kymmenisen prosenttia muutosta, tarvitset tyypillisesti tuhansia näyttöjä per variantti. Pienemmät erot vaativat kymmeniä tuhansia näyttöjä. Erittäin pienet erot vaativat kymmeniä tuhansia tai enemmän. Tämä tarkoittaa että pienissä mainoskampanjoissa A/B-testaaminen ei aina tuota luotettavia tuloksia. Jos kampanja näyttää vain tuhat näyttöä yhteensä, ja jaat sen kahteen varianttiin, kummankin näyttömäärä on niin pieni että ero kahden variantin välillä on todennäköisesti satunnaiskohinaa. Tekoälyn rooli tässä on rajoittunut, mutta hyödyllinen. Tekoäly voi laskea tilastollisen merkittävyyden klikkausluvuista, jos annat sille luvut. Mutta sen pitäisi näyttää sinulle tilastollinen merkittävyys eikä vain sanoa 'B voitti'. Pyydä siltä aina merkittävyysprosentti, jotta tiedät kuinka luotettavaan tulokseen tuijotat. Toinen huomio: A/B-testi mittaa yhden mittarin — esimerkiksi klikkausprosentin — yhdellä aikavälillä. Se ei mittaa tuottaako klikkauksen tehnyt ihminen lopulta kaupan, jääkö hän asiakkaaksi pitkäaikaisesti, vai aiheuttaako klikkaus pelkkää huomaamista ilman seurausta. Käymme tähän tarkemmin myöhemmin. Periaate: A/B-testi on hyödyllinen, mutta sen tulos on lopulta tilastollinen arvio, ei absoluuttinen totuus. Mitä pienempi otos, sitä epäluotettavampi tulos.

Kokeile nyt

A-mainos saa 3 % klikkausprosentin ja B-mainos 4 % klikkausprosentin, molemmat 500 näytöllä. Mitä voit päätellä?

Tallenna edistymisesi ja oma oppimisyhteenvetosi