A/B-testilaskuri - Laske tilastollinen merkitsevyys

Q: Mitä A/B-testaus tarkoittaa?

A/B-testissä verrataan kahta sivun varianttia toisiinsa – A-varianttia ja B-varianttia. A on alkuperäinen sivu (joka toimii testin vertailukohtana). B on kopio A:sta, johon on tehty jokin pieni muutos. Testiin voi sisällyttää myös useampia variantteja (C, D, E, jne.), mutta tilastollisen merkitsevyyden kannalta helpompaa on verrata vain kahta varianttia kerrallaan.

Q: Kuinka A/B-testi suoritetaan?

A/B-testiä varten tarvitset alkuperäisen sivun (A-variantti). Kun sivu on valmis, voit kopioida sen ja tehdä kopioon jonkin muutoksen, tehden siitä B-variantin. Voit muokata esimerkiksi jotain tekstin osaa, otsikkoa, painiketta, tai vaikkapa sivun väriä tai fonttia. Kun variantit ovat valmiina, sinun tulee näyttää sivuja yhtä suurille yleisöille ainakin viikon ajan. Viikon aikana kerätyn aineiston perusteella tiedät, kumpi varianteista saavutti paremman konversioprosentin, eli kumpi variantti voitti A/B-testin.

Q: Kuinka kauan A/B-testiä kannattaa jatkaa?

Sivun eri varianttien näyttämistä kannattaa jatkaa niin kauan, kunnes saat kerättyä tilastollisesti merkitsevän kävijämäärän. Kaikki riippuu kävijämääristä. Jos sivustollasi on miljoona vierailijaa päivässä, A/B-testin tulos on hyvin selkeä jo parissa tunnissa. Jos vierailijoita on puolestaan vain 2 kappaletta päivässä, tilastollisesti merkitsevä kävijämäärä saavutetaan vasta vuoden kuluttua. Vierailijoiden käyttäytyminen vaihtelee myös viikonpäivien mukaan, joten on suositeltavaa ylläpitää A/B-testausta ainakin yhden täyden viikon ajan.

Q: Mitä on tilastollinen merkitsevyys?

Tilastollinen merkitsevyys mittaa sitä, johtuuko toisen variantin suurempi suosio siihen tehdyistä muutoksista, vai pelkästään sattumasta. Mitä suuremman luottamusarvon saat, sitä suuremmalla todennäköisyydellä tekemäsi muutokset vaikuttivat voittavan variantin suosioon.

Tee A/B-testi 4 vaiheen avulla

A/B-testissä verrataan keskenään kahta saman verkkosivun varianttia (A ja B). Verrattavat sivut ovat muuten identtisiä, paitsi että toiseen on tehty jokin vierailijoiden käyttäytymiseen vaikuttava muutos. Testin tarkoituksena on selvittää, kumpi sivu toimii tehokkaammin.

Vaihe 1

Syötä kävijämäärä ja konversiot variantille A

Vaihe 2

Syötä kävijämäärä ja konversiot variantille B (ja mahdollisesti myös C:lle ja D:lle)

Vaihe 3

Klikkaa Laske vertaillaksesi variantteja keskenään

Vaihe 4

Tulosruudusta näet, kumpi variantti on voittaja

Näin A/B-testaus toimii

A/B-testissä vertaillaan kahta sivua (sivu A ja sivu B), joiden välillä on vain yksi eroavaisuus. Sivu A on alkuperäinen sivu – tätä käytetään vertailukohtana. Sivu B on muuten täysin samanlainen kuin A, mutta siihen on tehty jokin pieni muutos.

A/B-testissä kannattaa muokata sellaista sivun osaa, joka vaikuttaa sivun vierailijamääriin tai vierailijoiden aktivoimiseen. Muista muokata vain YHTÄ sivun elementtiä kerrallaan, jotta testin tilastollinen merkitsevyys säilyy. Jos teet kerralla useita muokkauksia, tuloksista ei voi päätellä, mikä muokkaus tuotti positiivisen muutoksen käyttäjäluvuissa.

Näitä sivun elementtejä yleensä muokataan:

Otsikko
Toimintaan kehottava painike
Mainosteksti
Tuoteteksti
Kuva

Voit kokeilla muuttaa myös näitä sivun ominaisuuksia:

Väri
Fontti
Design

A/B-testin tuloksena tiedät parhaan konversion (eli aktiivisen kävijämäärän) tuottavan sivun version. Mitä pidemmälle optimoit sivuasi, sitä suuremmaksi konversioprosentti kohoaa.

Käytännössä A/B-testaus suoritetaan siten, että puolet sivuston vierailijoista ohjataan alkuperäiselle sivulle (sivu A), ja puolet muokatulle sivulle (sivu B).

Mitä A/B-luottamusarvo tarkoittaa?

Luottamusarvo mittaa sitä, kuinka tilastollisesti merkitsevä jokin testitulos on. Jos luottamusarvon lukema on suuri, testin tulos on tilastollisesti merkitsevä, eli esimerkiksi kävijämäärien nousu johtuu nimenomaan tehdyistä muutoksista, eikä puhtaasta sattumasta.

95-100%	A/B-testi on tilastollisesti merkitsevä, onneksi olkoon! Nyt sinun kannattaa ottaa käyttöön voittanut sivun versio.
90-95%	A/B-testin tilastollinen merkitsevyys on epävarmaa. Voit halutessasi ottaa käyttöön voittaneen sivun version, mutta suuremman varmuuden saisit tekemällä vielä jonkin toisen A/B-testin.
<90%	A/B-testi ei ole tilastollisesti merkitsevä. Sinun ei kannata ottaa käyttöön muokattua sivun versiota.

Usein kysytyt kysymykset

Mitä A/B-testaus tarkoittaa?

A/B-testissä verrataan kahta sivun varianttia toisiinsa – A-varianttia ja B-varianttia. A on alkuperäinen sivu (joka toimii testin vertailukohtana). B on kopio A:sta, johon on tehty jokin pieni muutos. Testiin voi sisällyttää myös useampia variantteja (C, D, E, jne.), mutta tilastollisen merkitsevyyden kannalta helpompaa on verrata vain kahta varianttia kerrallaan.

Kuinka A/B-testi suoritetaan?

A/B-testiä varten tarvitset alkuperäisen sivun (A-variantti). Kun sivu on valmis, voit kopioida sen ja tehdä kopioon jonkin muutoksen, tehden siitä B-variantin. Voit muokata esimerkiksi jotain tekstin osaa, otsikkoa, painiketta, tai vaikkapa sivun väriä tai fonttia. Kun variantit ovat valmiina, sinun tulee näyttää sivuja yhtä suurille yleisöille ainakin viikon ajan. Viikon aikana kerätyn aineiston perusteella tiedät, kumpi varianteista saavutti paremman konversioprosentin, eli kumpi variantti voitti A/B-testin.

Kuinka kauan A/B-testiä kannattaa jatkaa?

Sivun eri varianttien näyttämistä kannattaa jatkaa niin kauan, kunnes saat kerättyä tilastollisesti merkitsevän kävijämäärän. Kaikki riippuu kävijämääristä. Jos sivustollasi on miljoona vierailijaa päivässä, A/B-testin tulos on hyvin selkeä jo parissa tunnissa. Jos vierailijoita on puolestaan vain 2 kappaletta päivässä, tilastollisesti merkitsevä kävijämäärä saavutetaan vasta vuoden kuluttua. Vierailijoiden käyttäytyminen vaihtelee myös viikonpäivien mukaan, joten on suositeltavaa ylläpitää A/B-testausta ainakin yhden täyden viikon ajan.

Mitä on tilastollinen merkitsevyys?

Tilastollinen merkitsevyys mittaa sitä, johtuuko toisen variantin suurempi suosio siihen tehdyistä muutoksista, vai pelkästään sattumasta. Mitä suuremman luottamusarvon saat, sitä suuremmalla todennäköisyydellä tekemäsi muutokset vaikuttivat voittavan variantin suosioon.

Kokeile ilmaista A/B-testilaskuriamme nyt

A/B-testilaskuri – Laske tilastollinen merkitsevyys

Tee A/B-testi 4 vaiheen avulla

Näin A/B-testaus toimii

Mitä A/B-luottamusarvo tarkoittaa?

Usein kysytyt kysymykset