A/B tesztkalkulátor - Statisztikai szignifikancia kiszámítása

Q: Mit jelent az A/B tesztelés?

Az A/B tesztben két változatot tesztelünk egymáshoz képest – az „A” és a „B” változatot. Az „A” az eredeti változat (más néven a kontroll változat), a „B” pedig az „A” másolata egyetlen kis változtatással. Lehetséges további változatokat is tesztelni (C, D, E, stb.), azonban a statisztikailag szignifikáns eredmények biztosításához azt javasoljuk, hogy az „A” és a „B” változatot tesztelje egymással szemben.

Q: Hogyan kell végrehajtani az A/B tesztet?

Az A/B teszt futtatásához szüksége lesz az úgynevezett eredeti vagy kontroll oldalra („A” változat). Miután elkészült az „A” változat, el kell készítenie ennek másolatát, ezután módosítson ezen a másolaton egy kicsit a „B” változat létrehozásához. Ez a változtatás lehet egy kis szövegrészlet, címsor, gomb, cselekvésre ösztönző elem, sőt akár a használt betűtípus színe vagy stílusa. Ezt a két változatot be kell mutatnia két hasonló méretű látogatóközönség számára legalább egy héten keresztül. Az eltelt hét folyamán összegyűjtött adatokból meghatározható, melyik változat eredményezi a legmagasabb konverziót, ez lesz tehát a nyerő változat.

Q: Milyen hosszan kell futtatni az A/B tesztet?

Addig kell az A/B tesztet futtatni, amíg statisztikailag szignifikáns eredményeket nem kap. A felhasználói munkamenetek száma a lényeges. Ha az adott weboldal napi 1 millió látogatóval rendelkezik, az A/B teszt akár órák alatt egyértelmű eredményeket mutathat. Ha csak napi 2 látogatója van a weboldalnak, akár egy év is eltelhet, mielőtt statisztikailag szignifikáns eredményeket kaphatunk. A felhasználók viselkedése változhat a hét során, így legalább egy teljes hétig javasolt az A/B tesztek futtatása.

Q: Mi a statisztikai szignifikancia?

A statisztikai szignifikancia azt a valószínűséget jelöli, hogy nem a véletlen az oka annak, hogy az egyik változat erősebb a másikkal összehasonlítva. Azaz elegendő bizonyossággal feltételezhető, hogy a nyerő változat az Ön által elvégzett módosításoknak köszönhetően működik jobban.

A/B teszt 4 lépésben

Az A/B teszt egy olyan vizsgálat, ahol egy oldal két változatát (A és B) lehet összehasonlítani. A két összehasonlítandó oldalnak azonosnak kell lennie, egy változtatást kivéve, amely befolyásolhatja a felhasználó viselkedését. A teszt célja annak meghatározása, hogy melyik oldal teljesít jobban.

1. lépés

Adja meg az A változathoz a látogatók számát és az összesített konverziókat

2. lépés

Adja meg a B (és ha szükséges, C és D) változathoz a látogatók számát és az összesített konverziókat

3. lépés

A változatok összehasonlításához válassza a Kiszámít opciót

4. lépés

Az eredményeknél láthatja, hogy melyik változat a nyerő

Hogyan futtassunk A/B tesztet

Az A/B teszt lefuttatásához két oldalt kell összehasonlítani (az „A” és a „B” oldalt), ahol mindkét oldalon csak egyetlen elem eltérő. Az „A” oldal az eredeti oldal – ez a kontroll. A „B” oldal meg kell egyezzen az „A” oldallal egyetlen kis változtatás kivételével.

Leginkább azokat az elemeket érdemes módosítani, amelyek befolyásolják a konverziót, és cselekvésre ösztönzik a látogatókat. Egyszerre csak EGYETLEN elemet szabad megváltoztatni az oldalon annak érdekében, hogy statisztikailag szignifikáns eredményt kapjunk. Ha Ön több elemet is megváltoztat, akkor nem fogja tudni majd, hogy melyik módosítás működött, és melyik nem.

Tipikusan az alábbi elemeket szokták módosítani:

Címsor
Cselekvésre ösztönző gomb
Reklámszöveg
Termékleírás
Kép

Ezeken az elemeken belül is érdemes megfontolni a következők módosítását:

Szín
Betűtípus
Design

A magasabb konverziót eredményező oldal a nyerő változat. Ön minél többet optimalizálja az oldalát, annál magasabb lesz a konverziós arány.

Miután elkészült az oldalakkal, a látogatóforgalom felét a kontroll oldalra kell irányítani („A” oldal), a másik felét pedig a módosított oldalra („B” oldal).

Mi az A/B konfidencia pontszám?

A konfidencia pontszám a becslés megbízhatóságának mértékét jelzi. Ha a konfidencia pontszám magas, akkor az eredmények statisztikailag szignifikánsnak minősülnek, és Ön bizonyos lehet abban, hogy ezek az eredmények a módosításnak köszönhetők, nem pedig a véletlen műve.

95-100%	Az A/B teszt statisztikailag szignifikáns, gratulálunk! Javasoljuk, hogy implementálja a nyerő változatot az oldalán.
90-95%	Az A/B teszt nem valószínű, hogy statisztikailag szignifikáns. Kellő óvatosság mellett implementálható a nyerő változat, de biztonságosabb lenne még egy A/B tesztet lefuttatni előbb.
<90%	Az A/B teszt statisztikailag nem szignifikáns. Ne implementálja a nyerő változatot.

Gyakran Ismételt Kérdések

Mit jelent az A/B tesztelés?

Az A/B tesztben két változatot tesztelünk egymáshoz képest – az „A” és a „B” változatot. Az „A” az eredeti változat (más néven a kontroll változat), a „B” pedig az „A” másolata egyetlen kis változtatással. Lehetséges további változatokat is tesztelni (C, D, E, stb.), azonban a statisztikailag szignifikáns eredmények biztosításához azt javasoljuk, hogy az „A” és a „B” változatot tesztelje egymással szemben.

Hogyan kell végrehajtani az A/B tesztet?

Az A/B teszt futtatásához szüksége lesz az úgynevezett eredeti vagy kontroll oldalra („A” változat). Miután elkészült az „A” változat, el kell készítenie ennek másolatát, ezután módosítson ezen a másolaton egy kicsit a „B” változat létrehozásához. Ez a változtatás lehet egy kis szövegrészlet, címsor, gomb, cselekvésre ösztönző elem, sőt akár a használt betűtípus színe vagy stílusa. Ezt a két változatot be kell mutatnia két hasonló méretű látogatóközönség számára legalább egy héten keresztül. Az eltelt hét folyamán összegyűjtött adatokból meghatározható, melyik változat eredményezi a legmagasabb konverziót, ez lesz tehát a nyerő változat.

Milyen hosszan kell futtatni az A/B tesztet?

Addig kell az A/B tesztet futtatni, amíg statisztikailag szignifikáns eredményeket nem kap. A felhasználói munkamenetek száma a lényeges. Ha az adott weboldal napi 1 millió látogatóval rendelkezik, az A/B teszt akár órák alatt egyértelmű eredményeket mutathat. Ha csak napi 2 látogatója van a weboldalnak, akár egy év is eltelhet, mielőtt statisztikailag szignifikáns eredményeket kaphatunk. A felhasználók viselkedése változhat a hét során, így legalább egy teljes hétig javasolt az A/B tesztek futtatása.

Mi a statisztikai szignifikancia?

A statisztikai szignifikancia azt a valószínűséget jelöli, hogy nem a véletlen az oka annak, hogy az egyik változat erősebb a másikkal összehasonlítva. Azaz elegendő bizonyossággal feltételezhető, hogy a nyerő változat az Ön által elvégzett módosításoknak köszönhetően működik jobban.

Próbálja ki most ingyenes A/B tesztkalkulátor eszközünket

A/B tesztkalkulátor – Statisztikai szignifikancia kiszámítása

A/B teszt 4 lépésben

Hogyan futtassunk A/B tesztet

Mi az A/B konfidencia pontszám?

Gyakran Ismételt Kérdések