A/B Test Rechner – Berechnung der statistischen Signifikanz
Finde heraus, welche Variante Deiner Webseite Dir dabei hilft, Deine Ziele zu erreichen
In 4 Schritten einen A/B-Test durchführen
Wie führe ich einen A/B Test durch
Bei einem A/B-Test vergleichst Du zwei Versionen einer Seite (Seite A und Seite B) miteinander, die sich in einem Element unterscheiden. Seite A ist die Originalseite – diese wird als Kontrollelement bezeichnet. Seite B sollte bis auf eine kleine Änderung mit Seite A identisch sein.
Sinnvollerweise führst Du die Tests bei der Änderung von Elementen durch, die die Conervsion Rate beeinflussen und Deine Besucher zum Handeln auffordern. Sie sollten jeweils nur EIN Element auf der Seite ändern, um ein statistisch signifikantes Testergebnis zu erhalten. Wenn Du mehrere Elemente ändern, weißt Du im Anschluss nicht, welche Änderung funktioniert hat und welche nicht.
Zu den typischen Elementen gehören:
- Headline
- “Call to action”-Button
- Anzeigentext
- Produkttext
- Bild
Innerhalb dieser Elemente könntest Du z.B: folgende Parameter anpassen:
- Farbe
- Schrift
- Design
Die Seite mit höheren Conversion Rate ist die bessere Variante. Je mehr Du Deine Seite mittels A/B-Tests optimierst, desto höher ist Deine Conversion Rate.
Sobald Deine beiden Seitenvarianten fertiggestellt sind, sollte die Hälfte des Datenverkehrs auf die Originalversion (Seite A) umgeleitet und die andere Hälfte auf die geänderte Seite (Seite B) weitergeleitet werden.
Was ist die A/B-Konfidenzwert?
Der Konfidenzwert ist eine Methode zur Messung der Zuverlässigkeit einer Schätzung. Wenn der Konfidenzwert hoch ist, bedeutet dies, dass die Ergebnisse statistisch signifikant sind, und Du Dir sicher sein kannst, dass diese Ergebnisse eine Folge der von Dir vorgenommenen Änderungen sind, und nicht nur ein Ergebnis von Zufällen.
| 95-100% | Dein A/B-Test ist statistisch signifikant, herzlichen Glückwunsch! Du kannst die siegreiche Variante jetzt implementieren. |
| 90-95% | Es ist unwahrscheinlich, dass Dein A / B-Test statistisch signifikant ist. Du könntest die siegreiche Variante implementieren, aber es wäre sicherer, zuerst einen anderen A/B-Test zu fahren. |
| <90% | Dein A/B-Test ist statistisch nicht signifikant. Du solltest die siegreiche Variante nicht nur auf Basis dieser Ergebnisse implementieren. |
Häufig gestellte Fragen
Was versteht man unter einem A/B-Test?
In einem A/B-Test testest Du zwei Varianten (z.B. einer Webseite) gegeneinander – Variante A und Variante B. A ist das Original (auch als Kontrollelement bekannt), und B ist eine Kopie von A, jedoch mit einer kleinen Modifikation. Es ist auch möglich, mehr Varianten (C, D, E … usw.) zu testen. Für statistisch signifikante Ergebnisse empfehlen wir jedoch, A gegen B zu testen.Wir kann ich einen A/B-Test vornehmen?
Um einen A/B-Test durchzuführen, benötigen Sie eine Original- oder Kontrollseite (Variante A). Sobald Du mit Variante A fertig bist, musst Du sie duplizieren und dann etwas Kleines auf der Seite ändern, um Variante B zu erstellen. Dies kann ein kleiner Teil des Textes, eine Überschrift, eine Schaltfläche, ein „Call to action“-Button oder sogar die Farbe oder der Stil der verwendeten Schriftart sein. Du musste diese beiden Varianten mindestens eine Woche lang einem ähnlich großen Publikum zeigen. Anhand der während der Woche gesammelten Daten kannst Du dann bestimmen, welche Variante die höhere Conversion Rate bietet und damit die gewinnbringende Variante ist.Wie lange sollte ein A/B-Test laufen?
Du musst einen A/B-Test so lange durchführen, bis statistisch signifikante Ergebnisse erzielt werden. Die Anzahl der Benutzerbesuche ist der Schlüssel. Wenn eine Seite Deiner Webseite 1 Million Besucher pro Tag hat, kann der A/B-Test schon nach wenigen Stunden klare Ergebnisse zeigen. Bei einere Seite, die nur 2 Besucher pro Tag ansteuern, kann es ein Jahr dauern, bis statistisch signifikante Ergebnisse angezeigt werden. Das Benutzerverhalten ist in der Regel im Laufe der Woche unterschiedlich. Daher empfehlen wir, A/B-Tests mindestens eine volle Woche lang durchzuführen.Was ist statistische Signifikanz?
Statistische Signifikanz ist die Wahrscheinlichkeit, dass der Grund dafür, dass eine Variante stärker als die andere ist, durch etwas anderes als den Zufall bestimmt wird. Dies bedeutet, dass Du zuverlässig davon ausgehen kannst, dass die besser performende Variante aufgrund der von Dir vorgenommenen Änderungen besser war. Du kannst unseren Rechner für die statistische Relevanz ohne versteckte Kosten nutzen, um deinen A/B-Test zu planen.Freut mich, dass es Dir gefallen hat!