A/B Test Rechner - Berechnung der statistischen Signifikanz

Q: Was versteht man unter einem A/B-Test?

In einem A/B-Test testest Du zwei Varianten (z.B. einer Webseite) gegeneinander – Variante A und Variante B. A ist das Original (auch als Kontrollelement bekannt), und B ist eine Kopie von A, jedoch mit einer kleinen Modifikation. Es ist auch möglich, mehr Varianten (C, D, E … usw.) zu testen. Für statistisch signifikante Ergebnisse empfehlen wir jedoch, A gegen B zu testen.

Q: Wir kann ich einen A/B-Test vornehmen?

Um einen A/B-Test durchzuführen, benötigen Sie eine Original- oder Kontrollseite (Variante A). Sobald Du mit Variante A fertig bist, musst Du sie duplizieren und dann etwas Kleines auf der Seite ändern, um Variante B zu erstellen. Dies kann ein kleiner Teil des Textes, eine Überschrift, eine Schaltfläche, ein „Call to action“-Button oder sogar die Farbe oder der Stil der verwendeten Schriftart sein. Du musste diese beiden Varianten mindestens eine Woche lang einem ähnlich großen Publikum zeigen. Anhand der während der Woche gesammelten Daten kannst Du dann bestimmen, welche Variante die höhere Conversion Rate bietet und damit die gewinnbringende Variante ist.

Q: Wie lange sollte ein A/B-Test laufen?

Du musst einen A/B-Test so lange durchführen, bis statistisch signifikante Ergebnisse erzielt werden. Die Anzahl der Benutzerbesuche ist der Schlüssel. Wenn eine Seite Deiner Webseite 1 Million Besucher pro Tag hat, kann der A/B-Test schon nach wenigen Stunden klare Ergebnisse zeigen. Bei einere Seite, die nur 2 Besucher pro Tag ansteuern, kann es ein Jahr dauern, bis statistisch signifikante Ergebnisse angezeigt werden. Das Benutzerverhalten ist in der Regel im Laufe der Woche unterschiedlich. Daher empfehlen wir, A/B-Tests mindestens eine volle Woche lang durchzuführen.

Q: Was ist statistische Signifikanz?

Statistische Signifikanz ist die Wahrscheinlichkeit, dass der Grund dafür, dass eine Variante stärker als die andere ist, durch etwas anderes als den Zufall bestimmt wird. Dies bedeutet, dass Du zuverlässig davon ausgehen kannst, dass die besser performende Variante aufgrund der von Dir vorgenommenen Änderungen besser war.

In 4 Schritten einen A/B-Test durchführen

Ein A/B-Test ist ein Experiment, bei dem zwei Versionen (A und B) einer Seite verglichen werden. Die beiden zu vergleichenden Seiten sollten identisch sein, mit Ausnahme einer Änderung, die das Verhalten des Besuchers beeinflussen kann. Ziel des Tests ist es, herauszufinden, welche Seite bessere Ergebnisse liefert.

Schritt 1

Gib die Zahl der Besucher und Gesamtzahl an Konversionen für Variante A ein

Schritt 2

Gib die Zahl der Besucher und Gesamtzahl an Konversionen für Variante B (und C und D, wenn gewünscht) ein

Schritt 3

Wähle Berechnen, um die Varianten zu vergleichen

Schritt 4

In der Ergebnisbox siehst Du, welche Variante die bessere ist

Wie führe ich einen A/B Test durch

Bei einem A/B-Test vergleichst Du zwei Versionen einer Seite (Seite A und Seite B) miteinander, die sich in einem Element unterscheiden. Seite A ist die Originalseite – diese wird als Kontrollelement bezeichnet. Seite B sollte bis auf eine kleine Änderung mit Seite A identisch sein.

Sinnvollerweise führst Du die Tests bei der Änderung von Elementen durch, die die Conervsion Rate beeinflussen und Deine Besucher zum Handeln auffordern. Sie sollten jeweils nur EIN Element auf der Seite ändern, um ein statistisch signifikantes Testergebnis zu erhalten. Wenn Du mehrere Elemente ändern, weißt Du im Anschluss nicht, welche Änderung funktioniert hat und welche nicht.

Zu den typischen Elementen gehören:

Headline
“Call to action”-Button
Anzeigentext
Produkttext
Bild

Innerhalb dieser Elemente könntest Du z.B: folgende Parameter anpassen:

Farbe
Schrift
Design

Die Seite mit höheren Conversion Rate ist die bessere Variante. Je mehr Du Deine Seite mittels A/B-Tests optimierst, desto höher ist Deine Conversion Rate.

Sobald Deine beiden Seitenvarianten fertiggestellt sind, sollte die Hälfte des Datenverkehrs auf die Originalversion (Seite A) umgeleitet und die andere Hälfte auf die geänderte Seite (Seite B) weitergeleitet werden.

Was ist die A/B-Konfidenzwert?

Der Konfidenzwert ist eine Methode zur Messung der Zuverlässigkeit einer Schätzung. Wenn der Konfidenzwert hoch ist, bedeutet dies, dass die Ergebnisse statistisch signifikant sind, und Du Dir sicher sein kannst, dass diese Ergebnisse eine Folge der von Dir vorgenommenen Änderungen sind, und nicht nur ein Ergebnis von Zufällen.

95-100%	Dein A/B-Test ist statistisch signifikant, herzlichen Glückwunsch! Du kannst die siegreiche Variante jetzt implementieren.
90-95%	Es ist unwahrscheinlich, dass Dein A / B-Test statistisch signifikant ist. Du könntest die siegreiche Variante implementieren, aber es wäre sicherer, zuerst einen anderen A/B-Test zu fahren.
<90%	Dein A/B-Test ist statistisch nicht signifikant. Du solltest die siegreiche Variante nicht nur auf Basis dieser Ergebnisse implementieren.

Häufig gestellte Fragen

Was versteht man unter einem A/B-Test?

In einem A/B-Test testest Du zwei Varianten (z.B. einer Webseite) gegeneinander – Variante A und Variante B. A ist das Original (auch als Kontrollelement bekannt), und B ist eine Kopie von A, jedoch mit einer kleinen Modifikation. Es ist auch möglich, mehr Varianten (C, D, E … usw.) zu testen. Für statistisch signifikante Ergebnisse empfehlen wir jedoch, A gegen B zu testen.

Wir kann ich einen A/B-Test vornehmen?

Um einen A/B-Test durchzuführen, benötigen Sie eine Original- oder Kontrollseite (Variante A). Sobald Du mit Variante A fertig bist, musst Du sie duplizieren und dann etwas Kleines auf der Seite ändern, um Variante B zu erstellen. Dies kann ein kleiner Teil des Textes, eine Überschrift, eine Schaltfläche, ein „Call to action“-Button oder sogar die Farbe oder der Stil der verwendeten Schriftart sein. Du musste diese beiden Varianten mindestens eine Woche lang einem ähnlich großen Publikum zeigen. Anhand der während der Woche gesammelten Daten kannst Du dann bestimmen, welche Variante die höhere Conversion Rate bietet und damit die gewinnbringende Variante ist.

Wie lange sollte ein A/B-Test laufen?

Du musst einen A/B-Test so lange durchführen, bis statistisch signifikante Ergebnisse erzielt werden. Die Anzahl der Benutzerbesuche ist der Schlüssel. Wenn eine Seite Deiner Webseite 1 Million Besucher pro Tag hat, kann der A/B-Test schon nach wenigen Stunden klare Ergebnisse zeigen. Bei einere Seite, die nur 2 Besucher pro Tag ansteuern, kann es ein Jahr dauern, bis statistisch signifikante Ergebnisse angezeigt werden. Das Benutzerverhalten ist in der Regel im Laufe der Woche unterschiedlich. Daher empfehlen wir, A/B-Tests mindestens eine volle Woche lang durchzuführen.

Was ist statistische Signifikanz?

Statistische Signifikanz ist die Wahrscheinlichkeit, dass der Grund dafür, dass eine Variante stärker als die andere ist, durch etwas anderes als den Zufall bestimmt wird. Dies bedeutet, dass Du zuverlässig davon ausgehen kannst, dass die besser performende Variante aufgrund der von Dir vorgenommenen Änderungen besser war.

Teste jetzt unser kostenloses Werkzeug A/B-Test-Rechner

A/B Test Rechner – Berechnung der statistischen Signifikanz

In 4 Schritten einen A/B-Test durchführen

Wie führe ich einen A/B Test durch

Was ist die A/B-Konfidenzwert?

Häufig gestellte Fragen