Prüfe per statistischer Signifikanz, ob dein A/B-Test belastbar ist. Verstehe p-Wert, Konfidenzintervall, Power und Stichprobengröße.
Der Rechner hilft dir einzuschätzen, ob der Unterschied zwischen zwei Varianten mit Zufall vereinbar ist. Beim A/B Testing gibst du dafür typischerweise Besucher- und Conversion-Zahlen beider Varianten ein. Das Ergebnis unterstützt die Auswertung, ersetzt aber keine Prüfung von Testdesign, Datenqualität und wirtschaftlicher Relevanz.
Lege vor dem Start die Hauptmetrik, das Signifikanzniveau, die gewünschte Power und den kleinsten relevanten Effekt fest. Bestimme außerdem die benötigte Stichprobengröße und eine Mindestlaufzeit. Diese Festlegungen verhindern, dass du Kriterien nachträglich an ein gewünschtes Ergebnis anpasst.
Die nötige Stichprobe hängt von der Ausgangsrate, dem kleinsten relevanten Effekt, dem Signifikanzniveau und der gewünschten Power ab. Kleine Effekte benötigen mehr Beobachtungen als große. Eine pauschale Mindestzahl gibt es deshalb nicht. Berechne den Bedarf vor dem Test getrennt für jede Variante.
Ein Ergebnis gilt als statistisch signifikant, wenn der p-Wert unter dem vorab gewählten Signifikanzniveau liegt, häufig 0,05. Der p-Wert beschreibt unter der Nullhypothese die Wahrscheinlichkeit eines mindestens so extremen Ergebnisses. Er ist nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr ist.
Das Konfidenzintervall zeigt, wie präzise der Effekt geschätzt wurde und welche Effektgrößen mit den Daten vereinbar sind. Enthält ein passend berechnetes Intervall den Nullwert, ist das Ergebnis auf dem zugehörigen Niveau nicht signifikant. Ein breites Intervall weist auf hohe Unsicherheit oder zu wenige Daten hin.
Die Power ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt einer festgelegten Größe zu erkennen. Eine geringe Power erhöht das Risiko, eine wirksame Variante zu übersehen. Sie wird vor dem Test geplant und hängt unter anderem von Effektgröße, Streuung, Stichprobe und Signifikanzniveau ab.
Wenn du einen klassischen Test wiederholt prüfst und beim ersten signifikanten Wert stoppst, steigt die tatsächliche Fehlalarmwahrscheinlichkeit über das geplante Niveau. Lege daher Stichprobe und Auswertungszeitpunkt vorher fest. Laufendes Beobachten ist nur mit dafür geeigneten sequentiellen Testverfahren belastbar.