A/B Testing Tool mit sequentieller Auswertung

Teste Varianten mit sequentieller mSPRT-Auswertung, Auto-Stop-Guardrails und CUPED. Prüfe, ob BigHoot zu deinem Experiment passt.

Ab welchem Plan kann ich A/B-Tests starten?

Im Trial läuft ein Test parallel, damit du das Feature echt ausprobieren kannst. Starter enthält kein A/B-Testing. Growth erlaubt drei gleichzeitig aktive Tests, ab Pro ist die Zahl unbegrenzt und die CUPED-Auswertung kommt dazu. Abgeschlossene Tests zählen nicht gegen das Limit.

Wie viele Besucher brauche ich für ein belastbares Ergebnis?

Das hängt von deiner Ausgangsrate und dem Effekt ab, den du sehen willst. Grobe Orientierung: Bei 3 % Conversion Rate und einem angestrebten relativen Plus von 20 % brauchst du je Variante einige Tausend Sessions. Die sequentielle Auswertung beendet den Test, sobald die Evidenz reicht, und CUPED senkt den Bedarf zusätzlich — eine Garantie für schnelle Ergebnisse ist beides nicht.

Darf ich während des Tests ins Ergebnis schauen?

Ja. Genau dafür ist die sequentielle Auswertung da. Bei klassischen t-Tests erhöht jedes Zwischenschauen die Wahrscheinlichkeit eines Fehlalarms; mSPRT hält die Fehlerrate auch bei laufender Beobachtung ein.

Was passiert, wenn eine Variante Umsatz kostet?

Die Guardrails prüfen täglich Umsatz pro Session, Bounce Rate und Frustrationssignale gegen die Kontrollgruppe. Wird eine Schwelle gerissen, stoppt der Test automatisch und du bekommst einen Watchtower-Alarm mit den statistischen Details.

Was ist CUPED und wann bringt es etwas?

CUPED nutzt das Verhalten derselben Besucher aus der Zeit vor dem Test als Kovariate und rechnet vorbestehende Unterschiede heraus. Das wirkt vor allem bei wiederkehrenden Besuchern und bei Kennzahlen mit hoher Streuung, etwa Umsatz pro Session. Bei reinem Neu-Traffic ohne Vorperiode bleibt der Effekt klein.

Brauche ich für die Variantenzuweisung ein Cookie?

Nein. Die Variante wird aus einem Hash von Besucher-ID und Test-ID berechnet. Es gibt kein separates Zuweisungs-Cookie und keinen zusätzlichen Consent-Zweck über das bestehende Tracking hinaus.

Was unterscheidet das von Google Optimize oder einem reinen Testing-Tool?

Google Optimize wurde 2023 eingestellt. Reine Testing-Tools liefern dir das Ergebnis, aber nicht den Kontext. Bei BigHoot liegen Test, Funnel, Heatmap und Session Replay in denselben Sessions — du siehst nicht nur, dass Variante B gewinnt, sondern an welchem Schritt die Kontrollvariante verliert.