AB Testing: Erklärung, Vorgehensweise und Tipps

In der Conversion Optimierung kommt man um das Durchführung von AB Testing nicht herum. Denn nur mit sinnvollem und mathematisch fundiertem AB Testing lassen sich auch wirklich Aussagen über Veränderungen in der Conversion Rate treffen. Das Ziel von AB Testing ist dabei relativ klar: Zwei Versionen werden gegeneinander getestet in der Hoffnung, dass die alternative Version zu einer Verbesserung der Conversion Rate führt und somit zu mehr Umsatz.

Was AB Testing genau ist, wieso du dir das näher anschauen solltest und worauf du achten musst, erkläre ich dir in dem folgenden Artikel.

AB Testing: Definition und Erklärung

Stell dir folgendes fiktives (oder nicht?) Szenario vor:

Du generierst viel Traffic für deine Webseite oder deinen Onlineshop durch unterschiedliche Kanäle: Facebook, Google, Pinterest, YouTube. Egal ob bezahlt oder organisch. Doch der ganze einkommende Traffic konvertiert einfach nicht so gut wie gewünscht. Dabei ist mit Konvertieren nicht unbedingt ein Kauf im Onlineshop gemeint. Auch eine Newsletter-Anmeldung oder der Download eines eBooks zählen dazu (Weitere Beispiele findest du im Artikel zur Conversion Rate Optimierung).

Aber wieso ist das so?

Eine schlechte Conversion Rate kann verschiedene Gründe haben: Von einer schlechten Usability oder User Experience deiner Seite bis zu psychologisch bedingten Problemen sind etliche Gründe eine potenzielle Antwort auf die Frage.

Und genau da setzt AB Testing an. Mit Hilfe von AB Tests (oder manchmal auch Split-Tests genannt) kannst du systematisch Probleme deiner Webseite bzw. deines Onlineshops ausmerzen. Dabei ist das Prinzip denkbar einfach: Neben deiner originalen Version deiner Seite baust du einen AB Test mit Google Optimize (oder einem anderen Tool) und lässt den Traffic auf beide Versionen vom Tool aufteilen. Das folgende Bild veranschaulicht das Vorgehen etwas:

AB Testing - Durchführung eines Split-Tests

Das schöne am AB Testing ist, dass sich die Ergebnisse nach einer bestimmten Zeit oder einer bestimmten Anzahl von durchlaufenden Nutzern, mit Statistik berechnen und belegen lassen. Dabei spricht man von statistischer Signifikanz. Mehr dazu aber weiter unten.

Grundvoraussetzungen für erfolgreiches AB Testing

Um mit AB Testing starten und deine Webseite optimieren zu können, musst du lediglich einige technische und nicht-technische Grundvoraussetzungen erfüllen:

  • Eine zu testende Webseite
  • Ein Optimierungstool (zum Beispiel Google Optimize für AB Tests)
  • Ein Analytics Tool (für die Arbeit mit Google Optimize solltest du Google Analytics verwenden)

Das sind zumindest die technischen Voraussetzungen. Darüber hinaus solltest du aber noch zwei – meiner Meinung nach – essenzielle Fähigkeiten besitzen:

  • Eine große Portion Neugierde und
  • die Überzeugung, dass der Status Quo immer optimierbar ist und nie die Spitze des Eisberges

Theoretische Vorgehensweise bei AB Tests

Du konntest bei den technischen und nicht-technischen Voraussetzungen nicken? Super, dann beantworte ich dir jetzt die Frage: Wie entwickelt man eigentlich einen AB Test?

In der Theorie benötigt es dafür 4 Schritte:

  • Die Identifizierung von Problemen auf deiner Webseite
  • Die Definition einer angemessenen Hypothese
  • Die Überlegung, welche Ziele das AB Testing verfolgen soll und
  • Die Erstellung der zu testenden Variante(n)

Identifizierung von Problemen auf deiner Webseite

Die Basis im AB Testing bildet eigentlich immer ein existentes Problem der Webseite. Das kann, wie Anfangs bereits kurz angerissen, ein Problem mit der Usability oder User Experience sein.

Manchmal sind Probleme mit der Usability auch no-brainer. Wenn die Navigation auf mobilen Geräten beispielsweise nicht funktioniert, musst du das nicht extra in einem AB Test ausprobieren. So etwas solltest du natürlich sofort beheben.

Mit psychologischen „Problemen“ meine ich, dass Menschen auf Signale wie Farben, vertrauensbildende Elemente, Bildsprache etc. unterschiedlich reagieren. Wirf dazu doch einen Blick in den Beitrag zu den 5 Behavior Patterns, die du im Marketing kennen solltest.

Doch auch Probleme der User Experience oder das bestimmte Elemente für deine Webseitenbesucher nicht sichtbar oder klar sind, eigenen sich für eine Hypothese und einen anschließenden AB Test.

Probleme auf der Webseite lassen sich mit unterschiedlichen Methoden oder Tools identifizieren. Die folgende Liste ist nur ein wirklich kleiner Auszug und soll für dich als Gedankenanstoß dienen:

  • Web-Analytics-Daten (Google Analytics, PIWIK, …)
  • Heatmaps (Hotjar, Mouseflow, …)
  • Screen- & Session-Recordings (Hotjar, Mouseflow, …)
  • Onsite-Umfragen (Hotjar)
  • Persönliche Interviews/Umfragen (Qualitativ, Quantitativ)
Hotjar zur Erstellung von Heatmaps

Definieren einer AB Testing Hypothese

Nehmen wir einmal folgendes an:

Als du deine Webseite erstellt hast, fand der Designer oder die Agentur Textlinks anstelle von Buttons, weil diese besser zum Designs passen würden (und der Designer vielleicht gerade total auf Textlinks mit einem Pfeil steht?).

Du hast auf deiner Webseite einiges an gutem Traffic, nur irgendwie meldet sich kaum jemand für den Newsletter an oder kauft die Produkte aus deinem Onlineshop.

Aus dem Event-Tracking von Google Analytics geht möglicherweise hervor, dass Besucher kaum auf deine Call-to-Actions klicken. Auch die mit Hotjar angelegten Heatmaps unterstützen diese Vermutung.

Das Problem würdest du jetzt gerne beheben und dafür einen AB Test anlegen, also lass uns mal zusammen eine Hypothese aufstellen:

Wenn du die Darstellung deiner Call-to-Actions prominenter gestaltest, dann erhöht sich die Clickrate, weil Nutzer durch den höheren Kontrast und die prominentere Gestaltung den Call-to-Action besser wahrnehmen.

Das wäre schon eine ganz gut formulierte Hypothese. Als Leitfaden kannst du dir das WennDannWeil Muster merken:

  • Wenn ich Veränderung XY durchführe
  • dann verändert sich folgende Metrik
  • weil der Benefit für den Nutzer YZ ist

Das schöne an diesem Framework ist, dass du alle relevanten Bausteine einer guten Hypothese abdeckst: Du gehst auf das Problem und die Lösung ein. Außerdem definierst du direkt eine Zielmetrik!

Ziel-Metriken im AB Testing

Durch das Anwenden des WennDannWeil Frameworks bist du bereits gezwungen, dir eine sinnvolle Zielmetrik zu überlegen. Denn deine Zielmetrik, also der Wert, der sich verändern soll, steckt in der Weil Begründung.

Außerdem macht es manchmal Sinn, nicht in Makro-Conversions (also bspw. dem Kauf) zu denken, sondern sich auf Mikro-Conversions zu konzentrieren. Die Unterteilung in Mikro- und Makro-Conversions macht bei den meisten Tests durchaus Sinn, weil nicht jeder Test direkt zu mehr Käufen führt. Ein Add-to-Cart wäre für viele E-Commerce Unternehmen zum Beispiel, auf Grund von gut genutztem Retargeting, eine lohnenswerte Mikro-Conversion.

Eine Test-Variante erstellen

Jetzt fehlt dir nur noch eine Variante, die dein identifiziertes Problem löst und im Anschluss als AB Test gegen die bestehende Webseite ausgespielt werden kann. Dafür lohnt es sich gerade am Anfang, sich auf anderen Seiten inspirieren zu lassen und seine ersten Lösungsansätze zu skizzieren.

Das kannst du mit Papier und Stift, in Wireframing-Tools oder von einem Designer als Mockup bauen lassen. Je nachdem wie komplex die Variante ist und wie weit sie vom Original abweicht, macht eine eventuell reellere Ausgestaltung mehr Sinn. Aber das ist immer vom Kontext abhängig.

Wie du mit Google AB Testing betreibst, erfährst du in dem Beitrag wie du einen AB Test mit Google Optimize anlegst.

Auswertung des AB Tests

Um im AB Testing auch fundierte Aussagen über die Veränderungen treffen zu können, ist ein Grundverständnis von Statistik definitiv von Vorteil.

Die beiden wichtigsten Begriffe dabei sind Konfidenzniveau und Signifikanzniveau.

Das Konfidenzniveau gibt an, mit welcher Wahrscheinlichkeit die ermittelten Werte der Stichprobe auch für die Grundgesamtheit gelten. Konkret bedeutet das: Dein Test erhebt Daten einer Stichprobe (die Besucher in dem AB Test). Aber nur weil bestimmte Werte für die Stichprobe vorliegen, bedeutet das ja noch nicht, dass diese Werte allgemein für „alle“ deine Webseitenbesucher gelten. Im Regelfall geht man von einem Konfidenzniveau von 95% aus.

Das Signifikanzlevel hingegen beschreibt eine Irrtumswahrscheinlichkeit. Geht man von einem Konfidenzniveau von 95% aus, liegt die Irrtumswahrscheinlichkeit bei 5% (100% – 95%). Das bedeutet: Wir akzeptieren mit einer Wahrscheinlichkeit von 5%, dass die Ergebnisse aus dem AB Test falsch sind und die Variante evtl. nicht die bessere ist.

Diese Werte für das Konfidenzniveau und Signifikanzniveau sind in der Statistik und Forschung gängig. Das ist auch der Grund, wieso wir auch von diesen Werten ausgehen.

Was kann alles getestet werden?

Mit Hilfe von AB Testing kannst du nahezu alles auf deiner Webseite „auf die Probe stellen“.

Dabei gibt es Tests, die eher aus der Richtung User Experience kommen. Beispiele dafür sind Navigationsstruktur und -beschriftung, Kontrastverhältnisse, Abstände und Weißräume, Akzentuierungen mit Farben, Größe oder Form von Elementen, etc.

Aber auch psychologische Aspekte – sogenannte Behavior Patterns – lassen sich mit AB Testing auf deiner Webseite ausprobieren. Dabei lernst du einiges über das Denk- und Emotionsverhalten deiner Kunden bzw. Besucher. Um dich mit dem Thema vertraut zu machen, habe ich hier 5 Behavior Patterns, die du im Marketing kennen solltest für dich.

Fazit

Ich selber bin ein riesiger Freund von AB Testing und den Möglichkeiten, die diese Disziplin bietet.

Der spannendste Punkt dabei ist sicherlich, dass du mehr über deine Kunden lernen kannst und wirst. Das Eintauchen in die Zahlenwelt und das Hineinversetzen in den Webseitenbesucher machen dabei enorm viel Spaß und gleich ein bisschen dem Verfolgen von Hinweisen wie bei Sherlock Holmes 🕵️‍♂️

Hoffentlich konntest du einen guten Einstieg in das Thema gewinnen, falls du noch Fragen hast schreib mir gerne ein Kommentar unter dem Artikel.

Du möchtest mehr Umsatz und bessere Conversion Rates für deinen Shop?
Dann abonniere unseren kostenlosen Newsletter mit exklusiven Tipps und Angeboten rund um Conversion Optimierung, Web Analytics und allgemeines E-Commerce Wachstum.

Hiermit willige ich in die Erhebung und Verarbeitung der vorstehenden Daten für das Empfangen des Newsletters per E-Mail ein. Von der Datenschutzerklärung habe ich Kenntnis genommen und bestätige dies mit Absendung des Formulars.

Geschrieben von

Christoph Böcker

Christoph Böcker

Chris liebt datengetriebenes Marketing und Konsumpsychologie (und als gelernter Mediengestalter auch Design). Er hat lange, auch neben dem Studium "International Marketing" in den Niederlanden, als Freelancer für Agenturen und KMUs gearbeitet. Aktuell arbeitet er als Customer Relationship Manager bei ZWILLING.

Geschrieben von

Christoph Böcker

Christoph Böcker

Chris liebt datengetriebenes Marketing und Konsumpsychologie (und als gelernter Mediengestalter auch Design). Er hat lange, auch neben dem Studium "International Marketing" in den Niederlanden, als Freelancer für Agenturen und KMUs gearbeitet. Aktuell arbeitet er als Customer Relationship Manager bei ZWILLING.

Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Mehr zum Thema:

Engagement in Google Analytics 4 sehen

Die neue Google Analytics 4 Property (GA4) ist da! Vorteile und Neuerungen erklärt.

Am 14. Oktober 2020 hat Google offiziell das neue Google Analytics vorgestellt. Dabei löst Google das bislang App + Web genannte Setup durch die klangvolle Google Analytics 4 ab. Dabei stellt Google Analytics 4 auch optisch die bisherige Arbeit mit Universal Analytics auf den Kopf. Diese neue Version ist zeitgleich

Die Absprungrate in Google Analytics erklärt

Die Absprungrate in Google Analytics einfach erklärt

Oft gleich behandelt und doch sehr unterschiedlich: Die Absprungrate (Bounce Rate) und die Ausstiegsrate in Google Analytics. Beide Metriken sind Standardmetriken in Google Analytics und kommen aus den Verhaltensreports. Dabei sorgt die Absprungrate in Google Analytics oft für Schweißausbrüche und Panikattacken. In diesem Artikel lernst du die Unterschiede zwischen der

Du möchtest mehr Umsatz und bessere Conversion Rates für deinen Shop?

Dann abonniere unseren kostenlosen Newsletter mit exklusiven Tipps und Angeboten rund um Conversion Optimierung, Web Analytics und allgemeines E-Commerce Wachstum.

Hiermit willige ich in die Erhebung und Verarbeitung der vorstehenden Daten für das Empfangen des Newsletters per E-Mail ein. Von der Datenschutzerklärung habe ich Kenntnis genommen und bestätige dies mit Absendung des Formulars.