A B C D K M N O P R S U V W

A/B-Testing

< Zurück zur Übersicht

Die Begriffe Conversion Optimierung und A/B-Testing kommen Ihnen nicht bekannt vor? Sie wissen nicht, wie Sie die Rentabilität von Ihrem Unternehmen verbessern können? Kund:innen verlassen Ihre Webseite nach einem Klick? Mit unserer Expertise rund um das Thema A/B-Testing, geben wir Ihnen Beispiele sowie Definitionen und Tipps, damit Sie Ihre Rentabilität steigern und Ihre Kampagnen optimieren können.

  1. Definition: Was ist A/B-Testing?
  2. Was ist das Ziel von A/B-Testing?
  3. Wie wird ein A/B-Test durchgeführt?
AB-Testing_CINTELLIC-Wiki_jason-dent_unsplash

Definition: Was ist A/B-Testing?

Auf das wesentliche konzentriert wird in einem A/B-Testing zwei Verfahren oder Versionen miteinander verglichen. Wie zum Beispiel:

  • Eine Webseite
  • Ein Artikel 
  • Eine E-Mail
  • Eine CRM-Kampagne
  • Ein Button auf Ihrer Webseite

Mit Hilfe eines A/B-Tests soll mehr Umsatz bei gleichbleibendem Traffic verifiziert und anschließend erzielt werden. Auf diese Weise wird ermittelt, welche Version bzw. Verfahren besser funktioniert oder mehr Akquise generiert.

Kurzgefasst bedeutet es, dass es sich bei dem A/B-Testing insbesondere um iterative Optimierung handelt. 

Das ursprüngliche statistische Verfahren hat unter anderem mit der Digitalisierung einen sehr guten Nutzen als Marketingtechnik gefunden. Mit Hilfe dieser Technik können mehrere/unterschiedliche Lösungen bzw. Versionen von Webseiten, Apps oder Newslettern verglichen werden. 

Grundsätzlich ist das Verfahren bei dem A/B-Test meistens ähnlich. Die zwei verschiedenen Variationen werden nach Zufallsprinzip einer gleich großen Gruppe von Testpersonen bzw. Nutzern präsentiert.

Ein Beispiel könnte sein: Sie betreiben eine E-Commerce Webseite und möchten Ihre Kund:innen mithilfe einer E-Mail auf die neuste Designermode im Sortiment aufmerksam machen. Sie erstellen zwei E-Mail-Varianten mit jeweils einem Link, der zu Ihrem Onlineshop führt. In der E-Mail-Variante A wird der Link angezeigt als „Jetzt bestellen“ und in der E-Mail-Variante B wird der Link angezeigt als „Hier geht’s zu unserem Shop“.  

  • Der Test wird mit 10.000 Personen durchgeführt. Die Nutzer bzw. Tester wissen nicht, dass Sie in einem A/B-Test teilnehmen, dementsprechend ist das Verhalten realistischer. Von den 10.000 Nutzern testen 5.000 Nutzer E-Mail-Variante A und 5.000 Nutzer E-Mail-Variante B

Mit Hilfe dieses Verfahrens werden Nutzerdaten ermittelt und ausgewertet. In unserem Beispiel werden die Klicks der Nutzer ausgewertet, damit ermittelt werden kann welche E-Mail- Variante in den Augen der Nutzer besser funktioniert, bzw. Mehr Klicks generiert. 

Dieses Prinzip kann für das kleinste Detail angewendet werden. Es kann herausgefunden werden, ob der Nutzer eine bestimmte Farbe mehr Aufmerksamkeit schenkt oder ob die Position der CTA (Call to Action) für den Nutzer an der richtigen Stelle ist. Die Stichproben für die Tests werden unter anderem aus Ihrer eigenen Datenbank entnommen oder werden mit dem Einsatz von bestimmtem Verfahren ermittelt. Außerdem müssen es systematisch gleiche Zielgruppen sein, damit das AB-Testing seinen vollen Nutzen hat. Grundsätzlich kann man davon ausgehen, dass man mit dem A/B-Testing so gut wie alles Testen kann, womit der Nutzer in Verbindung kommt. 

AB-Testing_Wiki

Was ist das Ziel von A/B-Testing?

Mit dem A/B-Testing können Sie prüfen, welche Version zu den meisten Klicks, Registrierungen oder Käufen usw. führt. Mit den gewonnenen Informationen können Sie nachhaltig die Verkäufe und Newsletter-Anmeldungen erhöhen oder sogar eine entsprechende erfolgreiche und nachhaltige Marketingstrategie entwickeln/optimieren

Dementsprechend kann man mit der gewonnenen Datenbasis eine nachhaltig Optimierung erzielen.

Viel wichtiger ist, dass die Kund:innen im A/B-Testing im Mittelpunkt stehen, somit orientiert man sich an die Kundenwünsche, was zu einer höheren Zufriedenheit führt. Infolgedessen führt es zu weniger negativen Feedback und das führt zu Zeitersparnis und weiterführend zu einem Imagegewinn.

  • Das Ziel des A/B-Testing ist mehr Output bei gleichbleibendem Input!

Außerdem führt eine kontinuierliche Testingstrategie zu einem Wettbewerbsvorteil gegenüber der Konkurrenz. Eine iterative Weiterentwicklung mit Hilfe des A/B-Testing führt zu einer schrittweisen Erhöhung der Kundenorientierung. Demzufolge verspüren die Kunden ein besseres Erlebnis auf Ihrer Webseite, App usw.

Wie wird ein A/B-Test durchgeführt?

Sie fragen sich sicherlich: „Ich kenne nun die Theorie, aber wie fange ich nun in der Praxis an?“ Um Ihnen diese Frage zu beantworten haben wir in diesem Artikel eine Vorgehensweise aufgelistet, wie es im 95% der A/B-Test vorkommt. Nichtsdestotrotz muss erwähnt werden, dass nach Evaluierung unseres Experten Teams jedes Testprojekt je nach Ausgangssituation angepasst wird.

1. Probleme und Optimierungspotenziale identifizieren (Research)

Als ersten Schritt sollten Sie ein Team aufstellen, welches Expertisen im Bereich A/B-Testing und Conversion Optimierung vorweisen kann. Demzufolge brauchen Sie Mitarbeiter mit guten Kenntnissen in der Datenanalyse sowie ein Geschick bei der Identifikation von Conversion-Problemen und in der Anpassungsfähigkeit, um sich in den Endbenutzer hineinversetzten zu können (Verständnis für User-Experience). Des Weiteren wird ein Umgang bzw. Erfahrungen mit Testing Tools benötigt, sowie eine Person, die die  Roadmap der Tests erstellt und verantwortlich für die Optimierungsinitiativen, sowie die Return on Invest (ROI) ist. Sollten die Ressourcen im Unternehmen nicht vorhanden sein, können wir Ihnen mit unserer Expertise weiterhelfen.

Nachdem Sie ihr Team aufgestellt haben, müssen Probleme und Optimierungspotenziale identifiziert werden. Bevor Sie damit Starten sollten Sie gründlich die Funktionsweise Ihres zu testenden Objekts erkunden. Das heißt, Sie müssen eine Bestandsaufnahme bzw. IST- Aufnahme durchführen.

Was genau ist wichtig, damit eine Conversion erzeugt wird?

Mit dieser Frage können Sie sich besser in den Nutzer versetzten und somit die User Journey und Conversion besser verstehen. 

Für eine erfolgreiche Bestandsaufnahmen müssen Sie alle Daten, die Sie sammeln können ermitteln. Das heißt, Wie viele Nutzer nutzen es?, Was zieht am meisten Traffic auf sich?, Konversionziele und vieles mehr. Zur Ermittlung der Daten können Sie verschiedene Tools zur Hilfe nutzen. Sie können A/B-Testing-Tools benutzen, Tools wie Google Analytics, Omniture usw. oder Heatmap-Tools um bestimmte Parameter zu ermitteln, wie zum Beispiel die höchste Verweildauer, die höchste Absprungrate oder wie das Scroll-Verhalten der Nutzer ist. Des Weiteren können Umfragen oder Sitzungsaufzeichnungen gestartet werden, um eine direkte Verbindung mit dem Nutzer zu gründen und einen besseren Einblick in die User Journey zu gewinnen. Es ist eine gute Ergänzung zu den Daten, um Probleme zu ermitteln.

Wie Sie wahrscheinlich merken sind sowohl die quantitativen als auch die qualitativen Daten wichtig, um ein Problem zu identifizieren und somit das Fundament für die nächsten Schritte zu legen.

Das eigentliche Testing wird durch ein vorhandenes Problem gestartet aber „was ist ein Problem?“ . Bei einem A/B-Test sprechen wir von „geistigen Problemen bzw. Optimierungspotenziale“. Das heißt, wenn von einem Smartphone die Mobile Version von ihrer Webseite nicht zugänglich ist, dann ist es kein Problem im Rahmen des A/B-Testings und sollte schleunigst behoben werden. Ein Problem im Rahmen des A/B-Testing könnte zum Beispiel die geringe Klickrate eines Buttons sein.

Ein Problem oder Optimierungspotenziale ist ein geistiges „Problem“ und ist meistens verbunden ist mit dem Menschen. Infolgedessen kann der Impact von Farben, Elemente usw. ermittelt werden. Zudem können externe Datenquellen wie Studien bezüglich Nutzerverhalten herangezogen werden, um eventuelle Probleme zu erkennen, jedoch wie wird so etwas gemessen? Wie können die User Experience greifbarer/sichtbarer machen? Und genau da kommt das AB-Testen ins Spiel.

Drei wichtige Fragen sind das Fundament der Problemfindung bzw. Optimierung. 

  1. Welche Elemente sind entscheidend und wieso? 
    Mit den gewonnenen Daten aus der IST-Situation, den Tools und Umfragen, können Sie herausfinden, welche Probleme oder Optimierungspotenziale bestehen. Dementsprechend können Sie den Aufwand einschätzen, die ein A/B-Test benötigen würde.
  2. Welche Elemente werden häufiger genutzt und wo springen Kund*innen ab?
  3. Was können Sie tun um den Absprung bzw. Abbruch zu verhindern?

Mit Hilfe der Bestandsaufnahme bzw. der IST- Aufnahme, können Sie ermitteln welche Probleme weitere Conversion verhindern. Nachdem ein Problem identifiziert wurde, wird eine Hypothese und Nullhypothese aufgestellt und anschließend ein A/B-Test durchgeführt.

Nicht vergessen, Je besser ein A/B-Test vorbereitet ist, desto gewinnbringender können seine Ergebnisse sein!

 

2. Die Definition einer angemessenen Hypothese

Sie haben eine Bestandsaufnahme mit Hilfe von diversen Tools abgeschlossen. 
Sie haben mit Hilfe von Insights Nutzverhalten beobachtet. 

Was ist der nächste Schritt?

Die qualitativen und quantitativen Tools helfen Ihnen nur bei der Sammlung von Daten, nichtsdestotrotz müssen Sie analysiert werden, um eine datengestützte Hypothese zu formulieren. 

Wie in Punkt 1 angeschnitten benötigen Sie Hintergrundwissen bezüglich der Nutzerverhalten, um ein Problem zu identifizieren bzw. um eine Hypothese zu formulieren. Es können externe Datenquellen wie Studien über Nutzerverhalten (z.B. Einfluss der Farbauswahl auf das Nutzerverhalten) zu Hilfe herangezogen werden. Mit einer entsprechenden Recherche kann eine Hypothese mit einem empirischen Beweis aufgestellt werden. Anderseits ist es nur eine Behauptung, dass ein grüner Button besser funktionieren wird als ein schwarzer Button. 

Wir leiten ab, eine Hypothese sollte datengestützt und empirisch nachgewiesen sein!

Im nächsten Schritt wird die eigentliche Hypothese formuliert. Bei der Formulierung ist es fundamental, dass jede einzelne Variable wie das Problem, Veränderung und Ergebnis, überprüf-,messbar, zielgerichtet, falsifizierbar, fokussiert auf einen Schwerpunkt, klar und präzise ist. Zum Beispiel können die Daten wie z.B. Die Klickzahlen aus den Analysetools genutzt werden. Sie können eine einfache Satzschablone benutzen, um eine richtige Hypothese zu formulieren.

H1 = „Um das Problem A zu beheben, verändere ich Element X und erwarte Ergebnis Y“

Nachdem Sie Ihre Hypothese aufgestellt haben, sollten Sie die Testgruppe ermitteln, die für Ihren Test relevant ist. Im statistischen Setup muss anschließend noch die Nullhypothese aufgestellt werden, die den Effekt dann, per Ablehnung, unterstreicht. Über die Nullhypothese wird auch die spätere Signifikanz ermittelt.

3. Die Tests durchführen

Qualitativen und quantitativen Daten gesammelt?
Eine Hypothese mit empirischem Beweis und eine Nullhypothese aufgestellt?

Dann ist es Zeit für die eigentliche Testvorbereitung und Durchführung!

Bei der Testvorbereitung muss die neue Version von Ihrem Objekt basierend auf Ihrer Hypothese erstellt werden und sie mit der bestehenden Version vergleichen. Gemäß Ihren Hypothesen können viele unterschiedliche Komponenten in der neuen Version verändert werden.  Die Veränderungen können einfache Farbveränderungen sein oder ganze Moduländerungen auf der Website.

Als nächstes sollten Sie in der Testvorbereitung die Testmethode entscheiden. Des Weiteren sollten Sie eine ausreichend große Testgruppe und eine aussagekräftige Laufzeit auswählen. Die Laufzeit ist wichtig, um zum Beispiel tägliche höchst Traffics auf einer Webseite oder einem anderen Objekt mit in dem Testergebnis zu berücksichtigen. Die Testlaufzeit, bzw. Stichprobenumfasst lässt sich analytisch ermitteln.

Darüber hinaus können besondere Ereignisse wie Weihnachten oder eine Fußballweltmeisterschaft die Zahlen stark beeinflussen.

In der Durchführung treten beide Versionen gegeneinander im Test an. Die beiden Versionen können durch verschiedene URLs dem Tester aufgezeigt werden oder zeitlich getrennt. Mit diversen AB-Testing Tools können die Nutzer per Zufallsprinzip zu einer der beiden Versionen weitergeleitet werden. Außerdem können mit den AB-Testing Tools die verschiedenen Daten, die im Rahmen des Testens erstellt werden, verarbeiten und analysieren.

4. Ergebnisse analysieren und Dokumentieren

Nachdem der Test durchgeführt wurde, gehen wir in den letzten Schritt der A/B-Analyse. Beim letzten Schritt werden die Ergebnisse Analysiert und der „ Gewinner“ des Test ermittelt, falls genügend Daten bzw. Stichproben gesammelt wurden.

Damit Sie eine fundierte Aussage über das Ergebnis treffen wollen, sollten sie ein Grundverständnis von Statistik besitzen. Der Grund hierfür ist, dass das Testergebnis Kennzahlen wie prozentuale Steigerung, Konfidenzniveau, Signifikanzniveau und weitere KPIs enthalten, damit das Ergebnis ordentlich analysiert werden kann. Wenn Sie aus den Kennzahlen ein ordentliches Ergebnis herleiten können, dann war der Test ein Erfolg. 

Das Ergebnis von dem Test muss immer im Hinblick auf die Hypothese analysiert werden!

Dementsprechend müssen die KPI’s im Hinblick auf die Hypothese interpretiert werden. Infolgedessen steht eine Frage im Vordergrund

 Hat sich meine Hypothese erfüllt?

Wenn Ihre Hypothese erfüllt ist, können Sie in die Umsetzung gehen. Falls das Ergebnis nicht schlüssig ist, d.h. das Ergebnis weicht von der Hypothese ab, müssen Sie Anpassungen vornehmen und gegebenenfalls weitere Tests durchführen.

Es ist unbedingt erforderlich, dass Sie ihre Tests dokumentieren und archivieren. Unabhängig wie der Ausgang vom Test ist, sollten Sie immer jeden Test Dokumentieren. Sie sollten

  • den Namen des Tests
  • die getestete Hypothese 
  • die getesteten Variablen
  • den Zeitraum des Tests
  • die Anzahl der Testpersonen
  • die Ergebnisse und Schlussfolgerungen des Test

dokumentieren. Aufgrund der Dokumente können Sie nachvollziehen was wie gut funktioniert hat und haben einen Überblick der durchgeführten Tests in der Vergangenheit.

CINTELLIC Consulting - Social Media