A/B-Testing

< Zur√ľck zur √úbersicht

Die Begriffe Conversion Optimierung und A/B-Testing kommen Ihnen nicht bekannt vor? Sie wissen nicht, wie Sie die Rentabilität von Ihrem Unternehmen verbessern können? Kund:innen verlassen Ihre Webseite nach einem Klick? Mit unserer Expertise rund um das Thema A/B-Testing, geben wir Ihnen Beispiele sowie Definitionen und Tipps, damit Sie Ihre Rentabilität steigern und Ihre Kampagnen optimieren können.

  1. Definition: Was ist A/B-Testing?
  2. Was ist das Ziel von A/B-Testing?
  3. Wie wird ein A/B-Test durchgef√ľhrt?
AB-Testing_CINTELLIC-Wiki_jason-dent_unsplash

Definition: Was ist A/B-Testing?

Auf das wesentliche konzentriert wird in einem A/B-Testing zwei Verfahren oder Versionen miteinander verglichen. Wie zum Beispiel:

  • Eine Webseite
  • Ein Artikel¬†
  • Eine E-Mail
  • Eine CRM-Kampagne
  • Ein Button auf Ihrer Webseite

Mit Hilfe eines A/B-Tests soll mehr Umsatz bei gleichbleibendem Traffic verifiziert und anschließend erzielt werden. Auf diese Weise wird ermittelt, welche Version bzw. Verfahren besser funktioniert oder mehr Akquise generiert.

Kurzgefasst bedeutet es, dass es sich bei dem A/B-Testing insbesondere um iterative Optimierung handelt. 

Das urspr√ľngliche statistische Verfahren hat unter anderem mit der Digitalisierung einen sehr guten Nutzen als Marketingtechnik gefunden. Mit Hilfe dieser Technik k√∂nnen mehrere/unterschiedliche L√∂sungen bzw. Versionen von Webseiten, Apps oder Newslettern verglichen werden.¬†

Grundsätzlich ist das Verfahren bei dem A/B-Test meistens ähnlich. Die zwei verschiedenen Variationen werden nach Zufallsprinzip einer gleich großen Gruppe von Testpersonen bzw. Nutzern präsentiert.

Ein Beispiel k√∂nnte sein: Sie betreiben eine E-Commerce Webseite und m√∂chten Ihre Kund:innen mithilfe einer E-Mail auf die neuste Designermode im Sortiment aufmerksam machen. Sie erstellen zwei E-Mail-Varianten mit jeweils einem Link, der zu Ihrem Onlineshop f√ľhrt. In der E-Mail-Variante A wird der Link angezeigt als ‚ÄěJetzt bestellen‚Äú und in der E-Mail-Variante B wird der Link angezeigt als ‚ÄěHier geht‚Äôs zu unserem Shop‚Äú.¬†¬†

  • Der Test wird mit 10.000 Personen durchgef√ľhrt. Die Nutzer bzw. Tester wissen nicht, dass Sie in einem A/B-Test teilnehmen, dementsprechend ist das Verhalten realistischer. Von den 10.000 Nutzern testen 5.000 Nutzer E-Mail-Variante A und 5.000 Nutzer E-Mail-Variante B.¬†

Mit Hilfe dieses Verfahrens werden Nutzerdaten ermittelt und ausgewertet. In unserem Beispiel werden die Klicks der Nutzer ausgewertet, damit ermittelt werden kann welche E-Mail- Variante in den Augen der Nutzer besser funktioniert, bzw. Mehr Klicks generiert. 

Dieses Prinzip kann f√ľr das kleinste Detail angewendet werden. Es kann herausgefunden werden, ob der Nutzer eine bestimmte Farbe mehr Aufmerksamkeit schenkt oder ob die Position der CTA (Call to Action) f√ľr den Nutzer an der richtigen Stelle ist. Die Stichproben f√ľr die Tests werden unter anderem aus Ihrer eigenen Datenbank entnommen oder werden mit dem Einsatz von bestimmtem Verfahren ermittelt. Au√üerdem m√ľssen es systematisch gleiche Zielgruppen sein, damit das AB-Testing seinen vollen Nutzen hat. Grunds√§tzlich kann man davon ausgehen, dass man mit dem A/B-Testing so gut wie alles Testen kann, womit der Nutzer in Verbindung kommt.¬†

AB-Testing_Wiki

Was ist das Ziel von A/B-Testing?

Mit dem A/B-Testing k√∂nnen Sie pr√ľfen, welche Version zu den meisten Klicks, Registrierungen oder K√§ufen usw. f√ľhrt. Mit den gewonnenen Informationen k√∂nnen Sie nachhaltig die Verk√§ufe und Newsletter-Anmeldungen erh√∂hen oder sogar eine entsprechende erfolgreiche und nachhaltige Marketingstrategie entwickeln/optimieren.¬†

Dementsprechend kann man mit der gewonnenen Datenbasis eine nachhaltig Optimierung erzielen.

Viel wichtiger ist, dass die Kund:innen im A/B-Testing im Mittelpunkt stehen, somit orientiert man sich an die Kundenw√ľnsche, was zu einer h√∂heren Zufriedenheit f√ľhrt. Infolgedessen f√ľhrt es zu weniger negativen Feedback und das f√ľhrt zu Zeitersparnis und weiterf√ľhrend zu einem Imagegewinn.

  • Das Ziel des A/B-Testing ist mehr Output bei gleichbleibendem Input!

Au√üerdem f√ľhrt eine kontinuierliche Testingstrategie zu einem Wettbewerbsvorteil gegen√ľber der Konkurrenz. Eine iterative Weiterentwicklung mit Hilfe des A/B-Testing f√ľhrt zu einer schrittweisen Erh√∂hung der Kundenorientierung. Demzufolge versp√ľren die Kunden ein besseres Erlebnis auf Ihrer Webseite, App usw.

Wie wird ein A/B-Test durchgef√ľhrt?

Sie fragen sich sicherlich: ‚ÄěIch kenne nun die Theorie, aber wie fange ich nun in der Praxis an?‚Äú Um Ihnen diese Frage zu beantworten haben wir in diesem Artikel eine Vorgehensweise aufgelistet, wie es im 95% der A/B-Test vorkommt. Nichtsdestotrotz muss erw√§hnt werden, dass nach Evaluierung unseres Experten Teams jedes Testprojekt je nach Ausgangssituation angepasst wird.

1. Probleme und Optimierungspotenziale identifizieren (Research)

Als ersten Schritt sollten Sie ein Team aufstellen, welches Expertisen im Bereich A/B-Testing und Conversion Optimierung vorweisen kann. Demzufolge brauchen Sie Mitarbeiter mit guten Kenntnissen in der Datenanalyse sowie ein Geschick bei der Identifikation von Conversion-Problemen und in der Anpassungsf√§higkeit, um sich in den Endbenutzer hineinversetzten zu k√∂nnen (Verst√§ndnis f√ľr User-Experience). Des Weiteren wird ein Umgang bzw. Erfahrungen mit Testing Tools ben√∂tigt, sowie eine Person, die die¬† Roadmap der Tests erstellt und verantwortlich f√ľr die Optimierungsinitiativen, sowie die Return on Invest (ROI) ist. Sollten die Ressourcen im Unternehmen nicht vorhanden sein, k√∂nnen wir Ihnen mit unserer Expertise weiterhelfen.

Nachdem Sie ihr Team aufgestellt haben, m√ľssen Probleme und Optimierungspotenziale identifiziert werden. Bevor Sie damit Starten sollten Sie gr√ľndlich die Funktionsweise Ihres zu testenden Objekts erkunden. Das hei√üt, Sie m√ľssen eine Bestandsaufnahme bzw. IST- Aufnahme durchf√ľhren.

Was genau ist wichtig, damit eine Conversion erzeugt wird?

Mit dieser Frage können Sie sich besser in den Nutzer versetzten und somit die User Journey und Conversion besser verstehen. 

F√ľr eine erfolgreiche Bestandsaufnahmen m√ľssen Sie alle Daten, die Sie sammeln k√∂nnen ermitteln. Das hei√üt, Wie viele Nutzer nutzen es?, Was zieht am meisten Traffic auf sich?, Konversionziele und vieles mehr. Zur Ermittlung der Daten k√∂nnen Sie verschiedene Tools zur Hilfe nutzen. Sie k√∂nnen A/B-Testing-Tools benutzen, Tools wie Google Analytics, Omniture usw. oder Heatmap-Tools um bestimmte Parameter zu ermitteln, wie zum Beispiel die h√∂chste Verweildauer, die h√∂chste Absprungrate oder wie das Scroll-Verhalten der Nutzer ist. Des Weiteren k√∂nnen Umfragen oder Sitzungsaufzeichnungen gestartet werden, um eine direkte Verbindung mit dem Nutzer zu gr√ľnden und einen besseren Einblick in die User Journey zu gewinnen. Es ist eine gute Erg√§nzung zu den Daten, um Probleme zu ermitteln.

Wie Sie wahrscheinlich merken sind sowohl die quantitativen als auch die qualitativen Daten wichtig, um ein Problem zu identifizieren und somit das Fundament f√ľr die n√§chsten Schritte zu legen.

Das eigentliche Testing wird durch ein vorhandenes Problem gestartet aber ‚Äěwas ist ein Problem?‚Äú . Bei einem A/B-Test sprechen wir von ‚Äěgeistigen Problemen bzw. Optimierungspotenziale‚Äú. Das hei√üt, wenn von einem Smartphone die Mobile Version von ihrer Webseite nicht zug√§nglich ist, dann ist es kein Problem im Rahmen des A/B-Testings und sollte schleunigst behoben werden. Ein Problem im Rahmen des A/B-Testing k√∂nnte zum Beispiel die geringe Klickrate eines Buttons sein.

Ein Problem oder Optimierungspotenziale ist ein geistiges ‚ÄěProblem‚Äú und ist meistens verbunden ist mit dem Menschen. Infolgedessen kann der Impact von Farben, Elemente usw. ermittelt werden. Zudem k√∂nnen externe Datenquellen wie Studien bez√ľglich Nutzerverhalten herangezogen werden, um eventuelle Probleme zu erkennen, jedoch wie wird so etwas gemessen? Wie k√∂nnen die User Experience greifbarer/sichtbarer machen? Und genau da kommt das AB-Testen ins Spiel.

Drei wichtige Fragen sind das Fundament der Problemfindung bzw. Optimierung. 

  1. Welche Elemente sind entscheidend und wieso? 
    Mit den gewonnenen Daten aus der IST-Situation, den Tools und Umfragen, k√∂nnen Sie herausfinden, welche Probleme oder Optimierungspotenziale bestehen. Dementsprechend k√∂nnen Sie den Aufwand einsch√§tzen, die ein A/B-Test ben√∂tigen w√ľrde.
  2. Welche Elemente werden häufiger genutzt und wo springen Kund*innen ab?
  3. Was können Sie tun um den Absprung bzw. Abbruch zu verhindern?

Mit Hilfe der Bestandsaufnahme bzw. der IST- Aufnahme, k√∂nnen Sie ermitteln welche Probleme weitere Conversion verhindern. Nachdem ein Problem identifiziert wurde, wird eine Hypothese und Nullhypothese aufgestellt und anschlie√üend ein A/B-Test durchgef√ľhrt.

Nicht vergessen, Je besser ein A/B-Test vorbereitet ist, desto gewinnbringender können seine Ergebnisse sein!

 

2. Die Definition einer angemessenen Hypothese

Sie haben eine Bestandsaufnahme mit Hilfe von diversen Tools abgeschlossen. 
Sie haben mit Hilfe von Insights Nutzverhalten beobachtet. 

Was ist der nächste Schritt?

Die qualitativen und quantitativen Tools helfen Ihnen nur bei der Sammlung von Daten, nichtsdestotrotz m√ľssen Sie analysiert werden, um eine datengest√ľtzte Hypothese zu formulieren.¬†

Wie in Punkt 1 angeschnitten ben√∂tigen Sie Hintergrundwissen bez√ľglich der Nutzerverhalten, um ein Problem zu identifizieren bzw. um eine Hypothese zu formulieren. Es k√∂nnen externe Datenquellen wie Studien √ľber Nutzerverhalten (z.B. Einfluss der Farbauswahl auf das Nutzerverhalten) zu Hilfe herangezogen werden. Mit einer entsprechenden Recherche kann eine Hypothese mit einem empirischen Beweis aufgestellt werden. Anderseits ist es nur eine Behauptung, dass ein gr√ľner Button besser funktionieren wird als ein schwarzer Button.¬†

Wir leiten ab, eine Hypothese sollte datengest√ľtzt und empirisch nachgewiesen sein!

Im n√§chsten Schritt wird die eigentliche Hypothese formuliert. Bei der Formulierung ist es fundamental, dass jede einzelne Variable wie das Problem, Ver√§nderung und Ergebnis, √ľberpr√ľf-,messbar, zielgerichtet, falsifizierbar, fokussiert auf einen Schwerpunkt, klar und pr√§zise ist. Zum Beispiel k√∂nnen die Daten wie z.B. Die Klickzahlen aus den Analysetools genutzt werden. Sie k√∂nnen eine einfache Satzschablone benutzen, um eine richtige Hypothese zu formulieren.

H1 = ‚ÄěUm das Problem A zu beheben, ver√§ndere ich Element X und erwarte Ergebnis Y‚Äú

Nachdem Sie Ihre Hypothese aufgestellt haben, sollten Sie die Testgruppe ermitteln, die f√ľr Ihren Test relevant ist. Im statistischen Setup muss anschlie√üend noch die Nullhypothese aufgestellt werden, die den Effekt dann, per Ablehnung, unterstreicht. √úber die Nullhypothese wird auch die sp√§tere Signifikanz ermittelt.

3. Die Tests durchf√ľhren

Qualitativen und quantitativen Daten gesammelt?
Eine Hypothese mit empirischem Beweis und eine Nullhypothese aufgestellt?

Dann ist es Zeit f√ľr die eigentliche Testvorbereitung und Durchf√ľhrung!

Bei der Testvorbereitung muss die neue Version von Ihrem Objekt basierend auf Ihrer Hypothese erstellt werden und sie mit der bestehenden Version vergleichen. Gemäß Ihren Hypothesen können viele unterschiedliche Komponenten in der neuen Version verändert werden.  Die Veränderungen können einfache Farbveränderungen sein oder ganze Moduländerungen auf der Website.

Als n√§chstes sollten Sie in der Testvorbereitung die Testmethode entscheiden. Des Weiteren sollten Sie eine ausreichend gro√üe Testgruppe und eine aussagekr√§ftige Laufzeit ausw√§hlen. Die Laufzeit ist wichtig, um zum Beispiel t√§gliche h√∂chst Traffics auf einer Webseite oder einem anderen Objekt mit in dem Testergebnis zu ber√ľcksichtigen. Die Testlaufzeit, bzw. Stichprobenumfasst l√§sst sich analytisch ermitteln.

Dar√ľber hinaus k√∂nnen besondere Ereignisse wie Weihnachten oder eine Fu√üballweltmeisterschaft die Zahlen stark beeinflussen.

In der Durchf√ľhrung treten beide Versionen gegeneinander im Test an. Die beiden Versionen k√∂nnen durch verschiedene URLs dem Tester aufgezeigt werden oder zeitlich getrennt. Mit diversen AB-Testing Tools k√∂nnen die Nutzer per Zufallsprinzip zu einer der beiden Versionen weitergeleitet werden. Au√üerdem k√∂nnen mit den AB-Testing Tools die verschiedenen Daten, die im Rahmen des Testens erstellt werden, verarbeiten und analysieren.

4. Ergebnisse analysieren und Dokumentieren

Nachdem der Test durchgef√ľhrt wurde, gehen wir in den letzten Schritt der A/B-Analyse. Beim letzten Schritt werden die Ergebnisse Analysiert und der ‚Äě Gewinner‚Äú des Test ermittelt, falls gen√ľgend Daten bzw. Stichproben gesammelt wurden.

Damit Sie eine fundierte Aussage √ľber das Ergebnis treffen wollen, sollten sie ein Grundverst√§ndnis von Statistik besitzen. Der Grund hierf√ľr ist, dass das Testergebnis Kennzahlen wie prozentuale Steigerung, Konfidenzniveau, Signifikanzniveau und weitere KPIs enthalten, damit das Ergebnis ordentlich analysiert werden kann. Wenn Sie aus den Kennzahlen ein ordentliches Ergebnis herleiten k√∂nnen, dann war der Test ein Erfolg.¬†

Das Ergebnis von dem Test muss immer im Hinblick auf die Hypothese analysiert werden!

Dementsprechend m√ľssen die KPI‚Äôs im Hinblick auf die Hypothese interpretiert werden. Infolgedessen steht eine Frage im Vordergrund

¬†Hat sich meine Hypothese erf√ľllt?

Wenn Ihre Hypothese erf√ľllt ist, k√∂nnen Sie in die Umsetzung gehen. Falls das Ergebnis nicht schl√ľssig ist, d.h. das Ergebnis weicht von der Hypothese ab, m√ľssen Sie Anpassungen vornehmen und gegebenenfalls weitere Tests durchf√ľhren.

Es ist unbedingt erforderlich, dass Sie ihre Tests dokumentieren und archivieren. Unabhängig wie der Ausgang vom Test ist, sollten Sie immer jeden Test Dokumentieren. Sie sollten

  • den Namen des Tests
  • die getestete Hypothese¬†
  • die getesteten Variablen
  • den Zeitraum des Tests
  • die Anzahl der Testpersonen
  • die Ergebnisse und Schlussfolgerungen des Test

dokumentieren. Aufgrund der Dokumente k√∂nnen Sie nachvollziehen was wie gut funktioniert hat und haben einen √úberblick der durchgef√ľhrten Tests in der Vergangenheit.

CINTELLIC Consulting - Social Media