BB-Cintellic-Fernglas

A/B-Testing Beratung

Geschäftserfolg durch Überprüfung eigener Hypothesen auf Signifikanz & Wirkung

Was ist A/B-Testing?

Durch ein A/B-Testing werden beispielsweise verschiedene Versionen einer Webseite, mobilen App oder Werbeanzeige miteinander verglichen. Sie werden daraufhin getestet, welche möglichen Verbesserungen im Vergleich zur Kontroll- oder Originalversion vorgenommen werden können.

Mehr zum Thema A/B-Testing lesen Sie in unserem Wiki-Artikel!

Ein Unternehmen strebt durch eine Optimierung seiner Potenziale und Prozesse stets eine Besserstellung der Gesamtsituation an. Ohne dieses Vorgehen würden Firmen, Banken, Versicherungen, etc. auf dem Markt nicht lange konzipieren, da vor allem die Konkurrenz nicht schläft. Aber ist eine Optimierungsstrategie immer wirksam oder bringt sie den nötigen Erfolg ein?

Wir von CINTELLIC unterstützen Sie genau hierbei. Nachfolgend geben wir Ihnen einen Eindruck darüber, wie eine A/B-Testing Beratung bei uns umgesetzt werden kann:

  1. Kurzcheck: Erkennen Sie Ihren Bedarf für ein stetiges A/B-Testing?
  2. Typische Kundenfragen zum Thema A/B-Testing
  3. CINTELLIC liefert Antworten: Ihr Mehrwert unserer A/B-Testing Beratung
  4. Die Leistungen & Bausteine unserer A/B-Testing Beratung im Detail
  5. Beispiele von typischen A/B-Testing-Maßnahmen
  6. Kontakt
AB Testing_CINTELLIC

Erkennen Sie Ihren Bedarf für ein stetiges A/B-Testing?

Der CINTELLIC-Kurzcheck ist eine gute Möglichkeit, um festzustellen, wo Sie sich auf Ihrer Reise zum idealen A/B-Testkonzept befinden.

Erfahren Sie jetzt, ob Sie Ihren Bedarf an einem validen Testkonzept bereits erkannt haben und setzen Sie ein Häkchen bei den auf Sie zutreffenden Aussagen!

Bildbanner Kurzcheck
Unsere Kampagnen und Use Cases (online oder offline) werden nicht überprüft.
Tests werden stichprobenartig durchgeführt, aber oftmals wird das genaue Setup nicht beachtet.
Wir werten unsere Kampagnen und Use Cases selber aus ‒ allerdings ohne valide stichhaltige Analytik.
Wir testen zwar, aber wir haben Probleme, repräsentative Stichproben und Vergleichsgruppen zu generieren.
Tests weisen oft kein signifikantes Ergebnis auf oder geben bei einer Testwiederholung eine andere Tendenz wieder.
In manchen Abteilungen wird getestet ‒ allerdings erfolgt dies unkoordiniert.
Wir testen dauerhaft, aber kannibalisieren uns damit selber. Effekte gleichen sich so oft aus.
Das stetige Testing funktioniert sehr gut, wir achten bei der Auswertung aber nicht auf Verteilungen / die Güte von statistischen Tests.

Typische Kundenfragen zum Thema A/B-Testing

  • Wir nutzen ein Marketing Automation Tool ‒  wie können wir dort die Kampagnen auf Wirksamkeit prüfen?
  • Wir möchten einen großen Test durchführen, aber welche KPI’s müssen wir hier genau messen?
  • Wie groß muss meine Stichprobe sein? Ich möchte keinen 50/50 Split auf alle meine Nutzer anwenden.
  • Wie werte ich meine Kampagnen und Use Cases richtig aus?
  • Welchen Test muss ich bei vorgegebener Datenverteilung nutzen?
  • Welche Analytik oder Technologie benötigen wir & wie groß ist der Investitionsaufwand?
  • Wie kann ich meine gesammelten Daten strukturieren und für weitere Auswertungen nutzen?
  • Wie kann ich mein Management überzeugen, dass ein dauerhaftes Testing auf den Unternehmenserfolg einzahlt?

 

AB-Testing_CINTELLIC

CINTELLIC liefert Antworten: Ihr Mehrwert unserer A/B-Testing Beratung

Die CINTELLIC AB-Testing-Beratung setzt auf einen umfassenden Ansatz, der Ihnen genau das Konzept vorschlägt, was sie brauchen. Von einer reinen Schulung über die korrekte Entwicklung und die genaue Auswertung eines AB-Tests bis hin zum Aufbau eines festen, interdisziplinären Testing-Teams zur dauerhaften Durchführung ganzer Testbatterien. Dabei sind wir vollkommen unabhängig, ob sie lieber klassisch, frequentistisch Testen möchten oder auf die bayesianische Statistik vertrauen.

Wichtig ist uns, Ihnen ein Konzept und/oder ein Modell zu übergeben, welches genau auf Ihre Bedürfnisse abgestimmt ist. Mit individuellen, statistischen Modellen und Tests werden Ihre Thesen, Theorien und Hypothesen präzise und akkurat von uns validiert und quantifiziert. Ein notwendiger Schritt, um Ihre Ideen und Potenziale bestmöglich anzuwenden und einzusetzen.

Kurzum, Ihr persönlicher Business-Mehrwert zum AB-Testing auf einen Blick:

  • Ihre Ziele erreichen! Sie nutzen nur die Kampagnen und Anwendungen, die einen signifikanten Einfluss auf Absatz, Conversionsrate, Umsatz oder Neukundengewinnung haben.
  • Ihre Kunden begeistern! Durch valide und signifikante Inhalte verbessern Sie nachhaltig den Content ihres Portfolios, was sich sofort auf Ihr Unternehmensimage einzahlt.
  • Potenziale entfalten, Hindernisse eliminieren! Durch ständige Überprüfung Ihrer Unternehmensstrategien und die daraus resultierenden Ableitungen bleibt Ihr Business stets up to date!

Die Leistungen & Bausteine unserer A/B-Testing Beratung im Detail

Wir bieten Ihnen ein Rundum-Beratungsservice für Ihre (Test-)Ideen an:

Buchen Sie CINTELLIC nur für einen oder aber auch mehrere der unten aufgeführten Bausteine. Sie können uns natürlich auch für die Entwicklung aller Bausteine beauftragen und somit von einem nachhaltigen Testprojektzyklus profitieren.

Nachfolgend erläutern wir Ihnen unser A/B-Testing-Leistungsspektrum sowie die jeweiligen Bausteine:

  • Roadmap

    Hier werden die Optimierungsstrategie sowie die einzelnen Testingbereiche und -Themen definiert. Auch die grundlegende Testingvision – Wie möchten wir in Zukunft testen und was muss am Ende das Ziel sein. Dieser Prozess ist wichtig, da es sich wie ein Paradigma durch den gesamten Testingzyklus durchzieht.

    Ein unternehmensweites Testing ist eine eigene Kultur. Auch das legen Sie in dieser Vision und Roadmap fest. Die Mitarbeiter:innen müssen abgeholt und befähigt werden, Ihre Ideen und Theorien einzubringen. Ohne diesen Support der Belegschaft gehen wichtige Denkanstöße und Innovationen verloren.

    Darüber hinaus werden in der Roadmap Abhängigkeiten aufgedeckt und das grundlegende Setup bestimmt. Nicht immer kann auf der Homepage  eine neue Kampagnen getestet, oder Kataloge miteinander vergleichen werden. Über das Zusammenspiel zwischen den Distributionskanälen und der IT wird der bestmöglichste Zeitraum stets gefunden. Dabei kann die Dauer einzelner Tests über ein schlankes Modelldesign reduziert werden. Oder aber man parallelisiert Onsite-Kampagnen auf den verschiedenen Homepageebenen.

  • Testpriorisierung

    Wie bereits erwähnt bringen Mitarbeiter:innen viele sehr gute Ideen ein, die Ihr Unternehmen weiter nach vorne bringen. Allerdings können nicht alle Hypothesen gleichzeitig getestet werden. Diese müssen vielmehr vorab gesammelt, gebündelt und priorisiert werden.

    Hier empfiehlt es sich ein interdisziplinäres Team aus Mitarbeitenden einzusetzen, um über die Priorisierung einen Testzeitplan zu erstellen. Die Tests werden nun unter anderem nach Wichtigkeit, Wirkung und Dauer gewichtet und anschließend nach Priorisierung sortiert.

  • Aufsetzen von Testhypothesen

    In diesem Schritt gelangen Sie von der Theorie zur messerscharfen Hypothese, mit derer Sie ihren Business-Kontext genau bewerten und testen können. Dabei sind diese Hypothesen genaustens aufzustellen. Genau diesen Input bieten wir Ihnen. Wir diskutieren und bewerten Ihre Zielwertdefinition und formulieren die nötigen Hypothesen bzw. die User Stories im Detail aus. Gleichzeitig erstellen wir für Sie eine logische Ideenskizze und führen für Sie für jeden Test Machbarkeitsstudien durch, sodass Sie während der Testlaufzeit keine bösen Überraschungen erleben müssen.

  • Erstellen von Testspezifikationen

    Nach der Aufstellung der Hypothesen und der vorgelagerten Machbarkeitsanalyse wird der Test weiter spezifiziert. Zum einen im analytischen Rahmen, zum anderen aber auch innerhalb seiner technischen Rahmenbedingungen. Wichtig ist, dass alle gesammelten Informationen auch bei der Auswertung wirklich zur Verfügung stehen. Um am Ende zu bewerten, ob diese über die Testlaufzeit gesammelten Informationen valide sind, empfiehlt es sich vorab, Akzeptanzkriterien zu definieren. Diese sagen aus, was geschehen muss, dass ein Test rein technisch erfolgreich war.

  • Setup, QA und Monitoring

    Während der Testlaufzeit sollte ein dauerhaftes Monitoring stattfinden, sodass stets nachgewiesen werden kann, dass alle notwendigen Informationen auch gesammelt werden. Wir empfehlen, ein dauerhaftes Reportingtool über die gesamte Testlaufzeit anzuwenden. Je nach statistischem Design können  erste Aussagen über inhaltliche Tendenzen gemacht werden – obgleich ein Test immer erst am Ende der Laufzeit analysiert werden sollte. Wir helfen Ihnen dabei gerne, ein standardisiertes QA-Reporting aufzusetzen, welches bei technischen Fehlern sofort Alarm schlägt.

  • Analyse und Reporting

    Am Ende der Testlaufzeit wird es nun interessant. Hat meine Maßnahme, meine erdachte Theorie wirklich eine Wirkung? Das zu bewerten, bedarf es einer sehr guten Analytik. Sprechen Sie uns an, gerne unterstützen wir Sie bei diesem Schritt, ob im Coaching-Ansatz oder mit der Vergabe der Auswertung an uns.

    Alle gesammelten Daten und Informationen werden ausgewertet, auf Signifikanz geprüft, graphisch aufbereitet und in einen Abschlussreport erfasst. Und vergessen Sie nicht, nach einer sauber erfassten Dokumentation und Ergebnispräsentation erfolgt schon die Planung für den Folgetest!

Beispiele von typischen A/B-Testing-Maßnahmen

  • Die ständige Überprüfung und Validierung Ihrer On- und Offline Kampagnen.
  • Die Kontrolle neuer (KI-) Software auf eine bessere Wirksamkeit.
  • Die Begutachtung einzelner Maßnahmen auf signifikante, positive Veränderung.
  • Änderung der Grafikoberfläche eines Webshops in Form von UX/UI-Anpassungen.
  • Die Änderung des Designs oder des Content auf Webseiten oder in Katalogen, bzw. Newslettern.
  • Die Fluktuation der Mitarbeiter:innen im Vergleich auch andere Abteilungen oder vorherige Jahre überprüfen.
Monitoring&Reporting (©campaign-creators unsplash)

Kontakt

IHRE ANSPRECHPARTNERIN FÜR ALLE FRAGEN ZUM THEMA A/B-Testing!

CINTELLIC_York-Florin

York-Alexander Florin

Portfoliomanager AI und Customer Analytics
info@cintellic.com
CINTELLIC Consulting - Social Media