Dos and Don'ts im A-/B-Testing

A-/B-Tests sind im Marketing ein altbewährtes und beliebtes Tool. Nicht ohne Grund. Gut konzipierte Tests zweier Varianten vom gleichen Inhalt können wichtige Erkenntnisse über die Zielgruppe und ihr Konsumverhalten geben. Die Praxis zeigt jedoch, dass ab und zu A-/B-Tests lediglich umgesetzt werden, um sagen zu können, dass man die bestmögliche Ansprache seines Zielpublikums mit Daten unterfüttert beleuchtet hätte. Wie sollte also ein aussagefähiges Testszenario angelegt sein? Nachfolgend drei Tipps dazu.

1. Statistische Validität garantieren

Eine große Fehlerquelle liegt darin begründet, dass die Fokussierung auf als wichtig erachtete Testszenarien verhindert, auf eine ausreichend große Ziel Audience zu achten. Deshalb überlegen Sie sich genau was und vor allem wo Sie testen möchten. Wenn Ihre Seite durch Paid-Maßnahmen nicht genügend Besucher verzeichnet, lohnt es sich unter Umständen nicht einen Landingpage-Test durchzuführen. Haben sie dagegen eher ein Conversion Problem auf Ihrer Webseite, sollten Sie nicht der Illusion aufsitzen verschiedene Formulare für Premium-Content testen zu können. Auf der anderen Seite wird Ihnen ein Newsletter A-/B-Test bei einem kleinen Verteiler mit sehr geringer Öffnungsrate wenig Erkenntnisse auf eine größere Gesamtheit liefern können.

Schauen Sie sich am besten bereits vor der Konzeption des Tests Ihre Kanäle und deren Performance an. Setzen Sie dort an, wo Sie eine ausreichend große Interaktion mit Ihren Inhalten feststellen, um einen aussagekräftigen Test durchführen zu können.

2. Überlegen Sie sich genau, was Sie testen wollen

Ein sehr wichtiger, aber leider oft vernachlässigter Punkt. Für gute Test-Szenarien reicht es nicht aus, das Vorhaben grob oder übereilt zu skizzieren. Die Messinstrumente und KPIs müssen zwingend vorab genauestens definiert werden. Natürlich kann es sein, dass im Nachhinein eine andere Kennzahl als positiv oder negativ auffällt und durch das Szenario auch direkt beeinflusst worden ist. In der Regel sollte sich der Durchführende aber wenig überrascht zeigen von der Aussagekraft der erzielten Ergebnisse. Nehmen Sie sich hierfür am besten immer eine Ihrer Kern-Kennzahlen und konstruieren Sie ihr Szenario so, dass Sie am Ende die richtige Antwort zur richtigen Frage erhalten können. Beispiele:

• Newsletter Testszenario optimiert auf Klicks
• Formular Testszenario optimiert auf Conversion
• Werbemittel Testszenario für Paid Ads optimiert auf Sessions

3. Klare Einteilung der Audience

Für die Zielgruppe des A-/B-Testings gilt: Es macht keinen Sinn, wenn die adressierten Personen zwei oder mehr verschiedenen Bereichen, Branchen oder wonach auch immer sie einteilen, angehören. Als konkretes Beispiel: Ein für IT-Entscheider aufgesetztes Mailing kann auch nur an eben dieser Zielgruppe getestet werden. Wenn Sie es dann einmal an solche Adressen und auch noch an Entwickler schicken, ist es wenig verwunderlich, dass das an Entwickler versandte Mailing unter Umständen schlechter abschneidet.

Daher sollte vorher klar definiert sein, welche gemischte Zusammensetzung die Audience des A-/B-Testszenarios hat oder ob es sogar einen ausreichend großen Pool aus Personen gleicher Berufsbezeichnung, gleichen Joblevels oder gleicher Branche gibt, um diese in 2 Testsegmente zu unterteilen. Natürlich kann man auch nach Schema einer Doppelblindstudie verfahren, wenn man seine gesamte Audience auf ihr Interesse hin prüfen möchte. Die Praxis zeigt aber, dass eine Maßnahme oft für eine Untergruppe aus der Gesamtheit getestet werden soll und mit dafür zu divers angelegten Verteilern gearbeitet wird. Dadurch lassen sich oft keine eindeutigen Erkenntnisse gewinnen. Gerade extern gehostete Szenarios sind häufig nicht klar zu deuten, da man in der Regel den Verteiler oder die erreichte Zielgruppe nicht im Detail kennt. Für Tests auf der eigenen Seite bieten mittlerweile viele am Markt existente Testing-Tools zur dedizierteren Erhebung und Auswertung eine gute Hilfestellung.