Facebook spielt mit den Gefühlen: Fast 700.000 Nutzer nahmen 2012 an einer psychologischen Studie teil. Unfreiwillig und unwissentlich. In diesem Facebook-Experiment wurde der Hälfte der Nutzer ein manipulierter Nachrichten-Feed angezeigt. Geprüft werden sollte, ob Themen und Tonalität der Fake-News die Stimmung der User beeinflusst.
Die Studie wurde Anfang Juni veröffentlicht. Die mit leichter Verspätung in dieser Woche aufflammende heftige Kritik an Facebook ist absolut nachvollziehbar und legitim - ein Unternehmen versucht sich an seinen Kunden, ohne deren vorherige Zustimmung. Aber deswegen sollte man die Praxis des Experimentierens nicht grundsätzlich verdammen.
Ein Plädoyer für den Versuch
Gut geplante Experimente – korrekt durchgeführt – können helfen, die Anzahl der Personen zu reduzieren, die man untersuchen muss. Mit anderen Worten, wenn Sie wissen, wie sie Versuchsbedingungen korrekt einrichten, erhalten Sie die gleiche Menge an Informationen mit deutlich kleinerer Grundgesamtheit. (Aber auch hier ist es selbstverständlich eine gute Idee, die Genehmigung der Kunden einzuholen, bevor man mit dem Experimentieren startet.)
Wissenschaftler und Statistiker verschiedener Branchen – vor allem in der Prozessfertigung – haben dafür eine eigene Forschungsdisziplin, die Versuchsplanung (englisch Design of Experiments oder abgekürzt DOE) entwickelt. Mit einem modernen DOE werden komplexe Versuchsanordnungen effektiv gestaltet und die Ergebnisse analysiert. Von diesem methodischen Vorgehen können in Unternehmen auch andere Bereiche wie z.B. Marketing profitieren. Wahrscheinlich werden und müssen Sie in der Geschäftswelt nicht alles übernehmen, was im Rahmen der DOE heute als State-of-the-Art gilt: Dennoch gibt es ein paar Tricks, die Sie kennen sollten.
Nehmen Sie die Gestaltung einer Landing-Page für den Webshop eines Unternehmens. Es gibt hier immer bestimmte Elemente, die Sie nahezu beliebig ändern können wie Layout, Schrifttyp, Farbgebung, Formulierungen der Texte, Bilder und Headline. In der Regel geht es ja darum, die optimale Einstellung zu finden, um ein bestimmtes Verhalten der Besucher ihrer Website zu induzieren: Traditionell nutzt man dafür eine Reihe von A/B-Tests bei denen die Werte eines dieser Elemente variiert werden und man die Reaktionen auf die Variationen vergleicht. Dieser paarweise Vergleich gegenüber einer Kontrollgruppe gilt dann vermeintlich als "die wissenschaftliche Methode".
Doch sobald mehrere Elemente beteiligt sind und diese Elemente verschiedene Alternativen haben, werden die Dinge ein wenig komplizierter. Das gerade beschriebene Vorgehen – häufig in der Fachliteratur auch als One-Factor-At-A-Time-Methode (OFAT) bezeichnet - ist dann auch nicht mehr das Effizienteste. Genau hier könnte DOE den wertvollsten Beitrag leisten.
Was müssen Sie beachten?
Es gibt einige Fragen, die Sie sicherstellen sollten, bevor Sie beginnen:
(1) Haben Sie eine Unternehmenskultur, die Experimente erlaubt, also auch das klassische Trial & Error und damit das Recht auf Fehler zulässt? Und in welchem Rahmen darf man versuchen? In anderen Worten, stellen Sie sicher, dass Sie die zu gestaltenden Elemente auch in systematischer Weise variieren dürfen, selbst wenn vorab bestimmte Kombinationen von Gestaltungselementen weniger gewünscht sind als andere.
(2) Hört sich banal an, ist es aber nicht: Denken Sie gründlich darüber nach, was Sie erreichen wollen. Welche Verhalten (im DOE als Response-Variable bezeichnet) wollen Sie messen? Welche Gestaltungselemente („Faktoren“ in DOE) wollen Sie testen? Und was sind die verschiedenen alternativen Ausprägungen pro Element, also die Faktorstufen oder Levels? Welche dieser Elemente sind in Ihrer Kontrolle, welche außerhalb Ihrer Kontrolle? Gerade letzteres Phänomen wird im DOE häufig über einen sogenannten Blockbildungsansatz adressiert.
(3) Planen Sie im Vorfeld die richtige Versuchsanordnung. Welche Kombinationen von Faktoren (im DOE meist als Treatments oder Behandlungen bezeichnet) wollen Sie testen? Wie gehen Sie mit der Frage der Kontrollgruppe um? Wie viele Beobachtungen brauchen Sie pro Behandlung und wie wollen Sie Ihre Beobachtungen (d.h. Versuchseinheiten) zu den Behandlungen zuweisen? Gibt es Kosten, die mit jedem Versuchsdurchlauf verbunden sind? Wenn ja, wie viele Versuchsdurchläufe können Sie sich insgesamt leisten?
(4) Achten Sie darauf, dass Sie die Zuweisung der einzelnen Personen zu den Behandlungen in zufälliger Weise vornehmen. Versuchen Sie außerdem nicht, die Versuchsdurchläufe in einer sequentiellen oder anderen systematischen Reihenfolge auszuführen, z.B. erst alle Versuchsdurchläufe für eine bestimmte Behandlung, dann alle für die nächste usw. Es könnte andernfalls passieren, dass bestimmte Phänomene die Ergebnisse des Experiments ungewollt beeinflussen und die eigentlich interessanten Erkenntnisse quasi überdecken. Randomisierung, also die Ausführung der Durchläufe in zufälliger Reihenfolge und die zufällige Zuteilung der Personen zu den Behandlungen, wird Ihnen dabei helfen, diese ungewünschten Effekte zu vermeiden.
(5) Schaffen Sie ebenfalls im Vorfeld ein klares Verständnis, wie Sie die Ergebnisse der Experimente interpretieren und analysieren wollen. Wie planen Sie, die Antwort zwischen verschiedenen Behandlungen zu vergleichen? Wie möchten Sie den Unterschied in der Response-Variable zwischen den verschiedenen Ausprägungen der Gestaltungselemente (in der Versuchsplanung häufig als Effekt bezeichnet) messen? Sind Sie in der Lage, sogenannte Wechselwirkungen oder Interaktionseffekte zu erkennen? Hierbei hängt die Response für einen Faktor von der Ausprägung eines anderen Faktors ab. Wie können die Ergebnisse dargestellt und dokumentiert werden, also wie soll die Visualisierung aussehen? Wie stellen Sie sicher, dass die gefundenen Differenzen in der Response-Variable nicht einfach zufälliger Natur, sondern valide (statistisch signifikant) sind? Welche Software wird bei der Analyse Ihrer Daten helfen?
Was wir noch lernen können von der Wissenschaft
Wenn Sie diese 5 Dinge berücksichtigen, bin ich mir sicher, dass DOE Ihnen hilft, schneller Antworten auf Ihre Geschäftsfragen zu erhalten, jedenfalls deutlich schneller als das Experimentieren in der traditionellen Weise mit einer Reihe von A / B-Tests.
Sie sind jetzt einmal mit der Grundidee und den wichtigsten Begriffen des Konzepts der DOE vertraut. Aber das kann eigentlich nur der erste Schritt sein. In Zukunft werde ich hier in diesem Blog über verschiedene Aspekte von DOE zu schreiben.
Sollten Sie Interesse an der spannenden Welt der DOE haben – bleiben Sie dran.
