Der ROI eines Experiments ist immer eine Prognose, keine Garantie

Ein Experiment gewinnt. Die Variante zeigt einen Uplift von zwei Prozent auf der Conversion Rate. Jemand rechnet: zwei Wochen Testdaten, hochgerechnet auf zwölf Monate, ergibt eine Zahl, die im ROI-Modell als Jahresertrag erscheint. Die Zahl klingt überzeugend. Sie ist Fiktion.

Das ist keine Kritik an sauberer Statistik. Das Experiment kann methodisch einwandfrei sein. Das Problem liegt nicht in den Daten, sondern in dem, was mit ihnen gemacht wird.

Ein Experiment misst das Verhalten einer Stichprobe in einem bestimmten Zeitfenster unter den Bedingungen, die während dieser Zeit geherrscht haben. Es misst nicht die Zukunft.

Die Zukunft ist kein verlängertes Testfenster. Saisonalität verändert das Nutzerverhalten. Wettbewerber verändern ihr Angebot. Marketingaktivitäten verändern die Traffic-Zusammensetzung. Externe Ereignisse verschieben Nachfragekurven. Der Uplift, der in zwei Wochen im Oktober gemessen wurde, beschreibt, was in diesen zwei Wochen unter diesen Bedingungen passiert ist. Er beschreibt nicht, was in den nächsten zwölf Monaten passieren wird.

Das konkrete Problem sieht so aus: Ein Experiment zeigt einen Uplift von einem Prozent auf einer Zielgröße mit einem Jahresvolumen von zehn Millionen Euro. Daraus wird ein Jahresertrag von hunderttausend Euro. Dieser Wert wird in eine Präsentation geschrieben und als Ergebnis des Experiments kommuniziert.

Wenn das Experiment ausgerollt wird und der Jahresertrag nicht eintrifft, entsteht Frustration. Das Programm hat versprochen und nicht geliefert. Was tatsächlich eingetreten ist: Das Experiment hat gezeigt, was unter den Testbedingungen funktioniert. Die Annualisierung war eine Projektion, keine Prognose mit Aussagekraft.

Das ist kein Argument gegen ROI-Modelle. Wenn ein Experiment gewinnt und einen Uplift zeigt, ist das ein valider Grund, die Variante auszurollen. Der projizierte Jahresertrag kann als Entscheidungshilfe dienen: Er hilft einzuordnen, ob der Aufwand des Ausrollens gerechtfertigt ist.

Mehr leistet er nicht. Er ist ein Planungswerkzeug, kein Versprechen. Wer ein Experimentation-Programm an der Summe seiner annualisierten ROI-Projektionen misst, bewertet das Programm nach einer Zahl, die strukturell nicht eintreffen kann.

Experimentation ist kein Marketingkanal, der einen messbaren Umsatzbeitrag liefert. Es ist ein System zur systematischen Entscheidungsfindung: Welche Annahmen stimmen? Welche Maßnahmen funktionieren unter welchen Bedingungen? Wo liegen die Hebel für echte Verbesserung?

Wer das Programm als reine Umsatzquelle positioniert, setzt Erwartungen, die es nicht erfüllen kann, und untergräbt damit langfristig seine eigene Legitimation. Wer es als Entscheidungssystem positioniert, setzt Erwartungen, die es erfüllen kann: bessere Informationen, weniger Fehlinvestitionen, schnellere Lernzyklen.

ROI-Prognosen aus Experimenten sind Projektionen unter Annahmen, die morgen bereits nicht mehr gelten. Das macht sie nützlich als Planungshilfe und wertlos als Versprechen. Experimentation lohnt sich, weil es die Qualität von Entscheidungen verbessert, nicht weil es Umsatz garantiert. Wer diese Unterscheidung intern nicht kommuniziert, baut ein Programm auf einem Fundament, das bei der ersten Erwartungsenttäuschung bricht.