Wie man die richtige Metrik für einen Test identifiziert

Viele Tests scheitern nicht an der Idee, sondern an der Metrik. Wenn nicht klar ist, woran Erfolg gemessen wird, bleibt das Ergebnis schwer einzuordnen. In der Praxis wird die Metrik jedoch oft aus Gewohnheit gewählt, etwa die Conversion Rate oder der Umsatz, statt aus der eigentlichen Fragestellung heraus.

Dabei entscheidet die Metrik darüber, was ein Test überhaupt sichtbar machen kann.

Die wichtigste Frage ist nicht „Welche Kennzahl nutzen wir normalerweise?“, sondern:
Welche konkrete Nutzerreaktion würde zeigen, dass unsere Annahme stimmt?

Wenn ein Test darauf abzielt, Orientierung zu verbessern, zeigt sich der Effekt oft nicht sofort in der finalen Conversion. Sinnvoller kann es sein, eine frühere Aktion zu betrachten, etwa ob Nutzer weiter scrollen, ein Element anklicken oder in den nächsten Schritt wechseln.

Die finale Conversion bleibt wichtig, aber sie ist nicht immer die beste primäre Metrik für jeden Test.

Je “weiter” die Metrik vom eigentlichen Testeingriff entfernt ist, desto mehr andere Faktoren beeinflussen sie. Ein kleines UI-Update auf der Produktseite kann in der finalen Kaufquote untergehen, weil dort viele zusätzliche Entscheidungen dazwischenliegen.

Eine gute Metrik liegt deshalb möglichst nah an der Veränderung, die getestet wird. Sie misst nicht das gesamte Ergebnis des Funnels, sondern den Schritt, der tatsächlich beeinflusst werden soll.

Kennzahlen sind am hilfreichsten, wenn sie ein konkretes Verhalten repräsentieren. „Engagement“ oder zusammengesetzte Scores wirken zwar umfassend, sind aber oft schwer interpretierbar.

Eine gute Testmetrik beantwortet eine einfache Frage:
Haben mehr Nutzer das getan, was wir erwarten?

Je direkter diese Verbindung ist, desto leichter lässt sich ein Ergebnis bewerten.

Auch wenn eine Metrik gut gewählt ist, sollte sie nie isoliert betrachtet werden. Ergänzende Kennzahlen helfen zu prüfen, ob der Effekt stabil ist oder an anderer Stelle negative Auswirkungen hat.

Beispielsweise kann eine Maßnahme die Klickrate erhöhen, gleichzeitig aber zu mehr Abbrüchen später im Prozess führen. Solche Effekte werden nur sichtbar, wenn man den Kontext mitbetrachtet.

Eine Metrik wirkt nur dann als Orientierung, wenn sie vor dem Start definiert wird. Wird sie erst im Nachhinein ausgewählt, besteht die Gefahr, dass man sich unbewusst die Kennzahl sucht, die am besten zum Ergebnis passt.

Die Festlegung zwingt dazu, die Logik des Tests sauber zu durchdenken, bevor Daten entstehen.

Die richtige Testmetrik ist kein Reporting-Detail, sondern Teil der Testidee selbst. Sie sollte nah an der getesteten Veränderung liegen, ein klares Verhalten abbilden und aus der Hypothese heraus gewählt werden.

Wenn die Metrik stimmt, wird ein Testergebnis verständlich. Wenn sie nicht passt, bleibt selbst ein sauberer Test schwer interpretierbar.