Segmentierung als Fundament: Tests ohne Segmente liefern nur halbe Antworten

Ein Experiment endet mit einer Aussage: Variante B hat gewonnen. Was diese Aussage nicht enthält, ist die Antwort auf die eigentlich entscheidende Frage: für wen. Vielleicht hat Variante B auf Desktop gewonnen und auf Mobile verloren. Vielleicht hat sie bei Erstbesuchern funktioniert und bei wiederkehrenden Nutzern das Gegenteil bewirkt. Das Gesamtergebnis verbirgt das. Segmentierung macht es sichtbar.

Wenn ein Experiment auf dem gesamten Traffic läuft und mit einer aggregierten Conversion Rate ausgewertet wird, fließen sehr unterschiedliche Nutzergruppen in eine einzige Zahl. Desktop-Nutzer und Mobile-Nutzer. Neue Besucher und Wiederkehrer. Nutzer aus organischer Suche und Nutzer aus Paid. Diese Gruppen unterscheiden sich in ihrer Absicht, ihrer Vertrautheit mit dem Angebot und ihrer Abschlusswahrscheinlichkeit erheblich.

Ein Gesamtergebnis gibt an, was im Durchschnitt passiert ist. Für Segmente, die sich gegenläufig verhalten haben, ist dieser Durchschnitt irreführend. Ein Test, der knapp gewonnen hat, kann für eine wichtige Nutzergruppe tatsächlich negativ gewesen sein, während er für eine andere überproportional stark performed hat. Wer das nicht weiß, rollt eine Variante aus, die für einen Teil des Publikums eine Verschlechterung bedeutet.

Es gibt zwei Arten, Segmente in der Testauswertung zu verwenden: als vorab definierte Analysedimension oder als nachträgliche Suche nach auffälligen Untergruppen. Beides ist legitim, aber nur das erste ist statistisch valide.

Wer nach Testabschluss in den Daten sucht, bis ein Segment mit signifikantem Ergebnis gefunden wird, betreibt Datamining, kein Experimentation. Die Wahrscheinlichkeit, ein zufällig signifikantes Segment zu finden, steigt mit der Anzahl der ausgewerteten Gruppen. Vorab definierte Segmente, die aus klaren Hypothesen abgeleitet sind, liefern dagegen Erkenntnisse, auf die man sich verlassen kann. Die Frage lautet nicht: "In welchem Segment hat Variante B am besten abgeschnitten?" Sie lautet: "Verhält sich Segment X so, wie wir es erwartet haben?"

Zu viele Segmente zu analysieren ist genauso problematisch wie gar keine. Wer zehn Segmente parallel auswertet, benötigt für jedes davon ausreichend Traffic, um statistische Signifikanz zu erreichen. Bei kleineren Gesamtvolumina führt das dazu, dass kein einzelnes Segment genug Beobachtungen hat, um valide Aussagen zu treffen.

Ein weiterer verbreiteter Fehler ist die Verwechslung von Segment und Stichprobe. Ein Segment ist eine vorab definierte Gruppe mit einer klaren Eigenschaft. Eine Stichprobe ist ein zufälliger Ausschnitt des Traffics. Wer Nutzer nach dem Testabschluss nach Verhalten gruppiert, das während des Tests beobachtet wurde, segmentiert nicht, sondern selektiert. Das ist ein statistisches Problem, das sich nicht durch bessere Tools lösen lässt.

Der langfristige Wert von Segmentanalysen liegt nicht nur im Einzeltest. Er liegt in der Musterkenntnis, die über viele Tests hinweg entsteht. Wenn Mobile-Nutzer konsistent anders auf Änderungen reagieren als Desktop-Nutzer, ist das ein strukturelles Insight. Wenn Erstbesucher auf Social Proof stärker reagieren als Stammkunden, folgt daraus eine stabile Hypothese für künftige Tests.

Segmentierung ist kein kostenloses Zusatzfeature. Sie hat einen statistischen Preis. Wer ein Segment auswertet, das nur 15% des Gesamttraffics umfasst, braucht für dieses Segment dieselbe Mindest-Stichprobengröße wie für den Gesamttest. Das bedeutet entweder längere Laufzeiten oder größere Traffic-Volumina.

Dieser Preis ist bekannt und planbar. Er muss bei der Testplanung berücksichtigt werden. Wer Segmentanalysen nachträglich als Option behandelt, die man vielleicht macht, wenn Zeit ist, bekommt keine Segmenterkenntnisse, sondern Datenfragmente ohne Aussagekraft. Segmentierung ist eine Designentscheidung, die vor dem Test getroffen wird.

Tests ohne Segmentanalyse liefern eine Antwort, aber nicht die vollständige. Wer weiß, dass Variante B gewonnen hat, kann sie ausrollen. Wer zusätzlich weiß, für welche Segmente sie gewonnen hat und für welche nicht, kann entscheiden, ob er sie für alle ausrollt, für bestimmte Gruppen zurückhält oder als Grundlage für den nächsten Test nutzt. Segmentierung ist kein optionaler Schritt nach dem Test. Sie ist ein Bestandteil der Testhypothese.