Wie misst man das Nutzererlebnis einer mobilen App?

Javier Bargas-Avila, Professor für Angewandte KI, Institut für Wirtschaftsinformatik, FHNW; Präsident UX Schweiz. (Source: zVg)

Javier Bargas-Avila, Professor für Angewandte KI, Institut für Wirtschaftsinformatik, FHNW; Präsident UX Schweiz. (Source: zVg)

Ist eine mobile App erfolgreich? Je nachdem, wen man im Unternehmen fragt, wird man ganz unterschiedliche Antworten und Zahlen erhalten. Während sich die Entwicklung eher auf technische Indikatoren wie Verfügbarkeit und Sicherheit konzentriert, wird das Produktmanagement oft auf Nutzerzahlen und Umsatz achten. In regelmässigen Abständen schaut man auf die Zahlen, klopft sich auf die Schultern und feiert den Erfolg. Doch diese Erfolgsindikatoren haben eine zentrale Lücke: Wie erleben die Kunden das Produkt? Benutzen sie es gerne? Sind sie damit zufrieden? Kommen sie wieder? Die Perspektive des Nutzererlebnisses fehlt oft.

Eine gute Zahl kann täuschen

Wie tückisch Erfolgskennzahlen sein können, zeigt ein einfaches Beispiel. Die Anzahl der monatlich aktiven Nutzer einer App, auch als "Monthly Active Users" (MAU) bezeichnet, steigt kontinuierlich an. Wie es scheint, ist alles im grünen Bereich. Zerlegt man jedoch diese Zahl und schaut sich neue und bestehende Kunden getrennt an, ergibt sich womöglich ein anderes Bild. Während das Marketing gut funktioniert und ständig neue potenzielle Nutzer anlockt, springen gleichzeitig bestehende User ab. Die positive Wachstumskurve verdeckt also ein Problem: Kostspielig akquirierte Personen wandern nach kurzer Zeit ab. 

Das Beispiel verdeutlicht, warum es gefährlich sein kann, auf einzelne Erfolgskennzahlen zu fokussieren. Wer verstehen will, was in einem Produkt vorgeht, braucht ein Set von Kennzahlen, das zusammen ein vollständigeres Bild ergibt.

Wie definiert man gute User-Experience-Kennzahlen?

Für die Definition von robusten UX-Kennzahlen haben sich zwei zentrale Begriffe etabliert: Ziele und Signale. Ziele definieren, wie Menschen aus Sicht des Unternehmens mit dem Produkt umgehen sollen. Signale beschreiben, welche Veränderungen im Verhalten oder in der Meinung der Nutzer darauf hinweisen, dass man diesen Zielen näherkommt. Bei einer Musik-App könnte das Ziel etwa lauten, dass Nutzer die Musik, die sie hören möchten, schnell finden. Ein passendes Signal für dieses Ziel wäre der Anteil der Suchvorgänge, die tatsächlich zu einem abgespielten Song führen. 

Fünf Kategorien, um das Nutzererlebnis ganzheitlich zu messen

Ein bewährtes Modell zur ganzheitlichen Messung des Nutzererlebnisses ist das HEART-Framework (Rodden et  al., 2010), das bei Google entwickelt wurde (Tabelle). Es unterscheidet fünf Kategorien von User-Experience-­Metriken: Happiness, Engagement, Adoption, Retention und Task Success. 

Ihre Stärke entfalten diese Metriken im Zusammenspiel. Angenommen, ein Team testet eine neue Version dieser Musik-App in einem A/B-Test. Bei diesem zeigt sich, dass Metriken wie Umsatz, Adoption und Engagement stabil sind, die Zufriedenheit jedoch sinkt. Eine mögliche Spur liefert der rapide gesunkene Anteil der Suchvorgänge, die zu einem abgespielten Song führen (Task Success). Vielleicht liegt ein technischer Fehler vor oder das neue Suchinterface verwirrt die Nutzer? Die Ursache klären erst Usability-Tests oder Analysen der Logs.

Um mit UX-Metriken zu starten, benötigt man nicht alle fünf Kategorien des HEART-Frameworks. Zwei oder drei gut gewählte Signale sind oft ein guter Start und zeigen dem Team, was nutzerzentrierte Kennzahlen für die Produktentwicklung leisten.