User Experience mit KI messen: ­Warum der Mensch unverzichtbar bleibt

Martin Schuler, Leiter Usability Labor, ZHAW; Birgit Fuhrmann, Leiterin Human AI Interaction Lab, ZHAW. (Source: zVg

Martin Schuler, Leiter Usability Labor, ZHAW; Birgit Fuhrmann, Leiterin Human AI Interaction Lab, ZHAW. (Source: zVg

Viele Produkte und Anwendungen integrieren künstliche Intelligenz (KI), sei es in Form von Chatbots, Sprachassistenten oder generativen KI-Funktionen. Damit verändern sich die Anforderungen an deren Evaluation. Usability und User Experience (UX) zu messen, wird komplexer, weil neue Qualitätsdimensionen hinzukommen. Beim Usability-Testing prüfen wir, ob Nutzende Aufgaben effizient, effektiv und zufriedenstellend erledigen können. Bei KI-basierten Systemen kommt eine zusätzliche Ebene hinzu: Die Qualität der KI selbst wird Teil der Nutzungserfahrung. Besonders deutlich zeigt sich dies bei Sprachanwendungen: Die sprachliche Qualität und Zuverlässigkeit von KI-generierten Antworten haben direkten Einfluss auf die wahrgenommene Qualität des Produkts. Fehlerhafte Antworten können das Vertrauen der Nutzenden und damit die Akzeptanz eines Produkts schmälern, selbst wenn die eigentliche Anwendung hervorragend gestaltet ist. 

Eine weitere Herausforderung entsteht durch die zunehmende Mehrsprachigkeit KI-gestützter Anwendungen. KI-Systeme erzeugen heute dynamische Inhalte in zahlreichen Sprachvarianten. Dadurch entstehen neue Anforderungen an die Evaluation. Es braucht Testpersonen mit unterschiedlichen sprachlichen und kulturellen Hintergründen. Die dadurch generierten mehrsprachigen Daten stellen Forschende dabei zunehmend vor die Aufgabe, Inhalte und Nutzerreaktionen in Sprachen auszuwerten, die sie selbst nicht beherrschen. Neue Methoden und Werkzeuge sind notwendig, um dennoch valide Aussagen über die Nutzungserfahrung treffen zu können.

Es stellt sich die Frage, ob KI künftig die Testpersonen ersetzen könnte. Derzeit sprechen die Erfahrungen aus Forschung und Praxis eher dagegen. KI kann wertvolle Unterstützung leisten, um Hypothesen zu entwickeln oder potenzielle Problembereiche zu identifizieren. Ob diese relevant sind, muss mit realen Nutzenden überprüft werden. Denn KI bildet häufig einen statistischen Durchschnitt ab. Reale Zielgruppen bestehen jedoch aus unterschiedlichen Menschen mit individuellen Erfahrungen, Bedürfnissen, Erwartungen und Einschränkungen. Solange Produkte von Menschen genutzt werden, sollten sie durch Menschen validiert werden.

Auch bei der Datenauswertung eröffnet KI neue Möglichkeiten. Bereits heute werden KI-Tools genutzt, um etwa Audio- oder Videodaten automatisch zu transkribieren. Solche Werkzeuge können Forschenden helfen, grosse Datenmengen schneller auszuwerten. Gleichzeitig ist der Einsatz in der wissenschaftlichen Forschung aufgrund der ungelösten Datenschutzprobleme derzeit noch begrenzt. Der Einsatz von KI-Tools setzt daher voraus, dass Datenschutzanforderungen bereits bei der Planung des Forschungsprozesses mitgedacht und technisch umgesetzt werden können.

KI verändert das Usability-Testing massgeblich, ersetzt es aber nicht. Sie schafft neue Herausforderungen, gleichzeitig bietet sie neue Möglichkeiten zur Unterstützung von Forschenden und zur effizienteren Auswertung von Daten. Eines bleibt jedoch unverändert: Nutzererlebnisse entstehen im Zusammenspiel von Technologie und Mensch. Deshalb braucht es auch in Zeiten von KI weiterhin echte Menschen im Testlabor. Nur so lässt sich verstehen, wie Produkte tatsächlich erlebt, akzeptiert und genutzt werden.