Wie viel Vertrauen KI, Roboter und Drohnen wirklich verdienen

Die künstliche Intelligenz (KI) - auch in Form von Robotern und Drohnen - nimmt dem Menschen immer mehr Entscheidungen ab. Schliesslich können autonome Systeme in kürzerer Zeit mehr Daten erfassen, auswerten und daraus Schlussfolgerungen ziehen. Aber die Überlegungen der Maschine, wie sie zu dieser Entscheidung kam, bleiben in der Regel in ihr verschlossen. Daher stellt sich die Frage, ob man darauf vertrauen kann, dass der Output einer KI korrekt ist. Und was muss gegeben sein, damit der Mensch einer Maschine vertrauen kann?

Diesen Fragen gingen Netzmedien und Die Ergonomen Usability in einem gemeinsamen Webinar auf den Grund. Im Laufe des Webinars wurden die Ergebnisse von zwei Studien präsentiert - in beiden ging es um Situationen, in denen die Gesundheit oder sogar das Leben von Menschen riskiert werden könnte.

Teamwork mit der KI in Konfliktsituationen

Zunächst präsentierte Samuel Huber, Mitgründer und Managing Partner von Forventis, die Ergebnisse einer Studie. Diese Studie führte Forventis im Auftrag eines Akteurs im Sicherheitsbereich durch; darin ging es um das Vertrauen in gemischten Mensch-Autonomie-Teams in sicherheitsrelevanten Situationen wie etwa militärische Konfliktsituationen. 

"Was ist denn ein ‘Mensch-Autonomie-Team’?", fragte Huber, bevor er selbst die Antwort lieferte: Das sind Teams, die aus mindestens einer Person und mindestens einer teilautonomen technischen Einheit bestehen. Dabei könne es sich um einen Roboter oder auch um Software handeln – entscheidend sei der autonome Anteil.

Samuel Huber, Mitgründer und Managing Partner von Forventis. (Source: Screenshot)

In der Studie fokussierte sich Forventis auf drei Punkte: 

1. Vertrauen und Vertrauenswürdigkeit
2. Transparenz
3. Kommunikation

Aus früheren Studien sei bereits bekannt, dass das Vertrauen in Human-Autonomy-Teams sich verbessert, wenn der Roboter seinen Funktionszustand oder seine Zuverlässigkeit den übrigen Mitgliedern kommuniziert. "Wir wissen auch, dass verbale Kommunikation schnell und effektiv funktioniert; in sicherheitsrelevanten Situationen ist das oft eine Anforderung, weil dort Entscheidungen bei Informationsüberflutung und unter Zeitdruck getroffen werden müssen", sagte Huber. 

Auf die Kommunikation kommt es an

Doch wie sollte ein Roboter seinen Zustand am besten mitteilen? Herkömmliche Systeme arbeiten mit Wahrscheinlichkeitsangaben. So meldet ein Roboter beispielsweise, er erkenne ein blaues Auto mit 85-prozentiger Sicherheit. Das Problem dabei: "Als menschliches Teammitglied muss ich mir überlegen, was das jetzt bedeutet. Ist das jetzt gut oder ist das nicht gut?", sagte Huber. Die Frage, ob man dem System vertrauen oder selbst nachprüfen sollte, bleibe ungeklärt.

Als Lösung für dieses Problem schlägt Huber ein menschreferenziertes System vor. Das heisst, statt einer abstrakten Prozentzahl teilt der Roboter mit, ob er besser oder schlechter funktioniert als ein Mensch in derselben Situation. Ausgehend von dieser Information könne man dann entscheiden, ob man die Aufgabe besser selbst anpacken sollte. 

Bei menschreferenzierten System gibt eine KI nicht nur eine abstrakte Wahrscheinlichkeit als Antwort, sondern sie erklärt, ob sie eine Aufgabe besser oder schlechter als ein Mensch in derselben Situation lösen würde. (Source: Screenshot)

Für die Studie simulierte Forventis militärische Konfliktsituationen mit einem Computerspiel. Im Szenario muss ein Panzerkommandant eine unter Beschuss geratene Truppe unterstützen; die Zeit drängt. Um sein Ziel zu erreichen, muss er entweder durch oder um ein Dorf herum fahren. Umfährt er das Dorf, riskiert er jedoch, dass er zu spät kommt. Zwei autonome Aufklärungsroboter – ein Bodenroboter und eine Drohne – liefern ihm Informationen in natürlicher Sprache.

20 Testpersonen, darunter zehn Frauen und zehn Männer im Alter von 18 bis 35 Jahren, bewerteten drei verschiedene Kommunikationsformen: ohne Statusinformation, mit relativer Zuverlässigkeitsinformation (Prozentzahlen) und mit menschreferenzierter Information.

"Und was ist dabei herausgekommen?", fragte Huber. "Menschreferenzierte Statusmeldungen sind etwas besser als relative Statusmeldungen und relative Statusmeldungen sind deutlich besser als keine Statusmeldungen." Oder anders formuliert: "Keine Statusmeldungen haben die mit Abstand schlechteste Auswirkung auf das Vertrauen."

Wie Chatbots Vertrauen wecken

Mi Xue Tan, Consultant bei Die Ergonomen Usability, zeigte den Teilnehmenden die Ergebnisse einer Studie ihres Unternehmens. Hier ging es darum, wie verschiedene Erklärungsmodelle das Vertrauen in medizinische KI-Chatbots beeinflussen. 

Zu den Säulen des EU-Gesetzes zur künstlichen Intelligenz gehören Transparenz und Interpretierbarkeit, begann Tan ihre Ausführungen. Die Verordnung fordert, dass KI-Systeme so entwickelt werden, dass User die Ausgaben und Limitationen verstehen können. Doch wie Tan betonte, ist das Verständnis darüber, wie User Vertrauen in KI-Systeme entwickeln, "ziemlich begrenzt".

Mi Xue Tan, Consultant bei Die Ergonomen Usability. (Source: Screenshot)

In ihrer Studie untersuchte Tan daher den Einfluss unterschiedlicher Erklärungsansätze. 55 Teilnehmende im Alter zwischen 20 und 77 Jahren absolvierten jeweils acht Szenarien. Dabei konnten sie drei Fragen aus einer Liste auswählen und mit verschiedenen Chatbot-Varianten kommunizieren. Der Inhalt der Konversationen blieb jeweils gleich, nur die Art, wie der Bot sich verständigt, unterschied sich von Variante zu Variante. Im Anschluss an die Unterhaltung konnten die Probanden beurteilen, wie vertrauenswürdig sie den Chatbot fanden.

Mi Xue Tan testete vier unterschiedliche Erklärungsmodelle: 

• Ein "Certification-Bot", der für Medizinanwendungen zertifiziert ist.
• Ein "Confidence-Bot", der angibt, wie zuversichtlich er ist.
• Ein "Reasoning-Bot", der erklärt, wie es zu seiner Antwort gekommen ist.
• Ein "Sources-Bot", der offenlegt, welche Quellen er verwendet hat.

Der "Reasoning-Bot" geniesst das grösste Vertrauen in der Studie. (Source: Screenshot)

Nur ein kleiner Vorsprung

Das überraschende Ergebnis: "Statistisch gesehen gibt es in der Bewertung der Vertrauenswürdigkeit keinen Unterschied zwischen den verschiedenen Erklärungsmodellen", erklärte Tan. Die meisten Teilnehmenden bewerteten ihr Vertrauen über alle Modelle hinweg konsistent im Bereich von 70 bis 80 Prozent.

Schaut man genauer auf die minimalen Unterschiede, schätzten die Teilnehmenden den "Reasoning-Bot", der seine Antworten erklärt, als den vertrauenswürdigsten Bot ein. Darauf folgten der "Certification-Bot", der "Confidence-Bot" und der "Sources-Bot". Wenn es um Transparenz geht, hatte der Sources-Bot in der Bewertung jedoch die Nase vorn. 

Die Studie zeigt auch einen deutlichen Alterseffekt. (Source: Screenshot)

Allerdings zeigte sich ein deutlicher Alterseffekt: Ältere Personen hätten mehr Vertrauen in die Bots gehabt als die jüngeren. Eine Ausnahme bildete der Bot, der seine Quellen nennt. Diesem schenkte die jüngere Gruppe leicht mehr Vertrauen. Interessanterweise zeigte die Studie ebenfalls, dass das Vertrauen steigt, je ernster die Fragestellung ist. Möglicherweise, weil bei fehlender eigener Expertise die Abhängigkeit von externen Quellen steigt, mutmasste Tan.

"Der Output muss einfach, nachvollziehbar und klar sein."

Auch Christopher Müller, Inhaber und Expert Consultant von Die Ergonomen Usability, bot einen Einblick während des Webinars. In einem Interview brachte er das Thema Usability ein - die Expertise seines Beratungsunternehmens. 

Herr Müller, Sie beschäftigen sich seit Jahren mit Usability. Was verbindet diese beiden Themen, Usability und KI, überhaupt?

Christopher Müller: Usability und KI haben denselben Kern: Menschen müssen verstehen, was das System ihnen mitteilt. Bei Usability geht es darum, eine Interaktion so klar zu gestalten, dass sie intuitiv funktioniert. Bei KI geht es darum, Ergebnisse so aufzubereiten, dass sie einordbar und sinnvoll sind. Der Mensch muss nicht wissen, was im Hintergrund läuft. Er muss erkennen, was die Ausgabe bedeutet und wie er weiter vorgehen kann. Verständlichkeit und Nachvollziehbarkeit sind deshalb in beiden Bereichen zentral – nur die Form ist unterschiedlich.

Was kann die UX-Welt von der erklärbaren KI, also der Explainable AI, lernen?

Dass Erklärbarkeit Teil der Funktion ist, nicht Dekoration. Systeme, die sich verständlich verhalten, werden schneller angenommen und besser genutzt. Explainable AI versucht genau das: komplexe Mechanismen so aufzuzeigen, dass Menschen die Logik erkennen können. Das ist letztlich dieselbe Aufgabe wie in der UX: Orientierung geben, damit Entscheidungen leichter fallen. Ob man es «explainable» oder «usable» nennt, spielt keine Rolle – entscheidend ist, dass Menschen rasch verstehen, wie sie mit dem System arbeiten können.

Christopher Müller, Inhaber und Expert Consultant von Die Ergonomen Usability. (Source: Screenshot)

Wie lässt sich das Vertrauen gestalten, gerade bei Systemen, die selbstständig lernen oder entscheiden?

Vertrauen entsteht durch Orientierung. Bei KI bedeutet Transparenz nicht, dass wir jeden Parameter erklären müssen. Es reicht, wenn Menschen nachvollziehen können, was ein Ergebnis für ihre Situation bedeutet. Besonders spannend ist, dass in kritischen Situationen – etwa im Gesundheitsbereich – das Vertrauen oft höher ist. Wahrscheinlich, weil Menschen dort sehr genau wissen, was sie brauchen und worauf sie achten müssen. Klarheit, saubere Sprache und erkennbare Logik sind deshalb entscheidend. Menschen wollen nicht nur ein Resultat, sondern einen Hinweis darauf, wie es zustande kam – und was die beste nächste Handlung ist.

Samuel Huber sprach über autonome Systeme in extremen Situationen, also wenn es um Leben und Tod geht. Kann Usability in so einer Situation wirklich helfen?

Ja, und zwar unmittelbar. In extremen Situationen läuft unser Denken nicht über Analyse, sondern über System 1 – das schnelle, intuitive Denken. Es arbeitet mit Mustern, Heuristiken und Erfahrungsfragmenten, nicht mit bewusstem Abwägen. Genau deshalb muss ein autonomes System in solchen Momenten so gestaltet sein, dass es sich in diese Muster einfügt und sie unterstützt.

Wenn ein System klare, sofort verständliche Rückmeldungen gibt, kann der Mensch ohne Nachdenken handeln. Das reduziert die kognitive Belastung in einer Situation, in der keine Zeit bleibt, die Bedeutung eines Signals zu interpretieren oder komplexe Informationen zu verarbeiten. Ein einziges unklar formuliertes Feedback kann in solchen Momenten im schlimmsten Fall tödlich sein. Ein präzises, erwartbares Feedback hingegen kann Leben retten.

Das gilt nicht nur für militärische Systeme oder Drohneneinsätze, sondern genauso für zivile Bereiche wie Notfallmedizin, Cockpits, Leitstellen oder kritische Industrien. Immer dort, wo Sekunden zählen, muss die Interaktion so gestaltet sein, dass System 1 „automatisch“ das Richtige erkennt und tut.

Im Alltag geht es zwar selten um Leben und Tod. Aber das Prinzip bleibt dasselbe: Ein verständliches System reduziert Fehler und stärkt Vertrauen. Usability ist letztlich die Kunst, komplexe Situationen so zu gestalten, dass Menschen intuitiv richtig handeln können – egal ob im Einsatzgebiet oder beim Arzt.

Wie sieht das im Alltag aus? Zum Beispiel bei Chatbots oder medizinischer KI?

Wir vertrauen Systemen eher, wenn die Ergebnisse nützlich und auf den Punkt sind. LLMs neigen jedoch dazu, Antworten sehr positiv und bestätigend zu formulieren. Das kann missverständlich wirken. Deshalb braucht es ein kritisches Mitdenken: Woher stammt die Antwort? Wie sicher ist sie? Gibt es Quellen oder Einschätzungen zur Qualität? Diese menschliche Kontrollfunktion bleibt zentral. In der Medizin sorgen Normen und Fachpersonen dafür, dass KI-Empfehlungen nicht ungeprüft umgesetzt werden. KI liefert Hinweise – die Verantwortung bleibt beim Menschen, zumindest vorerst hoffentlich noch.

Zum Abschluss noch eine Frage: Wie lautet Ihr wichtigster Rat für Unternehmen, die KI einsetzen wollen?

Behandeln Sie KI als Dialogpartner, nicht als reine Technologie. Vertrauen entsteht durch Verständlichkeit, nicht durch Komplexität. Ein Ergebnis muss anschlussfähig sein an das Wissen und die Fähigkeiten der Menschen, die es nutzen. Entwickeln Sie KI deshalb immer im Zusammenspiel mit den Usern. Und geben Sie ihnen die Kompetenz, KI-Ausgaben kritisch zu prüfen. Das stärkt die Souveränität – und macht den Einsatz von KI langfristig wirksam und verantwortungsvoll.

Hier geht es zur vollständigen Videoaufzeichnung des Webinars.

Der Kenncode lautet: 9mLP+2Av

Und die Slides der Präsentation können Sie hier als PDF herunterladen.