Qualitätsfaktoren und die Grenzen von "Explainable AI"

Je mehr geschäftskritische Aufgaben künstliche Intelligenz übernimmt, desto drängender wird die Frage: Wie sehr können Unternehmen den Ergebnissen ihrer KI-Systeme vertrauen? Und wie vertrauenswürdig kann es sein, wenn eine KI selbst erklärt, warum sie diese und nicht eine andere Entscheidung getroffen hat? Wie kommen wir zur sogenannten Explainable AI (XAI)?

Erklärungen helfen – ersetzen aber keine Prüfung

XAI verspricht, die Blackbox der Algorithmen zu öffnen. Mit Methoden wie LIME oder SHAP lassen sich die Einflüsse einzelner Faktoren sichtbar machen. Das klingt nach Transparenz – ist aber auch selbst nur wieder eine statistische Annäherung. Diese Verfahren liefern also keine absolute Wahrheit über die innere Logik des Modells. Sie erzeugen Erklärungen zweiter Ordnung: Das Modell beschreibt im Grunde sein eigenes Verhalten. Für Anwender und Anwenderinnen kann das hilfreich sein, weil dies Entscheidungswege greifbarer macht und Distanz abbaut. Für die Qualitätsprüfung reicht es jedoch nicht aus (siehe Kasten).

Im Kontext von KI bildet die Qualität der «Pipeline» die Basis dafür, ob Menschen dem KI-Output vertrauen können beziehungsweise werden – oder eben nicht.

Wo Vertrauen wirklich beginnt

Vertrauen entsteht aber nicht durch diese Transparenz allein, sondern im Zusammenspiel mehrerer Faktoren. So sind etwa wiederholbar korrekte Resultate in realen Szenarien unabdingbar für das Entstehen von Vertrauen (Praxisnähe). Ausserdem schaffen, wie schon erwähnt, unabhängige Audits, Benchmarks und externe Tests objektive Vergleichsgrössen (Evidenz). Der grösste Hebel, um Vertrauen in KI-Resultate zu erlangen, muss sein, dass Menschen im Unternehmen die letzte Verantwortung tragen – und nicht die Maschine. Rollen, Prozesse und Haftungsfragen müssen klar definiert sein.
 

Fazit

Explainable AI ist ein wichtiges Werkzeug, um Vertrauen in KI aufzubauen. Sie kann Entscheidungsprozesse greifbarer machen und Anwenderinnen sowie Anwendern das Gefühl geben, die Maschine besser zu verstehen. Doch CIOs sollten sich nicht täuschen lassen: Erklärungen sind nützlich, aber keine Garantie. Wirkliches Vertrauen entsteht erst dann, wenn Qualität, Governance und klare Verantwortlichkeiten zusammenkommen.

Und auch dann bleibt eine Grenze: Generative KI liefert selten echte Aha-Momente, keine plötzlichen Geistesblitze, keine radikal neuen Ideen. Ihre Stärke liegt darin, Mittelwerte zu bilden, Muster zu erkennen und bereits Gesagtes oder Geschriebenes neu zu kombinieren. Für echte Innovation braucht es deshalb weiterhin den menschlichen Funken – KI kann ihn bestenfalls unterstützen, aber nicht ersetzen.

Schreiben Sie uns, wenn Sie anderer Meinung sind: Wir forschen aktuell genau an dieser Frage!

Qualität ist mehr als Genauigkeit

Die Qualität eines KI-Ergebnisses bemisst sich nicht nur daran, wie oft es korrekt ist. Vielmehr zählt, wie es zustande kommt. Der gesamte Prozess – vom Input bis zur Verarbeitung der Daten – entscheidet über die Qualität des Outputs:

• Datenqualität: Verzerrte, unvollständige oder schlicht falsche Daten führen zwangsläufig zu fragwürdigen Resultaten. Nur repräsentative und saubere Datensätze ermöglichen robuste Modelle.
• Modellqualität: Validierungen, Belastungstests und Schutzmechanismen gegen Manipulation sind unerlässlich. Ein Algorithmus, der im Labor glänzt, kann im Feldversuch schnell ins Straucheln geraten.
• Kontext: Ein Modell, das im Onlinehandel erfolgreich Kaufempfehlungen ausspielt, ist nicht automatisch für die Finanzwelt oder das Gesundheitswesen geeignet.
• Governance: Klare Standards, Audits und definierte Verantwortlichkeiten sind die Grundlage, damit Unternehmen regulatorischen Anforderungen gerecht werden – und das Vertrauen ihrer Kundschaft behalten.