Was eine wirksame KI-Kontrolle wirklich erfordert

Christoph Heitz, Professor am Institut für Data Science der ZHAW und Leiter des Schwerpunkts AI & Society. (Source: zVg)

Christoph Heitz, Professor am Institut für Data Science der ZHAW und Leiter des Schwerpunkts AI & Society. (Source: zVg)

Sie leiten an der ZHAW den Schwerpunkt AI & Society und forschen unter anderem zu algorithmischer Fairness und KI-Ethik. Was zeichnet für Sie verantwortungsvolle KI aus?

Christoph Heitz: Verantwortungsvolle KI beginnt mit der Erkenntnis, dass KI-Systeme reale Auswirkungen auf Menschen haben. Wenn ein System bei der Vergabe von Krediten, Stellen oder Sozialleistungen mitentscheidet, beeinflusst es die Verteilung von Chancen und Risiken in der Gesellschaft. Solche Entscheidungen sind nie vollständig neutral, sondern haben immer auch eine ethische Dimension. Von verantwortungsvoller KI kann man sprechen, wenn Entwicklung und Einsatz eines Systems nicht nur auf Effizienz oder wirtschaftlichen Nutzen ausgerichtet sind, sondern auch die Auswirkungen auf Menschen und Gesellschaft berücksichtigen. Die Entscheidungslogik des KI-Systems muss nachvollziehbar auf Prinzipien wie Transparenz, Fairness, Sicherheit und Erklärbarkeit beruhen, und das entsprechende Design muss begründet und erklärt werden können. Zu verantwortungsvoller KI gehört auch, dass Menschen die Kontrolle über wichtige Entscheidungen behalten und dass klar geregelt ist, wer die Verantwortung für die Entscheidungen trägt. 

Wer entscheidet überhaupt, was eine faire KI ist?

Nicht die Techniker und Informatikspezialisten! Dies ist keine technische Frage, sondern eine wertorientierte und normative Entscheidung: Welche Art von Fairness oder sozialer Gerechtigkeit soll implementiert werden? Darüber kann man unterschiedlicher Meinung sein – aber jede Entscheidung über das technische Design setzt eine dieser Meinungen um. Konkret wird Fairness über sogenannte Fairness-Metriken gemessen. Es gibt Dutzende von mathematischen Fairnessmetriken, und sie sind teilweise miteinander unvereinbar. Unsere Forschung zeigt, dass sich die gängigen Fairnessmetriken als Ausdruck unterschiedlicher Gerechtigkeitsvorstellungen interpretieren lassen. Damit wird sichtbar, welche Werturteile in einer technischen Wahl stecken. Das Recht setzt Mindeststandards, etwa beim Diskriminierungsverbot. Darüber hinaus müssen letztlich diejenigen entscheiden, die die Verantwortung tragen und dazu legitimiert sind: die Organisation, die das System einsetzt, idealerweise unter Einbezug der Betroffenen. Die Aufgabe der Technik ist es, diese Wahl explizit zu machen und ihre Konsequenzen aufzuzeigen.

Ein KI-System kann formale Fairnesskriterien erfüllen und Betroffene können seine Entscheidungen trotzdem als unfair empfinden. Wo stossen solche Kriterien an ihre Grenzen?

An mehreren Stellen. Erstens messen die meisten Kriterien Gleichheit zwischen Gruppen im Durchschnitt. Ein Einzelner kann trotzdem ungerecht behandelt werden, und genau diese individuelle Perspektive haben Betroffene. Zweitens sind gängige Ansätze für "Fair Design" oft zu technisch formuliert und berücksichtigen nicht ausreichend die Konsequenzen der Entscheidungen für Betroffene. Oft kommt es dabei zu offensichtlich stossenden Ergebnissen. Drittens sind nicht alle Vorhersagen moralisch gleichartig: Ob ich vorhersage, ob jemand einen Kredit zurückzahlt, oder ob jemand ein Verbrechen begehen wird, macht einen Unterschied für die Frage, welche Fairnessanforderungen gelten. Und schliesslich erfassen statistische Kriterien die prozedurale Seite kaum: ob man gehört wird, ob man widersprechen kann, ob man versteht, wie entschieden wurde. Diese Aspekte sind für das Gerechtigkeitsempfinden oft zentral.

Ein wichtiger Baustein vertrauenswürdiger KI ist die sogenannte Erklärbarkeit: User sollen nachvollziehen können, warum ein System zu einem bestimmten Ergebnis kommt. Wie lässt sich diese Nachvollziehbarkeit technisch erreichen?

Es gibt zwei grundsätzliche Wege. Der erste besteht im Einsatz von KI-Modellen, die von sich aus interpretierbar sind, etwa einfache Scoring-Modelle oder Entscheidungsbäume. In vielen Anwendungen mit tabellarischen Daten sind sie nahezu gleichwertig mit komplexen Modellen, und dort sollte man sie ernsthaft in Betracht ziehen. Der zweite Weg besteht im Einsatz nachträglicher Erklärverfahren für komplexe Modelle: Methoden, die zeigen, welche Merkmale eine Entscheidung beeinflusst haben, oder kontrafaktische Erklärungen im Sinne von: "Wäre Ihr Einkommen um X höher gewesen, wäre der Kredit bewilligt worden." Letztere sind für Betroffene oft am hilfreichsten, weil sie Handlungsmöglichkeiten aufzeigen. Wichtig ist aber: Erklärbarkeit ist kein rein technisches Merkmal. Eine Erklärung muss auf ihr Publikum zugeschnitten sein. Eine Entwicklerin braucht etwas anderes als eine Sachbearbeiterin oder ein Antragsteller.

Eine KI kann eine plausible Erklärung liefern, ohne die tatsächlichen Gründe für ihr Ergebnis offenzulegen. Woran erkennt man, ob eine Erklärung das Modellverhalten wirklich widerspiegelt – oder nur überzeugend klingt?

Das ist ein ernstes Problem, gerade bei Sprachmodellen, die sehr überzeugend begründen können, ohne dass die Begründung deshalb korrekt sein muss. Plausibilität und Wahrheitstreue sind zwei verschiedene Dinge. Man kann Erklärungen aber testen: Wenn eine Erklärung sagt, Merkmal A sei entscheidend gewesen, dann muss eine Veränderung von A das Ergebnis auch tatsächlich verändern. Wenn nicht, ist die Erklärung falsch. Solche Eingriffstests, bei denen man Eingaben systematisch variiert und prüft, ob das Modell so reagiert, wie die Erklärung es vorhersagt, sind das wichtigste Werkzeug. Bei nachträglichen Erklärverfahren weiss man zudem, dass sie Näherungen sind und bei derselben Entscheidung unterschiedliche Ergebnisse liefern können. Wo viel auf dem Spiel steht, spricht das für interpretierbare Modelle, bei denen Erklärung und Modell dasselbe sind. 

Fairness und Leistungsfähigkeit können miteinander in Konflikt geraten. Wie viel Leistung darf ein Unternehmen zugunsten von Fairness opfern?

Darauf gibt es keine allgemein gültige Antwort, aber es gibt eine klare Struktur. Zunächst: Unterhalb der rechtlichen Anforderungen gibt es nichts abzuwägen, Diskriminierung ist keine Frage der Effizienz. Über diese Mindestanforderungen hinaus geht es um eine bewusste Abwägung. In unserer aktuellen Forschung charakterisieren wir die sogenannte Pareto-Front, also die Menge aller Lösungen, bei denen man Fairness nur noch auf Kosten von Leistung verbessern kann und umgekehrt. Ein wichtiger Befund: Viele Systeme liegen gar nicht auf dieser Front. Man kann dann Fairness gewinnen, ohne Leistung zu verlieren. Und wo tatsächlich ein Zielkonflikt besteht, ist er oft kleiner als befürchtet. Der zweite Punkt: "Leistung" wird oft mit der Genauigkeit der Vorhersage gleichgesetzt. Entscheidend ist aber der Nutzen für alle Beteiligten, auch für die Betroffenen. Wer den Trade-off so betrachtet, sieht, dass es eigentlich um eine Verteilungsfrage geht, und die sollte ein Unternehmen offen beantworten und begründen können.

Kann ein KI-System zuverlässig erkennen, wann es unsicher ist – und diese Unsicherheit gegenüber Usern offen kommunizieren?

Teilweise. Es gibt gute Verfahren, um Unsicherheit statistisch zu quantifizieren, etwa kalibrierte Wahrscheinlichkeiten oder Methoden, die statt einer Einzelprognose einen Bereich plausibler Ergebnisse mit garantierter Trefferquote liefern. Diese funktionieren aber nur, solange die Einsatzsituation den Trainingsdaten ähnelt. Das eigentliche Problem sind Fälle, die das System noch nie gesehen hat: Dort kann es sich sehr sicher sein und trotzdem falschliegen, und es merkt das nicht zuverlässig. Bei Sprachmodellen kommt hinzu, dass die sprachlich geäus­serte Zuversicht wenig mit der tatsächlichen Treffsicherheit zu tun haben muss. Bei der Kommunikation ist zudem Vorsicht geboten: Eine Wahrscheinlichkeitsangabe hilft nur, wenn Menschen wissen, wie sie damit umgehen sollen. Oft ist es sinnvoller, das System so zu gestalten, dass es unsichere Fälle aktiv an einen Menschen weitergibt.

Menschliche Kontrolle gilt als wichtiger Bestandteil von Responsible AI. Wie muss sie ausgestaltet sein, damit Menschen KI-Ergebnisse tatsächlich kritisch prüfen und nötigenfalls korrigieren können?

Ein Mensch, der am Ende eines Prozesses auf "bestätigen" klickt, ist noch keine Kontrolle. Die Forschung zeigt sehr deutlich, dass Menschen dazu neigen, maschinellen Empfehlungen zu folgen, besonders unter Zeitdruck. Wirksame Kontrolle braucht mehrere Voraussetzungen: genug Zeit und Kompetenz, um einen Fall wirklich zu prüfen; Zugang zu den relevanten Informationen, nicht nur zum Ergebnis; die tatsächliche Befugnis und die organisationale Rückendeckung, abzuweichen, ohne sich rechtfertigen zu müssen; und Rückmeldung darüber, wann das ­System und wann der Mensch richtig lag. Hilfreich kann auch sein, die Reihenfolge umzudrehen: Der Mensch bildet sich zuerst ein eigenes Urteil und sieht erst dann die Einschätzung des Systems. Und man muss ehrlich prüfen, ob die Kontrolle im Alltag tatsächlich stattfindet. Wenn die Abweichungsquote gegen null geht, ist das ein Warnsignal.

Sie haben am Konzept "Pro-Human AI Design" mitgearbeitet, das menschliche Autonomie beim Einsatz von KI bewahren oder stärken soll. Wann wird die Entlastung durch KI problematisch, weil Menschen Fähigkeiten verlernen oder Entscheidungen aus der Hand geben?

Wenn sie nicht nur lästige Arbeit abnimmt, sondern genau jene Tätigkeiten, bei denen Menschen ihr Urteilsvermögen einsetzen, Verantwortung übernehmen und Beziehungen zu anderen pflegen. Im Pro-Human-AI-Design fragen wir deshalb, wie KI so gestaltet werden kann, dass sie das stärkt, was uns als Menschen ausmacht, statt Aspekte wie Beziehungsfähigkeit, Verantwortung und Autonomie zu untergraben. Oft liegt die Lösung nicht im Verzicht auf KI, sondern im Design. In einem medizinischen Anwendungsfall konnten wir zeigen, dass der Wechsel von einer vollautomatischen Berichterstellung zu einer KI-gestützten Textvervollständigung die Beziehung und die Verantwortung der Ärztin gegenüber dem Patienten besser bewahrt. Die Ärztin bleibt Autorin. Problematisch wird es also, wenn Menschen nur noch Ergebnisse abnicken, die sie selbst nicht mehr erzeugen oder beurteilen könnten.

Das Verhalten von KI-Systemen kann sich durch Updates, neue Daten und veränderte Einsatzbedingungen verändern. Wie lässt sich sicherstellen, dass eine einmal als vertrauenswürdig eingestufte KI es auch bleibt?

Vertrauenswürdigkeit ist keine Eigenschaft, die man einmal prüft und dann abhakt, sondern ein Zustand, den man laufend überwachen muss. Das bedeutet konkret: Leistung und Metriken für Vertrauenswürdigkeit im laufenden Betrieb messen, nicht nur vor der Einführung; beobachten, ob sich diese Werte verändern; jedes Update mit einer erneuten Prüfung wie eine Neueinführung behandeln; und klare Zuständigkeiten dafür schaffen, wer bei Auffälligkeiten eingreift. Wichtig ist auch, dass Betroffene und Anwender Probleme melden können und diese Meldungen sorgfältig ausgewertet werden. Nicht zu unterschätzen sind Rückkopplungseffekte: Ein System verändert durch seine Entscheidungen die Welt, aus der seine künftigen Daten stammen. Wer etwa bestimmten Gruppen seltener Kredite gewährt, erfährt über diese Gruppen weniger. Das lässt sich nur mit bewusster Governance über den gesamten Lebenszyklus in den Griff bekommen, nicht mit einer einmaligen Zertifizierung. 

Welche Kompetenz braucht es in Unternehmen oder öffentlich-rechtlichen Organisationen, um sicherzustellen, dass KI verantwortlich eingesetzt wird? 

Das ist eine ganz zentrale Frage. Klar ist: Technische Expertise ist wichtig, reicht aber nicht aus – man kann das also nicht einfach an die Informatik delegieren. Klar ist auch: Governance-Vorgaben sind wichtig, aber nicht ausreichend für die Umsetzung. Erfolgreiche Ansätze erfordern eine klare Analyse der rechtlichen und ethischen Risiken, ein zielorientiertes Risikomanagement und eine entsprechend fundierte technische Umsetzung – und das alles mit einem schlanken und effizienten Vorgehen. Hier gibt es grosse Kompetenzlücken. Deshalb haben wir 2025 das Swiss Centre for Responsible AI (SCRAI) gegründet, ein Think-and-Do-Tank für Schweizer Unternehmen und Verwaltungen, in dem wir Wissen zu Responsible AI aus unterschiedlichen Disziplinen bündeln und dieses zur Verfügung stellen: von Responsible-AI-Assessments über die Strategieberatung bis hin zur konkreten Unterstützung bei der Umsetzung. Damit möchten wir einen Beitrag dazu leisten, Responsible AI in der Schweiz in die Praxis zu bringen.