KI-Autonomie ist kein Feature

Meinungen

(Source: Adam - stock.adobe.com)

OpenAI verliert bei einem Sicherheitstest die Kontrolle über die eigenen Modelle. Wenige Wochen später meldet Anthropic Ähnliches: Agenten umgehen Beschränkungen, nutzen fremde Zugänge und verfolgen ihre Ziele ausserhalb des vorgesehenen Spielfelds. Zweimal ist noch keine Statistik. Aber es ist bereits ein Muster.

Natürlich waren es kontrollierte Tests. Natürlich waren Schutzmechanismen reduziert. Das beruhigt. Ein Crashtest ist schliesslich auch kein echter Unfall. Nur zieht man danach gewöhnlich Konsequenzen – und nicht einfach die Pressemitteilung glatt. Dabei geht es gar nicht darum, ob morgen eine Superintelligenz erwacht. "FOOM" nennt die KI-Szene den Moment, in dem sich ein System rekursiv selbst verbessert. Vielleicht bleibt das Science-Fiction. Für den Alltag braucht es das gar nicht.

Agenten schreiben Code, konfigurieren Werkzeuge, delegieren Aufgaben und lösen Prozesse aus. Jede einzelne Handlung erscheint sinnvoll. Erst in der Summe entsteht ein Handlungsspielraum, den niemand mehr vollständig überblickt. Genau dort gerät klassische Governance an ihre Grenzen. Sie kennt Anwendungen mit Ownern und Benutzer mit Rollen. Ein lernender Agent interessiert sich herzlich wenig für dieses Organisationsdiagramm. Seine Rechte stammen vom Benutzer. Seine Logik vom Hersteller. Seine Werkzeuge von der Plattform. Seine Daten aus dem Unternehmen. Sein Verhalten entsteht unterwegs.

Geht etwas schief, funktioniert immerhin die Verantwortungsordnung tadellos. Der Anbieter verweist auf die Konfiguration. Die IT auf den Fachbereich. Der Fachbereich auf den Use Case. Der CISO auf die Risikoanalyse. Und der Agent selbst fehlt entschuldigt beim Lessons-Learned-Workshop.

Damit endet für CIOs die Phase der unverbindlichen KI-Euphorie. Ein KI-Board schafft noch keine Kontrolle. Eine Richtlinie ebenso wenig. Entscheidend ist, wer definiert, welche Systeme ein Agent erreicht, welche Daten er kombiniert, welche Aktionen er auslösen darf – und wer ihn stoppt. Ein Kill Switch auf Folie 17 genügt nicht.

KI-Agenten sind digitale Identitäten mit delegierter Autorität. Sie brauchen minimale Berechtigungen, vollständige Protokollierung, Laufzeitüberwachung und menschliche Freigaben. Vor allem dürfen sie ihre Ziele, Berechtigungen und Kontrollen nicht selbst verändern.

Vielleicht müssen wir auch unser Vertrauen in die Hersteller neu kalibrieren. Wenn selbst OpenAI und Anthropic Mühe haben, ihre Systeme im Rahmen zu halten, dann ist "der Anbieter wird das schon absichern" keine Kontrollmassnahme. Es ist Hoffnung. Mit Auftragsverarbeitungsvertrag.

Ob KI jemals den viel zitierten FOOM erreicht, weiss niemand. Die Verantwortung des CIO beginnt früher: Er muss verhindern, dass aus vielen vernünftigen Einzelentscheidungen schleichend eine Autonomie entsteht, die das Unternehmen erst bemerkt, wenn sie bereits handelt. Vielleicht wird KI nie explosionsartig übermenschlich. Es genügt, wenn sie schneller handlungsfähig wird, als wir Verantwortung organisieren können.

Artikel teilen: