Wenn die KI durchdreht: CIO in the Lead

(Source: Jana - stock.adobe.com)

(Source: Jana - stock.adobe.com)

Das «Loss of Control Observatory» hat im Juli 2026 mehr als 300 dokumentierte Vorfälle gemeldet, in denen KI-Systeme ihre Ziele auf schädliche Weise verfolgten – fast doppelt so viele wie noch im Vormonat. OpenAI und Anthropic mussten eigene Frontier-Modelle stoppen, nachdem diese in Tests unerwünschtes, teils manipulatives Verhalten gezeigt hatten.

Noch vor Kurzem sorgten wir uns darüber, dass KI halluziniert. Inzwischen müssen wir uns damit beschäftigen, was passiert, wenn sie nicht nur Unsinn erzählt, sondern ihn auch ausführen kann. Willkommen bei Agentic AI.

Das Problem ist allerdings nicht die KI. Das Problem sind wir. Wir geben KI Zugriff auf Daten, Anwendungen und APIs, lassen Agenten Prozesse ausführen, Entscheidungen vorbereiten und zunehmend selbstständig handeln. Aus Capability wird Authority, aus Assistenz wird Autonomie. Und die Governance? Die schreibt noch an der AI Policy.

Unternehmen führen KI schneller ein, als sie lernen, sie zu beherrschen. Verantwortlichkeiten bleiben diffus, Eskalationswege fehlen, Entscheidungen werden schwieriger nachvollziehbar. Gleichzeitig wachsen die Abhängigkeiten von Modellen, Daten und Providern. DORA, NIS-2 und der EU AI Act erhöhen den Druck. Die Aussage: «Wir haben bereits viele spannende AI Use Cases», dürfte im Verwaltungsrat oder beim Auditor nur begrenzt als Kontrollnachweis durchgehen. Begeisterung ist bekanntlich noch keine Kontrolle.

Die nächste grosse KI-Krise könnte deshalb weniger durch schlechte Technologie als durch schlechte Führung entstehen. Responsible AI wird dort unbequem, wo aus Prinzipien konkrete Fragen werden: Wer trägt die Verantwortung? Was darf KI entscheiden? Worauf darf sie zugreifen? Wer überwacht sie? Wann greift ein Mensch ein? Und vor allem: Wer kann sie stoppen?

KI kann autonom handeln. Verantwortung kann sie nicht übernehmen. Und damit sind wir beim CIO. Wer KI zur strategischen Technologie erklärt, kann ihre Governance nicht an ein Ethics Committee, den CISO, Legal oder den neuesten «Head of AI» delegieren. Und schon gar nicht an den Vendor. Der wird kaum vor unserem Verwaltungsrat erklären, weshalb unser Agent gestern etwas getan hat, das heute niemand mehr nachvollziehen kann. Outsourcing funktioniert bei Infrastruktur erstaunlich gut. Bei Accountability eher weniger.

«CIO in the Lead» bedeutet deshalb: festlegen, welche Rolle KI im Unternehmen spielen darf, welche Autonomie akzeptabel ist und wo menschliche Entscheidungshoheit nicht delegiert wird. ­Ownership, Grenzen, Kontrollen, Monitoring und Eskalation müssen mindestens so schnell skalieren wie die KI selbst.

Vielleicht ist das die unbequeme Wahrheit hinter dem KI-Hype: Je autonomer die Technologie wird, desto weniger darf Führung auf Autopilot laufen. Wer KI skaliert, ohne Verantwortung und Kontrolle mitzuskalieren, betreibt keine digitale Transformation. Er automatisiert Verantwortungslosigkeit. Und falls es schiefgeht? Keine Sorge. Das anschliessende Audit wird vermutlich bestätigen, dass die AI Policy ordnungsgemäss genehmigt war.