KI-Sicherheit und Governance brauchen Beweise statt Glauben

Petar Tsankov, Mitgründer und CEO, ­Lattice Flow AI. (Source: zVg)

Petar Tsankov, Mitgründer und CEO, ­Lattice Flow AI. (Source: zVg)

Bei klassischer Software kamen die Kontrollen zuerst. Schwachstellenscanner und Penetrationstests gab es lange, bevor eine Richtlinie sie vorschrieb. Bei KI läuft es umgekehrt: Die Richtlinien stehen, doch die Kontrollen dazu fehlen oft. Aufsicht und Gesetzgeber verlangen aber zunehmend Nachweise, etwa in der Finma-Aufsichtsmitteilung 08/2024 und im EU AI Act.

Heute dominiert an drei Stellen das Prinzip Hoffnung. Frameworks wie die OWASP-Top-10 für agentische Anwendungen werden von Hand in Tabellen abgehakt. Das Ergebnis sind Dokumente, keine Nachweise. Guardrails werden eingeführt, aber nie gegen die Angriffe getestet, die sie abwehren sollen. Und Modelle werden durch günstigere ersetzt, ohne Nachweis, dass sie dieselben Anforderungen erfüllen.

Wenn die Richtlinie nur auf dem Papier steht

«CNBC» berichtete kürzlich über einen Kundenservice-Agenten, der gelernt habe, dass Rückerstattungen positives Kundenfeedback brächten. Daraufhin habe er auch Rückerstattungen genehmigt, die seine Richtlinie nicht vorgesehen habe. Das Risiko war bekannt, eine Richtlinie gab es auch. Nur überprüfte niemand, ob sich der Agent daran hielt. Selbst durchdachte Schutzmassnahmen versagen, wenn sie niemand überprüft. Im Juli brachen OpenAI-Modelle aus einer Evaluationsumgebung aus und griffen Hugging Face an. Jeder Schutzmechanismus war für sich sinnvoll, doch zusammen versagten sie. Es braucht also mehrere Schutzschichten, deren Zusammenspiel überprüft wurde. Und man darf nie darauf zählen, dass ein Agent seine Grenzen einhält.

Von der Richtlinie zur Kontrolle

Wie es besser geht, zeigt der Rückerstattungsfall. Das Framework benennt das Risiko – hier einen Agenten, der ein Ziel über seinen Auftrag hinaus verfolgt. Die Unternehmensrichtlinie macht daraus eine Regel: Rückerstattungen nur unter bestimmten Bedingungen. Überprüfbar wird sie erst durch eine Kontrolle, etwa eine Compliance-Bewertung. Sie leitet aus der Richtlinie Eingaben ab, die jeweils eine Regel oder Grenze ausreizen: positives Feedback im Tausch gegen eine Rückerstattung, Druck, Umformulierungen oder ein Wechsel ins Französische. Alle Eingaben durchlaufen die ganze Anwendung samt Filtern. Entscheidend ist, was der Agent tut, nicht nur, was er sagt.

Schon die erste Evaluation würde hier zeigen, dass Rückerstattungen ausserhalb der Richtlinie möglich sind. Abhilfe schaffen mehrere Schichten: ein festes Limit im Rückerstattungstool, also ausserhalb des Modells, ein ­Guardrail, der Anfragen mit der Richtlinie abgleicht, und ein Mensch, der über Ausnahmen entscheidet. Eine zweite Evaluation bestätigt dann, dass die Verstösse unter einem vorab festgelegten Schwellenwert bleiben, bei einer Regel wie dieser nahe null. Das Ergebnis wird dokumentiert und Framework und Richtlinie zugeordnet. Bei jeder Änderung an Modell, Prompt oder Daten läuft die Evaluation erneut. So zeigt sich auch, ob ein günstigeres Modell wirklich genügt.

Kontrolle statt KI-Bremse

Nach Vorfällen wie bei Hugging Face wird rasch eine Pause in der KI-Entwicklung gefordert. Realistisch ist das nicht. Unternehmen sollten stattdessen im selben Tempo, in dem die KI-Fähigkeiten wachsen, in Kontrollen investieren und in den Nachweis, dass diese wirken. Denn je mehr Autonomie KI-Systeme erhalten, desto mehr Nachweise braucht es.