OpenAIs KI-Hackertest läuft aus dem Ruder und beunruhigt die Politik

(Source: Jackie Niam / AdobeStock.com)

(Source: Jackie Niam / AdobeStock.com)

Ein von OpenAI entwickeltes KI-Modell hat geschafft, was es eigentlich nicht hätte schaffen dürfen. Im Rahmen eines Cybersecurity-Tests in einer vermeintlich abgeschotteten Umgebung suchte und fand der Algorithmus einen Weg aus der Internetsperre. Diesen Zugang nutzte das KI-Modell sogleich, um "Hugging Face" anzugreifen, die populäre Plattform der KI-Community. Auch dabei war das Modell erfolgreich. Auf der Plattform beschaffte es sich schliesslich die Lösungswege zu den Hacking-Tests, die es ursprünglich selbständig hätte suchen sollen.

OpenAI und Hugging Face bestätigen die Geschichte, die halbwegs nach Science-Fiction klingt. "Während unsere Modelle in unserer Sandbox-Testumgebung arbeiteten, setzten sie erhebliche Inferenz-Rechenleistung ein, um einen Weg zu offenem Internetzugang zu finden und das Evaluationsproblem zu lösen", schreibt OpenAI unter anderem. Die Zero-Day-Schwachstelle, mit der sich die KI-Modelle Zugang zum offenen Internet beschaffen konnten, habe man verantwortungsvoll an die betroffenen Unternehmen gemeldet, ergänzt der KI-Entwickler.

Anstatt den Lösungsweg zum ursprünglich gestellten Problem selber zu suchen, griff die OpenAI-KI offenbar tief in die Trickkiste der Cyberkriminalität: "In einem Beispiel verkettete das Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um auf den Servern von Hugging Face einen Pfad für Remote-Codeausführung zu finden", räumt OpenAI ein.

Fordern und beschwichtigen

Im Firmenblog verspricht OpenAi, den Vorfall gemeinsam mit Hugging Face genau aufzuarbeiten. Man verstärke die Sicherheitsmassnahmen für künftige Tests und führe "strenge Kontrollen für die Infrastrukturkonfiguration ein".

Der Vorfall, der sich Mitte Juli 2026 ereignete, sorgte für jede Menge Schlagzeilen und rief nicht nur Experten, sondern auch die Politik auf den Plan. "Watson" etwa berichtet von einem überparteilich eingereichten Vorstoss in den USA. Die Politiker fordern demnach, Notabschalt-Mechanismen für KI gesetzlich vorzuschreiben.

Derweil bemühen sich Experten, den Vorfall einzuordnen. Gegenüber "20 Minuten" etwa stellt HSLU-Informatikprofessor Oliver Gilbert klar, die KI sei nicht willentlich geflohen. "Sie verfolgte ein gegebenes Ziel konsequent", dabei habe sie Wege gefunden, die von den Verantwortlichen nicht vorgesehen waren.

Bei "SRF" kommentiert Digitalredaktor Jürg Tschirren, es sei nicht gänzlich neu, dass ein KI-Modell für Cyberangriffe genutzt werde. "Neu ist, dass kein Mensch dahintersteckt. Bisher bekannte KI-Angriffe wurden von Menschen gesteuert. Hier entschied ein Modell selbst, dass ein Einbruch der kürzeste Weg zum Ziel ist."

Beide Experten stellen klar, dass KI-gestützte Cyberangriffe künftig vermehrt erfolgen könnten. Grund zur Beunruhigung für die Bevölkerung sei das aber nur beschränkt. Die Gefahr werde grösser, je mehr Unternehmen KI zunehmend mit Datenbanken, Cloud-Plattformen, Entwicklungsumgebungen und Geschäftsprozessen verknüpften, sagt Gilbert etwa. Tschirren erwähnt aber noch eine andere, ganz und gar nicht KI-bezogene Gefahr: "Beim Bundesamt für Cybersicherheit kommen die meisten Meldungen aus der öffentlichen Verwaltung, und ausgenutzt werden vor allem Lücken, für die es längst Updates gäbe", erklärt er. Auch Gilbert ruft grundsätzlich Cyberhygiene-Massnahmen in Erinnerung: "Starke Passwörter, Mehrfaktor-Authentifizierung und Vorsicht bei verdächtigen Nachrichten".

Lesen Sie auch: Im Herbst 2025 berichtete Anthropic über die Entdeckung einer hochkomplexen Spionagekampagne, bei der Angreifer das KI-Tool Claude Code manipulierten. Die mutmasslich staatlich geförderte chinesische Gruppe führte Cyberangriffe mit minimaler menschlicher Beteiligung durch.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.