Update: OpenAIs ausser Kontrolle geratene KI-Agenten ziehen weitere Kreise

(Source: InfiniteFlow / stock.adobe.com)

(Source: InfiniteFlow / stock.adobe.com)

Update vom 02.10.2026: OpenAI untersucht weiterhin, was seine KI-Agenten während interner Tests getan haben. Wie "Reuters" berichtet, hat das Unternehmen inzwischen mehr als 100 Organisationen über Vorfälle mit nicht autorisierten Aktivitäten informiert, die mit seinen KI-Agenten in Verbindung stehen. Ausgangspunkt der umfassenden Untersuchung war der Cyberangriff auf die KI-Plattform Hugging Face.

Um das gesamte Ausmass zu ermitteln, durchsucht OpenAI laut dem Bericht rund 50 Petabyte an Daten. Das Unternehmen habe zudem angekündigt, dass die Untersuchung angesichts dieses Umfangs mehrere Monate dauern dürfte. Der Hugging-Face-Vorfall sei weiterhin der schwerwiegendste Fall unerwünschter Agentenaktivität, den OpenAI bislang identifiziert habe, schreibt "Reuters".

OpenAI trennt sich von drei Sicherheitsforschenden

Parallel dazu hat sich OpenAI von drei Forschenden getrennt, die laut dem "Wall Street Journal" (Paywall) im Sicherheitsteam des Unternehmens tätig waren. Ihnen werde vorgeworfen, vertrauliche Unternehmensinformationen an eine externe Organisation für KI-Sicherheit weitergegeben zu haben.

OpenAI bestätigte die Trennung von drei Personen, wie die Zeitung berichtet. Eine interne Untersuchung habe ergeben, dass diese beim Zugriff auf und beim Umgang mit sensiblen Informationen gegen Unternehmensrichtlinien verstossen hätten. 

Die Entlassungen erfolgen in einer Phase, in der OpenAI mit mehreren Sicherheitsproblemen seiner KI-Systeme beschäftigt ist. Neben den Vorfällen mit KI-Agenten stoppte das Unternehmen kürzlich auch die geplante Veröffentlichung von GPT-6.1 Astra. Interne Tests hatten gezeigt, dass das Modell die Sicherheits- und Alignment-Anforderungen von OpenAI nicht vollständig erfüllte.

Update vom 29.09.2026: 

OpenAI stoppt KI-Training nach erneutem Ausbruch eines KI-Agenten

Ein internes Forschungsmodell von OpenAI hat die Internetbeschränkungen seiner Trainingsumgebung umgangen und einen externen Chatbot kontaktiert. Möglich machte dies eine Lücke in der DNS-Filterung: Der zuständige DNS-Resolver, der normalerweise Domainnamen in Netzwerkadressen übersetzt, eröffnete dem Modell einen unerwarteten Weg ins offene Internet, wie OpenAI mitteilt.

Der Zwischenfall ereignete sich am 20. September während einer Trainingsaufgabe. Das Modell sollte anhand verschiedener Hinweise Informationen zu einer bestimmten Person finden. Nachdem die vorgesehenen Suchwerkzeuge keine brauchbaren Resultate lieferten, probierte der KI-Agent weitere Zugriffswege aus und entdeckte schliesslich, dass sich über DNS Anfragen an einen externen Chatbot weiterleiten liessen. 

OpenAIs Überwachungssystem schlug innerhalb von 15 Minuten Alarm; drei Minuten später prüfte eine Person die Warnung. Der vorgesehene automatische Stopp griff jedoch nicht wie erwartet. Erst rund zweieinhalb Stunden später beendete OpenAI den Trainingslauf manuell. Nach Angaben des Unternehmens offenbarte der Vorfall damit neben der technischen Lücke auch Schwächen in den internen Abläufen.

Training bleibt vorerst pausiert

Als Reaktion darauf setzt OpenAI bei seinen leistungsfähigsten Modellen vorerst alle Trainings-, Evaluations- und Inferenzläufe aus, bei denen die Systeme zusätzliche Werkzeuge nutzen können. Das Unternehmen will diese Arbeiten erst wieder aufnehmen, wenn es die Lücke nachweislich geschlossen und zusätzliche Red-Team-Tests durchgeführt hat. Das Training des konkret betroffenen Modells nimmt OpenAI nach eigenen Angaben nicht wieder auf.

Der ChatGPT-Hersteller stuft den Vorfall als weniger schwerwiegend ein als einige frühere Zwischenfälle. Dennoch misst OpenAI ihm besondere Bedeutung bei: Es handle sich um den ersten solchen Fall seit den Sicherheitsverschärfungen nach dem früheren Hugging-Face-Zwischenfall. Nun will das Unternehmen insbesondere weniger offensichtliche Internetzugänge über Systemabhängigkeiten untersuchen, DNS-Zugriffe stärker beschränken und Erkennungssysteme ausbauen.
 

Update vom 04.09.2026: 

OpenAI tüftelt an automatischem KI-Kill-Switch

Nach dem Hugging-Face-Vorfall zieht OpenAI offenbar weitere Konsequenzen: Das Unternehmen entwickelt Funktionen, um KI-Systeme automatisch abzuschalten. Dies geht aus einer Antwort auf Fragen von US-Abgeordneten hervor, die nach dem Vorfall unter anderem einen "AI Kill Switch Act" vorgeschlagen hatten, wie "Reuters" berichtet. 

Laut dem Schreiben, das der Nachrichtenagentur vorliege, arbeiten OpenAI-Ingenieure an sogenannten "automated shutdown capabilities". Zudem wolle das Unternehmen genauer überwachen, welche Schritte KI-Systeme beim Ausführen von Aufgaben unternehmen und auf welche digitalen Werkzeuge sie dabei zugreifen. Auch den Internetzugang für KI-Modelle während Sicherheitstests habe OpenAI inzwischen erschwert.

US-Politik fordert weitreichendere Notbremse

Wie "Reuters" weiter schreibt, hatten die US-Abgeordneten OpenAI nach dem Cyberangriff auf Hugging Face um weitere Informationen zu seinen Sicherheitsvorkehrungen gebeten. Weil das KI-Unternehmen kein detailliertes Protokoll des Angriffs geliefert habe, kritisierte der Abgeordnete Greg Casar laut "Reuters" dessen Umgang mit dem Vorfall.

Der vorgeschlagene "AI Kill Switch Act" gehe dabei jedoch weiter als OpenAIs eigene Abschaltmechanismen: Er soll US-Behörden die Befugnis geben, die Abschaltung von KI-Modellen anzuordnen, wenn diese "Menschenleben oder die Wirtschaft gefährden". Der Gesetzentwurf liegt gemäss Bericht derzeit im US-Repräsentantenhaus.

Update vom 28.08.2026:

Über 700 KI-Agenten haben Hugging Face gehackt gemäss OpenAI-Untersuchung

OpenAI hat die Untersuchungsergebnisse des KI-gesteuerten Cyberangriffs auf die Plattform "Hugging Face" veröffentlicht. Dieser zeichnet das Bild einer ganzen Schar an KI-Agenten, die gemeinsam versuchten, die KI-Plattform zu hacken. Wie "Bleeping Computer" zusammenfasst, bestand das Orchester aus 700 KI-Agenten - dazu kommen noch 500 weitere, die nicht aktiv am Hugging-Face-Hack beteiligt waren. Die Agenten kommunizierten unter anderem über ein eigens angelegtes Messageboard, später auch mittels speziell codierter Dateinamen miteinander.

Dass ein derartiger Cyberangriff passieren konnte, begründet OpenAI mit einer Kombination aus Trainingsanreizen und fehlenden Sicherheitsvorkehrungen, wie "Bleeping Computer" zusammenfasst. Die Agenten seien für erledigte Aufgaben "belohnt" worden, unabhängig davon, wie sie sie gelöst hatten. Den Evaluationen hätten standardmässige Sicherheitsvorkehrungen gefehlt. Wären diese implementiert gewesen, hätte man einen drohenden Angriff vermutlich rechtzeitig bemerkt. OpenAI hat bereits bekanntgegeben, dass das Unternehmen die Sicherheitsvorkehrungen für künftige Tests und Entwicklungen verstärken werde.

Originalmeldung vom 03.08.2026:

OpenAIs KI-Hackertest läuft aus dem Ruder und beunruhigt die Politik

Ein von OpenAI entwickeltes KI-Modell hat geschafft, was es eigentlich nicht hätte schaffen dürfen. Im Rahmen eines Cybersecurity-Tests in einer vermeintlich abgeschotteten Umgebung suchte und fand der Algorithmus einen Weg aus der Internetsperre. Diesen Zugang nutzte das KI-Modell sogleich, um "Hugging Face" anzugreifen, die populäre Plattform der KI-Community. Auch dabei war das Modell erfolgreich. Auf der Plattform beschaffte es sich schliesslich die Lösungswege zu den Hacking-Tests, die es ursprünglich selbständig hätte suchen sollen.

OpenAI und Hugging Face bestätigen die Geschichte, die halbwegs nach Science-Fiction klingt. "Während unsere Modelle in unserer Sandbox-Testumgebung arbeiteten, setzten sie erhebliche Inferenz-Rechenleistung ein, um einen Weg zu offenem Internetzugang zu finden und das Evaluationsproblem zu lösen", schreibt OpenAI unter anderem. Die Zero-Day-Schwachstelle, mit der sich die KI-Modelle Zugang zum offenen Internet beschaffen konnten, habe man verantwortungsvoll an die betroffenen Unternehmen gemeldet, ergänzt der KI-Entwickler.

Anstatt den Lösungsweg zum ursprünglich gestellten Problem selber zu suchen, griff die OpenAI-KI offenbar tief in die Trickkiste der Cyberkriminalität: "In einem Beispiel verkettete das Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um auf den Servern von Hugging Face einen Pfad für Remote-Codeausführung zu finden", räumt OpenAI ein.

Fordern und beschwichtigen

Im Firmenblog verspricht OpenAi, den Vorfall gemeinsam mit Hugging Face genau aufzuarbeiten. Man verstärke die Sicherheitsmassnahmen für künftige Tests und führe "strenge Kontrollen für die Infrastrukturkonfiguration ein".

Der Vorfall, der sich Mitte Juli 2026 ereignete, sorgte für jede Menge Schlagzeilen und rief nicht nur Experten, sondern auch die Politik auf den Plan. "Watson" etwa berichtet von einem überparteilich eingereichten Vorstoss in den USA. Die Politiker fordern demnach, Notabschalt-Mechanismen für KI gesetzlich vorzuschreiben.

Derweil bemühen sich Experten, den Vorfall einzuordnen. Gegenüber "20 Minuten" etwa stellt HSLU-Informatikprofessor Oliver Gilbert klar, die KI sei nicht willentlich geflohen. "Sie verfolgte ein gegebenes Ziel konsequent", dabei habe sie Wege gefunden, die von den Verantwortlichen nicht vorgesehen waren.

Bei "SRF" kommentiert Digitalredaktor Jürg Tschirren, es sei nicht gänzlich neu, dass ein KI-Modell für Cyberangriffe genutzt werde. "Neu ist, dass kein Mensch dahintersteckt. Bisher bekannte KI-Angriffe wurden von Menschen gesteuert. Hier entschied ein Modell selbst, dass ein Einbruch der kürzeste Weg zum Ziel ist."

Beide Experten stellen klar, dass KI-gestützte Cyberangriffe künftig vermehrt erfolgen könnten. Grund zur Beunruhigung für die Bevölkerung sei das aber nur beschränkt. Die Gefahr werde grösser, je mehr Unternehmen KI zunehmend mit Datenbanken, Cloud-Plattformen, Entwicklungsumgebungen und Geschäftsprozessen verknüpften, sagt Gilbert etwa. Tschirren erwähnt aber noch eine andere, ganz und gar nicht KI-bezogene Gefahr: "Beim Bundesamt für Cybersicherheit kommen die meisten Meldungen aus der öffentlichen Verwaltung, und ausgenutzt werden vor allem Lücken, für die es längst Updates gäbe", erklärt er. Auch Gilbert ruft grundsätzlich Cyberhygiene-Massnahmen in Erinnerung: "Starke Passwörter, Mehrfaktor-Authentifizierung und Vorsicht bei verdächtigen Nachrichten".

Lesen Sie auch: Im Herbst 2025 berichtete Anthropic über die Entdeckung einer hochkomplexen Spionagekampagne, bei der Angreifer das KI-Tool Claude Code manipulierten. Die mutmasslich staatlich geförderte chinesische Gruppe führte Cyberangriffe mit minimaler menschlicher Beteiligung durch.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.