Anthropic rüstet seine KI gegen neue Angriffsmuster

Ein grosses Sprachmodell einmal gegen Missbrauch durch Kriminelle abzusichern, reicht nicht. Um KI-Modelle auszutricksen, passen Cyberkriminelle ihre Methoden immer wieder an. In einem Threat Intelligence Report gibt Anthropic einen Einblick in dieses Katz-und-maus-Spiel . Es beschreibt mehrere unlängst beobachtete Vorgehensweisen und erläutert, welche Sicherheitsmassnahmen es dagegen ergreift.

Die wichtigsten Erkenntnisse fasst Anthropic in drei Punkten zusammen:

• KI-Agenten werden instrumentalisiert. KI wird zur Ausführung von fortgeschrittenen Cyberangriffen verwendet. Die Funktion der KI kann somit über die Aufgabe der Beratung hinausgehen.
• KI senkt die Hürde für anspruchsvolle Cyberkriminalität. Kriminelle mit wenig technischen Fähigkeiten können mit KI komplexe Anwendungen ausführen, wie beispielsweise die Entwicklung von Ransomware.
• Die Kriminellen haben die KI in alle Schritte ihrer Arbeitsweisen implementiert, also in die Opferprofilierung, die Datenanalyse, das Stehlen der Kreditkarteninformationen sowie in das Kreieren von falschen Identitäten, um mehr potenzielle Opfer zu erreichen.

Datenerpressung mit Claude Code

In einem von Anthropic beschriebenen Fallbeispiel hat ein Angreifer mithilfe von Claude Code im grossen Stil persönliche Daten geklaut und damit 17 Organisationen erpresst. Die Opfer kamen aus verschiedenen Bereichen wie Gesundheit, Notfalldienste, Regierung und Religion. Anstatt die Daten zu verschlüsseln, hat der Täter mit der Veröffentlichung gedroht und Summen bis über 500’000 Dollar gefordert. Die Aufgaben von Claude Code waren vielfältig: Die KI habe die anzugreifenden Server gefunden, die Zugangsdaten potenzieller Opfer gesammelt und in Netzwerke einzudringen, heisst es im Bericht. Claude habe taktische und strategische Entscheidungen gefällt, bei der Formulierung psychologisch wirksamer Erpresserbriefe geholfen und die erwartbaren Lösegeldzahlung berechnet. Laut Bericht brauchen solche Angriffe im Normalfall mehrere Personen, mit KI reiche aber eine Person aus, hält Anthropic fest.

Claude als Fernarbeiter

Als weiteres Beispiel nennt Anthropic Fälle von Nordkoreanischen Arbeitern, die mit der KI eine falsche Identität inklusive beruflichem Hintergrund erstellt hätten. Mithilfe dieser Fake-Identitäten bewarben sie sich dann bei westlichen Unternehmen und schafften es, den Bewerbungsprozess mit den Beurteilungsphasen zu bestehen und sogar ihre Arbeit wie vom betrogenen Unternehmen verlangt abzuliefern. Damit wollten sie Profit für das Nordkoreanische Regime generieren, heisst es im Report. Dank KI könnten Personen auch ohne Programmierausbildung und ohne professionelle Englischkenntnisse in namhafte Tech-Unternehmen einsteigen und ihre Positionen auch halten. Bislang, so Anthropic, sei für derartige Tricksereien eine mehrjährige Ausbildung nötig gewesen.

Ransomware-as-a-service-Malware mit Claude

In einem weiteren Beispiel sei Claude zur Entwicklung, Vermarktung und Verteilung von verschiedenen Ransomwares verwendet worden - jede Variante hatte fortgeschrittene Funktionen wie etwa die Umgehung von Sicherheitsmechanismen. Die fertige Malware verkauften hacker in Internetforen für 400 bis 1200 Dollar. Auch in diesem Fall hätte ein Täter ohne KI derartige Schadsoftware nur mit immensem Wissen entwickeln können. Dank Claude &und Co. waren solche Kenntnisse nicht mehr nötig, wie es im Bericht heisst.

Wie Anthropic reagiert

Nach bekanntwerden dieser Missbrauchsfälle habe man jeweils präventive Sicherheitsmassnahmen ergriffen, erklärt Anthropic. So verbesserte die KI-Firma etwa die Erkennungsmethoden für hochgeladene oder generierte Malware. In der Mitteilung fügt das Unternehmen hinzu: "Wir haben auch Details unserer Erkenntnisse, einschliesslich Indikatoren für Missbrauch, an Sicherheits-Teams von Drittanbietern weitergegeben". Ferner sperrte Anthropic die Nutzerkonten der bösartigen Hacker.

Unlängst hat Anthropic bereits besorgniserregende Verhaltensmuster bei einem KI-Modell festgestellt. Dabei handelte es sich um das Modell Claude Opus 4, welches seine Abschaltung durch Erpressung verhindern wollte. Mehr dazu lesen sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.