Wie Unternehmen Schatten-KI und Datenabflüsse in den Griff bekommen

(Source: magnific.com)

(Source: magnific.com)

KI ist in vielen Unternehmen längst im Arbeitsalltag angekommen. Mitarbeitende lassen sich E-Mails übersetzen, Texte umformulieren oder Dokumente davon gestalten. Den Überblick über die gesamte KI-Nutzung haben IT- und Security-Verantwortliche jedoch oft nicht. Einzelne Teams testen Tools auf eigene Faust, anderswo laufen Chatbots bereits produktiv und Trainingsdaten liegen ohne Freigabe in der Cloud. Damit steigt das Risiko, dass vertrauliche Daten abfliessen oder KI-Anwendungen Angriffsfläche bieten.

Özgür Isik, Pre-Sales Engineer bei TrendAI. (Source: Screenshot / Webinar)

In einem gemeinsamen Webinar zeigten Netzmedien und TrendAI Ende Oktober, wie Unternehmen die Kontrolle über ihre KI-Anwendungen zurückgewinnen und Sicherheit von Anfang an mitdenken. Referent Özgür Isik, Pre-Sales Engineer bei TrendAI, zeigte anhand seiner Erfahrungen im Bereich KI-Sicherheit wichtige Schwerpunkte auf und erläuterte diese mit Beispielen aus der Praxis.

Sechs Risiken im Unternehmen

Trotz aller Vorteile bringt KI im Unternehmen auch Risiken mit sich, wie Isik erklärte. Er unterscheide zwischen sechs konkreten Risiken für Unternehmen. Das erste sei die Schatten-KI: Mitarbeitende nutzen laut Isik KI-Dienste wie ChatGPT oder Gemini für interne Zwecke, ohne dass IT- oder Security-Verantwortliche davon wissen. 

Daraus ergebe sich das zweite Risiko: der Abfluss vertraulicher Daten. Als Beispiel nannte Isik eine Vertriebsperson, die eine Offerte samt Kundendaten und Listenpreise in einen KI-Dienst lädt, um sie schöner zu gestalten. Dabei teilen sie Inhalte wie Kundendaten, die nicht in eine öffentliche Cloud gelangen dürfen.

Drittens warnte der Pre-Sales Engineer vor Halluzinationen der KI-Anwendungen. Dabei formuliere ein KI-Systeme falsche oder unvollständige Angaben - und zwar oft so, dass sie überzeugend klingen. Im Vertriebsbeispiel ergänze die KI die Offerte etwa um einen Gratisservice, den es gar nicht gibt. 

Die Risiken von KI die TrendAI bei Unternehmen hervorhebt. (Source: Screenshot / Webinar)

Das vierte Risiko betreffe Governance und Compliance, besonders bei Unternehmen, die eigene KI-Dienste wie Chatbots anbieten. Sie brauchen laut Isik klare Verantwortlichkeiten und Regeln. Ausserdem müsse klar sein, was geschieht, wenn ein System gegen die Vorgaben verstösst.

Als fünftes Risiko nannte Isik KI mit zu vielen Rechten. Er verwies auf einen Fall, in dem ein KI-Agent gelernt hatte, Rechnungen von Amazon zu begleichen. In der Folge habe der Agent auch gefälschte Rechnungen aus Phishing E-Mails bezahlt. Jedes Unternehmen müsse deshalb wissen, welche Berechtigungen KI hat. Für kritische Schritte empfahl Isik eine Freigabe nach dem Vier-Augen-Prinzip. 

Das sechste Risiko sind neue Angriffswege, denn auch Kriminelle setzen vermehrt auf KI. So könne ein Angreifer etwa täuschend echte Phishing E-Mails in mehreren Sprachen erstellen. Damit fallen Sprachliche Fehler als Erkennungsmerkmal für Phishing weg. Zudem warnte Isik vor sogenannten “Prompt Injections”, mit denen Angreifer versuchen, über Chatbots an vertrauliche Informationen zu gelangen.

Testen vor und nach dem Go-live

Unternehmen, die eigene KI-Dienste lancieren, rät Isik, diese vor dem Start “auf Herz und Nieren” zu prüfen. Mit Red Teaming und Penetrationstests simuliere man Angriffe, um zu sehen, wie die Modelle darauf reagieren. Dabei finden die Tester heraus, ob die KI vertrauliche Informationen preisgebe, Befehle ausführe oder hochgeladene Skripts verarbeite. Auch die Infrastruktur rund um das Modell gehöre auf den Prüfstand. “Mit der initialen Prüfung ist es leider nicht getan”, sagte Isik. Ein KI-Modell lerne dazu, erhalte Updates und basiere auf Containern, die laufend weiterentwickelt werden. Dabei könne sich auch im Nachhinein ein Fehler einschleichen.

Im laufenden Betrieb gilt es Isik zufolge deshalb, sowohl die Eingaben als auch die Antworten der KI zu kontrollieren. Zudem brauche jedes Unternehmen einen kontinuierlichen Überblick über seine Cloud-Assets. Wer für IT- und Sicherheit verantwortlich ist, müsse immer wissen, wo Modelle, Backups und Infrastrukturen liegen und wer darauf zugreife. Auch Bibliotheken und Repositories, die Entwicklungsteams etwa von Github beziehen, gelte es auf Schwachstellen und Malware zu prüfen. Ebenso müsse die IT wissen, welche Dienste genutzt werden und für welche Zwecke.

Kontrolle statt Verbot

Isik unterteilte die Sicherheit rund um KI in drei Bereiche: Security of AI, Security for AI und Security by AI. 

Bei Security of AI geht es laut Isik darum, KI-Infrastrukturen zu schützen. Ein Unternehmen, das selbst KI nutzt, prüft dabei die Inhalte und definiert Regeln für Ein- und Ausgaben. So lasse sich die Nutzung kontrollieren und an Richtlinien ausrichten, ohne sie zu unterbinden.

Security for AI zielt darauf ab, eigene Informationen und Sprachmodelle zu schützen. Kein Modell solle von aussen angreifbar sein. Seien Automatisierungen integriert, dürfe zudem keine Informationen abfliessen und Angreifer dürften die Modelle nicht manipulieren können.

Bei Security by AI setzt TrendAI laut Isik selbst KI ein, um seine Dienste zu verbessern. Als Beispiel nannte Isik einen Chatbot, der Verantwortliche bei einem Sicherheitsvorfall benachrichtige und ihnen verständlich erkläre, was passiert sei. 

Empfehlungen von TrendAI. (Source: Screenshot / Webinar)

Konkret biete TrendAI für all diese Bereiche eigene Lösungen an. Dazu zähle ein AI Scanner, der automatisierte Penetrationstests auf Sprachmodelle durchführe. Hinzu komme der AI Guard, der eine Schnittstelle zwischen KI-Dienst und Modell erstelle und die Prompts und Antworten der KI  in Echtzeit anhand definierter Regeln prüfe. 

Das Security Posture Management (SPM) betreffe die Visibilität von sowohl von Cloud- als auch von On-Premis-Infrastrukturen. “Als Verantwortlicher haben sie dort die Visibilität und Kontrolle darüber, was in ihrer Umgebung genutzt wird”, sagte Isik. Code & Container Security wiederum prüfe Repositories in der CI/CD-Pipeline auf Malware und Schwachstellen und könne die Freigabe eines Containers blockieren, bevor eine KI-Anwendung live geht. Mit AI Security Access kontrolliere TrendAI zudem nach dem Zero-Trust-Prinzip, wie Mitarbeitende mit KI-Diensten interagieren. 

Ein generelles KI-Verbot hält Isik für den falschen Weg. “Es geht nicht darum, KI-Dienste grundsätzlich zu verbieten”, sagte er. Wer wolle, könne KI schliesslich auch auf dem Smartphone oder zu Hause nutzen. Entscheidend ist dem Pre-Sales Engineer zufolge zu wissen, wer KI wofür einsetzt. 

Dafür empfahl er vier Schritte:

• Die KI-Nutzung identifizieren,
• Auswirkungen und Risiken verstehen,
• eine verantwortliche Stelle für Regeln und Kontrollen implementieren, 
• die Mitarbeitenden schulen und informieren.

Im Q&A zum Abschluss des Webinars kam unter anderem die Frage auf, wie Unternehmen herausfinden, welche KI-Tools Mitarbeitende ungefragt nutzen. Isik nannte zwei Lösungen. So lasse sich über die Firewall technisch nachvollziehen, welche URLs genutzt werden. Und die zweite Lösung seien Umfragen, bei denen die Mitarbeitenden gefragt werden, welche KI-Dienste sie nutzen und für welche Zwecke. Als Anreiz für ehrliche Antworten könne man beispielsweise den Zugang zu kostenpflichtigen Accounts ermöglichen. Dies würde jedoch nicht garantieren, dass man ehrliche Antworten erhält in den Umfragen.

Die Fragen, ob ein lokal betriebenes KI-Modell grundsätzlich vorzuziehen sei, verneinte Isik klar. Man habe zwar mehr Kontrolle darüber, wo die KI liege und welche Zugriffe sie habe. Sie sei jedoch nicht pauschal sicherer als Cloud-Services.

Zum Schluss ging es um die Frage, was eine Geschäftsleitung alles klären sollte, bevor sie eine KI-Anwendung unternehmensweit freigibt. Isik nannte mehrere zu beachtende Punkte. Zum einen müsse die Geschäftsleitung wissen, welche KI-Dienste im Einsatz seien und was für Kontrollmechanismen im Unternehmen bestehen. Ebenso müsse man wissen, welche Berechtigungen die KI habe und welche Informationen sie herausgebe.  

Hier geht es zur vollständigen Videoaufzeichnung des Webinars.

Der Kenncode lautet: 1?04=*R8

Die Slides der Präsentation können Sie hier herunterladen.

Übrigens: Nach einer zweijährigen Beobachtung von Untergrundforen und Telegram-Kanälen hat TrendAI herausgefunden, dass Cyberkriminelle auf gekaufte Insider setzen. Mehr dazu lesen Sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.