Warum das Vertrauen in KI problematisch ist

Sie sind Dozentin an der ZHAW im Bereich Secure AI. Was sollten Entscheidungsträger in Unternehmen heute verstehen, wenn sie morgen nicht von KI-gestützten Bedrohungen überrascht werden wollen?

Rebecca Balebako: Unternehmensentscheider sollten sich bewusst sein, dass böswillige Akteure KI nutzen, um immer ausgefeiltere Bedrohungen zu entwickeln. Sie selbst könnten zum Ziel gerissener Angriffe werden. Ich habe miterlebt, wie viele CEOs gezielten Angriffen ausgesetzt waren, bei denen KI eingesetzt wurde, um sie zu täuschen oder zu imitieren. Dies kann für den Geschäftsbetrieb enorm störend sein.

Künstliche Intelligenz wird sowohl zur Verteidigung als auch zum Angriff im Cyberraum eingesetzt. Glauben Sie, dass KI ­bezüglich der aktuellen Weltgeschehnisse eher eine Unterstützung oder eine Bedrohung darstellt?

Bedauerlicherweise neigen böswillige Akteure dazu, neue Technologien schneller zu adaptieren als manche Unternehmen und Regierungen. Dies scheint im Moment auch für die generative KI zuzutreffen. Wir beobachten, dass generative KI vermehrt zur Erzeugung von Spam, Deep­fake-Pornografie, zur Mutation von Malware oder zur Imitation von Stimmen eingesetzt wird. Ich bin jedoch zuversichtlich, dass wir an einen Punkt gelangen werden, an dem KI zunehmend hilfreich bei der Abwehr von Angreifern sein wird.

Wie zuverlässig sind KI-basierte Systeme in der Bedrohungserkennung, und wo sehen Sie aktuell noch technologische oder konzeptionelle Schwächen?

Machine Learning wird seit Jahren recht erfolgreich bei der Bedrohungserkennung eingesetzt, zum Beispiel bei der Erkennung von Spam-E-Mails. Die Menschen wenden mittlerweile generative KI zur Bedrohungserkennung an, um nach Betrug oder Zero-Day-Angriffen zu suchen. Dabei gibt es einen Kompromiss zwischen Geschwindigkeit und ­Genauigkeit. Generative KI kann Protokolle und Texte schnell verarbeiten, dann aber falsche Antworten generieren, die Sicherheits­mitarbeitenden Zeit kosten. 

Wo gibt es noch Hürden bei der Implementierung von KI in bestehende Sicherheitssysteme? Und wie lassen sich diese überwinden?

Eines der grössten Probleme ist derzeit der Hype um KI. Die Erwartung, dass KI alle Probleme kostengünstig lösen wird, führt zu Ernüchterung. Der Einsatz generativer KI in Sicherheitssystemen ist mit Einschränkungen verbunden – etwa in Bezug auf die Genauigkeit. Es ist daher sinnvoll, diese Grenzen zu erkennen und aktiv zu gestalten.

Wie beeinflusst KI das Vertrauen in digitale Systeme

Forscher haben darauf noch keine gute Antwort. Das Vertrauen in KI und das Überschätzen der KI selbst sind gros­se Probleme. Studien belegen, dass Programmierer, die KI zur Codegenerierung verwenden, dazu neigen, die Sicherheit zu überschätzen. Das bedeutet, dass KI-generierter Code nicht der gleichen Prüfung unterzogen wird wie von Menschen erstellter Code. Da immer mehr KI-Software entwickelt wird, wird dieses falsche Sicherheitsgefühl Auswirkungen auf die tatsächliche Sicherheit haben.

Wo verläuft aus Ihrer Sicht in Unternehmen die Grenze ­zwischen legitimer Verteidigung und problematischer Überwachung?

Problematisch wird die Überwachung, wenn auch Personen, die nachweislich seriös sind, in die intensive Datenerfassung einbezogen werden. Von legitimer Verteidigung spricht man, wenn bekannte böswillige Akteure oder Personen aus einer Grauzone in die Datenanalyse einbezogen werden. Die Datenanalyse muss stets sorgfältig geplant und ausgewogen in Bezug auf Risiken und potenzielle Schäden erfolgen. Natürlich ist es nicht immer einfach, zwischen guten und schlechten Akteuren zu unterscheiden, was die Thematik besonders herausfordernd macht.

Welche ethischen Fragestellungen ergeben sich beim Einsatz von KI in der Cybersicherheit?

Beim Einsatz von KI in der Cybersicherheit stellen sich die gleichen ethischen Fragen wie in anderen Bereichen: Woher stammen die Daten, dürfen sie genutzt werden, und sind die Algorithmen fair? Insbesondere im Bereich der Cybersicherheit beobachten wir, dass KI zum Testen anderer KI eingesetzt wird, während menschliche Tester immer weiter aus dem Prozess ausgeschlossen werden. Dies wirft für mich wichtige Fragen darüber auf, welche Auswirkungen dies auf menschliche Werte hat.

Wie kann man bei KI-gestützten Sicherheitslösungen Transparenz gewährleisten?

Ich bin sehr skeptisch, ob Transparenz in grossen KIs auf sinnvolle Weise erreicht werden kann.

Welche gesetzlichen Rahmenbedingungen sind notwendig, um den Einsatz von KI in der Cybersicherheit zu regeln?

Es gibt bestehende Datenschutz- und Sicherheitsrahmen, wie etwa die EU-DSGVO, die – sofern sie konsequent angewendet werden – zur sicheren Nutzung von KI beitragen können. Grundsätzlich bin ich der Meinung, dass Technologie reguliert werden kann, ohne Innovation zu behindern. Allerdings sehe ich derzeit keinen besonderen Bedarf für eine spezifische Regulierung von Cyberabwehrinstrumenten.

Wie sehen Sie die Zukunft der KI in der Cybersicherheit?

Ich glaube, es ist wirklich aufregend und interessant, gerade in diesem Moment in diesem Umfeld zu sein. Vieles verändert sich, während wir neue Techniken erlernen. Ich bin überzeugt, dass die Nachfrage nach Fachkräften in diesem Bereich weiter wachsen wird.