Signal-Präsidentin warnt vor Bedrohungen durch KI-Agenten

In einer Rede auf dem UN-Gipfel "AI for Good", der vom 8. bis 11. Juli in Genf stattfand, hat Meredith Whittaker, Chefin der Nachrichtenplattform Signal, grosse Bedenken über das Aufkommen von KI-Agenten geäussert. Die Systeme, die als selbstständig agierende Assistenten angepriesen werden, erfordern einen weitreichenden und tiefgreifenden Zugang zu persönlichen Daten der Nutzer, wie Whittaker in ihrer Rede (Video) erläuterte.

Die Industrie versuche, KI-Agenten als Werkzeuge zu vermarkten, die alle möglichen alltäglichen Aufgaben übernehmen können - von der Restaurantbuchung bis hin zum Versenden von Einladungen - und suggeriere, dass man "nicht mehr überlegen müsse". Dieses Versprechen bedeutet nach Ansicht von Whittaker eine übermässige Delegation der digitalen Kontrolle. 

Um ihre Aufgaben zu erfüllen, müssen KI-Agenten mit einer Vielzahl von Diensten interagieren - Kalender, Browser, Bankkarten, E-Mail-Anwendungen - und gefährden so die Sicherheit, die Plattformen wie Signal bieten, so Whittaker. Die Signal-Präsidentin erklärte, dass KI-Agenten faktisch einem Root-Zugriff auf die Systeme der Nutzer benötigten, der mit dem eines vollständigen Administratorzugriffs vergleichbar ist. Das erhöhe das Risiko stark, Schwachstellen ausgesetzt zu werden.

Die Barriere zwischen System und Anwendungen fällt

Nach ihrer Rede vertiefte Whittaker das Thema Im Gespräch mit Kenneth Cukier, dem stellvertretenden Chefredakteur von The Economist. Sie betonte, dass Signal so konzipiert sei, dass es nur auf der Anwendungsschicht funktioniert. Im Gegensatz zu KI-Agenten interagiere es nicht mit anderen Diensten auf dem Gerät. Whittaker verglich diese Art der Integration mit dem Aufheben der natürlichen Barriere zwischen Gehirn und Blut, um die Gefahr einer Verschmelzung von Systemschichten zu veranschaulichen, die strikt getrennt bleiben sollten. Weiter sagte sie, dass Regierungen, Armeen, Journalisten und Aktivisten auf diese Trennung angewiesen seien, um die Vertraulichkeit ihrer Kommunikation zu gewährleisten.

Whittaker, ehemalige Google-Forscherin und kritische Stimme der Tech-Branche, nannte mehrere konkrete Risiken, die mit der Einführung von KI-Agenten verbunden seien: Exfiltration sensibler Daten, Schwachstellen in veralteten Software-Bibliotheken, Manipulation durch Befehlsinjektion und Datenkonzentration zugunsten mächtiger Akteure.

In ihrer Rede forderte sie Regierungen, Unternehmen und Bürger dazu auf, die Funktionsweise und Berechtigungen dieser Agenten zu hinterfragen, Opt-out-Möglichkeiten von Entwicklern zu verlangen und die Cybersicherheitsstandards zu erhöhen. Ihrer Ansicht nach bestehe ohne höhere Sicherheits- und Transparenzstandards die Gefahr, dass Datenschutz und Sicherheit aus den Diensten verschwinden.

Erst kürzlich zeigten Forschende anhand des Microsoft-Systems Copilot, wie bösartige Angreifer die weitreichenden Freiheiten eines KI-Agenten ausnutzen könnten. Mehr dazu lesen Sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal gibt es täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.