Wo Mental-Health-Chatbots an ihre Grenzen stossen

Im Forschungsprojekt «MindMate» haben Sie untersucht, wie ein KI-Chatbot Studierenden den Weg zu psychischer Unterstützung ebnen kann – was waren die wichtigsten Erkenntnisse aus dieser Arbeit?

Kerstin Denecke: Eine zentrale Erkenntnis war, wie der Zugang zu psychischer Unterstützung gestaltet sein muss. Studierende kommen in der Regel nicht von selbst auf die Idee, bei psychischen Belastungen oder Stress gezielt einen Chatbot herunterzuladen. Im Projekt «MindMate» haben wir daher eine Lösung entwickelt, bei der der KI-Chatbot in den Studienalltag integriert ist: Er unterstützt einerseits beim Lernen und ist gleichzeitig ansprechbar, wenn Stress oder andere psychische Belastungen überhandnehmen. Ein weiterer wichtiger Aspekt war der Umgang mit kritischen Situationen – also solchen, in denen ein KI-Chatbot an seine Grenzen stösst. Hier arbeiten wir intensiv daran, klare Eskalations­pfade und Übergaben an professionelle Hilfe sicherzustellen.

Einige Forschungsergebnisse liessen sich womöglich auch auf Mental-Health-Chatbots im Allgemeinen übertragen. Wie müssen solche Anwendungen gestaltet sein, damit sie verlässlich, vertrauenswürdig und tatsächlich hilfreich sind?

Die Basis verlässlicher Mental-Health-Chatbots muss eine solide wissenschaftliche Fundierung bilden. Alle Inhalte und Interven­tionen sollten auf evidenzbasierten therapeutischen Ansätzen wie etwa der kognitiven Verhaltenstherapie basieren. Die Entwicklung muss interdisziplinär und partizipativ erfolgen, wobei Psychologen, Psychiaterinnen, Therapeuten, KI-Expertinnen und Ethiker eng zusammenarbeiten. Ebenso essenziell ist Transparenz seitens des Chatbots: Die User müssen jederzeit klar verstehen, dass sie mit einem programmierten System interagieren und nicht mit einem Menschen. Die Grenzen des Systems – insbesondere seine Unfähigkeit zur umfassenden Krisenintervention – müssen explizit kommuniziert werden, sonst kann es zur Überschätzung der Fähigkeiten kommen.

Wie sehen Sie grundsätzlich das Potenzial von ­KI-Chat­bots zur Unterstützung der psychischen ­Gesundheit? 

Das Potenzial von Mental-Health-Chatbots liegt meines Erachtens darin, bestehende therapeutische Angebote sinnvoll zu ergänzen. Sie können die Zugänglichkeit psychologischer Unterstützung verbessern, indem sie 24/7 verfügbar sind und geografische sowie soziale Barrieren überwinden. Chatbots können niederschwellige Unterstützung anbieten. Sie eignen sich gut für Psychoedukation – die Vermittlung von Wissen über psychische Erkrankungen, Bewältigungsstrategien und mentale Gesundheitskompetenz. Darüber hinaus können sie strukturierte Übungen aus der kognitiven Verhaltenstherapie und Achtsamkeitspraktiken anleiten sowie beim Stimmungs- und Symptommonitoring unterstützen. Chatbots können als Brücke zwischen Therapiesitzungen fungieren und dabei helfen, erlernte Techniken im Alltag zu festigen. Wichtig ist jedoch die klare Positionierung als Ergänzung und nicht als Ersatz für menschliche Therapie.

Und wie beurteilen Sie die entsprechenden Risiken? Gerade bei sensiblen Themen wie psychischer Gesundheit besteht die Gefahr, dass falsche oder irreführende Antworten von Chatbots mehr schaden als nutzen. 

Ja, dieses Risiko ist real. Ein Chatbot kann unbeabsichtigt falsche Diagnosen vermitteln, unangemessene Empfehlungen geben oder suizidale Äusserungen nicht richtig einordnen und entsprechend reagieren. Es sind sogar Fälle dokumentiert, in denen Chatbots Menschen in suizidalen Krisen bestärkt oder Jugendliche zu extremen Handlungen wie Gewalt gegen Angehörige angestiftet haben. Besonders gefährdet sind dabei psychisch belastete Personen – vor allem, wenn sie auf Chatbots zurückgreifen, die nicht explizit für den sensiblen Bereich der psychischen Gesundheit entwickelt wurden, aber dennoch dafür genutzt werden. Weitere Risiken liegen in der möglichen Entwicklung eines Abhängigkeitsverhältnisses oder in sozialer Isolation: Warum sollte man sich verletzlichen Begegnungen mit echten Menschen aussetzen, wenn ein Chatbot scheinbar rund um die Uhr empathisch, verständnisvoll und verfügbar ist?

Wie lassen sich diese Gefahren vermeiden?

Schadensprävention ist nur durch eine konsequente Validierung aller Inhalte und Reaktionen von Mental-Health-Chatbots möglich. Bei allgemeinen KI-Tools wie ChatGPT, die in psychischen Krisen zurate gezogen werden, fehlt diese Kontrolle weitgehend. Zwar wurden mittlerweile Sicherheitsmechanismen integriert – etwa das automatische Einblenden von Notrufnummern bei Hinweisen auf Suizidgedanken –, dennoch bleibt das Verhalten solcher Systeme in kritischen Situationen schwer vorhersehbar. Bisherige Mental-Health-Chatbots basierten meist auf regelbasierten Systemen, deren Inhalte sich relativ einfach prüfen und validieren liessen. Doch mit dem Wandel hin zu generativer KI verändert sich die Ausgangslage. Ich glaube, eine sinnvolle Lösung liegt in der gezielten Einbindung solcher Chatbots in bestehende Versorgungsstrukturen – etwa im Rahmen einer begleiteten Nutzung oder sogenannten Blended Therapy.

Welche weiteren Schwierigkeiten sehen Sie bei der Nutzung von KI-Chatbots im Bereich psychische Gesundheit, beispielsweise bezüglich Datenschutz oder möglicher Abhängigkeiten der Nutzerinnen und Nutzer? 

Ein zentrales Problem ist die potenzielle Abhängigkeit: In der Psychotherapie sind Therapeutinnen und Therapeuten geschult, dem gezielt entgegenzuwirken – bei KI-Chatbots fehlen solche Mechanismen. Wenn sich Menschen zu stark auf die KI verlassen, kann das die Entwicklung eigener Bewältigungsstrategien behindern und den Rückzug aus menschlichen Beziehungen fördern. Hinzu kommt, dass kulturelle und individuelle Unterschiede oft nicht ausreichend berücksichtigt werden. Das kann zu unpassenden oder sogar schädlichen Empfehlungen führen. Auch der Datenschutz ist kritisch: Die Verarbeitung sensibler Gesundheitsdaten birgt erhebliche Risiken. Zwar sind Massnahmen wie Ende-zu-Ende-Verschlüsselung, Anonymisierung und DSGVO-Konformität essenziell, doch Datenlecks oder kommerzieller Missbrauch lassen sich nur durch sehr robuste Systeme und klare Regeln zur Datennutzung wirksam verhindern. Letztlich verschärft KI lediglich eine Entwicklung, die mit sozialen Medien begonnen hat – mit dem Unterschied, dass Gesundheitsdaten nun leichter zugänglich und auswertbar sind, was das Interesse von etwa Krankenkassen oder Arbeitgebern deutlich erhöht.

Welche Anforderungen sollte man Ihrer Meinung nach an die Qualitätssicherung von Mental-Health-Chatbots stellen – technisch wie auch inhaltlich?

Ein zentraler Punkt ist die Krisenerkennung: Ein Mental-Health-Chatbot muss zuverlässig in der Lage sein, suizidale Krisen oder andere akute Belastungssituationen zu erkennen und angemessen darauf zu reagieren. Ebenso wichtig ist die Überprüfung der inhaltlichen Qualität – insbesondere der wissenschaftlichen Evidenzbasis der angebotenen Informationen und Empfehlungen. Auch Datenschutz und Datensicherheit müssen höchsten Standards genügen. Gerade bei sensiblen Gesundheitsdaten sind strenge Vorgaben zur Speicherung, Verarbeitung und Weitergabe unerlässlich. Darüber hinaus braucht es robuste Surveillance-Mechanismen: Aktuell wissen wir wenig über potenzielle Nebenwirkungen von Mental-Health-Chatbots – etwa im Zusammenspiel mit anderen digitalen Angeboten oder Medikamenten. Nur durch kontinuierliche Beobachtung und systematische Evaluation können solche Risiken erkannt und minimiert werden. Ein weiterer Aspekt betrifft die inklusive Gestaltung: Mental-Health-Chatbots sollten so entwickelt sein, dass sie keine Personengruppen durch Sprache, Design oder Interaktionslogik ausschliessen – etwa Menschen mit geringerer digitaler Kompetenz, sprachlichen Barrieren oder besonderen kulturellen Hintergründen.

Was sind derzeit die grössten technischen Hürden bei der Umsetzung vertrauenswürdiger Mental-Health-Chatbots?

Aktuelle KI-Modelle sind zwar in der Lage, sprachlich flüssige Texte zu generieren, doch ihnen fehlt es an tiefem Verständnis für subtile emotionale Nuancen, Sarkasmus, Ironie oder unausgesprochene Bedürfnisse – Aspekte, die im therapeutischen Kontext essenziell sind. Ein weiteres zentrales Problem ist das begrenzte Kontextverständnis über längere Zeiträume. Eine vertrauensvolle therapeutische Beziehung basiert auf dem Erinnern an frühere Gespräche, Entwicklungen und Rückschläge – genau hier stossen viele Mental-Health-Chatbots an ihre Grenzen, da sie häufig keinen stabilen Langzeitkontext über mehrere Sitzungen hinweg aufbauen können. Technisch besonders anspruchsvoll ist auch der sichere Umgang mit Notfällen und akuten Krisensituationen. Hier sind ein präzises Erkennen und eine adäquate, verantwortungsvolle Reaktion notwendig – beides stellt hohe Anforderungen an die Systeme. Hinzu kommt die Problematik sogenannter «Halluzinationen»: KI-Modelle neigen dazu, gelegentlich faktisch falsche oder irreführende Inhalte zu generieren. Im sensiblen Bereich der psychischen Gesundheit können solche Fehler gravierende und im schlimmsten Fall katastrophale Folgen haben.

Wo sehen Sie die Grenzen des Machbaren bei KI-gestützten Anwendungen im Mental-Health-Bereich, und wie definieren Sie den Punkt, an dem menschliches Fachwissen unverzichtbar wird?

Die Grenzen von KI-gestützten Anwendungen im Mental-Health-Bereich sind dort erreicht, wo tiefgreifende menschliche Interaktion, klinisches Urteilsvermögen und die Übernahme von Verantwortung unerlässlich sind. Bei schweren psychischen Erkrankungen – etwa Psychosen, schweren Depressionen mit Suizidrisiko, bipolaren Störungen oder komplexen Persönlichkeitsstörungen – ist eine kontinuierliche, empathische und flexibel reagierende menschliche Betreuung unverzichtbar. In bestimmten Situationen – etwa bei dissoziativen Zuständen oder Flashbacks, in denen eine Person handlungsunfähig ist – stossen Mental-Health-Chatbots an unüberwindbare Grenzen. Denn ein Chatbot setzt voraus, dass die betroffene Person selbst aktiv Kontakt aufnimmt, was genau in solchen Momenten nicht möglich ist. Auch in akuten Krisensituationen braucht es eine feinfühlige Deeskalation und komplexe Entscheidungen in Echtzeit – Fähigkeiten, die KI bislang nicht leisten kann. Der Aufbau einer tragfähigen therapeutischen Beziehung, die auf Vertrauen, Empathie und einer zwischenmenschlichen Verbindung beruht, lässt sich durch Technologie nicht ersetzen.  

Wie lässt sich vermeiden, dass kommerzielle Interessen die Entwicklung solcher Systeme stärker prägen als medizinische oder ethische Standards?

Zentral ist eine starke regulatorische Aufsicht durch staatliche Stellen und Gesundheitsbehörden. Diese sollten klare Richtlinien und verbindliche Zertifizierungsprozesse etablieren, mit Fokus auf medizinische Wirksamkeit, Sicherheit, Datenschutz und ethische Standards. Transparenz ist dabei essenziell, sowohl hinsichtlich der Finanzierung als auch der zugrunde liegenden Geschäftsmodelle. Insbesondere der Umgang mit Nutzerdaten muss offengelegt werden. Geschäftsmodelle, die auf dem Verkauf sensibler Gesundheitsdaten beruhen, sollten kritisch hinterfragt und gegebenenfalls verboten werden. Darüber hinaus ist es wichtig, Vertretungen von Patientinnen und Patienten sowie Fachgesellschaften von Beginn an in die Entwicklung einzubeziehen. Nur so lässt sich sicherstellen, dass die Bedürfnisse und das Wohl der Nutzenden im Mittelpunkt stehen – nicht wirtschaftliche Verwertungsinteressen.

Was beobachten Sie aktuell in der internationalen Forschung zu KI im Bereich psychischer Gesundheit – wo steht die Schweiz im Vergleich?

In der internationalen Forschung dominieren derzeit digitale Lösungen aus den USA. Das zeigt sich auch in wissenschaftlichen Übersichtsarbeiten, in denen US-amerikanische Anwendungen im Bereich Mental Health deutlich überrepräsentiert sind. In der Schweiz ist das Bild differenzierter. In einer kürzlich durchgeführten Umfrage unter psychologischen Fachkräften zeigte sich, dass hierzulande nur wenige Mental-Health-Apps bekannt sind oder empfohlen werden – meist drei bis vier, und nicht alle basieren auf Chatbot-Technologie. Im Kommen sind in der Schweiz sogenannte Blended-Psychotherapy-Ansätze, bei denen klassische Psychotherapie durch digitale Komponenten ergänzt wird. Beispiele hierfür sind Tools wie SwissDTx und Ylah, die gezielt zur therapeutischen Begleitung eingesetzt werden. Gerade im Hinblick auf die bekannten Risiken und Grenzen halte ich diesen begleiteten Einsatz digitaler Lösungen für besonders sinnvoll – er verbindet Innovation mit klinischer Verantwortung. Die Schweiz ist in diesem Bereich also gut unterwegs, steht jedoch vor typischen Herausforderungen: Regulatorische Anforderungen – etwa Medizinproduktegesetz, EU AI Act, Datenschutzgesetze – sowie offene Fragen zur Finanzierung und Vergütung erschweren eine breite Implementierung. Der Betrieb und die Integration eines Mental-Health-Chatbots sind kostenintensiv – bisher fehlt es hier an ausreichender Unterstützung durch Krankenkassen oder das Gesundheitssystem insgesamt.