KI-Chatbots versagen bei schweizbezogenen Fragen

"Kassensturz" hat bei der Fachhochschule Nordwestschweiz (FHNW) einen Vergleichstest von KI-Chatbots in Auftrag gegeben. Dabei musste sich zehn Modelle jeweils rund 300 Fragen aus den Bereichen Alltag, Wissen, Recht und Gesundheit stellen, wie "SRF" berichtet. Als Testsieger sei der KI-Chatbot Claude hervorgegangen. Deutliche Schwächen zeigten laut Bericht sich hingegen bei Fragen mit Schweiz-Bezug: Antworten wurden teilweise erfunden oder mit Fokus auf Deutschland geliefert.

Der einzige Schweizer KI-Chatbot im Ranking war Protons Lumo. Mit einer ungenügenden Note von 3,8 von 6 landete dieser jedoch auf dem letzten Platz, wie "SRF" schreibt. Was die Antwortqualität betrifft, habe Lumo entweder sehr kurze Antworten mit nur drei Worten oder sehr lange und erfundene Antworten geliefert.

In einer Stellungnahme gegenüber "Kassensturz" habe Proton seinen letzten Rang im Vergleich begründet: Lumo sei mit weniger als fünf Monaten auf dem Markt noch nicht feinjustiert. Das Finetuning sei besonders wichtig für die Gesamtperformance, werde künftig aber noch stattfinden. Dafür biete Lumo mehr Datenschutz als amerikanische und chinesische Chatbots, heisst es von Seiten Proton.

Auch ChatGPT schnitt nicht besonders gut ab und konnte sich nur auf den siebten Rang stellen - trotz 800 Millionen User-Konten, die laut "SRF" mindestens einmal wöchentlich mit dem Dienst interagieren. Antworten des Dienstes sind gemäss Simon Felix, Experte für künstliche Intelligenz an der FHNW, weder richtig gut noch schlecht. Erstaunlich sei jedoch, dass Copilot und ChatGPT auf dem gleichen technischen Sprachmodell basieren, Copilot aber auf Rang 2 gelandet ist. Felix begründet dieses Resultat mit besseren Richtlinien und mehr Rechenleistung von Microsoft.

Simon Felix, Dozent des Studiengangs Informatik an der FHNW und wissenschaftlicher Mitarbeiter am Institut für Data Science FHNW. (Source: FHNW)

Der Experte für KI warnt zudem davor, dass KI-Chatbots falsche Antworten geben können. Gerade bei medizinischen Auskünften könne dies fatal sein. Genauso wichtig sei, dass keine privaten oder vertraulichen Daten mit KI-Chatbots geteilt werden.

Über den Test

Die FHNW hat den Test laut Bericht zwischen dem 22. Oktober 2025 und dem 13. November 2025 durchgeführt. 20 Prozent der über 300 Fragen Fragen wiesen einen Schweiz-Bezug auf, wie "SRF" schreibt. Fragen waren demnach aus den Kategorien Alltag, Wissen, Recht und Gesundheit. Datenschutz und Geschwindigkeiten bei den Antworten sowie Bildgenerierung habe man nicht in das Ranking einbezogen.

In einem Turniermodus hätten Forschende die Chatbots anonym gegeneinander antreten lassen. 40 Expertinnen und Experten sowie Mitarbeitende der FHNW hätten die Antworten daraufhin verglichen und bewertet. Für Fragen ohne richtige oder falsche Antwort habe man auf Struktur, Umfang, Sprache und Nachvollziehbarkeit geachtet.

Übrigens: In einem Webinar haben die Netzmedien zusammen mit Die Ergonomen Usability zwei Studien zur Frage, wie viel man KI, Roboter und Drohnen vertrauen darf, besprochen. Einen Bericht über das Webinar sowie die Aufzeichnung finden Sie hier.