GPT gibt immer schlechtere Antworten

GPT, das grosse Sprachmodell hinter ChatGPT, wird anscheinend immer schlechter. Das zeigen gemeinsame Forschungen der Stanford University und UC Berkeley, wie “Golem” berichtet. Im Rahmen einer Studie fütterten Forschende der beiden Elite-Unis die Sprachmodell-Versionen GPT-3.5 und GPT-4 von März bis Juni 2023 mit Fragen aus den folgenden Bereichen: Mathematikprobleme lösen, sensible/gefährliche Fragen beantworten, Code generieren und visuelle Schlussfolgerungen ziehen.

Die Antworten hätten sich über den Untersuchungszeitraum hinweg stark verändert. So habe sich etwa GPT-4, das aktuellste Sprachmodell aus dem Hause OpenAI, von März bis Juni in seinen Ergebnissen stark verschlechtert, schreibt “Golem”. Im März sei die KI noch sehr gut darin gewesen, Primzahlen zu identifizieren. Auf die Frage, ob 17’077 eine Primzahl sei, habe das Modell bei 97,6 Prozent der Anfragen richtigerweise mit "Ja" geantwortet - im Juni habe die Trefferquote nur noch 2,4 Prozent betragen. GPT-3.5 habe sich auf diesem Gebiet in den vier Monaten interessanterweise verbessert, heisst es.

Im Bereich der Codegenerierung habe sich GPT-4 ebenfalls verschlechtert. Die direkt ausführbaren Codes, die das Modell generierte, seien von 52 auf 10 Prozent gesunken. Im Juni habe die KI gerne "code-lähmende" Anführungszeichen eingefügt.

Die Studienautoren appellieren an GPT-Nutzerinnen und -Nutzer, ähnliche Analysen durchzuführen und sich nicht auf die Antworten der Sprachmodelle zu verlassen. Die Ergebnisse der Studie sind auf GitHub abrufbar.

Übrigens: Auch Google hat seinen eigenen Chatbot entwickelt. Bard, wie der Bot heisst, ist inzwischen auch in der Schweiz verfügbar - hier erfahren Sie mehr dazu.