GPT gibt immer schlechtere Antworten
Forschende in den USA haben über Monate hinweg GPT-generierte Antworten untersucht. Statt dazuzulernen scheint sich das Sprachmodell verschlechtert zu haben.
GPT, das grosse Sprachmodell hinter ChatGPT, wird anscheinend immer schlechter. Das zeigen gemeinsame Forschungen der Stanford University und UC Berkeley, wie “Golem” berichtet. Im Rahmen einer Studie fütterten Forschende der beiden Elite-Unis die Sprachmodell-Versionen GPT-3.5 und GPT-4 von März bis Juni 2023 mit Fragen aus den folgenden Bereichen: Mathematikprobleme lösen, sensible/gefährliche Fragen beantworten, Code generieren und visuelle Schlussfolgerungen ziehen.
Die Antworten hätten sich über den Untersuchungszeitraum hinweg stark verändert. So habe sich etwa GPT-4, das aktuellste Sprachmodell aus dem Hause OpenAI, von März bis Juni in seinen Ergebnissen stark verschlechtert, schreibt “Golem”. Im März sei die KI noch sehr gut darin gewesen, Primzahlen zu identifizieren. Auf die Frage, ob 17’077 eine Primzahl sei, habe das Modell bei 97,6 Prozent der Anfragen richtigerweise mit "Ja" geantwortet - im Juni habe die Trefferquote nur noch 2,4 Prozent betragen. GPT-3.5 habe sich auf diesem Gebiet in den vier Monaten interessanterweise verbessert, heisst es.
Im Bereich der Codegenerierung habe sich GPT-4 ebenfalls verschlechtert. Die direkt ausführbaren Codes, die das Modell generierte, seien von 52 auf 10 Prozent gesunken. Im Juni habe die KI gerne "code-lähmende" Anführungszeichen eingefügt.
Die Studienautoren appellieren an GPT-Nutzerinnen und -Nutzer, ähnliche Analysen durchzuführen und sich nicht auf die Antworten der Sprachmodelle zu verlassen. Die Ergebnisse der Studie sind auf GitHub abrufbar.
Übrigens: Auch Google hat seinen eigenen Chatbot entwickelt. Bard, wie der Bot heisst, ist inzwischen auch in der Schweiz verfügbar - hier erfahren Sie mehr dazu.
Digitale Souveränität mit Open-Source-Technologien als idealer Mittelweg
Wie Datenräume Wettbewerb und Innovation ermöglichen
Fintech-Bewilligung in der Schweiz – Chancen, Hürden und Erfahrungen
Wie Behörden und Unternehmen mit Open Source Abhängigkeiten verringern
Barrierefreiheit in der Webentwicklung: Pflicht, Praxis und Potenzial von KI
Wie Führungskräfte im KI-Zeitalter unersetzbar bleiben
Web-Accessibility – wie sich mit wenig Aufwand viel bewirken lässt
Die Arbeitslosigkeit steigt - und KI dürfte ein Grund sein
Wie KI die Zukunft der Weiterbildung prägt
