GPT gibt immer schlechtere Antworten
Forschende in den USA haben über Monate hinweg GPT-generierte Antworten untersucht. Statt dazuzulernen scheint sich das Sprachmodell verschlechtert zu haben.
![(Source: Timon / AdobeStock.com)](https://data.netzwoche.ch/styles/np8_full/s3/media/2023/07/21/adobestock_558672396_editorial_use_only_1.jpeg?itok=drdjii5M)
GPT, das grosse Sprachmodell hinter ChatGPT, wird anscheinend immer schlechter. Das zeigen gemeinsame Forschungen der Stanford University und UC Berkeley, wie “Golem” berichtet. Im Rahmen einer Studie fütterten Forschende der beiden Elite-Unis die Sprachmodell-Versionen GPT-3.5 und GPT-4 von März bis Juni 2023 mit Fragen aus den folgenden Bereichen: Mathematikprobleme lösen, sensible/gefährliche Fragen beantworten, Code generieren und visuelle Schlussfolgerungen ziehen.
Die Antworten hätten sich über den Untersuchungszeitraum hinweg stark verändert. So habe sich etwa GPT-4, das aktuellste Sprachmodell aus dem Hause OpenAI, von März bis Juni in seinen Ergebnissen stark verschlechtert, schreibt “Golem”. Im März sei die KI noch sehr gut darin gewesen, Primzahlen zu identifizieren. Auf die Frage, ob 17’077 eine Primzahl sei, habe das Modell bei 97,6 Prozent der Anfragen richtigerweise mit "Ja" geantwortet - im Juni habe die Trefferquote nur noch 2,4 Prozent betragen. GPT-3.5 habe sich auf diesem Gebiet in den vier Monaten interessanterweise verbessert, heisst es.
Im Bereich der Codegenerierung habe sich GPT-4 ebenfalls verschlechtert. Die direkt ausführbaren Codes, die das Modell generierte, seien von 52 auf 10 Prozent gesunken. Im Juni habe die KI gerne "code-lähmende" Anführungszeichen eingefügt.
Die Studienautoren appellieren an GPT-Nutzerinnen und -Nutzer, ähnliche Analysen durchzuführen und sich nicht auf die Antworten der Sprachmodelle zu verlassen. Die Ergebnisse der Studie sind auf GitHub abrufbar.
Übrigens: Auch Google hat seinen eigenen Chatbot entwickelt. Bard, wie der Bot heisst, ist inzwischen auch in der Schweiz verfügbar - hier erfahren Sie mehr dazu.
![(Source: Pawina / stock.adobe.com)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/proton_wallet_2024.jpeg?itok=cfViQUYL)
Proton startet mit Kryptowallet
![(Source: DC Studio/Freepik.com)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/ransomware.jpg?itok=Ke4dCDqV)
Angreifer nehmen kritische Infrastrukturen ins Visier
![(Source: NOAA / Unsplash)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/google_wetter-ki_2024.jpg?itok=3ZIDlofC)
Google vereint KI und Physik für Wettervorhersagen
![(Source: OrsiO / Pixabay.com)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/webcat-636172_1280.jpg?itok=4c5VDYw5)
Wenn orangene Katzen Unsinn veranstalten
![(Source: Kasia Derenda / unsplash.com)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/kasia-derenda-fl3rf_t8dms-unsplash.jpg?itok=72tLCDjs)
Phisher phishen am liebsten mit Microsoft
![(Source: freshidea - stock.adobe.com)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/02/adobestock_416609395.jpeg?itok=lzCTG-o-)
Erfolgreiche Co-Creation im Digital Banking dank Design Thinking
![(Source: Micha Brändli / unsplash.com)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/micha-brandli-xteagvru_1u-unsplash.jpg?itok=YakH3APY)
Mandiant stuft nordkoreanische Cyberbande als APT45 ein
![Rolf Unterberger, Mitglied des Verwaltungsrats, gratuliert Chief Sales Officer Gianni Mastromarino mit einem Pokal (v.l.). (Source: zVg)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/25/pokaluebergabe_cmyk.jpg?itok=8-ERumlE)
Assmann IT-Solutions feiert 15-Jahre-Jubiläum
![G.V. Shivashankar entwickelt derzeit am PSI verschiedene Verfahren zur Diagnose und Prognose von Krebs. (Source: Paul Scherrer Institut PSI/Markus Fischer)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/web20231116_shivashankar_0048.jpg?itok=zfzwJ7s8)
KI-Bildanalyse kann Brustkrebs-Stadium besser identifizieren
![Jean-Pierre Mustier übernimmt als neuer CEO bei Atos. (Source: Atos.net)](https://data.netzwoche.ch/styles/teaser_small/s3/media/2024/07/26/mustier_atos.jpg?itok=c11BX9xf)