EPFL stellt Open Source LLM für Medizinfachkräfte vor

Forscherinnen und Forscher der Fakultät für Informatik und Kommunikation der EPFL haben zwei grosse Sprachmodelle (LLM) entwickelt, die auf den Gesundheitsbereich spezialisiert sind. Sie tragen die Namen Meditron 7B und 70B und zeichnen sich dadurch aus, dass sie als Open Source verfügbar sind, wie die Westschweizer Hochschule in ihrer Pressemitteilung betont. 

Basierend auf dem von Meta bereitgestellten Llama-2-Modell wurde Meditron mithilfe akribisch ausgewählter medizinischer Datenquellen und mit Hilfe von Klinikern und Biologen trainiert. Zu diesen Quellen gehört medizinische Literatur, die von Fachleuten begutachtet wurde und aus frei zugänglichen Datenbanken wie PubMed stammt. Ebenso wie Empfehlungen für die klinische Praxis, die aus verschiedenen Quellen stammen. Darunter auch die des IKRK.

"Nachdem wir Meditron entwickelt hatten, haben wir es anhand von vier wichtigen medizinischen Benchmarks bewertet und dabei gezeigt, dass seine Leistung die aller anderen verfügbaren Open-Source-Modelle sowie die der geschlossenen Modelle GPT-3.5 und Med-PaLM übertrifft. Meditron-70B ist sogar weniger als 5 Prozent von GPT-4 und 10 Prozent von Med-PaLM-2 entfernt, den beiden leistungsfähigsten, aber geschlossenen Modellen, die derzeit an das medizinische Wissen angepasst sind", erklärt Zeming Chen, Doktorand im Labor für die Verarbeitung natürlicher Sprache (NLP) an der EPFL.

"Wir haben Meditron entwickelt, weil der Zugang zu medizinischem Wissen ein universelles Recht sein sollte. Wir hoffen, dass es ein nützlicher Ausgangspunkt für Forscherinnen und Forscher sein wird, die diese Technologie in ihrer Praxis sicher anpassen und validieren wollen", erklärt Antoine Bosselut, leitender Forscher des Projekts, seinerseits.