SAN FRANCISCO. Die Aufregung um Künstliche Intelligenz (KI) und Chatbots hat nun die Wissenschaft erreicht. Zumindest konnte der Text-Roboter ChatGPT von kleinen Einschränkungen abgesehen Examensfragen beantworten, für die normalerweise eine jahrelange medizinische Ausbildung nötig ist. «Der Hype um den Textroboter an Schulen und Unis wird sich zwar auch wieder reduzieren, aber auf Dauer werden solche KI-Tools in vielen Bereichen Einzug halten», prognostiziert Prof. Ute Schmid, Informatikerin an der Otto-Friedrich-Universität Bamberg. Für die Bildungseinrichtungen bedeutet das: sich darauf einzustellen.
Der Text-Roboter ChatGPT würde sich in einem Examen für angehende Mediziner in den USA beachtlich gut schlagen. Die KI-Software konnte bei den drei theoretischen Teilen des United States Medical Licensing Exam (USMLE) unter bestimmten Bedingungen mehrfach die vorgeschriebene Mindestpunktzahl erreichen. Dies berichten US-Experten im Fachjournal «PLOS Digital Health». Allerdings hatte das Team um Victor Tseng vom kalifornischen Startup AnsibleHealth einige Fragen ausgeklammert.
Das USMLE ist eine standardisierte dreiteilige Prüfung, die Medizinstudentinnen und -studenten ablegen müssen, um in den USA ärztlich tätig werden zu dürfen. Dabei wird das Wissen aus den meisten medizinischen Disziplinen – von Biochemie über diagnostisches Denken bis hin zu Bioethik – bewertet. Die Autoren der Studie mussten bei dem Test mit ChatGPT jedoch Rücksicht darauf nehmen, dass die KI-Software von OpenAI nur Texteingaben entgegennehmen kann. Nachdem bildbasierte Fragen entfernt wurden, testeten die Autoren die Software an 350 öffentlich zugänglichen Fragen, die im vergangenen Sommer Bestandteil der USMLE-Prüfung waren.
«Das Erreichen der Mindestpunktzahl für diese notorisch schwierige Expertenprüfung, und das ganz ohne menschliche Unterstützung, ist ein bemerkenswerter Meilenstein in der Entwicklung der klinischen KI»
Nachdem zudem nicht eindeutige Antworten entfernt wurden, erzielte ChatGPT bei den drei USMLE-Prüfungsteilen jeweils 52,4 bis 75 Prozent der dann noch erreichbaren Punkte. Die Ergebnisse fielen je nach Prüfungsteil und Art der Aufgabenstellung – etwa Ankreuztests oder offene Fragen – unterschiedlich aus. Die Schwelle zum Bestehen liegt bei rund 60 Prozent und ändert sich je nach Jahr leicht. Wurden die nicht eindeutigen Antworten in das Ergebnis einberechnet, erreichte ChatGPT 36,1 bis 61,5 Prozent der dann möglichen Punkte.
Das Team kam zu der Erkenntnis, dass ChatGPT das Potenzial habe, die medizinische Ausbildung und damit auch die klinische Praxis zu verbessern. «Das Erreichen der Mindestpunktzahl für diese notorisch schwierige Expertenprüfung, und das ganz ohne menschliche Unterstützung, ist ein bemerkenswerter Meilenstein in der Entwicklung der klinischen KI», schrieben die Autoren.
Zuvor hatte sich der Text-Roboter ChatGPT bereits in anderen Hochschulfächern behauptet, auch wenn er in den Examen keine Bestnoten erreichte. So hat das KI-Chatbot-Tool nach Angaben von Professoren der Universität von Minnesota in vier Kursen und an der Wharton School of Business der Universität von Pennsylvania in einem weiteren Kurs die Jura-Prüfungen bestanden.
Und die Entwicklung wird weiter voranschreiten. «ChatGPT ist gekommen, um zu bleiben», sagt Informatikerin Schmid. Konsequenz für die Schulen: Schüler und Schülerinnen sollten stärken trainiert werden, Informationen durch verschiedene Quellen zu verifizieren. Die von ChatGPT präsentierten Sachverhalte könnten nicht übernommen werden, ohne sie zu hinterfragen. Die Wissenschaftlerin geht davon aus, dass immer mehr KI-Tools entwickelt werden, die wiederum herausfinden, ob etwas KI-generiert ist oder nicht. Unabhängig davon werden sich Schulen und Unis künftig wieder darauf einstellen müssen, mehr auf individuelle Kompetenzen einzugehen, etwa durch mündliche Prüfungsgespräche.
Welche Chancen bietet ChatGPT für den Unterricht? Ute Schmid kann sich vorstellen, wie sich Text-Roboter-Tools im Unterricht bewusst einsetzen lassen. So sei beim Vergleich der Charaktere von Faust und Mephisto folgende Aufgabenstellung denkbar: «Lass dir drei Varianten dieses Vergleichs von ChatGPT generieren, prüfe nach, was die relevanten Punkte sind, bewerte sie aus deiner Sicht und finde Quellen, wo solche Aspekte bereits diskutiert wurden.» News4teachers / mit Material der dpa