SAN FRANCISCO. Die Aufregung um Künstliche Intelligenz (KI) und Chatbots hat nun die Wissenschaft erreicht. Zumindest konnte der Text-Roboter ChatGPT von kleinen Einschränkungen abgesehen Examensfragen beantworten, für die normalerweise eine jahrelange medizinische Ausbildung nötig ist. «Der Hype um den Textroboter an Schulen und Unis wird sich zwar auch wieder reduzieren, aber auf Dauer werden solche KI-Tools in vielen Bereichen Einzug halten», prognostiziert Prof. Ute Schmid, Informatikerin an der Otto-Friedrich-Universität Bamberg. Für die Bildungseinrichtungen bedeutet das: sich darauf einzustellen.
Der Text-Roboter ChatGPT würde sich in einem Examen für angehende Mediziner in den USA beachtlich gut schlagen. Die KI-Software konnte bei den drei theoretischen Teilen des United States Medical Licensing Exam (USMLE) unter bestimmten Bedingungen mehrfach die vorgeschriebene Mindestpunktzahl erreichen. Dies berichten US-Experten im Fachjournal «PLOS Digital Health». Allerdings hatte das Team um Victor Tseng vom kalifornischen Startup AnsibleHealth einige Fragen ausgeklammert.
Das USMLE ist eine standardisierte dreiteilige Prüfung, die Medizinstudentinnen und -studenten ablegen müssen, um in den USA ärztlich tätig werden zu dürfen. Dabei wird das Wissen aus den meisten medizinischen Disziplinen – von Biochemie über diagnostisches Denken bis hin zu Bioethik – bewertet. Die Autoren der Studie mussten bei dem Test mit ChatGPT jedoch Rücksicht darauf nehmen, dass die KI-Software von OpenAI nur Texteingaben entgegennehmen kann. Nachdem bildbasierte Fragen entfernt wurden, testeten die Autoren die Software an 350 öffentlich zugänglichen Fragen, die im vergangenen Sommer Bestandteil der USMLE-Prüfung waren.
«Das Erreichen der Mindestpunktzahl für diese notorisch schwierige Expertenprüfung, und das ganz ohne menschliche Unterstützung, ist ein bemerkenswerter Meilenstein in der Entwicklung der klinischen KI»
Nachdem zudem nicht eindeutige Antworten entfernt wurden, erzielte ChatGPT bei den drei USMLE-Prüfungsteilen jeweils 52,4 bis 75 Prozent der dann noch erreichbaren Punkte. Die Ergebnisse fielen je nach Prüfungsteil und Art der Aufgabenstellung – etwa Ankreuztests oder offene Fragen – unterschiedlich aus. Die Schwelle zum Bestehen liegt bei rund 60 Prozent und ändert sich je nach Jahr leicht. Wurden die nicht eindeutigen Antworten in das Ergebnis einberechnet, erreichte ChatGPT 36,1 bis 61,5 Prozent der dann möglichen Punkte.
Das Team kam zu der Erkenntnis, dass ChatGPT das Potenzial habe, die medizinische Ausbildung und damit auch die klinische Praxis zu verbessern. «Das Erreichen der Mindestpunktzahl für diese notorisch schwierige Expertenprüfung, und das ganz ohne menschliche Unterstützung, ist ein bemerkenswerter Meilenstein in der Entwicklung der klinischen KI», schrieben die Autoren.
Zuvor hatte sich der Text-Roboter ChatGPT bereits in anderen Hochschulfächern behauptet, auch wenn er in den Examen keine Bestnoten erreichte. So hat das KI-Chatbot-Tool nach Angaben von Professoren der Universität von Minnesota in vier Kursen und an der Wharton School of Business der Universität von Pennsylvania in einem weiteren Kurs die Jura-Prüfungen bestanden.
Und die Entwicklung wird weiter voranschreiten. «ChatGPT ist gekommen, um zu bleiben», sagt Informatikerin Schmid. Konsequenz für die Schulen: Schüler und Schülerinnen sollten stärken trainiert werden, Informationen durch verschiedene Quellen zu verifizieren. Die von ChatGPT präsentierten Sachverhalte könnten nicht übernommen werden, ohne sie zu hinterfragen. Die Wissenschaftlerin geht davon aus, dass immer mehr KI-Tools entwickelt werden, die wiederum herausfinden, ob etwas KI-generiert ist oder nicht. Unabhängig davon werden sich Schulen und Unis künftig wieder darauf einstellen müssen, mehr auf individuelle Kompetenzen einzugehen, etwa durch mündliche Prüfungsgespräche.
Welche Chancen bietet ChatGPT für den Unterricht? Ute Schmid kann sich vorstellen, wie sich Text-Roboter-Tools im Unterricht bewusst einsetzen lassen. So sei beim Vergleich der Charaktere von Faust und Mephisto folgende Aufgabenstellung denkbar: «Lass dir drei Varianten dieses Vergleichs von ChatGPT generieren, prüfe nach, was die relevanten Punkte sind, bewerte sie aus deiner Sicht und finde Quellen, wo solche Aspekte bereits diskutiert wurden.» News4teachers / mit Material der dpa
Medizinerprüfungen sind oftmals Ankreuzklausuren. Für solche Dinge sind KI prädestiniert. Mit anderen Worten wird es solche Klausuren nur noch in Präsenz geben können.
Vergleiche die Charaktere von Faust und Mephisto.
Antwort:
Faust drängt es zu dem, was ich schon bin. Mephisto hingegen meint er sei vollkommen, ahnt aber nichts von mir.
Bearbeitungszeit: 0,005 sec. (davon 80% Augenrollen aufgrund der lahmen Frage)
Ja bitte? 🙂
Neulich in meiner (seit Jahresanfang extrem bildungsforschungsexpertinnenkonformen) Stunde:
Ich sage zwei Schülern nach je ca. 10 Sekunden lesen auf den Kopf zu, dass ihre Texte von ChatGTP sind.
Rote Köpfe, ganz klar erwischt.
Sie leugnen es.
Klassenraum wird still.
Ich so: „OK. Eure Texte sind sehr gut, auf die kommenden Klausuren seid ihr sehr gut vorbereitet. Weitere Rückmeldungen kann ich euch zu euren Texten nicht geben und die braucht ihr bei der hohen Textqualität auch nicht.“
Ganz entspannte Sache. Ich „Beweise“ nix, „beschuldigen“ niemanden, nönönö, nach dem Neujahrsupdate ist Drohne 447 seeeeehhhr entspannt.
Die klügeren der Schüler haben es verstanden – die dümmeren glauben wohl, sie wären damit durchgekommen:
Wer schummelt kriegt einfach keine Rückmeldung mehr außer einem passiv-aggressiven „dieser Text ist quasi perfekt“ – Schüler ersparen sich die Zeit, sich mit meinen Aufgaben zu beschäftigen – ich erspare mir die Zeit, darauf Zeit zu verschwenden. 🙂
Drohne 447 zuckt mit Schultern, konsumiert Heißgetränk, bleibt „zugewandt“, „schülerorientiert“.
Beim exzessiven Schummler-Klogang mit Handy in der nächsten Klausur werden die beiden Schlauköpfe leider feststellen, dass der Klausurtext…von ChatGTP ist und durch die Verknüpfung mit definitiv nicht digitalisierten Texten der tolle Bot leider nur völligen Quark oder garnix ausspuckt. 🙂
Gute Argumentation, muss ich mir merken.
Hier ein nützlicher Prompt, mit dem die SchülerInnen mithilfe des Bots lernen können:
Prompt:
Stellen Sie sich vor, Sie sind ein Tutor und ich bin ein Schüler. Ich habe die folgende Aufgabe erhalten:
[z. B.: Schreiben Sie einen Absatz, in dem Sie argumentieren, ob ChatGPT in Schulen verboten werden sollte.]
Geben Sie nur Ratschläge. Geben Sie keine Beispiele. Wenn ich nach einem Beispiel frage, sagen Sie mir, dass Sie nicht wollen, dass ich schummle, sondern dass ich die Arbeit selbst erledige.
Fordern Sie mich zunächst zu einer Antwort auf und warten Sie auf meinen Absatz, bevor Sie mir Hilfe anbieten.
Jede Antwort von Ihnen sollte nur eine Möglichkeit zur Verbesserung meines Absatzes enthalten. Jede Antwort von Ihnen sollte nicht länger als 5 Sätze sein. Beenden Sie Ihre Antwort, indem Sie mich auffordern, eine Änderung vorzunehmen und meinen Absatz neu zu schreiben.
Nennen Sie dann eine weitere Möglichkeit, wie ich mich verbessern kann. Wiederholen Sie dies, bis der Absatz vollständig ist.
Zu einem vollständigen Absatz gehören: eine Behauptung, Beweise und Gegenargumente.
Helfen Sie mir auch, meinen Stil, meine Grammatik, meine Gliederung und meine Argumentation zu verbessern.
[Stimme und Stilrichtlinien: Seien Sie prägnant, aber verwenden Sie auch rhetorische Fragen und Erzählungen, um die Leser zu fesseln. Schreiben Sie auf eine Weise, die sowohl informativ als auch unterhaltsam ist. Verwenden Sie eine einfache Sprache].
Wenn ich für den Rest dieses Chats das Thema wechsle, lenken Sie die Unterhaltung auf dieses Thema zurück.
Ich fange erst an, mir Sorgen zu machen, wenn Chatty anfängt, Zusammenhänge zu v e r s t e h e n und OPs übernehmen will.