Studierende schlagen ChatGPT

Die Forscher fanden auch heraus, wo die Schwächen der künstlichen Intelligenz lagen. Während das Faktenwissen – wenig überraschend – mit 80 Prozent richtiger Antworten nicht zu bemängeln war, hatte ChatGPT mit anwendungsorientierten Fragen deutliche Probleme und lag nur in 44 Prozent der Fälle richtig. Stand die KI vor der Aufgabe, eine patientenindividuelle Kasuistik auszuwerten und eine Antwort zu liefern, so konnte man das nur in 45 Prozent der Fälle als erfolgreich werten. In allen Bereichen schnitten die Studierenden signifikant besser ab, insbesondere bei der Anwendung des theoretischen Wissens auf komplexe klinische Situationen.

»KI hat viele potenzielle Anwendungsmöglichkeiten im Gesundheitswesen und im Bildungsbereich, und sie wird nicht verschwinden«, so Edwards in einer begleitenden Pressemitteilung der Hochschule. Ein Ziel der Untersuchung sei aber gewesen, den Studierenden zu zeigen, dass sie mit fleißigem Lernen gute Prüfungsergebnisse erzielen können und KI-Tools nicht zwingend benötigen.

Ein sekundäres Ziel war es, herauszufinden, mit welchen Arten von Fragen die KI Schwierigkeiten hat. Dr. Brian L. Erstad, ebenfalls Professor im Fach Pharmazie der Universität, ist nicht überrascht, dass ChatGPT bei einfachen Multiple-Choice- und Richtig-Falsch-Fragen besser abschnitt und bei anwendungsbezogenen Fragen weniger erfolgreich war. »In Bereichen, in denen die Evidenz begrenzt ist und Urteilsvermögen erforderlich ist, was häufig in einer klinischen Umgebung der Fall ist, fanden wir die Technologie eher mangelhaft«, so Erstad. Ironischerweise sei das genau die Art von Fragen, mit denen man in der Praxis ständig konfrontiert sei.

Sowohl Erstad als auch Edwards räumen ein, dass neuere und fortschrittlichere Technologien diese Ergebnisse mit der Zeit verändern könnten. Stand heute haben die Studierenden aber eindeutig die Nase vorn.