Studierende schlagen ChatGPT

Mit Prüfungen wird vor allem gegen Ende des Pharmaziestudiums verstärkt getestet, ob Studierende über das Wissen, die Fähigkeiten und das kritische Denkvermögen verfügen, um eine sichere, wirksame und patientenorientierte Arzneimittelversorgung zu gewährleisten. Kann das eine KI möglicherweise genauso gut oder gar besser? Nein, kann sie nicht. Das ist keine kühne Hypothese, sondern in einer Untersuchung getestet.

In »Currents in Pharmacy Teaching and Learning« hat ein Team um Pharmazieprofessor Dr. Christopher J. Edwards von der University of Arizona in Tucson aktuell die Prüfungsleistungen von ChatGPT 3.5 im Vergleich zu angehenden Apothekerinnen und Apothekern veröffentlicht.

Für die Untersuchung wurden insgesamt 210 Prüfungsfragen aus sechs Tests in zwei aufeinanderfolgenden Jahrgängen herangezogen. Diese umfassten sowohl rein faktenbasierte Wissensfragen als auch anwendungsorientierte, fallbasierte Szenarien. Die Fragen bezogen sich im ersten Kursjahr auf Erkrankungen im Zusammenhang mit rezeptfreien Medikamenten gegen Sodbrennen, Durchfall, Hauterkrankungen, Erkältungen und Allergien. Im zweiten Jahr handelte es sich um einen Kurs, der Themen aus den Bereichen Kardiologie, Neurologie und Intensivmedizin behandelte.

Um die Prüfungsleistungen von Pharmaziestudierenden und ChatGPT zu vergleichen, berechneten die Wissenschaftler die durchschnittlichen Gesamtpunktzahlen als Maß für die Fähigkeit, Fragen richtig zu beantworten. Für ChatGPT addierten sie die einzelnen Punktzahlen für jede Prüfung und dividierten sie durch die Anzahl der Prüfungen. Um die durchschnittliche Gesamtpunktzahl für die Studenten zu ermitteln, dividierten sie die Summe der durchschnittlichen Klassenleistung in jeder Prüfung durch die Anzahl der Prüfungen. Die durchschnittliche Gesamtpunktzahl für sechs Prüfungen lag für ChatGPT bei 53, verglichen mit 82 für Pharmaziestudenten. Diesen Unterschied darf man mit Fug und Recht wohl als signifikant bezeichnen.