ChatGPT braucht Nachhilfe in Pharmazie

Programme, die auf künstlicher Intelligenz (KI) basieren, erfreuen sich zunehmender Beliebtheit. Auch im medizinischen und pharmazeutischen Bereich kann KI bereits dazu beitragen, Prozesse zu erleichtern. Doch taugen Chat GPT & Co. auch zum Beantworten komplexer pharmazeutischer Fragen? Keinesfalls – die Antworten sind nicht akzeptabel. Zu diesem Schluss kommt ein französisches Forschungsteam um Dr. François Montastruc vom Toulouse University Hospital. Die Ergebnisse sind im Fachjournal »European Journal of Clinical Pharmacology« veröffentlicht.

Das Forschungsteam sammelte per Zufallsprinzip 50 Fragen, die vom 11. bis 24. April 2023 telefonisch oder per Mail beim Pharmakovigilanz-Zentrum Toulouse in Frankreich eingegangen waren und dort von Experten beantwortet wurden. Insgesamt 47 der Fragen stammten von Personen mit einem Gesundheitsberuf, lediglich drei Fragen stammten von Patienten.

Die Forschenden stellten diese 50 Fragen in anonymisierter Form dem KI-Tool ChatGPT-4.0, jeweils in einer neuen Chatbot-Sitzung. Hierzu wurden die ursprünglich telefonisch gestellten Fragen zunächst transkribiert.

Die jeweiligen ChatGPT-Antworten wurden anschließend einer unabhängigen Bewertung durch je drei Pharmakovigilanz-Spezialisten des Pharmakovigilanz-Zentrums unterzogen. Die Experten bedienten sich dabei einer Bewertungsskala, die von 0 (inakzeptabel) bis 10 Punkte (sehr gut) reichte, wobei die realen Antworten, die die Kolleginnen und Kollegen der Bewertenden an die Fragesteller ausgesandt hatten, als Goldstandard dienten (10 Punkte).

27 der 50 Fragen bezogen sich auf allgemeine Informationen zu einem Arzneimittel oder dessen korrekte Anwendung, vier auf Arzneimittelinteraktionen. Diese 31 Frage/Antwort-Paare teilten die Forschenden zur übersichtlicheren Auswertung in die Kategorie »Information« ein. 19 Fragen gingen auf die Kausalität von unerwünschten Arzneimittelwirkungen zurück, die Forschenden teilten sie der Kategorie »Drug causality« zu.

Der Chatbot erreichte in der Kategorie »Information« ein Ergebnis von durchschnittlich 5 Punkten, in der Kategorie »Drug causality« im Durchschnitt 3,7 Punkte und insgesamt 4,8 Punkte im Median. Damit weisen die Antworten des Chatbots in dieser Studie weniger als 50 Prozent der Qualität der Antworten auf, die das Fachpersonal auf diese Fragen formuliert hat.

Scheint so, als hätte der Chatbot derzeit noch etwas Nachhilfe in Pharmazie nötig. »Zum jetzigen Zeitpunkt ist ein Pharmakologe für Arzneimittelinformationsdienste unerlässlich und kann nicht durch einen Chatbot ersetzt werden«, schlussfolgert das Autorenteam. Allerdings könne ein ergänzender Ansatz, der menschliches Fachwissen mit dem Einsatz eines Chatbots kombiniert, zukünftig von Vorteil sein – insbesondere dann, wenn zur Beantwortung einer pharmakologischen Frage eine sehr umfangreiche Literaturrecherche nötig ist.

Die Autoren weisen in diesem Zusammenhang auf die raschen Fortschritte auf dem Gebiet der KI hin und darauf, dass ChatGPT 4.0 etwa mit spezialisierten pharmakologischen Datenbanken trainiert werden könnte. Mehr Informationen zu KI und digitalen Innovationen bietet auch die diesjährige Messe Expopharm mit vielen Vorträgen zum Thema.