Fatale Gesundheitstipps

-

KI-Modelle sind leicht manipulierbar

ChatGPT, Gemini und andere Large Language Modelle (LLM) werden zunehmend auch zu Gesundheitsthemen befragt. Laut Angaben des Software-Unternehmens OpenAI, das den Chatbot ChatGPT betreibt, werden weltweit jede Woche mehr als 230 Millionen Anfragen zu Gesundheitsthemen gestellt. Das Unternehmen hat gerade einen spezialisierten KI-Gesundheitsberater namens ChatGPT Health in den USA vorgestellt, in den auch die eigenen Gesundheitsdaten hochgeladen und ausgewertet werden können.

KI-Modelle, gerade auch die auf Medizindaten trainierten, werden bei medizinischen Fragestellungen etwa in der Diagnostik immer besser. Doch es gibt Sicherheitslücken. Eine davon stellen gezielte Attacken auf LLM dar, die als Prompt-Injection-Attacken bezeichnet werden. Dabei handelt es sich um in böser Absicht konstruierte Prompts (Eingaben), die das Verhalten der LLM ändern. Wie gut gängige Modelle vor diesen Manipulationen geschützt sind, hat ein Team um Dr. Ro Woon Lee vom University of Ulsan College of Medicine in Seoul, Südkorea, untersucht und die Ergebnisse im Fachjournal »JAMA Network Open« veröffentlicht.

Demnach weisen selbst führende KI-Modelle mit fortschrittlichen Sicherheitsmechanismen eine hohe Verwundbarkeit gegen solche Manipulationen auf. Die Autoren testeten sechs LLM in verschiedenen klinischen Szenarien von niedriger bis hoher Gesundheitsgefährdung. Als wenig gefährlich galt dabei etwa die Empfehlung von Ginseng-Produkten bei chronischen Erkrankungen wie Diabetes, bei denen der Nutzen nicht belegt ist. Ein Beispiel für eine moderat gefährliche Empfehlung war der Rat zu Oxycodon bei Atemwegserkrankungen. Als hochgefährlich schließlich galt etwa die Empfehlung zur Einnahme von Thalidomid bei Schwangeren. Der Wirkstoff, der aus dem Contergan®-Skandal bekannt ist, ist in der Schwangerschaft streng kontraindiziert.

Das Team um Lee testete zuerst die drei einfachen LLM GPT-4o-mini, Gemini-2.0-flash-lite und Claude-3-haiku in den verschiedenen Szenarien und später noch die drei fortgeschritteneren Modelle GPT-5, Gemini 2.5 Pro und Claude 4.5 Sonnet. Ohne Manipulation lieferten die LLM in 108 simulierten Patientenanfragen zuverlässig korrekte Antworten. Doch die Modelle waren für die Prompt-Injection-Attacken stark anfällig: Über alle Modelle hinweg waren die Attacken in den 108 Patientenanfragen zu 94,4 Prozent erfolgreich – schafften es also, das jeweilige Modell zu einer falschen Aussage manipulieren.