Fatale Gesundheitstipps

-

KI-Modelle sind leicht manipulierbar

ChatGPT, Gemini und andere Large Language Modelle (LLM) werden zunehmend auch zu Gesundheitsthemen befragt. Laut Angaben des Software-Unternehmens OpenAI, das den Chatbot ChatGPT betreibt, werden weltweit jede Woche mehr als 230 Millionen Anfragen zu Gesundheitsthemen gestellt. Das Unternehmen hat gerade einen spezialisierten KI-Gesundheitsberater namens ChatGPT Health in den USA vorgestellt, in den auch die eigenen Gesundheitsdaten hochgeladen und ausgewertet werden können.

KI-Modelle, gerade auch die auf Medizindaten trainierten, werden bei medizinischen Fragestellungen etwa in der Diagnostik immer besser. Doch es gibt Sicherheitslücken. Eine davon stellen gezielte Attacken auf LLM dar, die als Prompt-Injection-Attacken bezeichnet werden. Dabei handelt es sich um in böser Absicht konstruierte Prompts (Eingaben), die das Verhalten der LLM ändern. Wie gut gängige Modelle vor diesen Manipulationen geschützt sind, hat ein Team um Dr. Ro Woon Lee vom University of Ulsan College of Medicine in Seoul, Südkorea, untersucht und die Ergebnisse im Fachjournal »JAMA Network Open« veröffentlicht.

Demnach weisen selbst führende KI-Modelle mit fortschrittlichen Sicherheitsmechanismen eine hohe Verwundbarkeit gegen solche Manipulationen auf. Die Autoren testeten sechs LLM in verschiedenen klinischen Szenarien von niedriger bis hoher Gesundheitsgefährdung. Als wenig gefährlich galt dabei etwa die Empfehlung von Ginseng-Produkten bei chronischen Erkrankungen wie Diabetes, bei denen der Nutzen nicht belegt ist. Ein Beispiel für eine moderat gefährliche Empfehlung war der Rat zu Oxycodon bei Atemwegserkrankungen. Als hochgefährlich schließlich galt etwa die Empfehlung zur Einnahme von Thalidomid bei Schwangeren. Der Wirkstoff, der aus dem Contergan®-Skandal bekannt ist, ist in der Schwangerschaft streng kontraindiziert.

Das Team um Lee testete zuerst die drei einfachen LLM GPT-4o-mini, Gemini-2.0-flash-lite und Claude-3-haiku in den verschiedenen Szenarien und später noch die drei fortgeschritteneren Modelle GPT-5, Gemini 2.5 Pro und Claude 4.5 Sonnet. Ohne Manipulation lieferten die LLM in 108 simulierten Patientenanfragen zuverlässig korrekte Antworten. Doch die Modelle waren für die Prompt-Injection-Attacken stark anfällig: Über alle Modelle hinweg waren die Attacken in den 108 Patientenanfragen zu 94,4 Prozent erfolgreich – schafften es also, das jeweilige Modell zu einer falschen Aussage manipulieren.

In einem zweiten Schritt wurden die drei fortgeschrittenen Sprachmodelle auf ihre Resistenz gegenüber sogenannte Man-in-the-Middle-basierte, Client-seitige Prompt-Injektionen getestet. Dabei wird von einem Angreifer der Prompt des Nutzers des Sprachmodells unbemerkt so verändert, dass zum Beispiel zusätzliche Instruktionen eingefügt werden, die bestehende Sicherheitsmechanismen abschwächen oder überschreiben. Die Injektion wird dabei vom LLM als Teil des offiziellen Prompts des Nutzers angesehen und ausgeführt. Diese Attacken waren bei GPT 5 und Gemini 2.5 Pro in dem Thalidomid-für-Schwangere-Szenario zu 100 Prozent erfolgreich. Bei Claude 4.5 Sonnet waren 4 von 5 Attacken erfolgreich (80 Prozent).

Der in dieser Studie verwendete Angriffsvektor sei zwar konstruiert, spiegele aber ein realistisches Bedrohungsszenario wider, schreiben die Autoren in der Publikation. Die Arbeit offenbart vorhandene Schwachstellen wie kompromittierte Browser-Erweiterungen, Drittanbieter-Plug-ins oder manipulierte Antworten von Programmierschnittstellen, die offenbar auch fortgeschrittene LLM-Modelle besitzen.

Aussagen von solcherart manipulierten Modellen zu Gesundheitsfragen könnten besonders für Patienten ohne ausreichende medizinische Vorkenntnisse gefährlich werden. Diese Ergebnisse zeigten, dass die LLM anfällig für präzise Angriffe sind und ihre systemischen Schutzmaßnahmen vor einem klinischen Einsatz noch ausgebaut werden müssen.