BMG sieht KI-Entwickler in der Pflicht

Die Anwendungen müssten »ethisch und gerecht entwickelt und eingesetzt werden«, auch weniger digitalaffine Menschen müssten davon profitieren können. Deshalb müsse die Digitalisierung im Gesundheitswesen »so inklusiv wie möglich« sein und gegebenenfalls auch Hilfsangebote machen. Wer solche Angebote machen soll, wie und in welchen Fällen, sagte das BMG nicht. Neben der Eigenverantwortlichkeit der Menschen sollten auch die Entwickler der Anwendungen in die Pflicht genommen werden, »diese mit der größtmöglichen Transparenz und Verständlichkeit auf den Markt zu bringen«, so das BMG weiter. Woran sich ein solcher Anspruch festmachen lassen könnte, erklärte das Ministerium nicht.

Wichtig sei jedenfalls, dass sich die Menschen gerade bei Gesundheitsfragen nicht allein auf die KI verließen. Die Systeme dienten »nicht als Ersatz für eine medizinische Beratung oder Diagnose durch eine qualifizierte medizinische Fachkraft«. Doch eben dafür werden sie nunmal auch genutzt – Menschen fragen den Chatbot zum Beispiel nach Wechselwirkungen von Arzneimitteln oder was sie bei Fieber tun sollen. Die KI liefert ihnen überzeugend klingende Antworten, die aber keinesfalls in jedem Fall korrekt sind, wie bereits anhand etlicher Versuche zutage trat.

Hinzu kommt, dass anders als etwa bei Google-Suchen, bei denen Websites ausgespuckt werden, bei ChatGPT völlig unklar ist, woher das System seine Informationen hat. Es ist mit unvorstellbaren Datenmengen aus dem World Wide Web gespeist, also mit Onlinelexika genauso wie mit Chats und Foren. Trotz dieses nebulösen Hintergrunds sollten sich Nutzerinnen und Nutzer dennoch bewusst machen, welche Chancen und Risiken mit der Nutzung zusammenhängen und welche Zweckbestimmung die Produkte haben, fordert das BMG gegenüber der PZ. Womit die Geschichte wieder an ihrem Anfang angekommen ist, denn bereits der Hamburger Medizinrechtler hatte die Zweckbestimmung von ChatGPT thematisiert. Diese liegt laut Medizinprodukteverordnung ((EU) 2017/745 Artikel 2) beim Hersteller. Weil ChatGPT aber nicht eigens für medizinische Zwecke oder zur Beantwortung von Gesundheitsfragen konzipiert ist, ist es eben nicht als Medizinprodukt zugelassen – obwohl es doch eindeutig Merkmale eines solchen aufweise, so Rechtsanwalt Sebastian Vorberg.

Immerhin, auf EU-Ebene sind laut BMG gesetzliche Regelungen zum Umgang mit KI-Anwendungen geplant. In der Pipeline sei ein Gesetzesvorschlag für KI-Systeme (KI Verordnung), erklärte das BMG. »Übergeordnetes Ziel ist ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung von KI-Systemen, einschließlich Transparenzanforderungen.«