Wer kontrolliert ChatGPT?

Spielzeug, Werkzeug, Medizinprodukt? Bei der Künstlichen Intelligenz (KI) gehen die Meinungen darüber, ob sie eher nützlich ist oder gefährlich, weit auseinander. Festgemacht am Textroboter ChatGPT der US-Firma OpenAI, streiten sich hierzulande die Geister, ob es der Menschheit hilft, wenn eine KI blitzschnell und geschliffen über Wagners Nibelungenring, die Geschichte des Sozialismus oder das Fressverhalten von Dreifingerfaultieren referieren kann, oder ob es langfristig eine vielschichtige Gefahr darstellen könnte, wenn die KI Einzug in praktisch alle Lebensbereiche hält.

Weil ChatGPT eben auch den großen Bereich Gesundheit beackert und auf Knopfdruck zum Beispiel Fragen zu Wechselwirkungen von Arzneimitteln beantwortet, hat sich vor Kurzem der Hamburger Medizinrechtler Sebastian Vorberg in einem Offenen Brief ans Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) gewandt und darin dargelegt, dass und warum aus seiner Sicht ChatGPT als Medizinprodukt zu klassifizieren und entsprechend zu kontrollieren sei.

Unter anderem argumentierte Vorberg in dem Brief, dass die KI »ohne Weiteres zur Diagnose, Überwachung, Behandlung oder Vorbeugung von Krankheiten verwendet werden« könne. Außerdem liefere sie Informationen, »die für Entscheidungen mit diagnostischen oder therapeutischen Zwecken herangezogen werden können«. Auch wenn ChatGPT nicht eigens dafür konzipiert sei, weise es dadurch Merkmale eines Medizinprodukts auf. Weil aber der Chatbot in Europa nicht als solcher zugelassen sei und demnach nicht den entsprechenden Regelungen der Medizinprodukte-Verordnung (MDR) unterliege, müssten seine Aktivitäten im medizinischen Bereich »im Wege der Aufsicht« unterbunden »und die notwendigen Maßnahmen zur Qualitätssicherung« getroffen werden, verlangte Vorberg in dem Schreiben, das der PZ vorliegt.

Das BfArM seinerseits gab ihm zur Antwort, dass es für eine solche Bewertung nicht zuständig sei. Grundsätzlich sei nur so viel zu sagen: Die Konformität des Produkts mit der MDR sei Aufgabe des Herstellers. Die Einhaltung der MDR wiederum hätten die Landesbehörden zu überwachen.

Allerdings ist der Textgenerator weltweit verfügbar und macht nicht an Bundes- oder gar Landesgrenzen halt. Unklar also, welches Bundesland dann zuständig wäre. Eine Nachfrage bei der Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten (ZLG) bringt keine Klarheit. Die Bonner Behörde, die unter anderem Medizinprodukte anerkennt und benennt und die Produktüberwachung koordiniert, teilte der PZ mit, dass sie in diesem Fall nicht zuständig sei. Ins Detail wollte ZLG-Direktor Rainer Edelhäuser in seiner Antwort allerdings nicht gehen.

Die Antwort auf die Frage nach den Zuständigkeiten bleibt also erst einmal theoretisch. Klar verteilt scheinen nur die Einzelzuständigkeiten zu sein, etwa die des Herstellers, hier also OpenAI. Laut Medizinprodukteverordnung ((EU) 2017/745 Artikel 2) obliegt es ihm, den Zweck seines Produkts zu bestimmen: »Zweckbestimmung bezeichnet die Verwendung, für die ein Produkt entsprechend den Angaben des Herstellers auf der Kennzeichnung, in der Gebrauchsanweisung oder dem Werbe- oder Verkaufsmaterial beziehungsweise den Werbe- oder Verkaufsangaben und seinen Angaben bei der klinischen Bewertung bestimmt ist«, heißt es dort in Satz 12.

Nur wenn ein Produkt unter diese Verordnung fällt, können Behörden aktiv werden und zum Beispiel eine Risikobewertung vornehmen – und hier beißt sich die Katze in den Schwanz, weil ChatGPT eben laut Hersteller keine medizinische Zweckbestimmung hat, was wiederum dem Medizinrechtler Vorberg nicht schmeckt, der bei seiner Einschätzung den tatsächlichen Gebrauch des Produkts vor Augen hat. Wo also anfangen?

Zum Beispiel in den Bundesländern. Die zuständigen Landesbehörden könnten sich wie Vorberg die Frage nach einer Klassifizierung als Medizinprodukt stellen. Nach § 6 - Medizinprodukterecht-Durchführungsgesetz (MPDG) könnten sie diese der zuständigen Bundesoberbehörde vorlegen, dem BfArM. Dass dies bislang geschehen wäre, ist der PZ nicht bekannt.

Vorberg lässt sich derweil nicht davon irritieren, sondern bleibt am Thema. Er habe einen wissenschaftlichen Artikel verfasst, der nachweise, dass ChatGPT ein Medizinprodukt sein müsse, so Vorberg zur PZ. Der Text werde voraussichtlich im April in der Zeitschrift »Recht Digital« erscheinen.