Künstliche Intelligenz

-

Wer haftet bei KI-Fehlern in der Apotheke?

Künstliche Intelligenz (KI) bietet im Gesundheitswesen große Unterstützung. So kann etwa die Pharmaforschung mittels KI-Analysen anonymisierter Gesundheitsdaten zielgerichteter zu Krankheiten forschen. In Apotheken vereinfachen KI-basierte Software-Anwendungen viele Prozesse. Sie helfen etwa in der Warenwirtschaft bei der Bedarfsprognose oder können bei der Medikationsanalyse und dem -management unterstützen. Problematisch wird es, wenn die KI unbemerkt Fehler macht – gerade in sensiblen Bereichen, etwa bei Entscheidungen zur Medikamentenabgabe.

Denn wie die Adexa unterstreicht, bleibt die Apothekerin oder der Apotheker stets primär verantwortlich für Information und Beratung zu Arzneimitteln. Die in der Apothekenbetriebsordnung (§20 ApBetrO) verankerten gesetzlichen Informations- und Beratungspflichten gelten auch, wenn KI-basierte Programme zum Einsatz kommen.

Andere Angehörige des pharmazeutischen Personals dürften diese Beratungsaufgaben übernehmen, wenn die Apothekenleitung dies zuvor schriftlich oder elektronisch festgelegt hat, so die Adexa. Dabei muss sie demnach auch festlegen, in welchen Fällen grundsätzlich ein Apotheker oder eine Apothekerin hinzuzuziehen ist.

Für Angestellte in Apotheken gelten die allgemeinen Grundsätze der beschränkten Arbeitnehmerhaftung beziehungsweise des innerbetrieblichen Schadensausgleichs. Das gilt auch bei KI-Systemfehlern. Entscheidend für die Haftbarkeit sind jeweils die konkreten Umstände (Urteil des Bundesarbeitsgerichts vom 28. Oktober 2010, BAG, 8 AZR 418/09).

Um Unklarheiten zu vermeiden, kommt es vor allem auf die Organisation der Apotheke an. Wer KI-Systeme einführt, sollte im Rahmen des Qualitätsmanagements klare Zuständigkeiten und Kontrollprozesse festlegen und die Beschäftigten für den Umgang mit dem System entsprechend qualifizieren, rät die Apothekengewerkschaft.

Die Adexa nennt folgende Punkte, die die Beschäftigten wissen sollten: Welche Software ist für welchen Zweck vorgesehen? Welche Ergebnisse müssen fachlich kontrolliert werden? Wann muss ein Apotheker hinzugezogen werden? Und was ist zu tun, wenn ein Ergebnis unplausibel erscheint?

KI dürfe nicht dazu führen, dass Verantwortlichkeiten unklar werden oder Risiken neuer Technik stillschweigend auf die Person am HV-Tisch verlagert würden.

Aber nicht nur auf Anwender-, sondern auch auf Herstellerseite können umfangreiche regulatorische Pflichten zu berücksichtigen sein – je nachdem, wo die KI zum Einsatz kommt und welchem Zweck sie dient.

Software fällt beispielsweise als Medizinprodukt unter die EU-Medizinprodukteverordnung (Medical Device Regulation – MDR), wenn sie vom Hersteller für einen entsprechenden medizinischen, diagnostischen oder therapeutischen Zweck bestimmt ist.

Die Adexa verweist hier auf Regel 11 des Anhangs VIII der MDR. Je nachdem, welche Folgen eine auf diesen Informationen beruhende Entscheidung haben kann, kann die Software unterschiedlichen Risikoklassen zugeordnet werden. Und gemäß dem europäischen AI-Act, dem Regelwerk der EU zur KI-Regulierung, erfordern Hochrisiko-KI-Systeme eine menschliche Aufsicht (Artikel 14). Sie müssen so konzipiert sein, dass Menschen sie während der Verwendung angemessen überwachen können.

Allerdings sei nicht jede Warenwirtschafts-, Interaktions- oder Rezeptsoftware automatisch Hochrisiko-KI im Sinne des AI-Acts, so die Adexa. Ob ein System darunter fällt, hänge unter anderem von seiner Funktion, seiner rechtlichen Einordnung und den gesetzlichen Kriterien für Hochrisiko-KI ab. Bei KI-Systemen im Zusammenhang mit regulierten Produkten wie Medizinprodukten können dabei zusätzliche Voraussetzungen eine Rolle spielen.

Grundsätzlich lässt sich festhalten: KI kann in der Apotheke zwar die fachliche Arbeit unterstützen. Sie ersetzt aber nicht die gesetzlich vorgeschriebenen Prüf-, Informations- und Beratungspflichten. Entscheidend sind laut Adexa »klare Zuständigkeiten, geeignete Prozesse und die konkrete Ausgestaltung des jeweiligen KI-Einsatzes«.

Die großen KI-Modelle sind natürlich alle nicht als Medizinprodukt qualifiziert. Das heißt, sobald die Apotheke im Rahmen eines Medikationsmanagements ein KI-Modell wie ChatGPT und Co. für diese Zwecke nutzt, verletzt sie die gesetzlichen Vorgaben. Das hat weitreichende Konsequenzen im Bereich Haftung, warnen Experten.

Und gerade im Bereich Medikationsmanagement ist noch ein Aspekt wichtig: Neben der Datenschutz-Grundverordnung (DSGVO) greife für Apothekerinnen und Apotheker auch §203 Strafgesetzbuch (StGB), darauf weist Ulrich Brunner, Geschäftsführer von Pharma4U, hin. Derzeit gebe es keine KI-Modelle im Bereich AMTS, die die Voraussetzungen nach §203 erfüllen. Apotheken sollten demnach generell nur Dienste nutzen, die sowohl dem Datenschutz nach DSGVO entsprechen als auch eine Klausel zu §203 StGB (Verletzung von Privatgeheimnissen) enthalten.