KI-Einsatz in der Apotheke kommt mit neuen Pflichten

Die EU hat vor Kurzem eine neue Verordnung auf den Weg gebracht, die künftig den Rechtsrahmen für den Einsatz Künstlicher Intelligenz (KI) in den Mitgliedstaaten einheitlich regelt, der sogenannte Artificial Intelligence Act. Weil davon auch die Gesundheitsversorgung betroffen ist, kommen auch auf die Apothekerinnen und Apotheker unter bestimmten Umständen neue Pflichten zu.

Verwendet eine Offizin KI-Systeme, müssen die Apothekeninhaber sich demnächst an die Vorgaben halten. Denn laut Verordnung gelten sie dann als Betreiber. Neue Anforderungen ergeben sich zudem, wenn eine Software als ein Medizinprodukt klassifiziert ist oder aber Bestandteil eines solchen ist. In dem Fall gilt die Software nämlich als Hochrisiko-KI-System.

Gemäß der KI-Verordnung sind Betreiber natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die zu beruflichen Zwecken in eigener Verantwortung ein KI-System verwenden. Die Neuregelungen gelten ebenfalls, wenn die KI-Systeme im Bereich öffentlicher Unterstützungsleistungen bei Gesundheitsdiensten, der Bewertung von Lernergebnissen oder beim Personalmanagement zum Einsatz kommen.

Daraus geben sich für Betreiber eine Reihe von Pflichten. So müssen sie etwa sicherstellen, dass die verwendeten Hochrisiko-KI-Systeme entsprechend der Betriebsanleitungen zum Einsatz kommen. Außerdem müssen sie deren Betrieb überwachen. Stellen sie dabei ein Risiko fest, müssen sie unverzüglich den Anbieter, Händler oder die zuständige Marktüberwachungsbehörde informieren. Dasselbe gilt für schwerwiegende Vorfälle.

Etwaige Protokolle, die das KI-System erzeugt hat, müssen Betreiber laut EU-Verordnung für einen Zeitraum von mindestens sechs Monaten aufbewahren, sofern dem mit Blick auf das Unionsrecht beziehungsweise nationale Recht zum Schutz von personenbezogenen Daten nichts entgegensteht.

Im Zuge der Strafverfolgung kann es nötig werden, einen Antrag auf nachträgliche biometrische Fernidentifizierung zu stellen. Die Anforderungen sind jedoch hoch. »Es muss sichergestellt werden, dass die Strafverfolgungsbehörden keine ausschließlich auf der Grundlage der Ausgabe solcher Systeme zur nachträglichen biometrischen Fernidentifizierung beruhende Entscheidung, aus der sich eine nachteilige Rechtsfolge für eine Person ergibt, treffen«, heißt es in der Verordnung.

Aufgabe der Betreiber ist es außerdem, den Behörden Jahresberichte über ihre Verwendung von Systemen zur nachträglichen biometrischen Fernidentifizierung vorzulegen. Demnach dürfen die Berichte aber zusammenfassend gleich mehre Einsätze abdecken. Grundsätzlich muss ein Betreiber bei allen Maßnahmen mit den zuständigen Behörden zusammenarbeiten.

Die Verordnung über Künstliche Intelligenz tritt am 1. August 2024 in Kraft. Die meisten Bestimmungen greifen jedoch erst nach einer Übergangszeit von zwei Jahren. Lediglich das Verbot von KI-Systemen mit unannehmbaren Risiken wird zum 2. Februar 2025 wirksam.