Künstliche Intelligenz (KI) begleitet die Gesellschaft bereits seit einigen Jahren. KI wird in der Medizinprodukteindustrie vielfältig eingesetzt. Die Europäische Kommission trägt dieser Entwicklung Rechnung und stimmte am 2. Februar 2024 einstimmig für den Entwurf einer „Verordnung zur Festlegung harmonisierender Vorschriften für künstliche Intelligenz und zur Änderung bestimmter Rechtsakte der Union“ (KI-Verordnung – KI-VO), der am 13.03.2024 vom EU-Parlament beschlossen wurde. Mit der KI-VO wird der Rechtsrahmen für den Einsatz von KI in der EU gesetzt. Sie zielt darauf ab, Innovationen zu fördern, das Vertrauen in KI zu stärken und sicherzustellen, dass KI in einer Weise genutzt wird, die die Grundrechte und die Sicherheit der Bürgerinnen und Bürger der EU respektiert. Die Verordnung soll eine Balance zwischen Innovation und Risikoschutz schaffen. Die KI-VO ist das weltweilt erste umfassende Regelwerk für KI. Vor Inkrafttreten der KI-VO müssen nun noch das Europäische Parlament und eine Ratsformation formell zustimmen. Es wird damit gerechnet, dass das Zustimmungsverfahren bis April 2024 abgeschlossen sein wird. Da es sich um eine Verordnung handelt, werden die Regelungen unmittelbar in den Mitgliedsstaaten wirksam. Eines Umsetzungsaktes in nationales Recht bedarf es nicht. Die KI-VO sieht für Unternehmen eine Umsetzungsfrist von grundsätzlich zwei Jahren vor, wobei jedoch die ersten Verbote zu besonders wichtigen Regelungsgebieten bereits 6 Monate nach Inkrafttreten greifen.
Warum ist das relevant für Startups?
Die Regelungen der KI-Verordnung gelten auch für kleine und mittlere Unternehmen sowie Start-Ups. Im Gesundheitswesen z.B. gilt, dass mit KI verknüpfte Medizinprodukte zumeist als sog. Hochrisiko-KI-Systeme gelten, womit Hersteller insbesondere mit der Zertifizierung und der Einhaltung vieler neuer Pflichten konfrontiert werden. Wir möchten Ihnen einen kurzen Überblick über die wichtigsten Regelungen der neuen KI-Verordnung geben und einige wichtige „goldene Tipps“ an die Hand geben, um sich richtig auf die neue KI-VO einzustellen. Da die ersten Regelungen bereits 6 Monate nach Inkrafttreten, und damit voraussichtlich bereits im Oktober 2024 greifen, besteht für Unternehmen akuter Handlungsbedarf. Wir empfehlen, eine intensive Auseinandersetzung mit der KI-Verordnung, insbesondere die Klärung der Frage, ob das Unternehmen Anbieter oder Nutzer einer Hochsicherheits-KI ist, für die besonders umfangreiche Pflichten gelten. Verstöße gegen die mit Hochsicherheits-KI-Systemen verknüpften Pflichten können mit empfindlichen Strafen geahndet werden. Dies sollte Anstoß genug sein, um sich detailliert mit der KI-VO auseinanderzusetzen.
Charlotte Husemann und Sebastian Retter, Anwälte bei Mazars, geben im Folgenden kompakt und praxisnah einen Überblick über den aktuellen Stand der für Startups relevanten Dos and Don’ts im Umgang mit der KI-Verordnung.
In Art. 3 Nr. 1 KI-VO wird der Begriff KI legaldefiniert: „System der künstlichen Intelligenz“ (KI-System) [ist] eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren“. Die Kommission wählte bewusst eine sehr weite Definition, um sicherzustellen, dass die Verordnung mit dem technischen Fortschritt mithalten kann.Konkretisiert wird die Definition durch die in Anhang I des Vorschlags aufgeführten Techniken und Konzepte.
Die Regelungen der KI-VO treffen vor allem die Anbieter von KI-System, aber auch die Nutzer von KI-Systemen. Anbieter ist gem. Art. 4 Nr. 2 KI-VO „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt, um es unter ihrem eigenen Namen oder ihrer eigenen Marke – entgeltlich oder unentgeltlich – in Verkehr zu bringen oder in Betrieb zu nehmen“. Nutzer ist gem. Art. 1 Nr. 4 KI-VO „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“
Hoch-Risiko-KI-System oder nicht?
Neben den in Art. 5 KI-VO geregelten strikten Verboten bestimmter KI-Praktiken (z.B. Social Scoring) ist das Herzstück der KI-VO die Regelung von Hoch-Risiko-KI-Systemen. In Art. 6 und 7 KI-VO wurde ein dynamisches System zur Klassifikation von Hoch-Risiko-Systemen etabliert.Erfasst werden KI-Systeme, die als Sicherheitskomponenten für ein Produkt verwendet werden, das bereits der Regulierung durch die im Anhang angeführten EU-Rechtsakte unterliegt, oder selbst ein solches Produkt sind. Die maßgeblichen Rechtsakte werden in Annex II KI-VO aufgeführt. Sowohl die Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte (MDR) und Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates vom 5. April 2017 über In-vitro-Diagnostika (IVDR) sind in Anhang II Abschnitt A Nr. 11 und Nr. 12 aufgeführt. Liegt ein Medizinprodukt der Risikoklasse IIa oder höher vor, das mittels KI betrieben wird oder KI-Komponenten enthält und ist infolge dessen eine Benannte Stelle in die Konformitätsbewertungsverfahren einzubeziehen, handelt es sich bei diesem Medizinprodukt um ein Hochrisiko-KI-System.
Zusätzlich werden in Annex III bestimmte Anwendungsbereiche aufgezählt, die zur Einordnung als Hoch-Risiko-KI-System führen (Art. 6 Abs. 2 KI-VO). Hierzu gehören etwa die biometrische Identifizierung und die kritische Infrastruktur.
Pflichtenkatalog des Anbieters und des Nutzers von Hoch-Risiko-KI
Die Verordnung sieht auch für den Nutzer von Hochrisiko-KI-Systemen einen weitreichenden Pflichtenkatalog vor, der in Art. 29 KI-VO geregelt ist. Hierzu gehören insbesondere der Einsatz von angemessenen technischen und organisatorischen Maßnahmen (TOM) um sicherzustellen, dass die Nutzung nach Gebrauchsanweisung erfolgt, Sicherstellung einer menschlichen Aufsicht durch kompetentes und geschultes Personal, Eingabedaten müssen in Bezug auf die Zweckbestimmung „relevant und ausreichend repräsentativ“ sein, die fortlaufende Überwachung nach Maßgabe der Gebrauchsanweisung und die Außerbetriebnahme bei begründeter Annahme, dass die Anwendung zu einem unverhältnismäßigen Risiko für Gesundheit, Sicherheit oder Grundrechte führt; Meldepflichten bei Außerbetriebnahme (Art. 29 Abs. 4 , Art. 65 Abs. 1 KI-VO) oder schwerwiegenden Vorfällen; Dokumentationspflichten (insbesondere Speicherung von automatisch erzeugten Protokollen für mindestens sechs Monate), Vorabinformation von Arbeitnehmern und Arbeitnehmervertretern, wenn diese am Arbeitsplatz von einem Hochrisiko-KI-System betroffen sind; besondere Informationspflichten, wenn Hochrisiko-KI-Systeme Entscheidungen über natürliche Personen treffen oder bei diesen Entscheidungen unterstützen.
Bei Verstößen gegen diese Pflichten drohen gem. Art. 71 Abs. 3 KI-VO Geldbußen bis zu 30 Millionen Euro oder von bis zu 6 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist.
Besonderheiten für Medizinprodukte
Zahlreiche Anforderungen und Pflichten aus der KI-VO müssen Medizinprodukte-Hersteller bereits im Rahmen der MDR und IVDR einhalten (z.B. Risikomanagementsysteme und Dokumentation). Die stellenweise entstehenden Überschneidungen sollen dadurch aufgelöst werden, dass die Sicherheitsrisiken der KI-Systeme den Anforderungen des KI-VO unterliegen, während die Sicherheit des Produkts insgesamt nach der MDR überprüft wird.
Besonders wichtig ist für Medizinprodukte-Hersteller die Regelung des Art. 43 KI-VO, welcher die für Hoch-Risiko-KI-Systeme verschiedene Konformitätsbewertungsverfahren regelt. Relevant für die Konformitätsbewertung von Medizinprodukten ist dabei Abs. 3 der Regelung. Hiernach richtet sich die Konformitätsbewertung für Hochrisiko-KI-Systeme, die unter die in Anhang II Abschnitt A aufgeführten Rechtsakte fallen, auch nach diesen Rechtsakten. Sowohl die MDR als auch die IVDR sind in diesem Anhang unter Abschnitt A, Nrn. 11 und 12 aufgeführt. Der Anbieter muss daher die einschlägigen Konformitätsbewertungsverfahren nach MDR bzw. IVDR befolgen. Nach diesem Absatz sollen die gemäß MDR Benannten Stellen auch berechtigt sein, die Konformität von Hochrisiko-KI-Systemen mit den Anforderungen des Verordnungsentwurfs zu kontrollieren. Im Ergebnis ist somit weiterhin lediglich ein Konformitätsbewertungsverfahren für KI-Medizinprodukte nach den Anforderungen der MDR durchzuführen, das zusätzlich die Erfüllung der Anforderungen der KI-VO sicherzustellen hat.
Disclaimer:
Die Inhalte auf dieser Webseite spiegeln ausschließlich die fachliche Auffassung der Anwälte Charlotte Husemann und Sebastian Retter, der Kanzlei Mazars zum Zeitpunkt der Veröffentlichung wider. Die Inhalte stellen eine allgemeine unverbindliche Information dar, welche insbesondere nicht den besonderen Umständen des Einzelfalles Rechnung tragen können. Eine Verwendung liegt daher in der eigenen Verantwortung des Lesers bzw. der Leserin.
