Überblick über Verbotene Praktiken im KI-Bereich

Überblick über die Verbote Bestimmung Verbot Inhalt Artikel 5 Schädliche KI-Systeme, die Techniken der unterschwelligen Absatz 1 Manipulation und Beeinflussung außerhalb des Bewusstseins einer Buchstabe a Täuschung Person oder absichtlich manipulative oder irreführende Techniken einsetzen, mit dem Ziel oder der Wirkung, das Verhalten wesentlich zu verändern und einen erheblichen Schaden zu verursachen oder mit hinreichender Wahrscheinlichkeit zu verursachen Artikel 5 Schädliche Ausnutzung KI-Systeme, die Vulnerabilitäten aufgrund des Absatz 1 von Vulnerabilitäten Alters, einer Behinderung oder einer bestimmten Buchstabe b sozialen oder wirtschaftlichen Situation mit dem Ziel oder der Wirkung ausnutzen, das Verhalten wesentlich zu verändern und einen erheblichen Schaden zu verursachen oder mit hinreichender Wahrscheinlichkeit zu verursachen Artikel 5 Soziale Bewertung KI-Systeme, die natürliche Personen oder Absatz 1 Personengruppen auf der Grundlage ihres Buchstabe c sozialen Verhaltens oder persönlicher Eigenschaften oder Persönlichkeitsmerkmale bewerten oder einstufen, wobei die soziale Bewertung zu Schlechterstellung oder Benachteiligung führt, wenn Daten aus nicht zusammenhängenden sozialen Kontexten stammen oder wenn eine solche Behandlung im Hinblick auf das soziale Verhalten ungerechtfertigt oder unverhältnismäßig ist Artikel 5 Risikobewertung, um KI-Systeme, die das Risiko, dass Personen eine Absatz 1 das Risiko, dass eine Straftat begehen, ausschließlich auf der Buchstabe d Person eine Straftat Grundlage von Profiling oder persönlichen begeht, zu bewerten Merkmalen und Eigenschaften bewerten oder oder vorherzusagen vorhersagen, außer um die durch Menschen durchgeführte Bewertung, die sich auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, zu untermauern Artikel 5 Ungezieltes Auslesen KI-Systeme, die Datenbanken zur Absatz 1 zur Entwicklung von Gesichtserkennung durch das ungezielte Buchstabe e Datenbanken zur Auslesen von Gesichtsbildern aus dem Internet Gesichtserkennung oder von Überwachungsaufnahmen erstellen oder erweitern Artikel 5 Emotionserkennung KI-Systeme, die Emotionen am Arbeitsplatz oder Absatz 1 in Bildungseinrichtungen ableiten, außer aus Buchstabe f medizinischen Gründen oder Sicherheitsgründen Artikel 5 Biometrische KI-Systeme, mit denen natürliche Personen auf Absatz 1 Kategorisierung der Grundlage ihrer biometrischen Daten Buchstabe g kategorisiert werden, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten; mit Ausnahme der Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, auch im Bereich der Strafverfolgung Artikel 5 Biometrische Echtzeit- KI-Systeme für die biometrische Echtzeit- Absatz 1 Fernidentifizierung Fernidentifizierung in öffentlich zugänglichen Buchstabe h (RBI) Räumen für die Zwecke der Strafverfolgung, außer wenn dies im Hinblick auf die gezielte Suche nach bestimmten Opfern von Entführung, das Abwenden einer konkreten Gefahr einschließlich der Gefahr eines Terroranschlags oder das Aufspüren von Personen, die der Begehung bestimmter Straftaten verdächtigt werden, erforderlich ist (weitere Verfahrensvorschriften, darunter für die Genehmigung, sind in Artikel 5 Absätze 2-7 der KI-Verordnung dargelegt).

Die KI-Verordnung stützt sich auf zwei Rechtsgrundlagen: Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) (Rechtsgrundlage für den Binnenmarkt) und Artikel 16 AEUV (Rechtsgrundlage für den Datenschutz). Artikel 16 AEUV dient als Rechtsgrundlage für die spezifischen Vorschriften für die Verarbeitung personenbezogener Daten in Bezug auf das Verbot der Verwendung biometrischer Fernidentifizierungssysteme (RBI) zu Strafverfolgungszwecken, von Systemen zur biometrischen Kategorisierung zu Strafverfolgungszwecken und von individuellen Risikobewertungen zu Strafverfolgungszwecken. Alle anderen in Artikel 5 der KI-Verordnung aufgeführten Verbote finden ihre Rechtsgrundlage in Artikel 114 AEUV.

Die nach Artikel 5 der KI-Verordnung verbotenen Praktiken betreffen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung spezifischer KI-Systeme. In Bezug auf biometrische Echtzeit-Fernidentifizierungssysteme (RBI) gilt das Verbot nach Artikel 5 Absatz 1 Buchstabe h der KI-Verordnung nur für deren Verwendung. In Artikel 3 Nummer 1 der KI-Verordnung wird festgelegt, was unter einem KI-System zu verstehen ist. Die Leitlinien für die Definition eines KI-Systems enthalten die Auslegung dieser Definition durch die Kommission.

Gemäß Artikel 3 Nummer 9 der KI-Verordnung ist das Inverkehrbringen eines KI- Systems „die erstmalige Bereitstellung eines KI-Systems … auf dem Unionsmarkt“. „Bereitstellung auf dem Markt“ bezeichnet die „entgeltliche oder unentgeltliche Abgabe“ des Systems „zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer Geschäftstätigkeit.“6 Die Bereitstellung eines KI-Systems fällt unabhängig von den Liefermitteln wie beispielsweise dem Zugang zum System und seinen Diensten über eine Anwendungsprogrammierschnittstelle (API), über eine Cloud, direkte Downloads, als physische Kopien oder eingebettet in physische Produkte unter diese Definition.

So wird beispielsweise ein außerhalb der Union von einem Anbieter aus einem Drittland entwickeltes RBI-System erstmals in der Union in Verkehr gebracht, wenn es in einem oder mehreren Mitgliedstaaten entgeltlich oder unentgeltlich angeboten wird. Ein solches Inverkehrbringen kann durch die Bereitstellung des Online-Zugangs zum System über eine API oder eine andere Benutzerschnittstelle erfolgen.

In Artikel 3 Nummer 11 der KI-Verordnung wird die Inbetriebnahme definiert als „die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung“ und umfasst daher sowohl die Bereitstellung an Dritte zur Erstnutzung als auch die interne Entwicklung und den Einsatz. Die Zweckbestimmung des Systems ist „die Verwendung, für die ein KI-System laut Anbieter bestimmt ist, einschließlich der besonderen Umstände und Bedingungen für die Verwendung, entsprechend den vom Anbieter bereitgestellten Informationen in den Betriebsanleitungen, im Werbe- oder Verkaufsmaterial und in diesbezüglichen Erklärungen sowie in der technischen Dokumentation“7.

Zum Beispiel baut ein Anbieter ein RBI-System außerhalb der Union und stellt dieses System einer Strafverfolgungsbehörde oder einem in einem Mitgliedstaat niedergelassenen Privatunternehmen zur erstmaligen Nutzung zur Verfügung, wodurch es in Betrieb genommen wird.

Eine Behörde entwickelt zum Beispiel intern ein Bewertungssystem und setzt es ein, um das Betrugsrisiko der Empfänger von Haushaltszulagen vorauszusagen; somit nimmt sie das System in Betrieb.

Auch wenn die „Verwendung“ eines KI-Systems in der KI-Verordnung nicht ausdrücklich definiert ist, sollte sie in einem weiten Sinne so verstanden werden, dass sie die Verwendung oder den Einsatz des Systems zu jedem Zeitpunkt seines Lebenszyklus nach dem Inverkehrbringen oder der Inbetriebnahme umfasst. Dies kann sich auch auf die Integration des KI-Systems in die Dienste und Prozesse der das KI- System nutzenden Personen erstrecken und auch als Teil komplexerer Systeme, Prozesse oder Infrastrukturen erfolgen. Während die Anbieter von KI-Systemen die Bedingungen für die Verwendung berücksichtigen müssen, die vernünftigerweise vor dem Inverkehrbringen ihrer KI-Systeme vorhersehbar sind (bestimmungsgemäße Verwendung und vernünftigerweise vorhersehbare Fehlanwendung), bleiben die Betreiber dafür verantwortlich, die rechtmäßigen Bedingungen für die Verwendung des Systems zu berücksichtigen. Für die Zwecke des Artikels 5 der KI-Verordnung sollte der Begriff „Verwendung“ so verstanden werden, dass er jede Fehlanwendung eines KI-Systems („vernünftigerweise vorhersehbar“ oder nicht) umfasst, der einer verbotenen Praxis gleichkommen kann.

Beispielsweise ist ein KI-System, das von einem Arbeitgeber zur Ableitung von Emotionen am Arbeitsplatz verwendet wird, verboten, es sei denn, es wird aus medizinischen Gründen oder für Sicherheitszwecke verwendet (Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung). Das Verbot gilt für Betreiber unabhängig davon, ob der Anbieter (der Lieferant des Systems) in seinen vertraglichen Beziehungen mit dem Betreiber (dem Arbeitgeber), d. h. in den Nutzungsbedingungen, eine solche Verwendung ausgeschlossen hat.

In der KI-Verordnung wird in Bezug auf KI-Systeme zwischen verschiedenen Kategorien von Akteuren unterschieden: Anbieter, Betreiber, Einführer, Händler und Produkthersteller. In Anbetracht des Umfangs der nach Artikel 5 der KI-Verordnung verbotenen Praktiken werden sich diese Leitlinien auf Anbieter und Betreiber beschränken.

Nach Artikel 3 Nummer 3 der KI-Verordnung sind Anbieter natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System entwickeln oder entwickeln lassen und unter ihrem eigenen Namen oder ihrer Handelsmarke in der Union in Verkehr bringen bzw. unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nehmen (siehe Abschnitt 2.). Anbieter, die außerhalb der Union niedergelassen oder ansässig sind, unterliegen den Bestimmungen der KI-Verordnung, wenn sie solche Systeme in der Union in Verkehr bringen oder in Betrieb nehmen oder wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird. Die Anbieter müssen sicherstellen, dass ihre KI-Systeme alle einschlägigen Anforderungen erfüllen, bevor sie sie in Verkehr bringen oder in Betrieb nehmen. Zum Beispiel ist ein Anbieter eines RBI-Systems der Hersteller des Systems, der das System in der Union unter seiner Marke vermarktet. Der Anbieter eines solchen Systems könnte auch eine Behörde sein, die das System intern entwickelt und für ihren eigenen Gebrauch in Betrieb nimmt.

Betreiber sind natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die KI-Systeme in eigener Verantwortung verwenden, es sei denn, die Verwendung erfolgt im Rahmen einer persönlichen, nicht beruflichen Tätigkeit. Unter „Befugnis“ über ein KI-System ist die Übernahme der Verantwortung für die Entscheidung über den Einsatz des Systems und die Art seiner tatsächlichen Verwendung zu verstehen. Betreiber fallen in den Anwendungsbereich der KI- Verordnung, wenn sie ihren Sitz in der Union haben oder sich in der Union befinden oder wenn sie sich in einem Drittland befinden und die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird.

Handelt es sich bei dem Betreiber eines KI-Systems um eine juristische Person, unter deren Aufsicht das System verwendet wird, d. h. eine Strafverfolgungsbehörde oder ein privates Sicherheitsunternehmen, so sollten die einzelnen Beschäftigten, die im Rahmen der Verfahren und unter der Kontrolle dieser Person tätig sind, nicht als Betreiber angesehen werden. Eine juristische Person bleibt auch dann Betreiberin, wenn sie in ihrem Namen und unter ihrer Verantwortung und Kontrolle Dritte (z. B. Auftragnehmer, externes Personal) am Betrieb des Systems beteiligt.

Betreiber können in Bezug auf ein KI-System mehrere Funktionen gleichzeitig wahrnehmen. Entwickelt ein Betreiber beispielsweise sein eigenes KI-System, das er anschließend verwendet, so gilt er sowohl als Anbieter als auch als Betreiber dieses Systems, auch wenn dieses System darüber hinaus von anderen Betreibern genutzt wird, denen das System gegen Entgelt oder unentgeltlich zur Verfügung gestellt wurde.

Die KI-Verordnung muss in allen Phasen des KI-Lebenszyklus durchgehend eingehalten werden. Dies erfordert eine ununterbrochene Überwachung und Aktualisierung von KI-Systemen, die in der Union in Verkehr gebracht oder in Betrieb genommen werden, damit sichergestellt werden kann, dass ein KI-System während seines gesamten Lebenszyklus weiterhin mit der KI-Verordnung konform bleibt und nicht zu einer nach Artikel 5 der KI-Verordnung verbotenen Praxis führt. Je nach ihrer Rolle und ihrer Kontrolle über die Konzeption, die Entwicklung und die tatsächliche Nutzung des Systems sind Anbieter und Betreiber von KI-Systemen auf unterschiedliche Weise dafür verantwortlich, eine verbotene Praxis zu vermeiden. Diese Rollen und Zuständigkeiten sollten für jedes einzelne Verbot in angemessener Weise interpretiert werden, wobei zu berücksichtigen ist, wer in der Wertschöpfungskette am besten in der Lage ist, spezifische Maßnahmen zur Prävention und Risikominderung zu treffen und die konforme Entwicklung und Nutzung von KI- Systemen im Einklang mit den Zielen und dem Ansatz der KI-Verordnung sicherzustellen.

Artikel 2 der KI-Verordnung sieht eine Reihe allgemeiner Ausschlüsse vom Anwendungsbereich vor, die für ein vollständiges Verständnis der praktischen Anwendung der in Artikel 5 der KI-Verordnung aufgeführten Verbote maßgeblich sind. 2... Nationale Sicherheit, Verteidigung und militärische Zwecke

Nach Artikel 2 Absatz 3 der KI-Verordnung gilt diese nur in den unter das Unionsrecht fallenden Bereichen und sollte keinesfalls die Zuständigkeiten der Mitgliedstaaten in Bezug auf die nationale Sicherheit berühren, unabhängig von der Art der Einrichtung, die von den Mitgliedstaaten mit der Wahrnehmung von Aufgaben im Zusammenhang mit diesen Zuständigkeiten betraut wurde. Ausdrücklich vom Anwendungsbereich der KI-Verordnung ausgeschlossen sind KI-Systeme, die ausschließlich „für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt“. Ob ein KI- System vom Anwendungsbereich der KI-Verordnung ausgeschlossen ist, hängt daher von den Zwecken oder Verwendungen des KI-Systems ab, nicht von den Einrichtungen, die die Tätigkeiten mit diesem System ausüben; dies kann auch private Wirtschaftsteilnehmer umfassen, die von den Mitgliedstaaten mit der Wahrnehmung von Aufgaben im Zusammenhang mit diesen Zuständigkeiten betraut werden.

Nach Auffassung des EuGH bezieht sich der Begriff „nationale Sicherheit“ auf das zentrale Anliegen, „die wesentlichen Funktionen des Staates und die grundlegenden Interessen der Gesellschaft zu schützen, und umfasst die Verhütung und Repression von Tätigkeiten, die geeignet sind, die tragenden Strukturen eines Landes im Bereich der Verfassung, Politik oder Wirtschaft oder im sozialen Bereich in schwerwiegender Weise zu destabilisieren und insbesondere die Gesellschaft, die Bevölkerung oder den Staat als solchen unmittelbar zu bedrohen, wie insbesondere terroristische Aktivitäten“. Nicht unter die nationale Sicherheit fallen beispielsweise Tätigkeiten im Zusammenhang mit der Straßenverkehrssicherheit oder der Organisation und Verwaltung der Justiz. Wie der EuGH festgestellt hat, „ist es … Sache der Mitgliedstaaten, ihre wesentlichen Sicherheitsinteressen festzulegen und geeignete Maßnahmen zu ergreifen, um ihre innere und äußere Sicherheit zu gewährleisten, … dass eine nationale Maßnahme zum Schutz der nationalen Sicherheit getroffen wurde, nicht zur Unanwendbarkeit des Unionsrechts führen und die Mitgliedstaaten von der erforderlichen Beachtung dieses Rechts entbinden“20.

Damit der Ausschluss nach Artikel 2 Absatz 3 Unterabsatz 2 der KI-Verordnung Anwendung finden kann, muss das KI-System ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder verwendet werden. In Erwägungsgrund 24 der KI-Verordnung wird weiter klargestellt, wie der Begriff „ausschließlich“ auszulegen ist und wann ein für solche Zwecke verwendetes KI-System dennoch in den Anwendungsbereich der KI- Verordnung fallen kann.

Wird zum Beispiel ein KI-System, das für Zwecke in den Bereichen Militär, Verteidigung oder nationale Sicherheit in Verkehr gebracht, in Betrieb genommen oder verwendet wird, (vorübergehend oder ständig) für andere Zwecke verwendet, etwa für zivile oder humanitäre Zwecke oder für Zwecke der Strafverfolgung oder der öffentlichen Sicherheit, so fällt dieses System in den Anwendungsbereich der KI- Verordnung. In diesem Fall sollte die Einrichtung, die das KI-System für die anderen Zwecke verwendet, die Konformität des KI-Systems mit der KI-Verordnung sicherstellen, es sei denn, das System entspricht bereits diesem Rechtsakt, was vor einer solchen Verwendung überprüft werden muss.

Darüber hinaus wird in Erwägungsgrund 24 der KI-Verordnung klargestellt, dass KI- Systeme, die für einen ausgeschlossenen Zweck, nämlich Militär, Verteidigung oder nationale Sicherheit, und für einen oder mehrere nicht ausgeschlossene Zwecke, etwa zivile Zwecke oder Strafverfolgungszwecke (sogenannte Systeme mit „doppeltem Verwendungszweck“), in Verkehr gebracht oder in Betrieb genommen werden, in den Anwendungsbereich der KI-Verordnung fallen. Anbieter solcher Systeme sollten sicherstellen, dass sie die Anforderungen der KI-Verordnung erfüllen. Bietet beispielsweise ein Unternehmen ein RBI-System für verschiedene Zwecke, einschließlich der Strafverfolgung und der nationalen Sicherheit, an, ist dieses Unternehmen der Anbieter des betreffenden Systems mit „doppeltem Verwendungszweck“ und muss sicherstellen, dass es die Anforderungen der KI- Verordnung erfüllt.

Die Tatsache, dass ein KI-System in den Anwendungsbereich der KI-Verordnung fallen könnte, sollte sich jedoch nicht darauf auswirken, dass Einrichtungen, die Tätigkeiten in den Bereichen nationale Sicherheit, Verteidigung oder Militär ausüben, KI-Systeme für Zwecke in den Bereichen nationale Sicherheit, Militär und Verteidigung verwenden können, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt. Wenn beispielsweise eine nationale Sicherheitsbehörde oder ein privater Betreiber von einem nationalen Nachrichtendienst beauftragt wird, Echtzeit-RBI-Systeme für Zwecke der nationalen Sicherheit (z. B. zur Sammlung von Erkenntnissen) zu nutzen, wäre eine solche Nutzung vom Anwendungsbereich der KI-Verordnung ausgenommen.

Die klare Beschreibung des Ausschlusses der nationalen Sicherheit ist besonders wichtig, wenn KI-Systeme in Verkehr gebracht, in Betrieb genommen oder für Strafverfolgungszwecke verwendet werden, die in den Anwendungsbereich der KI- Verordnung fallen. Dies ist für die in Artikel 5 Absatz 1 Buchstabe d bzw. h der KI- Verordnung festgelegten Verbote in Bezug auf Vorhersagen und Bewertungen im Hinblick auf das Begehen von Straftaten und in Bezug auf die Verwendung von Echtzeit-RBI-Systemen zu Strafverfolgungszwecken relevant. Die Polizei und andere Strafverfolgungsbehörden sind mit der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit, betraut 22. Werden KI- Systeme für Zwecke dieser Art verwendet, fallen sie in den Anwendungsbereich der KI-Verordnung.

Die Tätigkeiten von Europol und anderen Sicherheitsbehörden der Union wie Frontex fallen in den Anwendungsbereich der KI-Verordnung.

2... Justizielle Zusammenarbeit und Zusammenarbeit mit Drittländern im Bereich der Strafverfolgung

Nach Artikel 2 Absatz 4 der KI-Verordnung gilt diese Verordnung weder für Behörden in Drittländern noch für internationale Organisationen, soweit diese Behörden oder Organisationen KI-Systeme im Rahmen der internationalen Zusammenarbeit oder internationaler Übereinkünfte im Bereich der Strafverfolgung und justiziellen Zusammenarbeit mit der Union oder mit einem oder mehreren Mitgliedstaaten verwenden und sofern ein solches Drittland oder eine solche internationale Organisation angemessene Garantien hinsichtlich des Schutzes der Privatsphäre, der Grundrechte und der Grundfreiheiten von Personen bietet. Dieser Ausschluss kann gegebenenfalls Tätigkeiten privater Einrichtungen umfassen, die von dem betreffenden Drittland mit der Wahrnehmung bestimmter Aufgaben zur Unterstützung dieser Zusammenarbeit im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit betraut wurden. Damit der Ausschluss Anwendung finden kann, müssen diese Rahmen für die Zusammenarbeit oder internationalen Übereinkünfte angemessene Garantien in Bezug auf den Schutz der Grundrechte und Grundfreiheiten von Personen enthalten; diese sind von den Marktüberwachungsbehörden, die für die Überwachung von im Bereich der Strafverfolgung und Justiz verwendeten KI-Systemen zuständig sind, zu bewerten. In Erwägungsgrund 22 der KI-Verordnung wird klargestellt, dass empfangende nationale Behörden und Organe, Einrichtungen sowie sonstige Stellen der Union, die diese KI-Ausgaben in der Union verwenden, weiterhin für die Sicherstellung dessen verantwortlich sind, dass ihre Verwendung mit Unionsrecht vereinbar ist. Wenn diese internationalen Übereinkünfte überarbeitet oder wenn künftig neue Übereinkünfte geschlossen werden, sollten die Vertragsparteien größtmögliche Anstrengungen unternehmen, um diese Übereinkünfte an die Anforderungen der KI- Verordnung anzugleichen.

2... Forschung und Entwicklung

Nach Artikel 2 Absatz 8 der KI-Verordnung gilt diese nicht für Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen oder KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden. Dieser Ausschluss steht im Einklang mit der marktbasierten Logik der KI-Verordnung, die für KI-Systeme gilt, sobald sie in Verkehr gebracht oder in Betrieb genommen werden.

Zum Beispiel haben KI-Entwickler in der Forschungs- und Entwicklungsphase (F&E) die Freiheit, zu experimentieren und neue Funktionen zu testen, die Techniken umfassen könnten, die als manipulativ angesehen werden könnten und unter Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung fielen, wenn sie in verbraucherbezogenen Anwendungen eingesetzt würden. Die KI-Verordnung lässt solche Experimente zu, indem sie anerkennt, dass Forschung und Entwicklung in der Frühphase für die Weiterentwicklung von KI-Technologien und die Sicherstellung dessen, dass sie vor ihrem Inverkehrbringen Standards auf den Gebieten der Sicherheit und der Ethik erfüllen, von wesentlicher Bedeutung sind.

Wie in Erwägungsgrund 25 der KI-Verordnung klargestellt wird, zielt die KI- Verordnung auf die Förderung von Innovationen ab und erkennt die Bedeutung der wissenschaftlichen Forschung für die Förderung von KI-Technologien und den Beitrag zum wissenschaftlichen Fortschritt und zur Innovation an. Aus diesem Grund ist in Artikel 2 Absatz 6 der KI-Verordnung eine Ausnahme „für KI-Systeme oder KI- Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden“ vorgesehen.

So kann beispielsweise die Erforschung kognitiver und verhaltensbezogener Reaktionen auf KI-gestützte unterschwellige oder irreführende Anreize wertvolle Einblicke in Interaktionen zwischen Mensch und KI liefern und in künftige KI- Anwendungen, die sich durch höhere Sicherheit und Wirksamkeit auszeichnen, einfließen. Diese Forschung ist zulässig, da sie ungeachtet des Verbots in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung vom Anwendungsbereich der KI- Verordnung ausgeschlossen ist.

Der Ausschluss in Artikel 2 Absatz 8 der KI-Verordnung berührt jedoch nicht die Verpflichtung zur Einhaltung der KI-Verordnung, wenn ein KI-System infolge einer solchen Forschungs- und Entwicklungstätigkeit in Verkehr gebracht oder in Betrieb genommen wird. Tests unter realen Bedingungen im Sinne der KI-Verordnung fallen ebenfalls nicht unter diesen Ausschluss.

Zum Beispiel rekrutiert eine Gemeinde, die während des Karnevals eine Gesichtserkennungssoftware mithilfe eines RBI-Systems auf den Straßen testen möchte, Freiwillige, die vom System unter Realbedingungen identifiziert werden sollen. Da Tests unter Realbedingungen nicht unter den Ausschluss nach Artikel 2 Absatz 8 der KI-Verordnung fallen, müssen die geplanten Tests in vollem Umfang den Anforderungen der KI-Verordnung an RBI-Systeme entsprechen, es sei denn, das System wird in einem KI-Reallabor oder im Einklang mit der Sonderregelung für Tests unter Realbedingungen außerhalb des Reallabors gemäß den Artikeln 60 und 61 der KI- Verordnung getestet.

In jedem Fall sollten Forschungs- und Entwicklungstätigkeiten (auch wenn sie vom Anwendungsbereich der KI-Verordnung ausgenommen sind) gemäß anerkannten ethischen und professionellen Grundsätzen für die wissenschaftliche Forschung und unter Wahrung des geltenden Unionsrechts (z. B. des weiterhin geltenden Datenschutzrechts) ausgeführt werden.

2... Persönliche und nicht-berufliche Tätigkeit

In Artikel 2 Absatz 10 der KI-Verordnung wird bestimmt, dass die KI-Verordnung nicht für die Pflichten von Betreibern gilt, die natürliche Personen sind und die Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden. Die Definition des Begriffs „Betreiber“ schließt ebenfalls Nutzer aus, die Tätigkeiten dieser Art ausüben (siehe Abschnitt 2.). Jede Tätigkeit, durch die eine natürliche Person regelmäßig einen wirtschaftlichen Vorteil erlangt oder anderweitig einer professionellen, geschäftlichen, gewerblichen, beruflichen oder freiberuflichen Tätigkeit nachgeht, sollte als „Berufstätigkeit“ betrachtet werden. Die Angabe „persönlich“ ist ein Qualifizierungskriterium von „nichtberuflich“, das heißt, die betreffende Person sollte sowohl in einer persönlichen als auch einer nicht-beruflichen Eigenschaft handeln. Daher sollte der Ausschluss beispielsweise keine kriminellen Aktivitäten umfassen, da diese nicht als rein persönliche Tätigkeiten betrachtet werden sollten.

Zum Beispiel würde eine Person, die zu Hause ein Gesichtserkennungssystem nutzt (z. B. als Zugangskontrolle und zur Sicherheitsüberwachung des Hauseingangs) unter den Ausschluss des Artikels 2 Absatz 10 der KI-Verordnung fallen und somit nicht den Pflichten der Betreiber nach der KI-Verordnung unterliegen, und zwar auch dann nicht, wenn sie verpflichtet ist, die Aufnahmen (teilweise) an Strafverfolgungsbehörden zu übermitteln.

Dagegen müsste eine natürliche Person, die ein KI-System für berufliche Tätigkeiten wie die von Freiberuflern, Journalisten, Ärzten usw. nutzt, die Verpflichtungen für Betreiber von Gesichtserkennungssystemen nach der KI-Verordnung erfüllen. Jede Nutzung durch natürliche Personen, die im Namen oder Auftrag eines in beruflicher Funktion handelnden Betreibers handeln, fällt ebenfalls in den Anwendungsbereich der KI-Verordnung.

Darüber hinaus können kriminelle Handlungen auch dann nicht als rein persönliche Aktivitäten angesehen werden, wenn kein wirtschaftlicher Vorteil angestrebt oder erzielt wird. Für andere rechtswidrige Handlungen wie Verstöße gegen das Verbraucher- oder Datenschutzrecht sowie nationales Verwaltungsrecht gilt der Ausschluss in der KI-Verordnung, aber die anderen einschlägigen Rechtsrahmen gelten weiterhin.

Der Ausschluss nach Artikel 2 Absatz 10 der KI-Verordnung gilt nur in Bezug auf die Pflichten der Betreiber bei der Verwendung des Systems für rein persönliche nicht- berufliche Tätigkeiten. Das System als solches fällt weiterhin in den Anwendungsbereich der KI-Verordnung in Bezug auf die Pflichten von Anbietern, die das System in Verkehr bringen oder in Betrieb nehmen, sowie die Pflichten anderer professioneller Betreiber und anderer verantwortlicher Akteure wie Einführer und Händler.

Beispielsweise bleibt ein Emotionserkennungssystem, das dazu bestimmt ist, von natürlichen Personen für rein persönliche nicht berufliche Tätigkeiten verwendet zu werden, weiterhin ein Hochrisiko-KI-System im Sinne von Artikel 6 der KI- Verordnung und muss in vollem Einklang mit der KI-Verordnung stehen. Gleichzeitig unterliegt der Betreiber, der es für rein persönliche, nicht berufliche Zwecke nutzt (z. B. eine autistische Person), nicht den spezifischen Verpflichtungen für Betreiber im Rahmen der KI-Verordnung, und die Nutzung fiele nicht in ihren Anwendungsbereich. 2... KI-Systeme, die im Rahmen freier und quelloffener Lizenzen freigegeben werden

Nach Artikel 2 Absatz 12 der KI-Verordnung gilt diese Verordnung nicht für KI- Systeme, die im Rahmen freier und quelloffener Lizenzen freigegeben werden, es sei denn, sie werden als Hochrisiko-KI-Systeme oder als KI-Systeme, die unter Artikel 5 (verbotene Praktiken im KI-Bereich) oder Artikel 50 der KI-Verordnung (Transparenzpflichten für bestimmte KI-Systeme) fallen, in Verkehr gebracht oder in Betrieb genommen. Dies bedeutet, dass Anbieter von KI-Systemen nicht in den Genuss dieses Ausschlusses kommen können, wenn das von ihnen in Verkehr gebrachte oder in Betrieb genommene KI-System eine verbotene Praxis gemäß Artikel 5 der KI- Verordnung darstellt.

Die nach Artikel 5 der KI-Verordnung verbotenen KI-Praktiken sollten im Zusammenhang mit KI-Systemen, die gemäß Artikel 6 der KI-Verordnung als hochriskant eingestuft werden, insbesondere den in Anhang III aufgeführten Systemen, betrachtet werden. Der Grund dafür ist, dass die Verwendung von als hochriskant eingestuften KI-Systemen in bestimmten Fällen als verbotene Praxis gelten kann, wenn alle Bedingungen für eines oder mehrere der Verbote nach Artikel 5 der KI-Verordnung erfüllt sind. Umgekehrt gelten die meisten KI-Systeme, die unter eine Ausnahme von einem in Artikel 5 der KI-Verordnung aufgeführten Verbote fallen, als hochriskant. Erfüllen Emotionserkennungssysteme beispielsweise die Bedingungen für das Verbot nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung nicht, werden sie gemäß Artikel 6 Absatz 2 und Anhang III Nummer 1 Buchstabe c der KI-Verordnung als Hochrisiko-KI-Systeme eingestuft. Ebenso werden bestimmte KI-gestützte Bewertungssysteme, z. B. solche, die für die Beurteilung der Kreditwürdigkeit oder die Bewertung von Risiken in der Kranken- und Lebensversicherung verwendet werden, als Hochrisiko-KI-Systeme betrachtet, wenn sie die Bedingungen für das in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung aufgeführte Verbot nicht erfüllen. Ein weiteres Beispiel sind als hochriskant eingestufte KI-Systeme, die Personen im Hinblick darauf bewerten, ob sie Anspruch auf wesentliche öffentliche Leistungen und Dienste wie Gesundheitsdienste und Sozialversicherungsleistungen haben, und die solche Ansprüche feststellen. Gehen solche Systeme mit inakzeptabler sozialer Bewertung einher und erfüllen sie die Bedingungen des Artikels 5 Absatz 1 Buchstabe c der KI-Verordnung, ist ihr Inverkehrbringen, ihre Inbetriebnahme und ihre Verwendung in der Union verboten.

In solchen Fällen sollten die vom Anbieter vorgenommene Risikobewertung und sein Risikomanagement sowie die Konformität mit den anderen Anforderungen an Hochrisiko-KI-Systeme (z. B. Daten-Governance, Transparenz und menschliche Aufsicht) sowie die Verpflichtungen des Betreibers zu einer angemessenen Verwendung im Einklang mit den Betriebsanleitungen und der menschlichen Aufsicht (Artikel 26) und in einigen Fällen einer Grundrechte-Folgenabschätzung (Artikel 27) dazu beitragen, dass das in Verkehr gebrachte oder eingesetzte Hochrisiko-KI-System rechtmäßig ist und keine verbotene Praxis darstellt.

Und schließlich können KI-Systeme, die auf der Grundlage von Artikel 6 Absatz 3 der KI-Verordnung ausnahmsweise nicht als hochriskant gelten, obwohl sie unter einen Anwendungsfall mit hohem Risiko gemäß Anhang III fallen, weiterhin in den Anwendungsbereich der Verbote nach Artikel 5 der KI-Verordnung fallen. Artikel 6 Absatz 3 der KI-Verordnung hat nur zur Folge, dass ein KI-System als nicht hochriskant gilt; er schließt KI-Systeme dieser Art nicht vom Anwendungsbereich der KI-Verordnung und der Verbote aus.

Die Verbote gelten für alle KI-Systeme, unabhängig davon, ob sie eine „Zweckbestimmung“33 haben oder einem „allgemeinen Zweck“ (d. h. einer Vielzahl von Zwecken) dienen können, und die sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme vorgesehen sind. Dementsprechend sollte jeder Betreiber Maßnahmen ergreifen, für die er aufgrund seiner Rolle und seiner Kontrolle über das System in der Wertschöpfungskette am besten aufgestellt ist, um eine verantwortungsvolle und sichere Bereitstellung und Verwendung von KI-Systemen zu gewährleisten und dabei ihre Risiken und Vorteile im Hinblick auf die Verwirklichung der beiden Ziele der KI-Verordnung auszugleichen.

Von den Betreibern wird folglich erwartet, dass sie kein KI-System in einer nach Artikel 5 der KI-Verordnung verbotenen Weise verwenden und auch keine von den Anbietern des Systems errichteten „Sicherheitsleitplanken“ umgehen. Schäden entstehen zwar häufig aus der Art und Weise, wie KI-Systeme in der Praxis eingesetzt werden, trotzdem sind Anbieter auch dafür verantwortlich, KI-Systeme, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die sich nach vernünftigem Ermessen in einer nach Artikel 5 der KI-Verordnung verbotenen Weise verhalten oder direkt in einer solchen Weise verwendet werden, nicht in Verkehr zu bringen oder in Betrieb zu nehmen. In diesem Zusammenhang wird von Anbietern auch erwartet, dass sie wirksame und überprüfbare Maßnahmen ergreifen, um Schutzmechanismen einzubauen und solche schädlichen Verhaltensweisen und Fehlanwendungen zu verhindern und einzudämmen, soweit sie vernünftigerweise vorhersehbar sind und die Maßnahmen dem jeweiligen KI-System und den Umständen des Einzelfalls entsprechend durchführbar und verhältnismäßig sind. Von Anbietern wird auch erwartet, dass sie in ihren vertraglichen Beziehungen zu Betreibern (d. h. in den Nutzungsbedingungen des KI-Systems) die Verwendung ihres KI-Systems für verbotene Praktiken ausschließen und in den Betriebsanleitungen für Betreiber und in Bezug auf die erforderliche menschliche Aufsicht angemessene Informationen bereitstellen.

Beispielsweise kann ein KI-System mit allgemeinem Verwendungszweck, das als Chatbot verwendet wird, manipulative und irreführende Techniken einsetzen, von denen anzunehmen ist, dass sie erheblichen Schaden verursachen. Um verbotenes Verhalten des KI-Systems zu verhindern und Verwendungen zu unterbinden, bei denen nach vernünftigem Ermessen davon auszugehen ist, dass sie nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung manipulieren, täuschen und erhebliche Schäden verursachen, wird von Anbietern erwartet, dass sie vor dem Inverkehrbringen des KI- Systems (Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung) geeignete, verhältnismäßige Maßnahmen ergreifen (z. B. eine angemessene sichere und ethische Konzeption, die Integration technischer und anderer Schutzmechanismen, Nutzungsbeschränkungen, Transparenz und Nutzerkontrolle, geeignete Informationen in der Betriebsanleitung), um sicherzustellen, dass der Chatbot Nutzern oder anderen Personen bzw. Personengruppen keinen erheblichen Schaden zufügt (siehe auch Abschnitt 3.. Buchstabe c).

In bestimmten Fällen, insbesondere dann, wenn die Verbote mit einem ganz spezifischen Zweck des Systems zusammenhängen, verfügen Anbieter unter Umständen nur über begrenzte Möglichkeiten zur Integration anderer Maßnahmen zur Prävention und Risikominderung und müssen in erster Linie darauf zurückgreifen, den Betreibern angemessene Anweisungen und Informationen zur Verfügung zu stellen, die erforderliche menschliche Aufsicht auszuüben und die verbotene Nutzung des Systems einzuschränken. Diese Maßnahmen können gegebenenfalls auch die Überwachung der Einhaltung dieser Beschränkung umfassen; wobei dies davon abhängt, mit welchen Mitteln das KI-System bereitgestellt wird und welche Informationen dem Anbieter hinsichtlich einer möglichen Fehlanwendung zur Verfügung stehen. Etwaige Überwachungsmaßnahmen zur Aufdeckung von Fehlanwendungen sollten nicht einer allgemeinen Überwachung der Tätigkeiten der Betreiber gleichkommen und mit dem Unionsrecht im Einklang stehen.

So sollte beispielsweise ein KI-System mit allgemeinem Verwendungszweck, das Emotionen erkennen oder ableiten kann, von Betreibern nicht am Arbeitsplatz oder in Bildungseinrichtungen verwendet werden, sofern keine Ausnahme aus medizinischen Gründen oder Sicherheitsgründen gilt. Der Anbieter ist jedoch möglicherweise nicht in der Lage, den spezifischen Kontext, in dem die Emotionserkennungsfunktion des Systems genutzt werden soll, zu kennen und zu wissen, ob eventuell eine Ausnahme von dem Verbot nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung gilt. Diese Anbieter können eine solche verbotene Verwendung jedoch in ihren Nutzungsbedingungen ausdrücklich ausschließen und geeignete Informationen als Orientierung für die Betreiber in die Betriebsanleitung aufnehmen. Von ihnen wird auch erwartet, dass sie geeignete Maßnahmen ergreifen, wenn sie feststellen, dass das System von bestimmten Betreibern für diesen spezifischen verbotenen Zweck missbraucht wird, z. B. wenn ein solcher Missbrauch gemeldet wird oder der Anbieter anderweitig davon Kenntnis erhält; dies kann der Fall sein, wenn das System direkt über eine der Kontrolle des Anbieters unterliegende Plattform betrieben wird und der Anbieter Überprüfungen durchführt.

Die KI-Verordnung gilt horizontal in allen Sektoren und lässt andere Rechtsvorschriften der Union, insbesondere in den Bereichen Schutz der Grundrechte, Verbraucherschutz, Beschäftigung, Arbeitnehmerschutz und Produktsicherheit unberührt. Die KI-Verordnung ergänzt diese Rechtsvorschriften durch ihre Präventions- und Sicherheitslogik (KI-Systeme dürfen nicht in einer bestimmten Weise in Verkehr gebracht oder verwendet werden) und bietet zusätzlichen Schutz, indem gegen bestimmte schädliche KI-Praktiken vorgegangen wird, die möglicherweise nicht durch andere Rechtsvorschriften verboten sind. Indem sie sich mit den frühen Phasen des Lebenszyklus von KI-Systemen (d. h. dem Inverkehrbringen und der Inbetriebnahme) und dem Einsatz (d. h. der Verwendung) befassen, ermöglichen die in der KI-Verordnung enthaltenen Verbote darüber hinaus, an verschiedenen Stellen der KI-Wertschöpfungskette Maßnahmen gegen schädliche Praktiken im Zusammenhang mit KI einzuführen.

Gleichzeitig berührt die KI-Verordnung nicht die Verbote, die gelten, wenn KI- Praktiken gegen andere Rechtsvorschriften der Union verstoßen. Folglich könnte, auch wenn ein KI-System nach der KI-Verordnung nicht verboten ist, seine Verwendung auf der Grundlage anderer Vorschriften des Primär- und Sekundärrechts der Union dennoch verboten oder rechtswidrig sein (z. B. aufgrund der Nichteinhaltung von Grundrechten in einem bestimmten Fall, z. B. wegen des Fehlens einer Rechtsgrundlage für die Verarbeitung personenbezogener Daten, die nach dem Datenschutzrecht erforderlich ist, oder aufgrund von Diskriminierung, die gemäß Unionsrecht verboten ist). Die Einhaltung der Verbote im KI-Gesetz ist daher keine ausreichende Voraussetzung für die Einhaltung anderer Rechtsvorschriften der Union, die für Anbieter und Betreiber von KI-Systemen weiterhin gelten. So unterliegen beispielsweise KI-gestützte Emotionserkennungssysteme, die am Arbeitsplatz eingesetzt werden und von dem Verbot nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung ausgenommen sind, weil sie aus medizinischen Gründen oder aus Sicherheitsgründen verwendet werden, weiterhin dem Datenschutzrecht sowie dem Unionsrecht und dem nationalen Recht in Bezug auf Beschäftigungs- und Arbeitsbedingungen, einschließlich des Gesundheitsschutzes und der Sicherheit am Arbeitsplatz, die andere Beschränkungen und Garantien in Bezug auf die Verwendung solcher Systeme vorsehen können.

Fallen bestimmte Tätigkeiten im Zusammenhang mit dem Inverkehrbringen oder der Verwendung von KI-Systemen auch unter andere Rechtsvorschriften der Union, besteht das Ziel der KI-Verordnung darin, die einheitliche Umsetzung der verschiedenen Bestimmungen sicherzustellen. Darüber hinaus ermöglicht sie eine wirksame Zusammenarbeit zwischen den für die Durchsetzung der KI-Verordnung zuständigen Behörden und den Behörden, die gemäß Artikel 77 der KI-Verordnung und anderer Bestimmungen der KI-Verordnung die Grundrechte schützen. Ganz allgemein sind die verschiedenen betroffenen Behörden nach Artikel 4 Absatz 3 EUV zur loyalen Zusammenarbeit bei der Durchführung ihrer jeweiligen unionsrechtlichen Aufgaben verpflichtet.

Im Zusammenhang mit den Verboten ist das Zusammenspiel zwischen der KI- Verordnung und dem Datenschutzrecht der Union besonders relevant, da KI-Systeme häufig Informationen über identifizierte oder identifizierbare natürliche Personen (im Folgenden „personenbezogene Daten“) verarbeiten. Je nach Verbot und Kontext sind die wichtigsten Rechtsakte in Bezug auf solche Systeme die Verordnung (EU) 2016/679 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr (Datenschutz- Grundverordnung, im Folgenden „DSGVO“), die Richtlinie (EU) 2016/680 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr (im Folgenden „Richtlinie zum Datenschutz bei der Strafverfolgung“) und die Verordnung (EU) 2018/1725 mit Datenschutzvorschriften für die Organe, Einrichtungen und sonstigen Stellen der EU (im Folgenden „EU-DSVO“). Nach Artikel 2 Absatz 7 der KI-Verordnung bleiben diese Rechtsakte unberührt und gelten weiterhin neben der KI-Verordnung, die mit dem Besitzstand der EU im Bereich des Datenschutzes kohärent ist und diesen ergänzt. Mehrere Aspekte dieser EU- Datenschutzvorschriften wurden vom EuGH präzisiert und der Europäische Datenschutzausschuss nahm eine Reihe von Leitlinien dazu an (z. B. zum Begriff „Profiling“41, der für das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung von besonderer Bedeutung ist, da dort derselbe Begriff verwendet wird).

In Bezug auf die Verbote/Beschränkungen der Verwendung von Systemen zur biometrischen Kategorisierung und Echtzeit-Fernidentifizierungssystemen zu Zwecken der Gefahrenabwehr und Strafverfolgung gilt die KI-Verordnung als Lex specialis für Artikel 10 der Richtlinie zum Datenschutz bei der Strafverfolgung, wodurch eine solche Verwendung und die Verarbeitung biometrischer Daten im Zusammenhang mit der Strafverfolgung umfassend geregelt wird. In diesem Zusammenhang soll die KI- Verordnung nicht als Rechtsgrundlage für die Verarbeitung personenbezogener Daten gemäß Artikel 8 der Richtlinie (EU) 2016/680 dienen. Vorbehaltlich der begrenzten Ausnahmen in Artikel 5 Absatz 1 Buchstabe h der KI-Verordnung gelten alle anderen Bestimmungen der genannten Richtlinie zusätzlich zu den in der KI-Verordnung festgelegten Bedingungen, insbesondere für die Verwendung von Echtzeit-(RBI)- Systemen zu Strafverfolgungszwecken, sofern dies zulässig ist. Allgemeiner gesprochen muss die Richtlinie zum Datenschutz bei der Strafverfolgung auch bei jeder Verarbeitung personenbezogener Daten durch die zuständigen Strafverfolgungsbehörden (d. h. die nach Artikel 3 Nummer 7 der Richtlinie zum Datenschutz bei der Strafverfolgung zuständigen Behörden) eingehalten werden, wenn diese die Daten zu Strafverfolgungszwecken verarbeiten.

Nach Artikel 2 Absatz 9 der KI-Verordnung gelten die Verbraucherschutz- und -Sicherheitsvorschriften der EU auch weiterhin uneingeschränkt für KI-Systeme, die in den Anwendungsbereich der genannten Rechtsakte fallen. Beispiele:

– Die von Gewerbetreibenden (einschließlich natürlicher Personen, die in beruflicher Eigenschaft in Beziehungen zwischen Unternehmen und Verbrauchern tätig sind) zur sozialen Bewertung ausgeübten Praktiken können vorbehaltlich einer Einzelfallprüfung ebenfalls als „unlauter“ und somit als Verstoß gegen das Verbraucherrecht (d. h. die Richtlinie 2005/29/EG) angesehen werden;

– Die Verwendung eines KI-Systems zur Ableitung von Emotionen muss möglicherweise auch der Verordnung (EU) 2017/745 (Verordnung über Medizinprodukte) entsprechen, wenn das KI-System für Zwecke der medizinischen Diagnose oder Behandlung verwendet wird.

Darüber hinaus gilt Die KI-Verordnung in Verbindung mit den einschlägigen Verpflichtungen für Anbieter von Vermittlungsdiensten, die KI-Systeme oder -Modelle in ihre unter die Verordnung (EU) 2022/2065 (im Folgenden „Gesetz über digitale Dienste“) fallenden Dienste einbetten. Insbesondere geht aus Artikel 2 Absatz 5 der KI- Verordnung hervor, dass die KI-Verordnung die Anwendung der Bestimmungen über die Haftung solcher Anbieter gemäß Kapitel II des Gesetzes über digitale Dienste unberührt lässt.

Darüber hinaus gelten die Verbote der KI-Verordnung unbeschadet einer etwaigen Haftung des Anbieters oder Betreibers für den verursachten Schaden nach geltendem Unionsrecht und geltenden nationalen Haftungsvorschriften.

Und schließlich dürfen die Verbote nach Artikel 5 der KI-Verordnung und die ausdrücklichen Ausnahmen von diesen Verboten nicht dazu genutzt werden, Verpflichtungen aus anderen Rechtsvorschriften der Union zu umgehen oder deren Verletzung zu rechtfertigen.

Als Sekundärrecht der Union muss die KI-Verordnung im Lichte der in den EU- Verträgen und der Charta garantierten Grundrechte und Grundfreiheiten sowie der Rechte und Freiheiten ausgelegt werden, die durch internationale Übereinkommen geschützt sind und bei denen die Union Vertragspartei ist.

Weitere Klarstellungen zum Zusammenspiel bestimmter Verbote mit anderen Rechtsvorschriften der Union finden sich in den entsprechenden Abschnitten weiter unten.

Die von den Mitgliedstaaten benannten Marktüberwachungsbehörden sowie der Europäische Datenschutzbeauftragte (als Marktüberwachungsbehörde für die Organe, Einrichtungen und sonstigen Stellen der EU) sind für die Durchsetzung der Vorschriften der KI-Verordnung für KI-Systeme, einschließlich der Verbote, zuständig. Die Durchsetzung erfolgt im Rahmen des mit der Verordnung (EU) 2019/102045 eingerichteten Systems für die Marktüberwachung und Konformität von Produkten im Einklang mit anderen Produktsicherheitsvorschriften der Union. Die Durchsetzungsbefugnisse der Marktüberwachungsbehörden in Bezug auf KI-Systeme sind in der KI-Verordnung und in der Verordnung (EU) 2019/1020 festgelegt. Diese Behörden können von sich aus oder aufgrund einer Beschwerde, zu deren Einreichung jede betroffene Person oder jede andere natürliche oder juristische Person, die Grund zu der Annahme hat, dass solche Verstöße vorliegen, berechtigt ist, Durchsetzungsmaßnahmen in Bezug auf die Verbote ergreifen 46. Die Mitgliedstaaten müssen ihre zuständigen Marktüberwachungsbehörden bis zum 2. August 2025 benennen.

Das im KI-Gesetz vorgesehene Verfahren für den Umgang mit KI-Systemen, die auf nationaler Ebene ein Risiko darstellen, ist im Zusammenhang mit der Durchsetzung der Verbote besonders relevant. Bei grenzüberschreitenden Auswirkungen, die über das Hoheitsgebiet der Marktüberwachungsbehörde hinausgehen, muss die Behörde des betreffenden Mitgliedstaats die Kommission und die Marktüberwachungsbehörden anderer Mitgliedstaaten unterrichten. Alle Marktüberwachungsbehörden sollten ein Schutzklauselverfahren der Union anwenden, wobei die Kommission einen Beschluss fasst, in dem festgestellt wird, ob das KI-System eine verbotene Praxis darstellt. Mit diesem Verfahren soll sichergestellt werden, dass die Verbote in allen Mitgliedstaaten einheitlich angewendet werden, um sowohl den Anbietern als auch den Betreibern von KI-Systemen Rechtssicherheit zu bieten. Um die einheitliche Anwendung der KI- Verordnung sicherzustellen, sollten sich die nationalen Marktüberwachungsbehörden auch um eine harmonisierte Anwendung der Verbote für vergleichbare, nicht über das Hoheitsgebiet des Mitgliedstaats hinausgehende Fälle bemühen, indem sie sich an diesen Leitlinien orientieren und im KI-Gremium zusammenarbeiten. 2... Sanktionen

Tragweite haben wie diejenigen, die durch die genannte Konvention festgelegt worden sind. Diese Bestimmung steht dem nicht entgegen, dass das Recht der Union einen weiter gehenden Schutz gewährt.

Die KI-Verordnung verfolgt bei der Festlegung der Sanktionen für Verstöße gegen die in ihr enthaltenen Bestimmungen einen mehrstufigen Ansatz, je nach Schwere des Verstoßes. Die Nichteinhaltung der Verbote nach Artikel 5 der KI-Verordnung gilt als der schwerwiegendste Verstoß und wird daher mit der höchsten Geldbuße belegt. Anbieter und Betreiber, die verbotene KI-Praktiken anwenden, können mit einer Geldbuße von bis zu 35 000 000 EUR oder, wenn es sich bei dem Täter um ein Unternehmen handelt, bis zu 7 % seines gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr belegt werden, je nachdem, welcher Betrag höher ist. Jeder Mitgliedstaat sollte Vorschriften darüber erlassen, ob und in welchem Umfang gegen Behörden und öffentliche Stellen, die in dem betreffenden Mitgliedstaat als Anbieter und Betreiber von KI-Systemen niedergelassen sind, Geldbußen verhängt werden können. Gegen Organe, Einrichtungen und sonstige Stellen der EU, die gegen die Verbote verstoßen, können Geldbußen von bis zu 1 500 000 EUR verhängt werden.

Es ist möglich, dass ein und dasselbe verbotene Verhalten einen Verstoß gegen zwei oder mehr Bestimmungen der KI-Verordnung darstellt (d. h. die Nichtkennzeichnung von Deepfakes kann auch eine täuschende Technik im Sinne von Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung darstellen). In solchen Fällen ist der Grundsatz „ne bis in idem“ zu beachten. In jedem Fall sind die Kriterien für die Festlegung der Sanktion nach Artikel 99 Absatz 7 der KI-Verordnung zu berücksichtigen.

Da Verstöße gegen die Verbote in Artikel 5 der KI-Verordnung die Freiheiten anderer am stärksten beeinträchtigen und die höchsten Geldbußen nach sich ziehen, sollte ihr Anwendungsbereich eng ausgelegt werden.