Artikel 5 Absatz 1 Buchstabe D der KI-Verordnung – Individuelle Risikobewertung und Vorhersage von Straftaten

In Erwägungsgrund 42 der KI-Verordnung werden der Hintergrund und die Begründung des Verbots in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung erläutert, nämlich dass natürliche Personen nach ihrem tatsächlichen Verhalten beurteilt werden sollten und nicht anhand von Verhalten, das von einer KI ausschließlich auf der Grundlage ihres Profiling, ihrer Persönlichkeitsmerkmale oder -eigenschaften vorhergesagt wird.

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung gilt, müssen mehrere kumulative Bedingungen erfüllt sein:

(i) Die Praxis muss das „Inverkehrbringen“, die „Inbetriebnahme für diesen spezifischen Zweck“ oder die „Verwendung“ eines KI-Systems darstellen. (ii) Das KI-System muss Risikobewertungen vornehmen, die das Risiko bewertet oder vorhersagt, dass eine natürliche Person eine Straftat begeht. (iii)Die Bewertung oder Vorhersage des Risikos darf sich ausschließlich auf eines oder beide der folgenden Elemente stützen:

(a) Profiling einer natürlichen Person, (b) Bewertung der persönlichen Merkmale und Eigenschaften einer natürlichen Person.

Damit das Verbot Anwendung finden kann, müssen alle drei Bedingungen gleichzeitig erfüllt sein. Die erste Bedingung, d. h. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems, wurde bereits in Abschnitt 2. analysiert. Das Verbot gilt daher sowohl für Anbieter als auch für Betreiber von KI-Systemen im Rahmen ihrer jeweiligen Verantwortung dafür, solche Systeme für diesen spezifischen Zweck nicht in Verkehr zu bringen, in Betrieb zu nehmen oder zu verwenden. Die beiden anderen Voraussetzungen für die Geltung des Verbots werden im Folgenden analysiert. 5... Bewertung des Risikos oder Vorhersage der Wahrscheinlichkeit, dass eine Person eine Straftat begeht

Risikobewertungen zur Bewertung oder Vorhersage des Risikos, dass eine Einzelperson eine Straftat begeht, werden häufig als individuelle „Verbrechensvorhersage“ oder „Kriminalitätsprognose“ bezeichnet. Zwar gibt es keine allgemein anerkannte Definition der Begriffe „Verbrechensvorhersage“ oder „Kriminalitätsprognose“129, doch beziehen sich diese Begriffe im Allgemeinen auf eine Vielzahl fortschrittlicher KI-Technologien und Analysemethoden, die auf große Mengen oft historischer Daten (einschließlich sozioökonomischer Daten, aber auch Kriminalakten usw.) angewendet werden und die in Verbindung mit kriminologischen Theorien zur Kriminalitätsprognose als informative Grundlage für Strategien und Maßnahmen im Rahmen der Polizei- und Strafverfolgungsarbeit zur Bekämpfung, Kontrolle und Verhütung von Straftaten dienen.

KI-Systeme zur Verbrechensvorhersage ermitteln Muster innerhalb historischer Daten; dabei verknüpfen sie Indikatoren mit der Wahrscheinlichkeit des Eintretens einer Straftat, und erzeugen anschließend Risikowerte als Prognose-Outputs. Solche Systeme können beispielsweise für die Planung polizeilicher Einsatzgruppen, für die Überwachung von Hochrisikosituationen und für die Durchführung von Kontrollen bei Personen, für die vorhergesagt wurde, dass sie wahrscheinlich (erneut) Straftaten begehen, verwendet werden. Systeme dieser Art bieten den Strafverfolgungsbehörden, insbesondere jenen mit knappen Ressourcen, Chancen, die Effizienz zu steigern und einen proaktiven Ansatz für die Aufdeckung und Antizipation von Straftaten sowie der Abschreckung davor zu fördern. Eine solche Verwendung historischer Daten über begangene Straftaten zum Zweck der Vorhersage des künftigen Verhaltens anderer Personen kann jedoch Verzerrungen verstetigen oder sogar verstärken und dazu führen, dass wesentliche individuelle Umstände „übersehen“ werden, wenn diese Umstände nicht Teil des Datensatzes sind oder in den Algorithmen, mit denen das betreffende KI- System arbeitet, nicht berücksichtigt werden. Darüber hinaus kann dies das Vertrauen der Öffentlichkeit in die Strafverfolgung und das Justizsystem im Allgemeinen untergraben.

Solche Risikobewertungen und Vorhersagen sind grundsätzlich zukunftsgerichtet und betreffen künftige (noch nicht begangene) Straftaten oder Straftaten, bei denen aktuell von der Gefahr ausgegangen wird, dass sie begangen werden, wobei dies auch Fälle von Versuchen oder vorbereitenden Tätigkeiten zur Begehung einer Straftat einschließt. Sie können in jeder Phase der Strafverfolgungsmaßnahmen erfolgen, z. B. bei der Verhütung und Aufdeckung von Straftaten, aber auch im Verlauf des Ermittlungs- oder Strafverfahrens und während der Vollstreckung strafrechtlicher Sanktionen (auch wenn die Justizbehörden das Risiko einer erneuten Straftat bewerten, z. B. im Zusammenhang mit Entscheidungen über die Verhängung von Untersuchungshaft) sowie als Teil des Plans zur Wiedereingliederung einer Einzelperson in die Gesellschaft nach Verbüßung einer Strafe.

Durch das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung werden Praktiken der Verbrechensvorhersage und der Risikobewertung als solche nicht ungesetzlich. Es gilt nur für KI-Systeme, die Risikobewertungen vornehmen, um das Risiko, dass eine natürliche Person eine Straftat begeht, zu bewerten oder vorherzusagen, sofern auch die vorstehend genannte dritte Bedingung erfüllt ist. Darüber hinaus gilt das Verbot, wie bereits erwähnt, nicht in den im letzten Satz von Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung beschriebenen Situationen, die ausdrücklich ausgeschlossen sind.

5... Ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Beurteilung ihrer persönlichen Merkmale und Eigenschaften

Die dritte Bedingung für die Geltung des Verbots in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung lautet, dass sich die Risikobewertung zur Bewertung oder Vorhersage des Risikos, dass eine natürliche Person eine Straftat begeht, ausschließlich auf a) das Profiling der Person oder b) auf die Beurteilung ihrer persönlichen Merkmale und Eigenschaften stützen darf.

Das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung gilt unabhängig davon, ob das KI-System nur für eine natürliche Person oder für eine Gruppe natürlicher Personen gleichzeitig ein Profiling oder eine Bewertung der persönlichen Merkmale und Eigenschaften durchführt, da das Ziel des Verbots darin besteht, jede Einzelperson, für die das Risiko der Begehung einer Straftat vorhergesagt oder bewertet wird, zu schützen.

a) Profiling einer natürlichen Person

Anders als in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung wird in Artikel 5 Absatz 1 Buchstabe d ausdrücklich der Begriff „Profiling“ verwendet. In Artikel 3 Nummer 52 der KI-Verordnung wird dieser Begriff unter Bezugnahme auf seine Definition in Artikel 4 Nummer 4 DSGVO definiert. Der Begriff des Profiling umfasst das Ziel, „bestimmte persönliche Aspekte … zu bewerten“ als eines seiner Kernelemente. Im Zusammenhang mit Artikel 5 Absatz 1 Buchstabe d der KI- Verordnung erfolgt das Profiling für die Zwecke der Bewertung oder Vorhersage des Risikos, dass eine Person eine Straftat begeht.

Der Begriff des sogenannten Gruppenprofiling kann in diesem Zusammenhang ebenfalls von Belang sein. Dieser Begriff bezieht sich auf die Erstellung und Anwendung eines beschreibenden Profils für eine bestimmte Gruppe, beispielsweise eine Kategorie von Straftätern (z. B. Terroristen, Bandenmitglieder usw.), die auf historischen Daten über zuvor von anderen Personen begangene Straftaten beruhen. Diese Gruppenprofile können später verwendet werden, um das Risiko, dass andere Personen ähnliche Straftaten begehen, zu bewerten und vorherzusagen. Wenn ein KI- System Vorhersagen macht und ein solches (Gruppen-)Profil auf eine bestimmte Einzelperson anwendet, stellt dies ein Profiling der betreffenden Person dar und kann daher unter das Verbot des Artikels 5 Absatz 1 Buchstabe d der KI-Verordnung fallen. b) Bewertung der persönlichen Merkmale und Eigenschaften

Das Verbot gilt auch, wenn die Risikobewertung zur Bewertung oder Vorhersage des Risikos, dass eine Person eine Straftat begeht, nur auf der Beurteilung der persönlichen Merkmale und Eigenschaften der betreffenden Person beruht. Eine solche Bewertung oder Vorhersage ist häufig Bestandteil des Profilingkonzepts, könnte aber auch als Alternative betrachtet werden, wenn ein Profiling im Sinne von Artikel 4 Absatz 4 DSGVO nicht festgestellt werden kann.

Wie in Abschnitt 4.. Buchstabe c) erwähnt, stellen persönliche Merkmale und Eigenschaften eine weit gefasste Kategorie von Merkmalen dar, die sich auf eine bestimmte natürliche Person beziehen, für die es keine allgemein anerkannte Taxonomie gibt. Erwägungsgrund 42 der KI-Verordnung enthält Beispiele für Persönlichkeitsmerkmale und -eigenschaften, die zur Vorhersage des Risikos, dass eine Person eine Straftat begeht, bewertet werden können, beispielsweise „Staatsangehörigkeit, Geburtsort, Wohnort, Anzahl der Kinder, Schulden oder Art ihres Fahrzeugs“. Dies dient nur zur Veranschaulichung und ist nicht als erschöpfende Aufzählung zu verstehen.

c) „Ausschließlich“

Nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung sind Risikobewertungen, die unter diese Bestimmung fallen, nur dann verboten, wenn sie „ausschließlich“ auf dem Profiling einer Person oder auf der Bewertung ihrer persönlichen Merkmale und Eigenschaften beruhen. Aus Erwägungsgrund 42 der KI-Verordnung geht eindeutig

Aufenthaltsort oder Ortswechsel dieser natürlichen Person zu analysieren oder vorherzusagen“. Dieselbe Definition findet sich auch in Artikel 3 Nummer 5 der Verordnung (EU) 2018/1725 über die Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der Union (ABl. L 295 vom 21..2018, S. 39). hervor, dass „ausschließlich“ sowohl für das Profiling als auch für die Bewertung von persönlichen Merkmalen und Eigenschaften gelten soll.

Die Bedingung, dass die Risikobewertung „ausschließlich“ auf Profiling oder der Bewertung von persönlichen Merkmalen und Eigenschaften beruhen muss, kann in einer Reihe von Situationen nicht erfüllt sein.

Wie aus dem letzten Satz von Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung hervorgeht, liegt eine solche Situation jedenfalls dann vor, wenn das KI-System dazu verwendet wird, um die durch Menschen durchgeführte Bewertung der Beteiligung einer Person an einer kriminellen Aktivität, die sich bereits auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, zu unterstützen. Wie in Erwägungsgrund 42 klargestellt wird, sollte in diesem Zusammenhang insbesondere, aber nicht unbedingt ausschließlich, auf eine Situation abgestellt werden, in der bereits ein begründeter Verdacht hinsichtlich der betreffenden natürlichen Person besteht. Schließlich wird in solchen Fällen in der Regel eine menschliche Bewertung vorgenommen worden sein, die sich in der Regel auf relevante objektive und überprüfbare Tatsachen stützt.

Es können jedoch auch andere Situationen vorliegen, die immer einer Einzelfallprüfung zu unterziehen sind. Zum einen lässt die Verwendung des Begriffs „ausschließlich“ die Möglichkeit offen, bei der Risikobewertung verschiedene andere Elemente zu berücksichtigen, was dazu führt, dass sie nicht mehr allein auf Profiling oder der Bewertung von persönlichen Merkmalen und Eigenschaften beruht. Um andererseits jedoch eine Umgehung des Verbots zu verhindern und seine Wirksamkeit zu gewährleisten, müssen alle anderen Elemente real, erheblich und aussagekräftig sein, um die Schlussfolgerung rechtfertigen zu können, dass das Verbot keine Anwendung findet. Liest man das Verbot nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung in Verbindung mit dem im letzten Satz enthaltenen Ausschluss, ergibt sich, dass insbesondere das Vorliegen bestimmter vorab festgelegter, objektiver und überprüfbarer Tatsachen diese Schlussfolgerung rechtfertigen kann. Beispiele:

– Eine Strafverfolgungsbehörde nutzt ein KI-System, um kriminelles Verhalten bei Straftaten wie Terrorismus ausschließlich auf der Grundlage des Alters, der Staatsangehörigkeit, der Anschrift, des Fahrzeugtyps und des Familienstands vorherzusagen. Bei diesem System wird davon ausgegangen, dass Einzelpersonen allein aufgrund ihrer persönlichen Merkmale künftig Straftaten begehen werden, die sie bisher noch nicht begangen haben. Es ist anzunehmen, dass ein solches System nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung verboten ist. – Nationale Steuerbehörden nutzen ein KI-Prognoseinstrument, um die Steuererklärungen sämtlicher Steuerpflichtigen zu überprüfen und auf diese Weise potenzielle Steuerstraftaten vorauszusagen und um Fälle zu ermitteln, in denen weitere Prüfungen erforderlich sind. Dies geschieht ausschließlich auf der Grundlage des vom KI-System erstellten Profils, das für seine Bewertung persönliche Merkmale wie doppelte Staatsangehörigkeit, Geburtsort, Anzahl der Kinder und undurchsichtige Variablen verwendet, insbesondere abgeleitete Informationen, die prädiktiv und daher nicht objektiv und schwer zu überprüfen sind. Ein solches System fällt in der Regel unter das Verbot nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung, da kein begründeter Verdacht auf die Beteiligung einer bestimmten Person an einer kriminellen Aktivität besteht und es keine anderen objektiven und überprüfbaren Tatsachen gibt, die mit dieser kriminellen Aktivität in Verbindung stehen. Dies ist auch ein Beispiel, das in den Anwendungsbereich der nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung verbotenen sozialen Bewertung fällt, die eine Benachteiligung auf der Grundlage von Daten aus damit nicht zusammenhängenden sozialen Kontexten beinhaltet.

– Eine Polizeidienststelle verwendet KI-gestützte Risikobewertungsinstrumente, um das Risiko zu bewerten, dass kleine Kinder und Jugendliche an „künftigen Gewalttaten und Eigentumsdelikten“ beteiligt sein werden. Das System bewertet Kinder auf der Grundlage ihrer Beziehungen zu anderen Menschen und deren vermeintlichen Risikoniveaus, d. h. es wird eventuell davon ausgegangen, dass bei Kindern ein höheres Risiko für die Begehung von Straftaten besteht, einfach weil sie mit einer anderen Person wie einem Geschwisterkind oder einem Freund verbunden sind, bei der eine hohe Risikobewertung vorliegt. Das Risikoniveau der Eltern kann sich ebenfalls auf das Risikoniveau eines Kindes auswirken. Die Risikobewertungen führen dazu, dass die Polizei diese Kinder in ihren Systemen „registriert“, sie mit zusätzlichen Kontrollen überwacht und an Dienste der „Jugendfürsorge“ verweist. Ein solches System fällt wahrscheinlich auch unter das Verbot nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung.

5... Ausschluss von KI-Systemen zur Unterstützung der durch Menschen durchgeführten Bewertung, die sich auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen

In Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung wird bestimmt, dass dieses Verbot nicht für KI-Systeme gilt, die dazu verwendet werden, die durch Menschen durchgeführte Bewertung der Beteiligung einer Person an einer kriminellen Aktivität, die sich bereits auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, zu unterstützen. Auch wenn, wie ausgeführt, der in diesem ausdrücklichen Ausschluss beschriebene Fall nicht notwendigerweise der einzige ist, in dem das Verbot nicht gilt, wobei dies die in dieser Bestimmung ausdrücklich genannte Situation einschließt, bietet der Ausschluss Rechtssicherheit, indem er den Anwendungsbereich des Verbots abgrenzt und klarstellt, dass das Verbot nicht in jedem Fall gilt.

Fällt das System in den Anwendungsbereich des Ausschlusses und ist es daher nicht verboten, wird es dann, wenn es durch Strafverfolgungsbehörden oder in deren Namen verwendet werden soll und daher den Anforderungen und Schutzvorkehrungen, einschließlich der menschlichen Aufsicht (Artikel 14 und 26 der KI-Verordnung), unterliegt, als Hochrisiko-KI-System (gemäß Anhang III Nummer 6 Buchstabe d der KI-Verordnung) eingestuft. Zu diesen Anforderungen gehört, dass die menschliche Aufsicht Personen zugewiesen werden muss, die im Besitz der erforderlichen Kompetenz, Ausbildung und Befugnis sind und die in der Lage sein sollten, die Fähigkeiten und Grenzen des KI-Systems angemessen zu verstehen, seine Ausgaben (Outputs) korrekt zu interpretieren und dem Risiko von Automatisierungsbias entgegenzuwirken. Diese Personen sollten über klare Verfahrensanweisungen, Schulungen und die erforderliche Kompetenz und Befugnis verfügen, um die Ausgaben des KI-Systems sinnvoll bewerten zu können. In diesem besonderen Fall sollte ihre menschliche Bewertung sicherstellen, dass sich jede von einer KI vorgenommene Vorhersage oder Bewertung des Risikos, dass eine Person eine Straftat begeht, auf objektive und überprüfbare Tatsachen stützt, die im Zusammenhang mit einer kriminellen Aktivität stehen. Diese Personen sollten auch eingreifen, um negative Folgen oder Risiken zu vermeiden, oder das System anhalten, wenn es nicht wie beabsichtigt funktioniert.

Darüber hinaus war der Begriff „menschliches Eingreifen“ Gegenstand der Rechtsprechung des EuGH, insbesondere im Zusammenhang mit einer ausschließlich automatisierten Entscheidungsfindung, mit der die Gefahr einer Beteiligung von Fluggästen an schweren Straftaten vorhergesagt wurde. Diese Rechtsprechung kann auch für die Anwendung des Begriffs „durch Menschen durchgeführte Bewertung“ im Sinne von Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung relevant sein. In der Rechtssache Ligue des droits humains prüfte der EuGH die Rechtmäßigkeit der Verwendung eines fortschrittlichen KI-Systems für die systematische Verarbeitung von Fluggastdatensätzen (PNR-Daten) von Flugreisenden, um die Wahrscheinlichkeit, dass sie an Terrorismus und anderen schweren Straftaten beteiligt sind, zu bewerten. Der EuGH legte die in der Richtlinie (EU) 2016/681 (PNR-Richtlinie) enthaltene Bestimmung aus, die nachteilige, ausschließlich auf einer automatisierten Verarbeitung beruhenden rechtlichen Entscheidungen verbietet und eine individuelle menschliche Bewertung und Überprüfung von Treffern durch nicht automatisierte Mittel vorschreibt, um falsch positive Ergebnisse zu ermitteln und diskriminierungsfreie Ergebnisse sicherzustellen.

Nach Auffassung des EuGH muss sich diese durch Menschen durchgeführte Bewertung, der Ergebnisse der automatisierten Verarbeitung von PNR-Daten unterzogen werden müssen, auf objektive Kriterien stützen, um zu beurteilen, ob ein Treffer eine Person betrifft, die in diesem konkreten Fall an terroristischen Straftaten oder schwerer Kriminalität beteiligt sein könnte, und um sicherzustellen, dass die automatisierte Verarbeitung nicht diskriminierend ist.

Was den Inhalt des Ausschlusses betrifft, so besteht eines seiner zentralen Elemente darin, dass das KI-System zur Unterstützung der von Menschen durchgeführten Bewertung verwendet wird, anstatt das KI-System selbst in die Durchführung der Risikobewertung in den unter das Verbot fallenden Situationen einzubeziehen. Damit der Ausschluss Anwendung finden kann, muss diese menschliche Bewertung jedoch bereits auf objektiven und überprüfbaren Tatsachen beruhen, die im Zusammenhang mit einer kriminellen Aktivität stehen.

5... Umfang, in dem die Tätigkeiten privater Akteure in den Anwendungsbereich fallen können

Neben Strafverfolgungsbehörden, die im Prinzip die Hauptbetreiber von KI-Systemen zur Verbrechensvorhersage sind, können in einigen Fällen auch die Tätigkeiten privater Einrichtungen unter das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung fallen. Dies ergibt sich daraus, dass das Verbot nach seinem Wortlaut nicht ausschließlich für Strafverfolgungsbehörden gilt. Darüber hinaus könnte das Verbot andernfalls leicht umgangen werden, was seine Wirksamkeit infrage stellen würde.

Unter diesen Umständen kann davon ausgegangen werden, dass das Verbot insbesondere dann gilt, wenn private Akteure gesetzlich mit der Ausübung öffentlicher Gewalt und hoheitlicher Befugnisse zur Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder zur Strafvollstreckung betraut wurden. Private Akteure können auch von Fall zu Fall ausdrücklich aufgefordert werden, im Namen von Strafverfolgungsbehörden tätig zu werden und individuelle Vorhersagen des Kriminalitätsrisikos durchzuführen. In diesen Fällen könnten auch die Tätigkeiten dieser privaten Akteure in den Anwendungsbereich des Verbots fallen, wenn die geltenden Bedingungen erfüllt sind und der Ausschluss nicht gilt. Beispielsweise kann ein privates Unternehmen, das fortschrittliche KI-gestützte Software für Kriminalitätsanalysen bereitstellt, von einer Strafverfolgungsbehörde aufgefordert werden, eine große Menge Daten aus verschiedenen Quellen und Datenbanken wie nationalen Registern, Banktransaktionen, Kommunikationsdaten, Geodaten usw. zu analysieren, um das Risiko, dass Personen potenziell Menschenhandelsdelikte begehen, zu bewerten und vorherzusagen. Wenn alle Kriterien für Artikel 5 Absatz 1 Buchstabe d erfüllt sind, könnte ein solcher Anwendungsfall verboten werden.

Darüber hinaus kann das Verbot für private Einrichtungen gelten, die das Risiko, dass eine Person eine Straftat begeht, bewerten oder vorhersagen, wenn dies objektiv erforderlich ist, um einer rechtlichen Verpflichtung nachzukommen, der dieser private Betreiber unterliegt, um das Risiko zu bewerten oder vorherzusagen, dass Personen bestimmte Straftaten begehen (z. B. im Falle der Bekämpfung von Geldwäsche oder Terrorismusfinanzierung).

So ist beispielsweise ein Kreditinstitut nach den Rechtsvorschriften der Union zur Bekämpfung der Geldwäsche verpflichtet, Kunden auf Geldwäschedelikte zu überprüfen und entsprechende Profile zu erstellen. Wenn die Bank zur Erfüllung ihrer Verpflichtungen ein KI-System verwendet, sollte dies nur auf der Grundlage der in dem betreffenden Gesetz festgelegten Daten erfolgen, die objektiv und überprüfbar sind, um sicherzustellen, dass die als verdächtig ausgesonderten Personen mit hinreichender Wahrscheinlichkeit Verstöße gegen die Bestimmungen zur Geldwäschebekämpfung begehen werden. Um die Richtigkeit und Angemessenheit solcher Bewertungen zu gewährleisten, müssen die Vorhersagen zudem im Einklang mit diesen Rechtsvorschriften einer Bewertung und Überprüfung durch Menschen unterzogen werden. Durch die Einhaltung dieser Rechtsvorschriften wird sichergestellt, dass der Einsatz von KI-Systemen zur individuellen Verbrechensvorhersage zu Zwecken der Geldwäschebekämpfung nicht in den Anwendungsbereich des Verbots nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung fällt.

Angesichts dessen, dass, wie sich aus dem Wortlaut des Verbots sowie aus dem in Erwägungsgrund 42 erläuterten Zweck des Verbots ergibt, der Schwerpunkt auf Risikobewertungen liegt, die sich speziell und ausschließlich auf die Begehung von Straftaten beziehen, sollten die Tätigkeiten privater Einrichtungen jedoch nicht als unter das Verbot nach Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung fallend betrachtet werden, wenn eine private Einrichtung ein Profiling von Kunden hinsichtlich ihrer regulären Geschäftstätigkeiten und ihrer Sicherheit oder hinsichtlich des Schutzes ihrer finanziellen Interessen (z. B. Aufdeckung finanzieller Unregelmäßigkeiten) vornimmt, ohne das Risiko zu bewerten oder vorherzusagen, dass der Kunde eine bestimmte Straftat begehen wird.

Mit anderen Worten: Wenn privaten Parteien nicht kraft Gesetz bestimmte Strafverfolgungsaufgaben übertragen wurden, wenn sie nicht im Namen von Strafverfolgungsbehörden handeln oder bestimmten, vorstehend beschriebenen rechtlichen Verpflichtungen unterliegen, ist die Verwendung von KI-Systemen für die Erstellung von Risikobewertungen im Zusammenhang mit dem „gewöhnlichen Geschäftsbetrieb“ und mit dem Ziel des Schutzes ihrer eigenen privaten Interessen nicht als unter das Verbot fallend zu betrachten, wobei die Tatsache, dass sich diese Risikobewertungen auf das Risiko der Begehung von Straftaten beziehen können, nur einen rein zufälligen und sekundären Umstand darstellt.

Standortbezogene oder geodatenbasierte oder ortsbezogene Vorhersagen von Straftaten beruhen auf dem Ort der Straftat oder der Wahrscheinlichkeit, dass in den betreffenden Gebieten eine Straftat begangen werden könnte. Grundsätzlich beinhaltet eine solche Polizeiarbeit keine Bewertung einer bestimmten Person. Die Vorhersagen fallen daher nicht in den Anwendungsbereich des Verbots.

Beispiele für standortbezogene oder geodatenbasierte Vorhersagen oder ortsbezogene Verbrechensvorhersagen:

– Ein KI-gestütztes System für vorausschauende Polizeiarbeit liefert eine Bewertung der Kriminalitätswahrscheinlichkeit in verschiedenen Gebieten einer Stadt und stützt sich dabei auf nach Gebieten aufgeschlüsselte frühere Kriminalitätsraten und andere unterstützende Informationen wie Straßenkarten, um ein erhöhtes Risiko bestimmter Arten von Kriminalität wie Einbrüche, Messerkriminalität usw. hervorzuheben und die Strafverfolgungsbehörden dabei zu unterstützen, zu bestimmen, wo weniger oder mehr Polizeistreifen eingesetzt werden können oder Polizeipräsenz gezeigt werden muss, um eine bürgernahe Polizeiarbeit zur Störung und Verhinderung von kriminellen Aktivitäten durchzuführen.

– Eine Zollbehörde verwendet KI-gestützte Instrumente zur Risikoanalyse, um beispielsweise auf der Grundlage bekannter Schmuggelrouten die Wahrscheinlichkeit vorherzusagen, dass an einem Standort Betäubungsmittel oder illegale Waren vorhanden sind.

– Eine Polizeidienststelle nutzt KI-gesteuerte Systeme, um in Echtzeit Schüsse zu erkennen und zu lokalisieren. Das System setzt in städtischen Gebieten akustische Sensoren ein, um die Geräusche von Schüssen zu ermitteln und ihren Standort zu triangulieren und damit den Beamten handlungsrelevante Daten zur Verfügung zu stellen, um die Aufdeckung und Untersuchung von Straftaten zu erleichtern.

Es kann jedoch nicht immer klar auf der Hand liegen, wie standortbezogene Systeme zur Verbrechensvorhersage von individuellen Vorhersagesystemen zu unterscheiden sind, mit denen das Risiko bewertet wird, dass eine Person eine Straftat begeht. Soweit ein KI-System standortbezogene vorausschauende Polizeiarbeit durchführt und dann den Risikowert des Standorts als Aspekt beim Profiling einer Person berücksichtigt, sollte dieses System als personenbasiert betrachtet werden und grundsätzlich unter Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung fallen, auch wenn es aus anderen Gründen nicht in den Anwendungsbereich des Verbots fallen kann. Wenn beispielsweise standort- oder geodatenbasierte Informationen oder ortsbezogene Informationen mit Informationen über eine Einzelperson (z. B. den Wohnort einer bestimmten Person) verknüpft werden und das KI-System das Risiko, dass diese Person wahrscheinlich eine Straftat begehen wird, ausschließlich auf der Grundlage des Profiling der betreffenden Person bewerten würde, unter anderem auf der Grundlage ihres Wohnsitzes, an dem die Kriminalität hoch ist, ist dieses System als personenbasiert zu betrachten.

5... KI-Systeme zur Unterstützung der durch Menschen durchgeführten Bewertung, die sich auf objektive und überprüfbare Tatsachen stützt, die in Zusammenhang mit einer kriminellen Aktivität stehen

In Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung wird bestimmt, dass dieses Verbot nicht für KI-Systeme gilt, die dazu verwendet werden, die durch Menschen durchgeführte Bewertung der Beteiligung einer Person an einer kriminellen Aktivität, die sich bereits auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, zu unterstützen. In einem solchen Fall würden die individuellen Bewertungen und Vorhersagen des Kriminalitätsrisikos nicht ausschließlich auf dem Profiling oder der Bewertung persönlicher Merkmale beruhen und daher nicht verboten.

Beispiele für KI-Systeme, die aus diesem Grund nicht in den Anwendungsbereich des Verbots fallen, sind:

– Die Verwendung eines KI-Systems zum Profiling und zur Kategorisierung tatsächlichen Verhaltens, wie beispielsweise gefährliches Verhalten in einer Menschenmenge, das im Hinblick auf die Vorbereitung und voraussichtliche Begehung einer Straftat hinreichend verdächtig ist, wenn eine aussagekräftige menschliche Bewertung der Einstufung durch die KI besteht. In diesem Fall beruht die durch Menschen mit Unterstützung von KI vorgenommene Risikobewertung nicht nur auf den persönlichen Merkmalen oder dem Profiling, sondern auf objektiven und überprüfbaren Tatsachen im Zusammenhang mit dem bedrohlichen kriminellen Verhalten dieser Person, die von einem Menschen überprüft wurde, bevor Maßnahmen ergriffen wurden.

– Die Polizei prüft die Gefahr eines möglichen bewaffneten Raubüberfalls und verdächtigt zwei Personen. Es liegen mehrere überprüfbare, objektive Tatsachen vor, auf denen dieser Verdacht beruht, z. B. die überprüfbare Beteiligung an Chat-Gruppen im Darknet und dort geführte Dialoge über den Erwerb von Waffen. Ein KI-System, das geodatenbasierte Prognosen oder ortsbezogene Informationen aus der Polizeiarbeit sowie Informationen aus der automatischen Nummernschilderregistrierung (Automated Number Plate Registration, ANPR) von Fahrzeugen der Verdächtigen kombiniert, unterstützt die menschliche Bewertung in der Ermittlungsarbeit auf der Grundlage überprüfbarer und objektiver Tatsachen, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen. – Die Verwendung eines KI-Systems, mit dem im Zusammenhang mit der Frage, ob ein Häftling in den Genuss einer vorzeitigen Entlassung kommen sollte, das Risiko bewertet wird. Das KI-Profil der betroffenen Person oder die Bewertung ihrer persönlichen Merkmale und Eigenschaften unterstützen nur die von Menschen durchgeführte Bewertung objektiver und überprüfbarer Tatsachen im Zusammenhang mit früheren Straftaten und nachgewiesenem Verhalten, das für die Wiedereingliederung relevant ist.

– Ein Richter führt für eine Person, die einer schweren Straftat beschuldigt wird, eine Haftprüfung durch, um zu bewerten, ob Maßnahmen ohne Freiheitsentzug angewendet werden können. Die Entscheidung beruht auf einer Bewertung, ob stichhaltige Gründe für die Verhängung der Untersuchungshaft vorliegen, wie z. B. die Wahrscheinlichkeit, dass der Verdächtige oder Beschuldigte eine weitere Straftat begehen wird, wenn er nicht inhaftiert ist, oder dass er flüchtet oder die ordnungsgemäße Durchführung der Ermittlungen behindern wird. Zur Unterstützung dieses Vorgangs verwendet der Richter ein KI-Instrument zur Risikobewertung, das an Daten, einschließlich der Vorstrafen von Einzelpersonen in ähnlichen Fällen, sowie an Faktoren wie Altersgruppe, Sozialverhalten, Einkommen und Beschäftigungsstatus trainiert wurde.

– Ein KI-System wird eingesetzt, um einen Beamten bei der Bewertung des Risikos zu unterstützen, ob eine Person, die eine nicht freiheitsentziehende Strafe verbüßt, die Auflagen für die vorzeitige Haftentlassung verletzt oder flüchtet; dabei stützt es sich auf früheres kriminelles Verhalten und objektive Sachverhalte, die Verdachtsmomente wie die Einhaltung der Auflagen für die vorzeitige Haftentlassung, die Ergebnisse psychologischer Begutachtungen sowie die Empfehlungen anderer ziviler Dienste, die die betreffende Person eventuell nutzt, begründen. Auf der Grundlage dieser Informationen entscheidet der Beamte, ob er den Status quo aufrechterhält oder die Bedingungen für die vorzeitige Haftentlassung ändert.

– KI-Systeme, die von Zollbehörden zur Bewertung des Risikos verwendet werden, dass Waren in die EU verbracht werden, die nicht den an der Grenze geltenden Rechtsvorschriften entsprechen (z. B. Einfuhrverbote für illegale Drogen, Verstöße gegen Ausfuhrsanktionen oder andere rechtswidrige Handlungen), um Situationen zu ermitteln, in denen Zollkontrollen durchgeführt werden sollten. Das KI-System bewertet objektive und überprüfbare Informationen, die dem Zoll im Zusammenhang mit den Waren und ihren Lieferketten zur Verfügung gestellt werden (z. B. Art und Wert der Waren, Containernummer, Transportmittel zur Tarnung anderer Waren, bereits vorhandene Kenntnisse in Bezug auf die Übereinstimmung von Waren einer bestimmten Bezeichnung und eines bestimmten Ursprungs mit den Anforderungen für deren Einfuhr in die oder Ausfuhr aus der Union). In bestimmten Fällen kann es auch Informationen über die frühere Beteiligung des Einführers oder Ausführers an Unregelmäßigkeiten im Zusammenhang mit der Einfuhr von Waren, die Zugehörigkeit zu kriminellen Vereinigungen oder Vorstrafen wegen Drogenhandels verarbeiten. Systeme dieser Art fallen nicht in den Anwendungsbereich des Verbots, da die Vorhersage der Wahrscheinlichkeit, dass eine natürliche Person an der Ein- oder Ausfuhr illegaler Waren beteiligt ist, nicht nur auf Profiling, sondern auf objektiven und überprüfbaren Informationen über die Waren und die frühere Beteiligung des Einführers oder Ausführers an einer kriminellen Aktivität beruht und von Menschen darauf überprüft wird, ob die Situation eine zollamtliche Überwachung oder Maßnahmen zur Risikominderung erfordert.

5... KI-Systeme, die für Verbrechensvorhersagen und Bewertungen des Kriminalitätsrisikos in Bezug auf juristische Personen verwendet werden

Das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung gilt nur für individuelle Vorhersagen und Risikobewertungen für natürliche Personen, sodass in der Regel Systeme zur Verbrechensvorhersage ausgeschlossen sind, die Profiling juristischer Personen wie Unternehmen oder Nichtregierungsorganisationen vornehmen.

Beispiele:

– Eine Steuer- oder Zollbehörde nutzt ein KI-System zur Analyse großer Mengen an Daten über Transaktionen und Steuererklärungen sowie Zolldaten von Unternehmen, um das Risiko zu bewerten, dass ein Unternehmen Steuer- oder Zollbetrug begeht, was eine Straftat darstellt.

– KI-Systeme zur Unterstützung der Zollbehörden bei der Ermittlung von Situationen, in denen juristischen Personen eine Anweisung erteilt werden sollte, keine illegalen Waren in die EU zu versenden.

Gleichzeitig kann es Grenzfälle geben, in denen eine natürliche Person über eine juristische Person als „Einzelunternehmer“ oder als Angehöriger der freien Berufe (z. B. Rechtsanwalt) handelt. Unter diesen Umständen kann das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung gelten, sofern alle Bedingungen erfüllt sind, da das KI-System ein Profiling einer bestimmten natürlichen Person vornimmt und das Risiko, dass sie eine Straftat begeht, bewertet oder vorhersagt, auch wenn dies für Zwecke im Zusammenhang mit der von der natürlichen Person ausgeübten Geschäftstätigkeit erfolgt.

5... KI-Systeme zur individuellen Vorhersage von Ordnungswidrigkeiten

Das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung gilt nur für die Vorhersage von Straftaten und schließt damit Ordnungswidrigkeiten, deren Verfolgung grundsätzlich weniger in die Grundrechte und Grundfreiheiten der Menschen eingreift, aus seinem Anwendungsbereich aus.

So würde beispielsweise eine Behörde, die im Rahmen von Verwaltungsuntersuchungen KI zur Bewertung des Risikos nutzt, dass potenzielle Täter geringfügige Zuwiderhandlungen (z. B. Bagatellverkehrsdelikte) oder Unregelmäßigkeiten in Steuer-, Beschaffungs- oder Ausgabenverfahren begehen, nicht in den Anwendungsbereich des Verbots in Artikel 5 Absatz 1 Buchstabe d der KI- Verordnung fallen, auch nicht in Fällen, in denen infolge der Verwaltungsuntersuchungen und -kontrollen Informationen im Hinblick auf eine mögliche Beteiligung der natürlichen Personen an Straftaten erfasst werden könnten.

Ob eine Zuwiderhandlung verwaltungsrechtlicher oder strafrechtlicher Natur ist, kann vom Unionsrecht oder vom nationalen Recht abhängen. Bei Vergehen, die nicht unmittelbar durch das Unionsrecht geregelt sind, unterliegt die nationale Einstufung der Zuwiderhandlung der Kontrolle durch den EuGH, da es sich bei dem Begriff „Straftat“ um einen Begriff handelt, der im EU-Recht eine autonome Bedeutung hat und in allen Mitgliedstaaten einheitlich ausgelegt werden sollte. Der EuGH ist in einem anderen Zusammenhang zu dem Schluss gelangt, dass die Einstufung der Straftaten durch die Mitgliedstaaten in dieser Hinsicht nicht entscheidend ist. Einschlägige Kriterien für die Beurteilung der Art der Zuwiderhandlung (strafrechtlich oder nicht) finden sich in der einschlägigen Rechtsprechung des EuGH und des Europäischen Gerichtshofs für Menschenrechte (EGMR).

Das Zusammenspiel des Verbots in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung mit der Richtlinie zum Datenschutz bei der Strafverfolgung und der DSGVO ist für die Beurteilung der Rechtmäßigkeit der Verarbeitung personenbezogener Daten nach dem Datenschutzrecht der Union wie der DSGVO und der Richtlinie zum Datenschutz bei der Strafverfolgung von Bedeutung. Insbesondere enthält Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung ein spezifisches Verbot, dass Strafverfolgungsbehörden, andere Behörden und private Einrichtungen, die in den Anwendungsbereich des Verbots fallen, das Risiko, dass eine natürliche Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling der natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften bewerten oder vorhersagen. In Bezug auf die Richtlinie zum Datenschutz bei der Strafverfolgung lässt Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung Artikel 11 Absatz 3 der Richtlinie zum Datenschutz bei der Strafverfolgung unberührt, der das Profiling verbietet, das zu einer (direkten oder indirekten) Diskriminierung führt.

Das Zusammenspiel des Verbots in Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung mit der Richtlinie (EU) 2016/343 über die Unschuldsvermutung ist ebenfalls relevant, da beide Rechtsakte – unmittelbar im Fall der Richtlinie und mittelbar im Fall der KI- Verordnung (siehe Erwägungsgrund 42) – mit dem Grundrecht zusammenhängen, als unschuldig zu gelten, bis die Schuld rechtsförmlich nachgewiesen wurde. Während die Richtlinie ab dem Zeitpunkt gilt, an dem eine Person der Begehung einer Straftat verdächtigt oder beschuldigt wird, hat die KI-Verordnung einen breiteren Anwendungsbereich und gilt bereits in der Phase der Vorhersage und Verhütung von Verbrechen, bevor förmliche strafrechtliche Ermittlungen gegen eine bestimmte Person eingeleitet werden, und selbst in Fällen, in denen solche Vorhersagen und Risikobewertungen von in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung fallenden privaten Akteuren und nicht von zuständigen Strafverfolgungsbehörden, einschließlich Justizbehörden, vorgenommen werden.

Selbst in Fällen, in denen das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI- Verordnung nicht gilt, muss betont werden, dass geltendes Unionsrecht und nationales Recht weiterhin uneingeschränkt anwendbar sind, insbesondere in Bezug auf Datenschutz, Strafprozess- und Polizeirecht und Schutzbestimmungen, die den Einsatz von KI-Systemen zur individuellen Verbrechensvorhersage weiter einschränken oder diesbezüglich zusätzliche Bedingungen vorschreiben können.