Artikel 5 Absatz 1 Buchstabe G der KI-Verordnung: Biometrische Kategorisierung für Bestimmte „sensible“ Merkmale

Aus biometrischen Informationen kann eine Vielzahl von Informationen, einschließlich „sensibler“ Informationen, extrahiert, erschlossen oder abgeleitet werden, um Personen zu kategorisieren, wobei dies auch ohne Wissen der betroffenen Personen erfolgen kann. Dies kann zu einer unfairen und diskriminierenden Behandlung führen, z. B. wenn eine Dienstleistung verweigert wird, weil jemand als Angehöriger einer bestimmten Rasse angesehen wird. KI-gestützte Systeme zur biometrischen Kategorisierung, die dem Zweck der Zuordnung natürlicher Personen zu bestimmten Gruppen oder Kategorien dienen und die sich auf Aspekte wie sexuelle oder politische Ausrichtung oder Rasse beziehen, verletzen die Menschenwürde und bergen erhebliche Risiken für andere Grundrechte wie das Recht auf Privatsphäre und das Recht auf Nichtdiskriminierung. Sie sind daher nach Artikel 5 Absatz 1 Buchstabe g der KI- Verordnung verboten.

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung gilt, müssen mehrere kumulative Bedingungen erfüllt sein:

(i) Die Praxis muss das „Inverkehrbringen“, „die Inbetriebnahme für diesen spezifischen Zweck“ oder „die Verwendung“ eines KI-Systems darstellen. (ii) Das System muss ein System zur biometrischen Kategorisierung sein; (iii) es müssen einzelne Personen kategorisiert werden;

(iv) und zwar auf der Grundlage ihrer biometrischen Daten;

(v) um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten.

Damit das Verbot Anwendung finden kann, müssen alle fünf Bedingungen gleichzeitig erfüllt sein. Die erste Bedingung, d. h. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems, wird in Abschnitt 2. analysiert. Das Verbot gilt daher sowohl für Anbieter als auch für Betreiber von KI-Systemen im Rahmen ihrer jeweiligen Verantwortung dafür, solche Systeme nicht in Verkehr zu bringen, in Betrieb zu nehmen oder zu verwenden. Die übrigen Bedingungen für das Verbot werden im Folgenden näher beschrieben und analysiert.

Das Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, auch zu Strafverfolgungszwecken.

8... System zur biometrischen Kategorisierung

Die Kategorisierung einer Person durch ein biometrisches System ist in der Regel ein Verfahren, mit dem festgestellt wird, ob die biometrischen Daten einer einzelnen Person zu einer Gruppe mit einem bestimmten vordefinierten Merkmal gehören. „In diesem Fall kommt es nicht darauf an, die betreffende Person zu identifizieren oder zu verifizieren, sondern die Person automatisch einer bestimmten Kategorie zuzuweisen. Anschließend könnten beispielsweise auf einer Werbetafel je nach Alter oder Geschlecht des Betrachters unterschiedliche Werbungen angezeigt werden.“175 Personen können auch einfach aus statistischen Gründen kategorisiert werden, ohne identifiziert zu werden und ohne das Ziel, sie zu identifizieren.

In Artikel 3 Nummer 40 der KI-Verordnung wird ein „System zur biometrischen Kategorisierung“ definiert als ein KI-System, das dem Zweck dient, natürliche Personen auf der Grundlage ihrer biometrischen Daten bestimmten Kategorien zuzuordnen, sofern es sich um eine Nebenfunktion eines anderen kommerziellen Dienstes handelt und aus objektiven technischen Gründen unbedingt erforderlich ist. Wie in Abschnitt 7.. Buchstabe d erläutert, werden „biometrische Daten“ in Artikel 3 Nummer 34 der KI-Verordnung definiert. Biometrische Daten umfassen insbesondere Verhaltensmerkmale, die auf biometrischen Merkmalen beruhen. Der Anwendungsbereich der biometrischen Kategorisierung schließt eine Kategorisierung nach Kleidung oder Accessoires wie Halstüchern oder Kreuzen sowie Aktivitäten in den sozialen Medien aus.

Die biometrische Kategorisierung kann sich auf Kategorien physischer Merkmale (z. B. Merkmale und Form des Gesichts, Hautfarbe) stützen, auf deren Grundlage Personen bestimmten Kategorien zugeordnet werden. Einige dieser Kategorien können besonders „sensibler Art“ sein oder es kann sich um Merkmale handeln, die durch das Nichtdiskriminierungsrecht der Union geschützt sind, wie z. B. Rasse. Die biometrische Kategorisierung kann jedoch auch auf DNA- oder verhaltensbezogenen Aspekten beruhen, wie z. B. der Analyse von Tastenanschlägen oder des Gangs einer Person.

Um nicht in den Anwendungsbereich der Definition der biometrischen Kategorisierung nach der KI-Verordnung zu fallen, müssen zwei Bedingungen – „eine Nebenfunktion eines anderen kommerziellen Dienstes …und aus objektiven technischen Gründen unbedingt erforderlich“ – kumulativ erfüllt sein.

Nach Erwägungsgrund 16 der KI-Verordnung ist eine reine Nebenfunktion eine Funktion, die untrennbar mit einem anderen kommerziellen Dienst verbunden ist, d. h. die Funktion kann aus objektiven technischen Gründen nicht ohne den Hauptdienst verwendet werden und die Integration dieses Merkmals oder dieser Funktion dient nicht dazu, die Anwendbarkeit der Vorschriften der KI-Verordnung zu umgehen. Beispielsweise sind die folgenden Verwendungen von KI nach Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung zulässig:

– Filter zur Kategorisierung von Gesichtszügen oder Körpermerkmalen, die auf Online- Marktplätzen verwendet werden, damit ein Verbraucher sehen kann, wie ein Produkt an seiner Person aussieht, könnten eine solche Nebenfunktion darstellen, da sie nur für den Hauptdienst verwendet werden können, der im Verkauf eines Produkts besteht. – Filter, die in soziale Netzwerke integriert sind und Gesichtszüge oder Körpermerkmale kategorisieren, um es den Nutzern zu ermöglichen, Bilder oder Videos hinzuzufügen oder zu verändern, können ebenfalls als Nebenfunktion betrachtet werden, da ein solcher Filter nicht ohne den Hauptdienst sozialer Netzwerke verwendet werden kann, der in der Weitergabe von Online-Inhalten besteht.

Beispiele für verbotene Verwendungen sind dagegen:

– Ein KI-System, das Personen, die auf einer Plattform sozialer Medien aktiv sind, nach ihrer angenommenen politischen Ausrichtung kategorisiert, indem es die biometrischen Daten der von ihnen auf die Plattform hochgeladenen Fotos analysiert, um ihnen gezielte politische Nachrichten zu übermitteln. Ein solches System kann zwar nur eine Nebenfunktion zur politischen Werbung darstellen, wäre aber nicht „aus objektiven technischen Gründen unbedingt erforderlich“, weshalb die Bedingungen für den Ausschluss von der Definition der biometrischen Kategorisierung nicht erfüllt sind.

– Ein KI-System, das Personen, die auf einer Plattform sozialer Medien aktiv sind, nach ihrer angenommenen sexuellen Ausrichtung kategorisiert, indem es die biometrischen Daten von auf dieser Plattform ausgetauschten Fotos analysiert und den betreffenden Personen auf dieser Grundlage Werbung anbietet, würde biometrische Kategorisierung im Sinne der KI-Verordnung betreiben. Auch in diesem Fall ist diese „Nebendienstleistung“ nicht unbedingt erforderlich, sodass der Ausschluss vom Verbot nicht gilt.

8... Personen werden auf der Grundlage ihrer biometrischen Daten individuell kategorisiert

Die Verwendung biometrischer Daten zur Kategorisierung natürlicher Personen ist ein wesentliches Element für die Geltung des Verbots (siehe Abschnitte 8.. und 7.. Buchstabe d).

Darüber hinaus müssen, damit das Verbot Anwendung finden kann, natürliche Personen „individuell“ kategorisiert werden. Ist dies nicht der Zweck oder das Ergebnis der biometrischen Kategorisierung, gilt das Verbot nicht, beispielsweise, wenn eine ganze Gruppe ohne Betrachtung der Einzelpersonen kategorisiert wird. Beispiele für eine individuelle Kategorisierung sind unter anderem: – KI-Systeme, die auf der Grundlage von Körpermerkmalen wie Gesicht, Größe oder Haut-, Augen- und Haarfarbe (oder einer Kombination davon) „Attributbewertungen“ (Zahlendemografie) durchführen, z. B. „Alter, Geschlecht, ethnische Zugehörigkeit“. – KI-Systeme, die Einzelpersonen kategorisieren und auf der Grundlage eines bestimmten Merkmals (z. B. einer Narbe unter dem rechten Auge) oder weil sie eine Tätowierung auf ihrer rechten Hand haben, aussondern können.

Diese Anwendungsfälle sind Beispiele für die individuelle biometrische Kategorisierung. Damit diese Beispiele unter das Verbot des Artikels 5 Absatz 1 Buchstabe g der KI-Verordnung fallen, müssen alle Bedingungen dieser Bestimmung erfüllt sein.

8... Um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten

Nach Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung sind nur Systeme zur biometrischen Kategorisierung verboten, mit denen eine begrenzte Anzahl sensibler Merkmale erschlossen oder abgeleitet werden soll: Rasse, politische Einstellungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung.

Zu den nach Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung verbotenen Systemen gehören beispielsweise:

– ein System zur biometrischen Kategorisierung, das für sich in Anspruch nimmt, die Rasse einer Person aus ihrer Stimme ableiten zu können (dies unterscheidet sich von einem System, das Personen nach Haut- oder Augenfarbe kategorisiert, oder einem System, das die DNA der Opfer von Straftaten im Hinblick auf ihre Herkunft analysiert. Diese Systeme wären nicht verboten).

– ein System zur biometrischen Kategorisierung, das für sich in Anspruch nimmt, die religiöse Ausrichtung einer Person aus ihren Tätowierungen oder ihrem Gesicht ableiten zu können.

Das Verbot in Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung gilt nicht für KI- Systeme, die mit der Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, auch zu Strafverfolgungszwecken, befasst sind. Dies wird in Erwägungsgrund 30 der KI-Verordnung näher erläutert.

Die Kennzeichnung oder Filterung biometrischer Datensätze kann von Systemen zur biometrischen Kategorisierung genau zu dem Zweck vorgenommen werden, um zu gewährleisten, dass die Daten alle demografischen Gruppen gleichermaßen repräsentieren und nicht beispielsweise eine bestimmte Gruppe überrepräsentieren. Sind die für das Training eines Algorithmus verwendeten Daten gegenüber einer bestimmten Gruppe verzerrt (d. h. es bestehen aufgrund der Art und Weise, wie die Daten erhoben werden, systematische Unterschiede zwischen den Daten oder die Daten sind aus historischen Gründen verzerrt), kann der Algorithmus diese Verzerrung replizieren, was möglicherweise zu einer unrechtmäßigen Diskriminierung von Personen oder Gruppen von Personen führt. Aus diesem Grund kann eine Kennzeichnung auf der Grundlage bestimmter geschützter sensibler Informationen für hochwertige Daten erforderlich sein, gerade um Diskriminierung zu verhindern. Die KI-Verordnung kann sogar vorschreiben, dass Kennzeichnungsvorgänge den Anforderungen der KI-Verordnung an Hochrisiko-KI-Systeme entsprechen müssen. Eine solche Kennzeichnung oder Filterung biometrischer Daten ist daher ausdrücklich von dem Verbot in Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung ausgenommen. Das Verbot gilt nur, wenn biometrische Daten kategorisiert werden, um Rasse, politische Einstellungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung abzuleiten. Beispiele für zulässiges Kennzeichnen oder Filtern sind:

– die Kennzeichnung biometrischer Daten, um Fälle zu vermeiden, in denen ein Angehöriger einer ethnischen Gruppe eine geringere Chance hat, zu einem Vorstellungsgespräch eingeladen zu werden, weil der Algorithmus auf der Grundlage von Daten „trainiert“ wurde, bei denen diese bestimmte Gruppe schlechter abschneidet, d. h. schlechtere Ergebnisse erzielt als andere Gruppen. – die Kategorisierung von Patienten, bei der Bilder nach ihrer Haut- oder Augenfarbe verwendet werden, kann für die medizinische Diagnose, z. B. Krebsdiagnosen, von Bedeutung sein.

In Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung wird ferner bestimmt, dass das in dieser Bestimmung enthaltene Verbot nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener Datensätze im Bereich der Strafverfolgung gilt. Dies umfasst beispielsweise die Verwendung eines KI-Systems durch eine Strafverfolgungsbehörde, das die Kennzeichnung und Filterung eines Datensatzes ermöglicht, bei dem der Verdacht besteht, dass er Darstellungen sexuellen Kindesmissbrauchs enthält. In einem ersten Schritt würde die Strafverfolgung die Unterstützung von KI-Systemen nutzen, um sensible Daten in Bildern zu erkennen und unkenntlich zu machen. Darüber hinaus könnten das Filtern und Kennzeichnen nach Geschlecht, Alter, biometrischen Daten wie Augen- und Haarfarbe, Narben und Hautzeichnungen helfen, die Opfer zu identifizieren oder Verbindungen zu anderen Fällen herzustellen. Ebenso ist das Filtern und Kennzeichnen der Hände der Täter auf der Grundlage spezifischer Merkmale wie der Länge der Finger oder etwaiger charakteristischer Hautzeichnungen oder Tätowierungen zur Identifizierung möglicher Verdächtiger zulässig.

KI-Systeme, die bestimmungsgemäß für die biometrische Kategorisierung nach sensiblen, gemäß Artikel 9 Absatz 1 DSGVO geschützten Attributen oder Merkmalen auf der Grundlage biometrischer Daten verwendet werden sollen, sofern diese nicht nach dieser Verordnung verboten sind, werden nach dem der KI-Verordnung als hochriskant eingestuft.

Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung schränkt die Möglichkeiten einer rechtmäßigen Verarbeitung personenbezogener Daten nach dem Datenschutzrecht der Union wie der DSGVO, der Richtlinie zum Datenschutz bei der Strafverfolgung und der EU-DSVO weiter ein. Insbesondere schließt Artikel 5 Absatz 1 Buchstabe g der KI- Verordnung die Möglichkeit aus, natürliche Personen auf der Grundlage ihrer biometrischen Daten im Sinne der KI-Verordnung biometrisch zu kategorisieren, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung abzuleiten, vorbehaltlich der vorstehend beschriebenen Ausnahme für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, auch im Bereich der Strafverfolgung. Darüber hinaus steht das Verbot in Artikel 5 Absatz 1 Buchstabe g der KI-Verordnung im Einklang mit Artikel 11 Absatz 3 der Richtlinie zum Datenschutz bei der Strafverfolgung, der ausdrücklich jegliches „Profiling“ verbietet, das zu einer Diskriminierung aufgrund besonderer Kategorien personenbezogener Daten wie Rasse, ethnische Herkunft, sexuelle Ausrichtung, politische Überzeugung oder religiöse Überzeugungen führt.