Artikel 5 Absatz 1 Buchstabe C der KI-Verordnung – Soziale Bewertung

KI-Systeme, die Praktiken der sozialen Bewertung ermöglichen, können für bestimmte Einzelpersonen und Gruppen von Personen zu diskriminierenden und unfairen Ergebnissen führen, einschließlich ihrer Ausgrenzung aus der Gesellschaft, sowie zu Praktiken der sozialen Kontrolle und Überwachung, die mit den Werten der Union unvereinbar sind. Das Verbot der sozialen Bewertung zielt insbesondere darauf ab, das Recht auf Menschenwürde und andere Grundrechte, einschließlich des Rechts auf Nichtdiskriminierung und Gleichstellung, auf Datenschutz und auf Privat- und Familienleben, sowie gegebenenfalls die einschlägigen sozialen und wirtschaftlichen Rechte zu schützen. Ein weiteres Ziel des Verbots besteht darin, die Werte der Union wie Demokratie, Gleichheit (einschließlich des gleichberechtigten Zugangs zu öffentlichen und privaten Dienstleistungen) und Gerechtigkeit zu schützen und zu fördern.

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung gilt, müssen mehrere kumulative Bedingungen erfüllt sein:

(i) Die Praxis muss das „Inverkehrbringen“, die „Inbetriebnahme“ oder die „Verwendung“ eines KI-Systems darstellen.

(ii) Das KI-System muss für die Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf folgender Grundlage bestimmt sein oder verwendet werden:

(a) ihrem Sozialverhalten oder (b) bekannten, abgeleiteten oder vorhergesagten persönlichen Eigenschaften oder Persönlichkeitsmerkmalen.

(iii)Die mithilfe des KI-Systems erstellte soziale Bewertung muss in einem oder mehreren der folgenden Szenarien zu einer Schlechterstellung oder Benachteiligung von Personen oder Gruppen führen oder dazu führen können: (a) in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden, und/oder (b) eine Behandlung, die im Hinblick auf deren soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist.

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung Anwendung finden kann, müssen alle drei Bedingungen gleichzeitig erfüllt sein. Die erste Bedingung, d. h. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems, wurde bereits in Abschnitt 2. analysiert. Das Verbot gilt daher sowohl für Anbieter als auch für Betreiber von KI-Systemen im Rahmen ihrer jeweiligen Verantwortung dafür, solche Systeme nicht in Verkehr zu bringen, in Betrieb zu nehmen oder zu verwenden. Die übrigen Kriterien für das Verbot der sozialen Bewertung werden im Folgenden näher beschrieben und analysiert. 4... „Soziale Bewertung“: Bewertung oder Einstufung auf der Grundlage des sozialen Verhaltens bzw. persönlicher Eigenschaften oder Persönlichkeitsmerkmale über einen bestimmten Zeitraum a) Bewertung oder Einstufung natürlicher Personen oder Gruppen von Personen

Die zweite Bedingung für die Geltung des Verbots nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung besteht darin, dass das KI-System für die Bewertung oder Einstufung natürlicher Personen oder Gruppen von Personen bestimmt ist oder verwendet wird und diesen auf der Grundlage ihres sozialen Verhaltens oder ihrer persönlichen Eigenschaften oder Persönlichkeitsmerkmale Punktzahlen zuweist. Die vom System erzeugte Punktzahl kann verschiedene Formen annehmen, beispielsweise als Zahl (z. B. von 0 bis 1), als Ranking oder als Label.

Das Verbot hat einen breiten Anwendungsbereich und erstreckt sich auf Bewertungs- und Einstufungsverfahren sowohl im öffentlichen als auch im privaten Sektor (siehe Abschnitt 4..). Zugleich betrifft die Bewertung oder Einstufung nur natürliche Personen oder Gruppen natürlicher Personen und schließt somit juristische Personen grundsätzlich aus (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“).

Während der Begriff „Bewertung“ darauf hindeutet, dass eine gewisse Form der Beurteilung oder eines Urteils über eine Person oder Gruppe von Personen beteiligt ist, muss eine einfache Einstufung von Personen oder Gruppen von Personen auf der Grundlage von Merkmalen wie Alter, Geschlecht und Körpergröße nicht unbedingt zu einer Bewertung führen. Der Anwendungsbereich für „Einstufung“ ist daher weiter gefasst als der für „Bewertung“ und kann auch andere Arten von Einstufungen oder Kategorisierungen natürlicher Personen oder Gruppen von Personen auf der Grundlage von Kriterien umfassen, die nicht unbedingt eine bestimmte Beurteilung oder ein bestimmtes Urteil über diese Personen oder Gruppen von Personen und ihre Merkmale oder ihr Verhalten erfordern.

Der Begriff „Bewertung“ bezieht sich auch auf das Konzept des Profiling, das durch die Datenschutz-Gesetzgebung der Union geregelt wird und eine besondere Form der Evaluierung darstellt. In Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung wird zwar nicht unmittelbar auf dieses Konzept oder diese Rechtsvorschriften Bezug genommen, doch können sie auch für das in dieser Bestimmung enthaltene Verbot sowie für andere Verbote in der KI-Verordnung maßgeblich sein, wenn die Bewertung automatisch durch ein KI-System auf der Grundlage personenbezogener Daten erfolgt. Profiling bezeichnet die Nutzung von Informationen über eine Einzelperson (oder eine Gruppe von Einzelpersonen) und die Bewertung ihrer Merkmale oder Verhaltensmuster, um sie in eine bestimmte Kategorie oder Gruppe einzuordnen, um beispielsweise ihre Fähigkeit zur Erfüllung einer Aufgabe, ihre Interessen oder mögliches Verhalten zu analysieren und/oder vorherzusagen. Nach EU-Datenschutzrecht kann das Profiling natürlicher Personen, wenn es durch KI- Systeme durchgeführt wird, daher auch unter Artikel 5 Absatz 1 Buchstabe c der KI- Verordnung fallen.

Beispielsweise prüfte der EuGH in seinem Urteil SCHUFA I ein in Deutschland verwendetes Bewertungssystem zur Prüfung der Kreditwürdigkeit nach Punkten. In diesem Fall war die vom Computerprogramm generierte „Punktzahl“ (Score) ein „Wahrscheinlichkeitswert“ hinsichtlich der Fähigkeit einer Person, Zahlungsverpflichtungen zu erfüllen; dies wurde vom EuGH als „Profiling“ eingestuft. Konkret prognostizierte das System aus bestimmten Merkmalen einer Person … für diese die Wahrscheinlichkeit eines künftigen Verhaltens („Score-Wert“), wie beispielsweise die Rückzahlung eines Kredits. Die Erstellung von Score-Werten („Scoring“) basiert auf der Annahme, dass durch die Zuordnung einer Person zu einer Gruppe anderer Personen mit vergleichbaren Merkmalen, die sich in einer bestimmten Weise verhalten haben, ein ähnliches Verhalten vorausgesagt werden kann. Nach Auffassung des EuGH entsprach diese Tätigkeit der Definition des Begriffs „Profiling“ im Sinne von Artikel 4 Absatz 4 DSGVO. Diese Form des Profiling kann auch als Bewertung von Personen auf der Grundlage ihrer persönlichen Merkmale im Sinne von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung betrachtet werden, die dann verboten ist, wenn sie mit KI-Systemen durchgeführt wird und die anderen Bedingungen für die Anwendung dieser Bestimmung erfüllt sind. b) Über einen bestimmten Zeitraum

Im Verbot in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung wird vorgeschrieben, dass die Bewertung oder Einstufung auf Daten beruht, die sich über „einen bestimmten Zeitraum“ erstrecken. Dies legt nahe, dass sich die Bewertung nicht auf eine einmalige oder spontane Bewertung oder Einstufung mit Daten oder Verhalten aus einem ganz spezifischen individuellen Kontext beschränken sollte. Zugleich ist eine Bewertung dieser Bedingung unter Berücksichtigung aller Umstände des Einzelfalls wichtig, um eine Umgehung des Anwendungsbereichs des Verbots zu verhindern. So führt beispielsweise eine für Migration und Asyl zuständige Behörde ein teilweise automatisiertes Überwachungssystem in Flüchtlingslagern ein, das sich auf eine Reihe von Überwachungsinfrastrukturen, einschließlich Kameras und Bewegungssensoren, stützt. Wenn sich die analysierten Daten über einen bestimmten Zeitraum erstrecken und bestimmte Einzelpersonen (z. B. Migranten) bewertet werden, um beispielsweise festzustellen, ob die Gefahr besteht, dass sie flüchtig werden, würde dies als „über einen bestimmten Zeitraum“ gelten, und das Verbot in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung kann gelten, wenn alle anderen Bedingungen erfüllt sind. c) Auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale

Die nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung verbotenen Praktiken der „Bewertung“ und „Einstufung“ müssen auf der (häufig umfangreichen) KI-gestützten Datenverarbeitung in Bezug auf i) das soziale Verhalten von Einzelpersonen oder Gruppen von Personen oder ii) deren bekannten, abgeleiteten oder vorhergesagten persönlichen Eigenschaften und/oder Persönlichkeitsmerkmalen oder beidem beruhen. Die Daten können direkt von den Personen bereitgestellt oder indirekt erhoben werden, d. h. durch Überwachung erfasst, bei Dritten eingeholt oder durch Schlussfolgerungen aus anderen Informationen abgeleitet werden.

Im ersten Szenario ist „soziales Verhalten“ ein weit gefasster Begriff, der im Allgemeinen Handlungen, Verhaltensweisen, Gewohnheiten, Interaktionen innerhalb der Gesellschaft usw. umfassen kann und in der Regel verhaltensbezogene Datenpunkte aus mehreren Quellen abdeckt. Dies könnte das Verhalten von Einzelpersonen und Gruppen von Einzelpersonen in sozialen und privaten Kontexten wie der Teilnahme an kulturellen Veranstaltungen, der Freiwilligenarbeit usw. umfassen, aber auch soziales Verhalten in geschäftlichen Kontexten wie beispielsweise die Begleichung von Schulden, das Verhalten bei der Inanspruchnahme bestimmter Dienstleistungen sowie die Beziehungen zu öffentlichen und privaten Einrichtungen, der Regierung, der Polizei und dem Gesetz (z. B. ob eine Person die Verkehrsregeln einhält). Daten zum Sozialverhalten aus mehreren Kontexten und Datenpunkten können von ein und derselben Stelle zentral erfasst werden, werden aber meist dezentral erhoben und aus verschiedenen Quellen zusammengeführt, was eine verstärkte Überwachung und Verfolgung von Einzelpersonen umfassen kann (als „Dataveillance“ bezeichnete Datenüberwachung).

Das zweite Szenario besteht darin, dass die Bewertung auf persönlichen Eigenschaften oder Persönlichkeitsmerkmalen beruht, die spezifische soziale verhaltensbezogene Aspekte beinhalten können oder nicht. „Persönliche Eigenschaften“ können eine Vielzahl von Informationen über eine Person umfassen, z. B. Geschlecht, sexuelle Ausrichtung oder sexuelle Merkmale, soziales Geschlecht, Geschlechtsidentität, Rasse, ethnische Zugehörigkeit, familiäre Situation, Anschrift, Einkommen, Haushaltsmitglieder, Beruf, Beschäftigung oder sonstiger Rechtsstatus, Leistung am Arbeitsplatz, wirtschaftliche Lage, finanzielle Liquidität, Gesundheit, persönliche Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Standort oder Bewegung, Verschuldungsgrad, Art des Fahrzeugs usw. „Persönlichkeitsmerkmale“ sollten grundsätzlich als Synonyme persönlicher Eigenschaften ausgelegt werden, können aber auch die Erstellung spezifischer Persönlichkeitsprofile von Einzelpersonen bedeuten. Persönlichkeitsmerkmale können auch auf einer Reihe von Faktoren beruhen und ein Urteil beinhalten, das von den Einzelpersonen selbst oder anderen Personen gefällt oder von KI-Systemen erzeugt werden kann. In der KI-Verordnung werden Persönlichkeitsmerkmale mitunter als „Persönlichkeitsmerkmale und -eigenschaften“ bezeichnet; diese Begriffe sind einheitlich auszulegen.

„Bekannte, abgeleitete oder vorhergesagte“ persönliche Eigenschaften oder Persönlichkeitsmerkmale sind verschiedene Arten von Informationen und personenbezogenen Daten, die unterschieden werden müssen. „Bekannte Merkmale“ beruhen auf Informationen, die dem KI-System als Eingabe übermittelt wurden und bei denen es sich in den meisten Fällen um nachprüfbare Informationen handelt. Demgegenüber beruhen „abgeleitete Merkmale“ auf Informationen, die aus anderen Informationen abgeleitet wurden, wobei die Ableitung üblicherweise von einem KI- System vorgenommen wird. „Vorhergesagte Merkmale“ sind solche, die auf der Grundlage von Mustern mit einer Genauigkeit von weniger als 100 % geschätzt werden. Die Begriffe „abgeleitete“ (oder hergeleitete) Daten werden auch im Zusammenhang mit Profiling im Datenschutzrecht der Union verwendet und können daher als Inspirationsquelle für die Auslegung dieser in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung verwendeten Begriffe dienen. Die Verwendung dieser unterschiedlichen Arten von Daten kann unterschiedliche Auswirkungen auf die Genauigkeit und Fairness der Bewertungspraktiken haben; dies sollte insbesondere dann berücksichtigt werden, wenn die Verarbeitung undurchsichtig ist oder sich auf Datenpunkte stützt, deren Richtigkeit schwieriger nachzuprüfen ist. 4... Die soziale Bewertung muss zu einer Schlechterstellung oder Benachteiligung in nicht miteinander zusammenhängenden sozialen Kontexten und/oder im Hinblick auf das soziale Verhalten oder dessen Tragweite zu einer ungerechtfertigten oder unverhältnismäßigen Behandlung führen a) Ursächlicher Zusammenhang zwischen der sozialen Bewertung und der Behandlung

Damit das Verbot in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung Anwendung finden kann, muss die von oder mithilfe eines KI-Systems erstellte soziale Bewertung zu einer Schlechterstellung oder Benachteiligung der bewerteten Person oder Gruppe von Personen führen. Mit anderen Worten muss die Behandlung die Folge der in der Bewertung erreichten Punktzahl (Score) und diese wiederum die Ursache der Behandlung sein. Ein solcher plausibler ursächlicher Zusammenhang kann auch in Fällen bestehen, in denen die schädlichen Folgen noch nicht eingetreten sind, das KI- System jedoch dazu bestimmt oder geeignet ist, ein solches nachteiliges Ergebnis hervorzurufen. In Anbetracht dessen, dass die verbotene Praxis in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung auch das „Inverkehrbringen“ solcher KI-Systeme umfasst, ist dies besonders relevant.

Nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung muss die vom KI-System vorgenommene Bewertung oder Einstufung nicht die alleinige Ursache für die Schlechterstellung oder Benachteiligung sein. Sie umfasst daher auch KI-gestützte Bewertungspraktiken, die darüber hinaus anderen menschlichen Bewertungen unterliegen oder mit diesen kombiniert werden können. Gleichzeitig müssen die Ausgaben der KI eine hinreichend wichtige Rolle bei der Erzeugung der sozialen Bewertung spielen. Wenn beispielsweise eine Behörde ein KI-System einsetzt, um die Vertrauenswürdigkeit von Personen zu bewerten, und wenn dessen Ausgabe mit einer menschlichen Bewertung zusätzlicher Fakten kombiniert wird, fällt diese KI-gestützte soziale Bewertungspraxis nur dann in den Anwendungsbereich des Verbots, wenn die KI-generierte Bewertung bei der endgültigen Entscheidung eine hinreichend wichtige Rolle spielt, sofern die anderen Bedingungen für eine Schlechterstellung oder Benachteiligung, wie nachstehend beschrieben, erfüllt sind (siehe Abschnitt 4.. Buchstabe b).

Eine Bewertung kann zu einer Schlechterstellung oder Benachteiligung führen, auch wenn sie von einer oder mehreren anderen Organisationen als derjenigen, die die Bewertung verwendet, erstellt wird. Beispielsweise kann eine Behörde eine Bewertung der Kreditwürdigkeit einer natürlichen Person einholen, die von einem anderen auf Kreditwürdigkeits- und Risikobewertungen spezialisierten Unternehmen erstellt wurde und auf aus verschiedenen Quellen stammenden Informationen über die Person und ihr Verhalten beruht.

b) Schlechterstellung oder Benachteiligung in nicht miteinander verbundenen sozialen Zusammenhängen und/oder ungerechtfertigte oder unverhältnismäßige Behandlung

Die letzte Bedingung für die Geltung des Verbots nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung lautet, dass die Verwendung der sozialen Bewertung zu einer Schlechterstellung oder Benachteiligung führen muss (oder führen kann), entweder i. in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden, oder ii. die im Hinblick auf das soziale Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist.

Diese Bedingungen sind alternativ und können auch in Kombination gelten. Eine Einzelfallanalyse ist erforderlich, um zu beurteilen, ob mindestens eine der Bedingungen erfüllt ist, da viele KI-gestützte Einstufungs- und Bewertungsverfahren diese möglicherweise nicht erfüllen und daher nicht in den Anwendungsbereich des Verbots fallen. Dies kann insbesondere dann nicht der Fall sein, wenn die KI-gestützten Bewertungspraktiken einem bestimmten legitimen Bewertungszweck dienen und mit geltendem Rechtsvorschriften auf Unionsebene und nationaler Ebene im Einklang stehen, in denen die Daten festgelegt sind, die für die Bewertung als relevant erachtet werden, und sichergestellt ist, dass die Schlechterstellung oder Benachteiligung gerechtfertigt ist und in einem angemessenen Verhältnis zum sozialen Verhalten steht (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“).

„Benachteiligung“ bedeutet, dass die Person oder Gruppe von Personen infolge der Bewertung weniger günstig behandelt wird als andere, setzt aber nicht zwangsläufig einen besonderen Schaden voraus (beispielsweise bei Bewertungspraktiken, in denen Personen in Fall eines Betrugsverdachts für zusätzliche Kontrollen ausgewählt werden). Demgegenüber setzt eine „Schlechterstellung“ voraus, dass die Person oder Gruppe von Personen durch die Behandlung einen gewissen Schaden oder gewisse Nachteile erlitten hat. Benachteiligung oder Schlechterstellung können auch diskriminieren und nach dem Nichtdiskriminierungsrecht der EU verboten sein oder den Ausschluss bestimmter Einzelpersonen oder Gruppen von Personen beinhalten; dies ist aber keine notwendige Bedingung für die Geltung des Verbots. Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung könnte daher über das Nichtdiskriminierungsrecht der EU hinausgehen, das nur für bestimmte geschützte Gruppen (z. B. Alter, ethnische Herkunft und Rasse, Geschlecht, Religion) gilt.

Szenario 1: Schlechterstellung oder Benachteiligung in sozialen Kontexten, die in keinem Zusammenhang miteinander stehen

Im ersten in Artikel 5 Absatz 1 Buchstabe c Ziffer i der KI-Verordnung beschriebenen Szenario muss die aus der Bewertung resultierende Schlechterstellung oder Benachteiligung in sozialen Kontexten stattfinden, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden. Dies beinhaltet nicht nur, dass die Personen aufgrund der sozialen Bewertung vielleicht benachteiligt oder schlechter gestellt werden, sondern auch, dass die Daten über ihr soziales Verhalten oder ihre bekannten, abgeleiteten oder vorhergesagten persönlichen Eigenschaften oder Persönlichkeitsmerkmale in sozialen Kontexten erzeugt oder erhoben wurden, die in keinem Zusammenhang mit dem Kontext stehen, in dem die Bewertung stattfindet. Die in diesen (nicht mit dem Kontext der Datenerhebung zusammenhängenden) Kontexten erhobenen oder erzeugten Daten müssen anschließend vom KI-System für die Bewertung der Personen verwendet werden, ohne dass ein offensichtlicher Zusammenhang zu dem Zweck der Bewertung oder Einstufung besteht, oder sie müssen in einer Weise verwendet werden, die zu einer allgemeinen Überwachung der Personen oder Gruppen von Personen führt. In den meisten Fällen geschieht dies gegen die berechtigten Erwartungen der Personen und unter Verletzung des Datenschutzrechts der Union und möglicherweise anderer geltender Vorschriften, in denen die Arten von Daten und Quellen festgelegt sind, die als für die Bewertung oder Einstufung relevant und notwendig erachtet werden. Ob diese Bedingung erfüllt ist, ist mittels einer Einzelfallprüfung unter Berücksichtigung des Zwecks der Bewertung und der Zusammenhänge, in denen die Daten erhoben und erzeugt wurden, zu ermitteln.

Beispiele für nach Artikel 5 Absatz 1 Buchstabe c Ziffer i der KI-Verordnung verbotene Schlechterstellungen oder Benachteiligungen in nicht miteinander zusammenhängenden sozialen Zusammenhängen:

– Die nationalen Steuerbehörden setzen bei allen Steuererklärungen in einem Land ein KI-Prognoseinstrument ein, um Steuererklärungen für genauere Kontrollen auszuwählen. Um bestimmte Personen für Kontrollen auszuwählen, verwendet das KI-Tool relevante Variablen wie Jahreseinkommen, Vermögenswerte (Immobilien, Kraftfahrzeuge usw.) sowie Daten über Familienangehörige von Begünstigten, aber auch Daten wie soziale Gewohnheiten der Steuerzahler oder Internetverbindungen, die damit nicht zusammenhängen.

– Ein Sozialamt verwendet zur Schätzung der Betrugswahrscheinlichkeit bei Empfängern von Haushaltszulagen ein KI-System, das sich auf Merkmale stützt, die in sozialen Kontexten ohne offensichtlichen Zusammenhang mit oder Relevanz für die Bewertung von Betrug erhoben oder abgeleitet werden, wie z. B. ein Ehepartner mit einer bestimmten Staatsangehörigkeit oder ethnischen Herkunft, der Besitz eines Internetanschlusses, das Verhalten auf sozialen Plattformen oder die Leistung am Arbeitsplatz usw. Im Gegensatz dazu könnten Daten, die für die Zuweisung der Leistungen relevant sind und rechtmäßig erhoben wurden, zur Ermittlung des Betrugsrisikos herangezogen werden, da Behörden mit der Überprüfung, ob Sozialleistungen korrekt zugewiesen werden, ein legitimes Ziel verfolgen. – Eine öffentliche Arbeitsagentur nutzt ein KI-System, um Arbeitslose auf der Grundlage eines Interviews und einer KI-gestützten Bewertung einzustufen und auf diese Weise festzustellen, ob eine Person staatliche Beschäftigungsförderung erhalten sollte. Diese Bewertung beruht auf relevanten persönlichen Eigenschaften wie Alter und Bildung, aber auch auf Variablen, die aus Daten und Kontexten ohne erkennbaren Zusammenhang mit dem Zweck der Bewertung erhoben oder abgeleitet wurden, wie z. B. Familienstand, Gesundheitsdaten über chronische Krankheiten, Sucht usw. Diese inakzeptablen Bewertungspraktiken lassen sich von rechtmäßigen Praktiken unterscheiden, bei denen im Einklang mit Unionsrecht und nationalem Recht Personen für einen bestimmten Zweck bewertet werden, insbesondere dann, wenn in den betreffenden, im Einklang mit dem EU-Recht stehenden Rechtsvorschriften die Daten angegeben werden, die für die Zwecke der Bewertung als relevant und notwendig erachtet werden (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“). Szenario 2: Benachteiligung oder Schlechterstellung, die im Hinblick auf das soziale Verhalten ungerechtfertigt oder unverhältnismäßig ist

Ein weiteres alternatives Szenario, bei dem nach Artikel 5 Absatz 1 Buchstabe c Ziffer ii der KI-Verordnung ein KI-Bewertungssystem verboten sein kann, besteht darin, dass die sich aus der Bewertung ergebende Behandlung ungerechtfertigt oder im Hinblick auf die Tragweite des sozialen Verhaltens unverhältnismäßig ist. Die Schwere der Auswirkungen und der Eingriff in die Grundrechte der betroffenen Person, die sich aus der sozialen Bewertung ergeben, sollten im Vergleich zur Tragweite des sozialen Verhaltens der betroffenen Person und unter Berücksichtigung des allgemeinen Grundsatzes der Verhältnismäßigkeit bestimmen, ob eine solche Benachteiligung oder Schlechterstellung im Hinblick auf das verfolgte legitime Ziel unverhältnismäßig ist. Dies erfordert eine Einzelfallprüfung, bei der alle relevanten Umstände des Falles sowie allgemeine ethische Erwägungen und Grundsätze für Fairness und soziale Gerechtigkeit im Zusammenhang mit der Bewertung des sozialen Verhaltens und der Verhältnismäßigkeit der benachteiligenden Behandlung berücksichtigt werden sollten. Die Behandlung kann auch „ungerechtfertigt“ sein, da ihr beispielsweise ein legitimes Ziel fehlt. Sektorspezifische Rechtsvorschriften auf Unionsebene oder nationaler Ebene, in denen spezifische Kriterien und Verfahren festgelegt werden, die eine solche potenzielle Schlechterstellung oder Benachteiligung regeln, können im Rahmen dieser Bewertung ebenfalls relevant sein.

Beispiele für Schlechterstellungen oder Benachteiligungen im Vergleich zu nach Artikel 5 Absatz 1 Buchstabe c Ziffer ii der KI-Verordnung verbotenem sozialen Verhalten:

– Eine öffentliche Stelle nutzt ein KI-System, um für die Früherkennung gefährdeter Kinder anhand von Kriterien wie der psychischen Gesundheit und Arbeitslosigkeit der Eltern, aber auch anhand von aus verschiedenen Kontexten abgeleiteten Informationen über das soziale Verhalten der Eltern Familienprofile zu erstellen. Auf der Grundlage der erzielten Bewertung werden Familien für Kontrollen ausgewählt und als „gefährdet“ geltende Kinder werden aus ihren Familien genommen, unter anderem auch in Fällen geringfügiger Übertretungen seitens der Eltern, wie z. B. gelegentlich verpasste Arzttermine oder verhängte Verkehrsstrafen. – Eine Gemeinde nutzt ein KI-System, um die Vertrauenswürdigkeit der Einwohner auf der Grundlage mehrerer Datenpunkte im Zusammenhang mit ihrem sozialen Verhalten in einer Vielzahl von Kontexten zu bewerten. Die auf diese Weise generierte Bewertung wird bei Einwohnern, die als „weniger vertrauenswürdig“ gelten, für die Aufnahme in „schwarze Listen“ verwendet, was die Streichung öffentlicher Zuwendungen, andere schwerwiegende Sanktionen und eine verstärkte Kontrolle oder Überwachung bedeutet. Zu den Faktoren, die in der Bewertung berücksichtigt werden, zählen eine unzureichende Freiwilligentätigkeit und geringfügiges Fehlverhalten beispielsweise in der Form, dass Bücher nicht fristgerecht an die Bibliothek zurückgegeben werden, dass Müll außerhalb des Abfuhrtages auf der Straße stehen gelassen wird oder lokale Steuern verspätet gezahlt werden. Diese inakzeptablen Praktiken der sozialen Bewertung lassen sich von rechtmäßigen Praktiken unterscheiden, bei denen Personen im Einklang mit Unionsrecht und nationalem Recht für einen besonderen, legitimen Zweck bewertet werden, insbesondere dann, wenn diese Rechtsvorschriften sicherstellen, dass eine Schlechterstellung oder Benachteiligung gerechtfertigt ist und in einem angemessenen Verhältnis zum sozialen Verhalten steht (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“).

Beide Alternativen nach Artikel 5 Absatz 1 Buchstabe c Ziffern i und ii der KI- Verordnung können auch gleichzeitig erfüllt werden.

Beispiele für eine ungerechtfertigte oder unverhältnismäßige Behandlung nach Artikel 5 Absatz 1 Buchstabe c Ziffern i und ii der KI-Verordnung: – Eine Steuerbehörde nutzt ein KI-System zur Aufdeckung von Kindergeldbetrug, indem sie Begünstigte, die des Betrugs verdächtigt werden, anhand von Kriterien wie niedriges Einkommen, doppelte Staatsangehörigkeit, soziales Verhalten usw. in Kategorien wie „Vorsatz/grobe Fahrlässigkeit“ einordnet. Auf der Grundlage des Risikowerts wird die Akte eines Begünstigten geprüft, und in vielen Fällen wird ihre Kindergeldleistung eingestellt, sie erhalten eine Aufforderung zur Rückzahlung der erhaltenen Leistungen und kommen nicht mehr für die üblichen Regelungen für die Einziehung von Forderungen in Betracht. Eine solche Bewertung führt bei vielen Familien zu einer hohen Verschuldung und einer ungerechten und diskriminierenden Behandlung sowie Schlechterstellung von Einzelpersonen und Gruppen von Einzelpersonen, wodurch viele Familien in schwere finanzielle Not geraten. – Eine Behörde verwendet ein KI-System zur Betrugsbekämpfung im Verfahren zur Wohngeldgewährung an Studierende, bei dem als Indikatoren unter anderem die Internetverbindungen, der Familienstand oder der Bildungsgrad der Begünstigten als Unterscheidungsfaktoren für das Betrugsrisiko betrachtet werden, wobei diese weder relevant noch gerechtfertigt zu sein scheinen.

– Eine Regierung führt ein umfassendes KI-gestütztes System ein, das die Bürgerinnen und Bürger auf der Grundlage ihres Verhaltens in verschiedenen Lebensbereichen wie sozialen Interaktionen, Online-Aktivitäten, Kaufgewohnheiten und Pünktlichkeit bei der Begleichung von Rechnungen überwacht und einstuft. Menschen mit einer niedrigeren Bewertung müssen damit rechnen, dass sie eingeschränkten Zugang zu öffentlichen Dienstleistungen erhalten, höhere Zinsen auf Kredite zahlen und auf Reisen und bei der Suche nach einer Wohnung oder sogar einem Arbeitsplatz Schwierigkeiten haben. Das System führt zu einer übermäßigen Überwachung von Einzelpersonen und einer nachteiligen Behandlung in Kontexten, die in keinem Zusammenhang mit dem sozialen Verhalten stehen, das für die soziale Bewertung verwendet wird (z. B. werden die Beschäftigungsmöglichkeiten durch Aktivitäten in den sozialen Medien beeinflusst), während gleichzeitig übermäßige Strafen für geringfügige Verstöße (z. B. soziale und finanzielle Nachteile bei relativ geringfügigen Zuwiderhandlungen) verhängt werden.

Diese inakzeptablen Praktiken der sozialen Bewertung lassen sich von rechtmäßigen Praktiken unterscheiden, bei denen Personen für besondere, legitime Zwecke, die diese Bedingungen nicht erfüllen und im Einklang mit Unionsrecht und nationalem Recht stehen, bewertet werden, insbesondere dann, wenn diese Rechtsvorschriften sicherstellen, dass eine Schlechterstellung oder Benachteiligung gerechtfertigt und verhältnismäßig ist und Daten aus entsprechenden sozialen Kontexten verwendet werden (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“).

Das Verbot nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung kann sich auch auf Fälle erstrecken, in denen bestimmten Personen oder Gruppen von Personen Prämien oder Vorzugsbehandlungen gewährt werden, da dies eine ungünstigere Behandlung anderer Einzelpersonen beinhaltet (z. B. bei Programmen zur Beschäftigungsförderung, der (Ent-)Priorisierung für Wohnraum oder Umsiedlung).

4... Unabhängig davon, ob sie von juristischen oder natürlichen Personen bereitgestellt oder genutzt werden

Wie bereits erwähnt, verbietet Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung inakzeptable KI-gestützte Praktiken der sozialen Bewertung unabhängig davon, ob das KI-System oder die Bewertung von juristischen oder natürlichen Personen bereitgestellt bzw. verwendet wird. Während die Bewertung im öffentlichen Sektor aufgrund eines Machtungleichgewichts und einer Abhängigkeit von öffentlichen Dienstleistungen ganz erhebliche Folgen für die Menschen haben kann, können ähnlich schädliche Folgen auch im privaten Sektor auftreten, wo Unternehmen und andere Einrichtungen zunehmend auch solche Bewertungspraktiken anwenden.

Beispiele:

– Eine Versicherungsgesellschaft holt bei einer Bank Auskünfte über Ausgaben und sonstige Finanzinformationen ein, die in keinem Zusammenhang mit der Feststellung der Eignung der Bewerber für eine Lebensversicherung stehen und zur Festlegung der Höhe der für eine solche Versicherung zu zahlenden Prämie herangezogen werden. Ein KI-System analysiert diese Informationen und empfiehlt auf dieser Grundlage, einen Vertrag abzulehnen oder für eine bestimmte Einzelperson oder Kundengruppe höhere Lebensversicherungsprämien festzusetzen.

– Eine private Kreditagentur verwendet ein KI-System, um die Kreditwürdigkeit von Personen zu bestimmen und auf der Grundlage persönlicher Eigenschaften, die in keinem Zusammenhang damit stehen, zu entscheiden, ob eine Einzelperson ein Wohnungsbaudarlehen erhalten sollte.

Diese inakzeptablen Praktiken der sozialen Bewertung lassen sich von rechtmäßigen Praktiken unterscheiden, bei denen Personen für besondere, legitime Zwecke, die diese Bedingungen nicht erfüllen und im Einklang mit Unionsrecht und nationalem Recht stehen, bewertet werden, insbesondere dann, wenn diese Rechtsvorschriften sicherstellen, dass eine Schlechterstellung oder Benachteiligung gerechtfertigt und verhältnismäßig ist und Daten aus entsprechenden sozialen Kontexten verwendet werden (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“).

Im Falle von Kontrollen durch die zuständigen Marktüberwachungsbehörden obliegt es dem Anbieter und dem Betreiber des KI-Systems im Rahmen ihrer jeweiligen Zuständigkeiten nachzuweisen, dass die KI-Praxis rechtmäßig und gerechtfertigt ist, unter anderem mittels Gewährung von Transparenz bezüglich der Funktionsweise des KI-Systems und die Bereitstellung von Informationen über die Arten von Daten und Datenquellen, wobei sicherzustellen ist, dass für die Zwecke der Bewertung oder Einstufung nur Daten verarbeitet werden, die im Zusammenhang mit dem sozialen Kontext stehen, in dem die Bewertung verwendet wird, dass das System wie vorgesehen funktioniert und dass jede daraus resultierende Schlechterstellung oder Benachteiligung gerechtfertigt ist und in einem angemessenen Verhältnis zum sozialen Verhalten steht. Die Einhaltung der geltenden Rechtsvorschriften sowie angemessene und verhältnismäßige Schutzvorkehrungen, die in das System integriert sind und während seines Betriebs angewendet werden, werden dazu beitragen, die Geltung des Verbots zu vermeiden und gleichzeitig die Verwendung von KI-Systemen für die Bewertung oder Einstufung von Personen für rechtmäßige und vorteilhafte Zwecke (z. B. zur Verbesserung der Effektivität von Verfahren, der Dienstqualität, der Sicherheit usw.) zu ermöglichen (siehe Abschnitt 4. „Außerhalb des Anwendungsbereichs“).

Die Einhaltung der Anforderungen an KI-Systeme mit hohem Risiko (z. B. im Bereich wesentlicher öffentlicher Dienste und Leistungen, der Bonitätsbewertung und Kreditwürdigkeitsprüfung, der Migration usw.) kann ebenfalls zur Sicherstellung beitragen, dass KI-Systeme, die für Zwecke der Bewertung und Einstufung in diesen Hochrisikobereichen verwendet werden, keine inakzeptablen Praktiken sozialer Bewertung darstellen, die Anbieter und Betreiber bei der Erfüllung ihrer jeweiligen Verpflichtungen (z. B. in Bezug auf Risikomanagement, Transparenz, Daten- Governance, Folgenabschätzung in Bezug auf die Grundrechte, menschliche Aufsicht, Überwachung usw.) berücksichtigen sollten.

Das Verbot in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung gilt nur für die Bewertung natürlicher Personen oder Gruppen natürlicher Personen und schließt somit grundsätzlich die Bewertung juristischer Personen aus, bei der die Bewertung nicht auf persönlichen Eigenschaften, Persönlichkeitsmerkmalen oder dem sozialem Verhalten von Einzelpersonen beruht, auch wenn in einigen Fällen Einzelpersonen indirekt von der Bewertung betroffen sein können (z. B. alle Bürger in einer Gemeinde bei der Zuweisung von Haushaltsmitteln). Wurden jedoch juristische Personen auf der Grundlage einer Gesamtbewertung evaluiert, in der die Bewertung oder Einstufung einer Gruppe natürlicher Personen nach ihrem sozialen Verhalten, ihren persönlichen Eigenschaften oder Persönlichkeitsmerkmalen zusammengefasst wird, und wirkt sich diese Bewertung unmittelbar auf diese Personen aus (z. B. alle Beschäftigten in einem Unternehmen, Schüler in einer bestimmten Schule, deren Verhalten bewertet wurde), so kann die betreffende Praxis in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung fallen, wenn alle anderen Bedingungen erfüllt sind. Dies hängt von einer Einzelfallprüfung ab.

KI-gestützte soziale Bewertungen als „Wahrscheinlichkeitswert“ und Prognose sind von individuellen Bewertungen durch Nutzer, die die Qualität einer Dienstleistung bewerten (z. B. ein Fahrer auf einer Online-Plattform für Car-Sharing oder ein Gastgeber auf einer Online-Plattform für Unterkünfte) zu unterscheiden. Solche Einstufungen sind die bloße Ansammlung einzelner menschlicher Bewertungen, an der nicht unbedingt KI beteiligt ist, es sei denn, die Daten werden mit anderen Informationen kombiniert und von einem KI-System zur Bewertung oder Einstufung von Einzelpersonen analysiert, wobei alle in Artikel 5 Absatz 1 Buchstabe c der KI- Verordnung genannten Bedingungen erfüllt werden.

Darüber hinaus ist die Bewertung natürlicher Personen nicht immer verboten, sondern nur in den begrenzten Fällen, in denen alle Bedingungen des Artikels 5 Absatz 1 Buchstabe c der KI-Verordnung, wie vorstehend analysiert, kumulativ erfüllt werden. In Erwägungsgrund 31 der KI-Verordnung wird insbesondere darauf hingewiesen, dass dieses Verbot „nicht die rechtmäßigen Praktiken zur Bewertung natürlicher Personen berühren [sollte], die im Einklang mit dem Unionsrecht und dem nationalen Recht zu einem bestimmten Zweck durchgeführt werden“. So stellen beispielsweise Bonitätsprüfungen und Risikobewertungen sowie Antragsprüfungen wesentliche Aspekte der Dienstleistungen von Finanz- und Versicherungsunternehmen dar. Praktiken dieser Art sowie andere legitime Praktiken (d. h. Praktiken zur Verbesserung der Qualität und Effizienz von Dienstleistungen, zur Gewährleistung einer effizienteren Schadenbearbeitung, zur Durchführung spezifischer Mitarbeiterbewertungen, zur Betrugsprävention und -aufdeckung, zur Strafverfolgung oder zur Bewertung des Verhaltens von Nutzern auf Online-Plattformen) sind nicht per se verboten, wenn sie rechtmäßig sind und im Einklang mit der KI-Verordnung und anderen geltenden Rechtsvorschriften der Union sowie nationalen Rechtsvorschriften, die mit dem Unionsrecht im Einklang stehen müssen, durchgeführt werden.

Mit anderen Worten: KI-Systeme, die Einzelpersonen zu dem Zweck bewerten oder einstufen, auf rechtmäßige Weise für einen bestimmten Zweck eine soziale Bewertung zu erstellen, wobei dies in dem Kontext erfolgt, der mit demjenigen Kontext zusammenhängt, in dem die für die Bewertung verwendeten personenbezogenen Daten erhoben wurden, sind nicht verboten, sofern eine aufgrund der Verwendung der Bewertung erfolgende Schlechterstellung oder Benachteiligung gerechtfertigt ist und in einem angemessenen Verhältnis zur Tragweite des sozialen Verhaltens steht.

Werden sektorspezifische Rechtsvorschriften der Union eingehalten, beispielsweise im Bereich der Bonitätsbewertung, der Bekämpfung von Geldwäsche usw., in denen festgelegt ist, welche Art von Daten für den spezifischen legitimen Zweck der Bewertung als relevant und erforderlich verwendet werden können, und mit denen sichergestellt wird, dass die Behandlung gerechtfertigt ist und in einem angemessenen Verhältnis zum sozialen Verhalten steht, kann somit sichergestellt werden, dass die betreffende KI-Praxis nicht in den Anwendungsbereich des Verbots nach Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung fällt.

Beispiele für rechtmäßige Bewertungspraktiken, die im Einklang mit Unionsrecht und nationalem Recht stehen und nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung fallen:

– Nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI- Verordnung fallen Systeme zur finanziellen Bonitätsbewertung, die von Kreditgebern oder Wirtschaftsauskunfteien zur Bewertung der finanziellen Kreditwürdigkeit oder ausstehender Verbindlichkeiten eines Kunden genutzt werden, um eine Einstufung der Bonität oder Feststellung seiner Kreditwürdigkeit vorzunehmen, wobei sie sich auf die Einnahmen und Ausgaben des Kunden und andere finanzielle und wirtschaftliche Umstände stützen, sofern diese für den rechtmäßigen Zweck der Bonitätsbewertung relevant sind und im Einklang mit Verbraucherschutzgesetzen stehen, in denen die Art der Daten und die erforderlichen Schutzvorkehrungen festgelegt sind, um die faire Behandlung von Verbrauchern bei Kreditwürdigkeitsprüfungen zu gewährleisten. – Unternehmen haben ein berechtigtes Interesse daran, Kunden im Hinblick auf Finanzbetrug zu bewerten; diese Praktiken werden von dem Verbot nicht berührt, wenn die Bewertung auf relevanten Daten wie dem Transaktionsverhalten und Metadaten im Zusammenhang mit den Dienstleistungen, dem bisherigen Verhalten und anderen Faktoren beruht, die aus für die Ermittlung des Betrugsrisikos objektiv relevanten Quellen stammen und wenn die Schlechterstellung aufgrund dessen, dass sie eine Folge des betrügerischen Verhaltens ist, gerechtfertigt und verhältnismäßig ist.

– Über Telematikgeräte erhobene Informationen, die zeigen, dass ein Fahrer zu schnell fährt oder keine sichere Fahrweise pflegt, und die von einem Versicherer, der telematikgestützte Versicherungstarife für das hochriskante Fahrverhalten eines Versicherungsnehmers anbietet, genutzt werden, können zu einer Erhöhung der Versicherungsprämien für den betreffenden Versicherungsnehmer genutzt und mit der durch dieses Fahrverhalten erhöhten Unfallgefahr begründet werden, sofern die Erhöhung der Versicherungsprämie in einem angemessenen Verhältnis zum risikobehafteten Verhalten des Fahrers steht.

– Die Erhebung und Verarbeitung von Daten, die für den rechtmäßigen Zweck von KI- Systemen relevant und erforderlich sind (z. B. gesundheits- und Schizophrenie bezogene Daten, die aus verschiedenen Quellen erhoben werden, um für Patienten Diagnosen zu erstellen), fällt insbesondere deshalb nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung, weil sie relevante und notwendige Daten verarbeitet und in der Regel keine ungerechtfertigte Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen mit sich bringt.

– Online-Plattformen, die aus Sicherheitsgründen ein Profiling der Nutzer ihrer Dienste vornehmen und sich dabei auf Daten stützen, die für den Kontext und Zweck der Bewertung relevant sind, fallen nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung, sofern die Bewertung nicht zu einer Schlechterstellung führt, die in keinem angemessenen Verhältnis zur Tragweite des Fehlverhaltens des Nutzers steht.

– KI-gestützte gezielte kommerzielle Werbung fällt nicht in den Anwendungsbereich, wenn sie auf relevanten Daten (z. B. Nutzerpräferenzen) beruht, im Einklang mit den Rechtsvorschriften der Union über Verbraucherschutz, Datenschutz und digitale Dienste erfolgt und nicht zu einer Schlechterstellung oder Benachteiligung führt, die in keinem angemessenen Verhältnis zur Tragweite des sozialen Verhaltens des Nutzers steht (z. B. ausbeuterische und unfaire differenzierte Preisgestaltung). – KI-Systeme, die in Flüchtlingslagern erhobene Daten (z. B. Einhaltung der Verhaltensregeln) für Entscheidungen über Neuansiedlung oder Beschäftigung verwenden, werden von dem Verbot nicht berührt, da diese Daten für die Zwecke der Bewertung relevant sind, vorausgesetzt, dass die Verfahren nach geltendem Migrationsrecht der Union eingehalten werden, um sicherzustellen, dass die Behandlung gerechtfertigt und verhältnismäßig ist.

– KI-gestützte Bewertungen durch eine Online-Einkaufsplattform, die Nutzern mit einer starken Einkaufshistorie und einer niedrigen Retourenquote Privilegien wie ein schnelleres Verfahren bei Retouren oder Rückerstattungen ohne Warenrücksendung bietet, fallen nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung, da die Vorteile gerechtfertigt und verhältnismäßig sind, um positives Verhalten zu belohnen, und da andere Nutzer weiterhin Zugang zum Standardverfahren für Retouren haben.

– Die KI-gestützte Evaluierung und Bewertung von Einzelpersonen durch die Polizei und andere Strafverfolgungsbehörden, die aus unterschiedlichen Kontexten Daten über das soziale Verhalten von Einzelpersonen erheben, fällt nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung, wenn diese Daten für die spezifischen Zwecke der Verhütung, Aufdeckung, Verfolgung und Ahndung von Straftaten relevant sind und die nachteilige Behandlung im Einklang mit den materiell- und verfahrensrechtlichen Bestimmungen der Union und dem nationalen Straf- und Polizeirecht gerechtfertigt und verhältnismäßig ist. In diesem Zusammenhang ist auch das Verbot in Artikel 5 Absatz 1 Buchstabe d der KI- Verordnung zu berücksichtigen, das zusätzliche, konkretere Bedingungen für KI- gestützte Risikobewertungen und Vorhersagen für die Wahrscheinlichkeit, dass eine Person eine Straftat begeht, vorsieht, die nicht ausschließlich auf Profiling oder der Bewertung von persönlichen Merkmalen beruhen dürfen (siehe Abschnitt 5).

Anbieter und Betreiber sollten sorgfältig prüfen, ob für ein bestimmtes KI-gestütztes Bewertungssystem, das bei ihren Tätigkeiten verwendet wird, andere anwendbare Rechtsvorschriften auf Unionsebene oder nationaler Ebene gelten, insbesondere, ob es konkretere Rechtsvorschriften gibt, die strenge Regelungen für die Arten von Daten, die für bestimmte Bewertungszwecke als relevant und erforderlich verwendet werden dürfen, enthalten; ferner sollten sie prüfen, ob es konkretere Vorschriften und Verfahren zur Sicherstellung einer gerechtfertigten und fairen Behandlung gibt.

KI-gestützte Praktiken zur sozialen Bewertung privater Parteien, die in Beziehungen zwischen Unternehmen und Verbrauchern als Unternehmer auftreten, können auch gegen das Verbraucherschutzrecht der Union, d. h. gegen die Richtlinie 2005/29/EG über unlautere Geschäftspraktiken von Unternehmen gegenüber Verbrauchern im Binnenmarkt (im Folgenden „Richtlinie über unlautere Geschäftspraktiken“), verstoßen. Die Richtlinie über unlautere Geschäftspraktiken verbietet Geschäftspraktiken, wenn sie den Erfordernissen der beruflichen Sorgfaltspflicht widersprechen und in Bezug auf das jeweilige Produkt das wirtschaftliche Verhalten des Durchschnittsverbrauchers oder des durchschnittlichen Mitglieds der Gruppe wesentlich beeinflussen oder dazu geeignet sind, es wesentlich zu beeinflussen (Artikel 5 der Richtlinie über unlautere Geschäftspraktiken). Die Bewertungspraktiken können auch als irreführend angesehen werden (Artikel 6-7 der Richtlinie über unlautere Geschäftspraktiken), wobei dies einer Einzelfallprüfung der Auswirkungen der Geschäftspraxis auf die geschäftliche Entscheidung des Verbrauchers unterliegt.

Soziale Bewertungen können, unabhängig davon, ob sie von öffentlichen oder privaten Parteien vorgenommen werden, auch gegen die Datenschutzvorschriften der Union verstoßen, z. B. in Bezug auf die Rechtsgrundlage für die Verarbeitung (Rechtmäßigkeit), die Datenschutzgrundsätze (z. B. Datenminimierung und Erforderlichkeit, Fairness, Transparenz) und gegebenenfalls andere Verpflichtungen, einschließlich der Vorschriften über die ausschließlich automatisierte Entscheidungsfindung im Einzelfall.

Beruht die Bewertung oder Einstufung auf einem der vor Diskriminierung geschützten Gründe (z. B. Alter, Religion, Rasse oder ethnische Herkunft, Geschlecht usw.) oder führt sie direkt oder indirekt zu einer Diskriminierung dieser Gruppen, so unterliegt eine solche Praxis auch dem Nichtdiskriminierungsrecht der Union.

In diesem Zusammenhang kann auch die Verbraucherkreditrichtlinie (EU) 2023/2225127 von Belang sein. Nach Artikel 18 Absatz 3 der Verbraucherkreditrichtlinie muss die Prüfung der Kreditwürdigkeit auf der Grundlage einschlägiger und genauer Informationen über Einkommen und Ausgaben des Verbrauchers sowie anderer finanzieller und wirtschaftlicher Umstände vorgenommen werden, die erforderlich sind und in einem angemessenen Verhältnis zu der Art, der Laufzeit, der Höhe und den Risiken des Kredits für den Verbraucher stehen. Zu diesen Informationen können Belege über Einkommen oder andere Quellen für die Rückzahlung, Informationen über Vermögenswerte und Verbindlichkeiten oder Informationen über andere finanzielle Verpflichtungen zählen. Die Verbraucherkreditrichtlinie verbietet ausdrücklich die Aufnahme besonderer Kategorien personenbezogener Daten in die Informationen und die Einholung von Informationen aus sozialen Netzwerken. In den Leitlinien der Europäischen Bankenaufsichtsbehörde für die Kreditvergabe und Überwachung werden die für die Kreditwürdigkeitsprüfung relevanten Informationen näher spezifiziert. Die in diesen sektorspezifischen Gesetzen enthaltene Spezifizierung der Art der Daten für besondere Bewertungszwecke zählt zu den relevanten Erwägungen, die bei der Feststellung, ob eine Praxis in den Anwendungsbereich des Verbots in Artikel 5 Absatz 1 Buchstabe c der KI-Verordnung fällt, zu berücksichtigen sind.

Ebenso sollten KI-Systeme, die für die Bewertung und Einstufung von Personen zum Zwecke der Bekämpfung von Geldwäsche und Terrorismusfinanzierung verwendet werden, auch den einschlägigen Rechtsvorschriften der Union in diesen Bereichen entsprechen.