Artikel 5 Absatz 1 Buchstaben A und B der KI-Verordnung – Schädliche Manipulation, Täuschung und Ausbeutung

Der Grundgedanke dieser Verbote besteht darin, die Autonomie und das Wohlergehen des Einzelnen vor manipulativen, täuschenden und ausbeuterischen KI-Praktiken zu schützen, die die Autonomie, Entscheidungsfindung und freie Auswahl eines Einzelnen untergraben und beeinträchtigen können. Die Verbote zielen darauf ab, das Recht auf Menschenwürde (Artikel 1 der Charta) zu schützen, das auch die Grundlage aller Grundrechte bildet und die individuelle Autonomie als wesentlichen Aspekt umfasst. Die Verbote zielen insbesondere darauf ab, Manipulation und Ausbeutung durch KI- Systeme zu verhindern, die Einzelpersonen auf bloße Instrumente zur Erreichung bestimmter Ziele beschränken, und um diejenigen zu schützen, die am schutzbedürftigsten und anfälligsten für schädliche Manipulation und Ausbeutung sind. Die Verbote von in erheblichem Maße schädlichen manipulativen, täuschenden und ausbeuterischen KI-Praktiken stehen voll und ganz im Einklang mit den umfassenderen Zielen der KI-Verordnung, vertrauenswürdige und auf den Menschen ausgerichtete KI- Systeme zu fördern, die sicher, transparent und fair sind, der Menschheit dienen und mit dem Vorrang menschlichen Handelns und den Werten der EU im Einklang stehen.

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung gilt, müssen mehrere kumulative Bedingungen erfüllt sein:

(i) Die Praxis muss das „Inverkehrbringen“, die „Inbetriebnahme“ oder die „Verwendung“ eines KI-Systems darstellen.

(ii) Das KI-System muss unterschwellige Beeinflussung (außerhalb des Bewusstseins einer Person) oder absichtlich manipulative oder täuschende Techniken einsetzen. (iii)Die vom KI-System eingesetzten Techniken haben das Ziel oder die Wirkung, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern. Die Veränderung muss ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigen und zu einer Entscheidung führen, die die Person oder die Gruppe von Personen andernfalls nicht getroffen hätte. (iv) Das veränderte Verhalten muss dieser Person, einer anderen Person oder einer Gruppe von Personen einen erheblichen Schaden zufügen oder mit hinreichender Wahrscheinlichkeit einen solchen Schaden zufügen.

Damit das Verbot gilt, müssen alle vier Bedingungen gleichzeitig erfüllt sein, und es muss ein plausibler Kausalzusammenhang zwischen den eingesetzten Techniken, der wesentlichen Veränderung des Verhaltens der Person und dem erheblichen Schaden, der durch dieses Verhalten verursacht wurde oder nach vernünftigem Ermessen wahrscheinlich verursacht wird, bestehen.

Die erste Bedingung, d. h. das „Inverkehrbringen“, die „Inbetriebnahme“ oder die „Verwendung“ eines KI-Systems, wurde bereits analysiert. Das Verbot gilt daher sowohl für Anbieter als auch für Betreiber von KI-Systemen im Rahmen ihrer jeweiligen Verantwortung dafür, solche Systeme nicht in Verkehr zu bringen, in Betrieb zu nehmen oder zu verwenden. In den nächsten Abschnitten werden die anderen drei Bedingungen behandelt.

3... Unterschwellige, absichtlich manipulative oder täuschende Techniken

Nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung sind drei alternative Arten manipulativer Techniken verboten: a) unterschwellige Techniken außerhalb des Bewusstseins einer Person, b) bewusst manipulative Techniken und c) täuschende Techniken. Um unter Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung zu fallen, muss ein KI-System eine oder mehrere dieser Techniken einsetzen. a) Unterschwellige Techniken

Die KI-Verordnung enthält zwar keine Definition für „unterschwellige Techniken“, aber in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung ist festgelegt, dass unterschwellige Techniken außerhalb (unter- oder oberhalb) der bewussten Wahrnehmung wirken. Da unterschwellige Techniken und ihre Funktionsweise ihrem Wesen nach verdeckt sind, umgehen sie die rationale Abwehr einer Person gegen Manipulation und sind geeignet, Entscheidungen zu beeinflussen, ohne dass die Person dies bewusst wahrnimmt, was erhebliche ethische Bedenken hervorruft und die Autonomie, Handlungsfähigkeit und freie Auswahl des Einzelnen beeinträchtigt.

Die unterschwelligen Techniken müssen in der Lage sein, das Verhalten in einer Weise zu beeinflussen, in der der Person ein solcher Einfluss sowie dessen Funktionsweise oder dessen Auswirkungen auf ihre Entscheidungsfindung oder ihre Werte- und Meinungsbildung nicht bewusst wird. Insbesondere können unterschwellige Techniken Reize verwenden, die über Ton- und Bildmedien oder haptische Medien übermittelt werden und zu kurz oder subtil sind, um erkannt zu werden, und die in anderen Wirtschaftszweigen traditionell bekannt und verboten sind, wie beispielsweise in der Medienwerbung. Diese Reize können, auch wenn sie nicht bewusst wahrgenommen werden, immer noch vom Gehirn verarbeitet werden und beeinflussen das Verhalten. Beispiele für unterschwellige Techniken (die nicht unbedingt verboten sind, sofern nicht alle anderen in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung aufgeführten Bedingungen erfüllt sind):

– Unterschwellige visuelle Botschaften: Ein KI-System kann Bilder oder Texte zeigen, die während des Abspielens eines Videos kurz aufblitzen und technisch gesehen sichtbar sind, aber zu schnell aufblitzen, um von der bewussten Wahrnehmung registriert zu werden, aber dennoch in der Lage sind, Einstellungen oder Verhaltensweisen zu beeinflussen.

– Unterschwellige auditive Botschaften: Ein KI-System kann Töne oder verbale Botschaften in geringer Lautstärke einsetzen oder durch andere Töne maskieren, wodurch der Zuhörer ohne bewusste Wahrnehmung beeinflusst wird. Diese Töne liegen technisch gesehen noch innerhalb des Hörbereichs, werden aber vom Zuhörer aufgrund ihrer Subtilität oder Maskierung durch andere Töne nicht bewusst wahrgenommen. - Unterschwellige haptische Reize: Ein KI-System kann subtile physische Empfindungen anregen, die unbewusst wahrgenommen werden und in der Lage sind, emotionale Zustände oder Verhaltensweisen zu beeinflussen.

– Hinweisreize unterhalb der Sichtbarkeits- oder Hörbarkeitsgrenze: Ein KI- System kann Anreize setzen, die nicht nur subtil oder maskiert sind, sondern in einer Weise dargeboten werden, die sie unter normalen Bedingungen für die menschlichen Sinne völlig unerkennbar macht, beispielsweise visuelle Reize (z. B. aufblitzende Bilder), die so schnell aufblitzen, dass sie das menschliche Auge nicht bewusst erkennen kann, oder das Abspielen von Tönen in einer für das menschliche Ohr nicht wahrnehmbaren Lautstärke.

– Eingebettete Bilder: Ein KI-System kann Bilder in anderen visuellen Inhalten verbergen, die nicht bewusst wahrgenommen werden, aber dennoch vom Gehirn verarbeitet werden und das Verhalten beeinflussen können.

– Fehlleitung: Ein KI-System kann die Aufmerksamkeit auf bestimmte Anreize oder Inhalte lenken, um das Erkennen anderer Inhalte zu verhindern, wobei häufig kognitive Verzerrungen und Schwachstellen in der Aufmerksamkeit ausgenutzt werden. – Zeitliche Manipulation: Ein KI-System kann die Zeitwahrnehmung in den Interaktionen der Nutzer verändern und so deren Verhalten beeinflussen und zu Ungeduld und Abhängigkeit führen.

Die rasche Entwicklung der KI und damit zusammenhängender Technologien wie Big- Data-Analytik, Neuro-Technologien, Gehirn-Computer-Schnittstellen und virtuelle Realität erhöht das Risiko raffinierter unterschwelliger Manipulation und ihre Fähigkeit, menschliches Verhalten mit Mitteln des Unterbewusstseins wirksam zu beeinflussen. KI kann sich auch auf neu entstehende Maschinen-Gehirn-Schnittstellen und fortgeschrittene Techniken wie Dream-Hacking und Gehirn-Spyware erstrecken. Zum Beispiel kann ein Spiel KI-gestützte Neuro-Technologien und Maschine-Gehirn- Schnittstellen einsetzen, die es Nutzern ermöglichen, ein Spiel (teilweise) mittels Headsets, die die Hirnaktivität erkennen, zu steuern. KI kann eingesetzt werden, um das Gehirn des Nutzers heimlich und ohne dass er sich dessen bewusst wird zu trainieren, um in einer stark übergriffigen Weise aus den neuronalen Daten Informationen preiszugeben oder abzuleiten, die sensibel sein können (z. B. persönliche Bankinformationen, intime Informationen usw.), sodass ihnen erheblichen Schaden zugefügt werden kann. Das Verbot in Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung zielt nur auf Fälle ab, in denen es zu solchen in erheblichem Umfang schädlichen unterschwelligen Manipulationen kommt, und nicht generell auf Anwendungen mit Maschinen-Gehirn-Schnittstellen, wenn diese auf sichere Weise und unter Achtung der Privatsphäre und der Autonomie des Einzelnen konzipiert sind. b) Absichtlich manipulative Techniken

„Absichtlich manipulative Techniken“ werden in der KI-Verordnung nicht definiert, sollten jedoch als Techniken verstanden werden, die darauf ausgelegt sind oder objektiv darauf abzielen, das Verhalten einer Person in einer Weise zu beeinflussen, zu verändern oder zu kontrollieren, die ihre individuelle Autonomie und freie Auswahl untergräbt. Manipulative Techniken sind in der Regel so konzipiert, dass kognitive Verzerrungen, psychische Vulnerabilitäten oder situationsbezogene Faktoren ausgenutzt werden, die Einzelpersonen anfälliger für Beeinflussung machen. Aufgrund ihrer Anpassungsfähigkeit sind KI-Systeme auch in der Lage, auf die individuellen Umstände oder Vulnerabilitäten einer Person zu reagieren und die Wirksamkeit und die Auswirkungen von Manipulationen entsprechend zu erhöhen. Die manipulative Fähigkeit ist zwar ein wichtiges Element für die Bestimmung der Beschaffenheit der Technik, es muss aber nicht unbedingt der Fall sein, dass der Anbieter oder Betreiber bzw. das die manipulativen Techniken einsetzende System selbst auch beabsichtigt, Schaden zu verursachen.

Auch wenn nicht alle manipulativen Techniken außerhalb der bewussten Wahrnehmung wirken, trifft dies auf viele Techniken zu und es kann zu Überschneidungen mit unterschwelligen Techniken kommen, da solche Techniken letztlich ebenfalls manipulative Wirkungen haben. In Erwägungsgrund 29 der KI- Verordnung wird klargestellt, dass das Verbot in Artikel 5 Absatz 1 Buchstabe a auch Techniken erfasst, bei denen Einzelpersonen, selbst wenn sie sich der versuchten Einflussnahme bewusst sind, möglicherweise nicht in der Lage sind, deren manipulative Wirkung zu kontrollieren oder ihr zu widerstehen. Infolgedessen werden Einzelpersonen zu Verhaltensweisen und Entscheidungen beeinflusst oder gedrängt, die sie normalerweise nicht getroffen hätten, wenn sie den manipulativen Techniken nicht in einem Ausmaß ausgesetzt wären, das ihre individuelle Autonomie oder freie Auswahl untergräbt.

Ein Beispiel für absichtlich manipulative Techniken ist die sensorische Manipulation, bei der ein KI-System im Hintergrund Töne oder Bilder einsetzt, die zu Stimmungsveränderungen wie zunehmenden Angstzuständen und psychischen Belastungen führen, die das Verhalten der Nutzer so stark beeinflussen, dass erheblicher Schaden verursacht wird.

Ein weiteres Beispiel ist die personalisierte Manipulation, bei der ein KI-System, das auf der Grundlage der personenbezogenen Daten einer Person sehr überzeugende, auf die betreffende Person zugeschnittene Botschaften erstellt oder andere individuelle Vulnerabilitäten ausnutzt, das Verhalten oder die Entscheidungen dieser Person so stark beeinflusst, dass ein erheblicher Schaden entsteht.

Das Verbot absichtlich manipulativer Techniken erstreckt sich auch auf KI-Systeme, die Einzelpersonen manipulieren, ohne dass ein Mensch dies beabsichtigt. Nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung sind KI-Systeme, die bestimmte Techniken einsetzen oder ein spezifisches manipulatives Verhalten zeigen, verboten. Daher könnte es auch das KI-System sein, das solche manipulativen Techniken einsetzt, und nicht der Anbieter oder der Betreiber, der das System auf diese Weise konzipiert oder genutzt hat.

Beispielsweise kann ein KI-System, unabhängig davon, ob der Anbieter dies beabsichtigt, manipulative Techniken lernen, weil die Daten, mit denen es trainiert wird, zahlreiche Beispiele für manipulative Techniken enthalten oder weil bestärkendes Lernen aus menschlichem Feedback durch manipulative Techniken „ausgetrickst“ werden kann.

Ist das manipulative Verhalten des Systems dagegen nur von untergeordneter Bedeutung, sollte nicht davon ausgegangen werden, dass das System absichtlich manipulative Techniken einsetzt, solange der Anbieter in Fällen, in denen mit erheblichen Beeinträchtigungen zu rechnen ist, geeignete Maßnahmen zur Prävention und Risikominderung getroffen hat. (siehe Abschnitt 3.. Buchstabe c). c) Täuschende Techniken

In der KI-Verordnung werden „täuschende Techniken“ nicht definiert. In Erwägungsgrund 29 der KI-Verordnung wird klargestellt, dass es sich hierbei um Techniken handelt, die die Autonomie, die Entscheidungsfindung oder die freie Auswahl einer Person in einer Weise untergraben oder beeinträchtigen, die sich ihrer bewussten Wahrnehmung entzieht oder deren Einfluss, selbst wenn sie sich dessen bewusst ist, sie nicht kontrollieren oder ihr widerstehen kann. Unter „täuschenden Techniken“ von KI-Systemen sind Techniken zu verstehen, die die Darstellung falscher oder irreführender Informationen mit dem Ziel oder der Wirkung beinhalten, Einzelpersonen zu täuschen und ihr Verhalten in einer Weise zu beeinflussen, die ihre Autonomie, Entscheidungsfindung und freie Auswahl untergräbt.

In diesem Zusammenhang sollte das Zusammenspiel zwischen dem Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung und den Pflichten des Betreibers nach Artikel 50 Absatz 4 der KI-Verordnung, Deepfakes und bestimmte KI-generierte Textveröffentlichungen zu Angelegenheiten öffentlichen Interesses zu kennzeichnen, sowie der Pflicht des Anbieters zur Sicherstellung, dass mit Menschen interagierende KI-Systeme so konzipiert sind, dass sie Menschen darüber informieren, dass sie mit KI, und nicht mit einem Menschen, interagieren, geklärt werden. Eine solche sichtbare Offenlegung stellt eine Risikominderungsmaßnahme dar, die auch durch Gestaltungsmerkmale ermöglicht werden sollte, die in das vom Anbieter bereitgestellte KI-System eingebettet sind; hierzu zählen auch technische Maßnahmen, die die Erkennung KI-generierter und manipulierter Inhalte ermöglichen. Die sichtbare Kennzeichnung von „Deepfakes“ und Chatbots verringert das Risiko der Täuschung, das entstehen kann, sobald die KI-generierten Inhalte in der Öffentlichkeit verbreitet werden; ferner verringert sie das Risiko schädlicher Verzerrungseffekte auf die Meinungs- und Überzeugungsbildung sowie das Verhalten des Einzelnen.

Demgegenüber hat das Verbot in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung einen viel engeren Anwendungsbereich. Es kann sich beispielsweise auf Fälle erstrecken, in denen ein Chatbot oder ein täuschender KI-generierter Inhalt falsche oder irreführende Informationen mit dem Ziel oder der Wirkung präsentiert, Einzelpersonen zu täuschen und ihr Verhalten in einer Weise zu verändern, die nicht eingetreten wäre, wenn die Personen nicht der Interaktion mit dem KI-System oder dem täuschenden KI- generierten Inhalt ausgesetzt gewesen wären, insbesondere dann, wenn dies nicht sichtbar offengelegt wurde.

Wie bei absichtlich manipulativen Techniken kann sich das Verbot täuschender Techniken auch auf KI-Systeme erstrecken, die Einzelpersonen täuschen, ohne dass ein Mensch dies beabsichtigt (siehe Abschnitt 3.. Buchstabe b)). So können KI-Systeme unabhängig davon, ob ihre Anbieter ein solches Ergebnis beabsichtigen, einfach deshalb täuschende Techniken erlernen, weil dies ihre Leistung für die Aufgabe, für die sie entwickelt wurden, z. B. durch verstärktes Lernen, steigert. Ein Beispiel für täuschende Techniken, die von KI eingesetzt werden können, ist ein KI-Chatbot, der sich mittels synthetischer Stimme als ein Freund einer Person oder ein Verwandter ausgibt und versucht vorzutäuschen, dass er diese Person ist, und dabei Online-Betrug und erhebliche Schäden verursacht.

Ein weiteres Beispiel ist ein KI-System, das zu erkennen lernt, wann es bewertet wird, und unerwünschtes Verhalten vorübergehend einstellt, um dieses Verhalten wieder aufzunehmen, sobald der Bewertungszeitraum vorbei ist. Ein solches täuschendes Verhalten ist besonders gefährlich, da es sich jeder externen menschlichen Aufsicht über das System entzieht; es kann verboten werden, wenn die Wahrscheinlichkeit besteht, dass es erhebliche Schäden verursacht.

Demgegenüber kann bei einem generativen KI-System, das zufällig falsche oder irreführende Informationen präsentiert und „halluziniert“66, in Anbetracht der Einschränkungen und des Stands der Technik generativer KI nicht davon ausgegangen werden, dass sie täuschende Techniken im Sinne von Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung einsetzt. Dies kann insbesondere dann der Fall sein, wenn der Anbieter des Systems die Nutzer ordnungsgemäß über die Beschränkungen des Systems informiert und geeignete Schutzmechanismen in das System integriert hat, um Ergebnisse dieser Art auf ein Minimum zu beschränken, und sofern das System weder für sensible Kontexte bestimmt ist noch eingesetzt wird (z. B. Gesundheit, Bildung, Wahlen), in denen mit schwerwiegenden schädlichen Folgen zu rechnen ist (siehe auch die Erwägungen in Abschnitt 3.. Buchstabe c).

d) Kombination von Techniken

Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung gilt für unterschwellige, absichtlich manipulative oder täuschende Techniken oder für Kombinationen solcher Techniken, die eine kombinierte Wirkung entfalten können. Wie bereits erwähnt, können absichtlich manipulative Techniken auch unterschwelliger Natur sein, wenn sie außerhalb der bewussten Wahrnehmung wirken.

Darüber hinaus kann die Anwendung einer Kombination aus absichtlich manipulativen und täuschenden Techniken das Verhalten von Einzelpersonen erheblich beeinflussen und sie dazu veranlassen, Entscheidungen auf der Grundlage unbewusster Manipulationen und falscher Überzeugungen zu treffen. Diese Kombination kann zu einer Rückkopplungsschleife führen, bei der Einzelpersonen die erhaltenen Informationen mit geringerer Wahrscheinlichkeit infrage stellen oder kritisch bewerten, da die manipulativen Elemente bereits den Grundstein für ihre kognitiven Verzerrungen und emotionalen Reaktionen gelegt haben.

3... Mit dem Ziel oder der Wirkung, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern

Eine dritte Voraussetzung für das Verbot gemäß Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung ist, dass die eingesetzte unterschwellige, absichtlich manipulative oder täuschende Technik „das Ziel oder die Wirkung“ haben muss, „das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern“. Werden die Autonomie und die freie Auswahl einer Person untergraben, so beinhaltet dies wesentliche Auswirkungen und nicht nur einen geringfügigen Einfluss. Absicht ist jedoch keine notwendige Voraussetzung, da Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung auch Praktiken erfasst, die nur die „Wirkung“ haben können, eine wesentliche Veränderung zu verursachen. Es sollte ein plausibler/hinreichend wahrscheinlicher ursächlicher Zusammenhang zwischen der potenziellen wesentlichen Veränderung des Verhaltens und der unterschwelligen, absichtlich manipulativen oder täuschenden Technik des KI-Systems bestehen.

a) Zum Begriff der „wesentlichen Veränderung des Verhaltens“

Der Begriff der „wesentlichen Veränderung des Verhaltens“ einer Person oder einer Gruppe von Personen ist von zentraler Bedeutung für Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung. Dabei handelt es sich um den Einsatz unterschwelliger, absichtlich manipulativer oder täuschender Techniken, die geeignet sind, das Verhalten von Menschen in einer Weise zu beeinflussen, die ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt, wodurch sie dazu veranlasst werden, sich in einer Weise zu verhalten oder eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätten.

„Deutliche Beeinträchtigung“ bezieht sich auf eine erheblich eingeschränkte Fähigkeit, fundierte, autonome Entscheidungen zu treffen, wodurch Einzelpersonen dazu veranlasst werden, sich in einer Weise zu verhalten oder eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätten. Sie geht über geringfügige oder vernachlässigbare Auswirkungen hinaus und führt zu einer erheblichen Veränderung oder Behinderung der Entscheidungsfindung und der freien Auswahl, auch in Bezug auf die Meinungs- und Überzeugungsbildung. Dies deutet darauf hin, dass eine „wesentliche Veränderung“ einen gewissen Grad an Nötigung, Manipulation oder Täuschung beinhaltet, der über rechtmäßige Überzeugungsarbeit hinausgeht, welche nicht in den Anwendungsbereich des Verbots fällt (siehe Abschnitt 3..).

Eine „fundierte Entscheidung“ erfordert das Verständnis und die Kenntnis der einschlägigen Informationen, einschließlich der verfügbaren Optionen, der Risiken und Vorteile jeder Wahl, der möglichen Auswirkungen des KI-Systems auf ihr Verhalten und gegebenenfalls anderer kontextbezogener Informationen, die für die Entscheidungsfindung oder das Verhalten der Person wichtig sind.

Hinsichtlich der Auslegung des Begriffs der „wesentlichen Veränderung des Verhaltens“ kann das Verbraucherschutzrecht der Union, insbesondere die Richtlinie 2005/29/EG (Richtlinie über unlautere Geschäftspraktiken) eine valide Inspirationsquelle darstellen. Die Richtlinie über unlautere Geschäftspraktiken verbietet verschiedene unlautere, irreführende und aggressive Geschäftspraktiken (Artikel 5 bis 9 der Richtlinie über unlautere Geschäftspraktiken), die Verbraucher zu geschäftlichen Entscheidungen veranlassen können, die sie andernfalls nicht getroffen hätten. Laut EuGH und laut den Leitlinien der Kommission zur Richtlinie über unlautere Geschäftspraktiken muss nicht nachgewiesen werden, dass das wirtschaftliche Verhalten eines Verbrauchers verändert wurde, sondern es genügt die Feststellung, dass eine Geschäftspraxis „wahrscheinlich“ die geschäftliche Entscheidung eines Durchschnittsverbrauchers beeinflusst (d. h. dass sie dazu geeignet ist). Der EuGH hat auch betont, dass selbst zutreffende Informationen irreführend sein können, wenn sie in einer Weise dargestellt werden, die den Entscheidungsprozess des Verbrauchers nachteilig verändert. Die nationalen Durchsetzungsbehörden haben die Aufgabe, die konkreten Sachverhalte und Umstände jedes Einzelfalls (in concreto) zu untersuchen und die potenziellen Auswirkungen der Praxis auf den Entscheidungsprozess des Durchschnittsverbrauchers (in abstracto) zu bewerten. Zu diesem Zweck müssen sie den Standpunkt des „Durchschnittsverbrauchers“ einnehmen; dieser entspricht der vom EuGH entwickelten Referenzgröße, die nun in die Richtlinie über unlautere Geschäftspraktiken aufgenommen wurde.

Im Zusammenhang mit dem Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung müssen die Marktüberwachungsbehörden auch die konkreten Sachverhalte und Umstände jedes Einzelfalls untersuchen und beurteilen, ob die von dem KI-System eingesetzte unterschwellige, absichtlich manipulative oder täuschende Technik geeignet ist, die Entscheidungsfindung, die individuelle Autonomie und die freie Auswahl einer „durchschnittlichen“ Person innerhalb einer Zielgruppe deutlich zu beeinträchtigen, wenn das System eine Gruppe von Personen in einer Weise beeinträchtigt, die mit hinreichender Wahrscheinlichkeit einen erheblichen Schaden verursacht. Eine solche Auslegung erscheint gerechtfertigt, da die KI-Verordnung die Richtlinie über unlautere Geschäftspraktiken ergänzen soll und einheitlich angewendet werden muss. Da in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung auch auf die Möglichkeit Bezug genommen wird, das „Verhalten einer natürlichen Person“ zu verändern, können dann, wenn sich die Einschätzung der Sichtweise einer „durchschnittlichen“ Person in bestimmten Kontexten als schwierig oder ineffektiv erweist (weil es sich beispielsweise um maßgeschneiderte oder „personalisierte“ Manipulationen oder schädliche Auswirkungen auf bestimmte schutzbedürftige Gruppen handelt), bestimmte Fälle auch aus der Sicht bestimmter Personen geprüft werden, indem bewertet wird, inwieweit ein KI-System, das unterschwellige, absichtlich manipulative oder täuschende Techniken einsetzt, in konkreten Fällen deren individuelle Autonomie untergraben kann und inwieweit ein erheblicher Schaden eingetreten ist oder wahrscheinlich eintreten wird.

b) Szenario 1: Verbotene KI-Systeme „mit dem Ziel“, das Verhalten wesentlich zu verändern

Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung gilt für KI-Systeme, die die oben genannten Techniken einsetzen und als erstes Szenario das Ziel haben, „das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern“. Ein solches Ziel kann vom Anbieter oder Betreiber des KI-Systems oder vom System selbst im Rahmen der impliziten Ziele, die es verfolgen kann, verfolgt werden 73. Dieses Ziel sollte von der „Zweckbestimmung“ des KI-Systems unterschieden werden (Artikel 3 Nummer 12 der KI-Verordnung). Selbst wenn dies vom Anbieter beabsichtigt ist, ist das manipulative Ziel in den meisten Fällen nicht der Verwendungszweck, für den das System angeboten wird, und es ist häufig weder transparent noch wird es als solches in den vom Anbieter bereitgestellten Informationen (z. B. in der Betriebsanleitung, in Werbe- oder Verkaufsmaterialien und Erklärungen sowie in der technischen Dokumentation) angegeben.

Beispielsweise ist ein Chatbot, der in verschiedenen Kontexten verwendet werden kann, so konzipiert, dass unterschwellige Messaging-Techniken wie das Aufblitzen kurzer visueller Hinweise und die Einbettung nicht hörbarer akustischer Signale eingesetzt oder emotionale Abhängigkeiten oder besondere Vulnerabilitäten von Nutzern in der Werbung ausgenutzt werden. Da sie objektiv ein Gestaltungsmerkmal sind, das darauf abzielt, die Kaufentscheidungen der Verbraucher ohne ihre bewusste Wahrnehmung zu beeinflussen, um die Menschen zu in erheblichem Umfang schädlichen finanziellen Entscheidungen zu bewegen, werden diese Techniken „mit dem Ziel“ eingesetzt, das Verhalten der Nutzer wesentlich zu verändern.

Der Einsatz von KI-Systemen zu dem Zweck, eine andere Person zu personifizieren, könnte auch als Einsatz eines KI-Systems „mit dem Ziel“ betrachtet werden, Personen zu täuschen und ihr Verhalten wesentlich zu verändern, wenn die Person effektiv getäuscht wird und dadurch ihre Fähigkeit, fundierte Entscheidungen über die Identität der Person zu treffen, erheblich beeinträchtigt wird.

Werden in beiden Beispielen die anderen Bedingungen in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung, insbesondere in Bezug auf den erheblichen Schaden, erfüllt, fallen die betreffenden Systeme wahrscheinlich in den Anwendungsbereich des Verbots, wobei dies jedoch eine Einzelfallprüfung erfordert.

c) Szenario 2: Verbotene KI-Systeme „mit der Wirkung“, das Verhalten wesentlich zu verändern

Die Absicht des Anbieters oder Betreibers, das Verhalten einer Person oder Gruppe von Personen wesentlich zu verändern, ist eine ausreichende, nicht aber eine notwendige Voraussetzung, damit das Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung gilt. Dieses Verbot gilt auch, wenn keine solche Absicht vorliegt, aber die Wirkung der von einem KI-System eingesetzten Technik(en) geeignet ist, das Verhalten einer Person oder einer Gruppe von Personen in einem solchen Umfang zu verändern, dass deren individuelle Autonomie und freie Auswahl untergraben wird.

Allerdings ist für die Geltung des Verbots stets ein plausibler, hinreichend wahrscheinlicher ursächlicher Zusammenhang zwischen der unterschwelligen, absichtlich manipulativen oder täuschenden Technik des KI-Systems und ihren Auswirkungen auf das Verhalten erforderlich. Im Einklang mit dem Verbraucherschutzrecht müssen diese Auswirkungen nicht vollständig eingetreten sein, aber es muss auf der Grundlage einer objektiven Bewertung aller Umstände des Einzelfalls und vorhandener wissenschaftlicher Erkenntnisse und Methoden sowie der verfügbaren Informationen über die Auswirkungen des Systems auf das Verhalten des Einzelnen im realen Leben hinreichende Anhaltspunkte dafür geben, dass die Wahrscheinlichkeit oder Möglichkeit besteht, dass sie eintreten und die individuelle Autonomie untergraben. In diesem Zusammenhang reicht die Tatsache, dass ein System in der Lage ist, Verhaltensweisen auszulösen, die die Fähigkeit von Einzelpersonen, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigen und ihre freie Auswahl untergraben, zur Erfüllung dieser Bedingung aus und ist nicht von Erwägungen im Zusammenhang mit dem „Zeitpunkt“, an dem der Schaden eintritt, abhängig (z. B. bei suchtähnlichen Verhaltensweisen), solange er mit hinreichender Wahrscheinlichkeit eintreten wird.

So ist beispielsweise ein KI-gestützter Chatbot für Wohlbefinden vom Anbieter dazu bestimmt, die Nutzer bei der Aufrechterhaltung einer gesunden Lebensweise zu unterstützen und zu lenken und maßgeschneiderte Ratschläge für psychologische und physische Übungen bereitzustellen. Wenn der Chatbot jedoch individuelle Schwächen im Hinblick auf die Aneignung ungesunder Gewohnheiten oder Ausübung gefährlicher Aktivitäten (z. B. übermäßiger Sport ohne Ruhepausen oder ohne Trinken von Wasser), ausnutzt, bei denen nach vernünftigem Ermessen davon ausgegangen werden kann, dass bestimmte Nutzer diese Ratschläge befolgen werden, was sie andernfalls nicht getan hätten, und dass sie erhebliche Schäden erleiden werden (z. B. einen Herzinfarkt oder ein anderes schwerwiegendes Gesundheitsproblem), würde dieses KI-System unter das Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung fallen, selbst wenn der Anbieter dieses Verhalten und die schädlichen Folgen für die betreffenden Personen möglicherweise nicht beabsichtigt hat.

Die bloße Tatsache, dass der Chatbot geeignet ist, die individuelle Autonomie deutlich zu beeinträchtigen und das Verhalten bestimmter Nutzer erheblich zu verändern, und dass der Anbieter keine geeigneten Maßnahmen zur Prävention und Risikominderung getroffen hat, um diese erheblichen schädlichen Auswirkungen zu vermeiden, reicht für die Geltung des Verbots aus (weitere Informationen über die nach vernünftigem Ermessen bestehende Wahrscheinlichkeit des Schadens finden sich in Abschnitt 3.. und Abschnitt 3. „Außerhalb des Anwendungsbereichs“).

3... (Mit hinreichender Wahrscheinlichkeit) einen erheblichen Schaden zufügen

Schließlich muss, damit das Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung gelten kann, die Veränderung des Verhaltens einer Person oder einer Gruppe von Personen dieser Person, einer anderen Person oder einer Gruppe von Personen einen erheblichen Schaden zufügen oder mit hinreichender Wahrscheinlichkeit zufügen. In diesem Zusammenhang zählen zu den wichtigen Begriffen, die einer Klärung bedürfen, die Arten der unter das Verbot fallenden Schäden, die Erheblichkeitsschwelle des Schadens, die hinreichende Wahrscheinlichkeit des Schadens und der ursächliche Zusammenhang zwischen dem Schaden und der manipulativen oder täuschenden Technik und dem Verhalten der Person.

a) Arten von Schäden

Die KI-Verordnung befasst sich mit verschiedenen Arten schädlicher Auswirkungen im Zusammenhang mit manipulativen und täuschenden KI-Systemen, die jeweils unterschiedliche Auswirkungen auf einzelne Personen und Personengruppen haben, die betroffen sein könnten. Zu den wichtigsten Arten von Schäden, die für Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung relevant sind, zählen physische, psychische, finanzielle und wirtschaftliche Schäden, die in bestimmten Fällen mit weiter reichenden gesellschaftlichen Schäden einhergehen können.

Physische Schäden umfassen Verletzungen oder Schädigungen des Lebens und der Gesundheit einer Person sowie Sachschäden. Physische Schäden an Leben und Gesundheit einer Person haben in vielen Fällen sofortige schwere, irreversible Folgen. Im Einklang mit ihrer auf Produktsicherheit ausgerichteten Logik zielt die KI- Verordnung darauf ab, zu erheblichen physischen Schäden führende, KI-gestützte Manipulationen und Täuschungen zu verbieten.

Ein KI-Chatbot wirbt beispielsweise für Selbstverletzungen von Nutzern oder gibt ihnen Anreize, Selbstmord zu begehen oder anderen Personen oder Personengruppen zu schaden, indem er terroristische Inhalte fördert oder Anreize zu Gewalt gegen bestimmte Personen oder Personengruppen (d. h. Minderheiten) gibt.

Psychische Schäden sind im Zusammenhang mit KI-Systemen, die manipulative Techniken einsetzen, mit denen kognitive und emotionale Vulnerabilitäten ausgenutzt und die Verhaltensweisen einer Person in einer Weise beeinflusst werden, die erheblichen Schaden verursachen kann, besonders relevant. Psychische Schäden umfassen nachteilige negative Auswirkungen auf die psychische Gesundheit und das psychische und emotionale Wohlbefinden einer Person. Solche Schäden sind besonders bedeutend, weil sie sich im Laufe der Zeit anhäufen können und möglicherweise nicht unmittelbar erkennbar sind, aber langfristige und schwerwiegende Folgen hervorrufen können. Sie sind jedoch schwieriger messbar und erfordern Einzelfallprüfungen, um insbesondere unter Berücksichtigung aller relevanten Umstände des Einzelfalls ihre Schwere zu bestimmen.

So werden beispielsweise bei einer KI-Begleit-App (Companion-App), die darauf ausgelegt ist, menschliche Sprachmuster, Verhaltensweisen und Emotionen nachzubilden, und die anthropomorphe Merkmale und emotionale Hinweise verwendet, um die Gefühle, Stimmungen und Meinungen der Nutzer zu beeinflussen, die betreffenden Nutzer emotional von dem Dienst abhängig gemacht, wobei dieser Anreize für suchtähnliches Verhalten schafft und möglicherweise erhebliche Schäden wie suizidale Verhaltensweisen und die Gefahr, andere Personen zu schädigen, verursacht.

Finanzielle und wirtschaftliche Schäden können eine Reihe nachteiliger Auswirkungen wie finanzielle Verluste, finanzielle Ausgrenzung und wirtschaftliche Instabilität umfassen.

Ein Bespiel ist ein Chatbot, der betrügerische Produkte anbietet, die erhebliche finanzielle Schäden verursachen.

Bei der Bewertung der durch KI-Systeme verursachten Schäden ist es, wenn man Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung anwendet, wichtig hervorzuheben, dass sich die Schäden häufig nicht isoliert, sondern in Kombination manifestieren, was zu kumulierten, vielfältigen nachteiligen Auswirkungen führt. Um die Bedeutung der Kombination von Schäden effektiv bewerten zu können, muss man sie kennen und verstehen (siehe auch Abschnitt 3... Buchstabe b), wobei physische, psychische, finanzielle und wirtschaftliche Schäden kombiniert auftreten und die Gesamtauswirkungen auf Einzelpersonen und Gemeinschaften verstärken oder sogar umfassendere nachteilige Auswirkungen haben können.

Beispiele:

– Ein KI-System, das physische Schäden verursacht, kann auch zu psychischen Traumata, Stress und Angstzuständen führen und umgekehrt. Beispielsweise kann die suchterzeugende Gestaltung von KI-Systemen, die in Produkten und anderen KI- gestützten Anwendungen verwendet werden, zu psychischen Schäden führen, indem Suchtverhalten, Angstzustände und Depressionen gefördert werden. Die psychische Belastung kann in der Folge zu körperlichen Schäden wie Schlaflosigkeit und anderen mit Stress zusammenhängenden Gesundheitsproblemen und körperlichen Beschwerden führen.

– KI-gestützte Belästigung kann sowohl zu psychischen Belastungen als auch zu physischen Manifestationen von Stress wie Schlaflosigkeit, schlechterer körperlicher Gesundheit oder einem geschwächten Immunsystem führen.

– Psychische Schäden, die durch die Nutzung von KI entstehen, können auch zu körperlichen Schäden, einschließlich Todesfällen, führen. Beispielsweise können online genutzte KI-Systeme geschlechtsspezifische Gewalt durch Belästigung, Stalking, Cybermobbing und sexuelle Erpressung erleichtern.

– Individuelle psychische Schäden, die beispielsweise auf die KI-gestützte Erstellung von „Deepfakes“ zurückzuführen sind, in denen tatsächliche Personen zur Täuschung und Untergrabung der Entscheidungsfindung, der individuellen Autonomie und der freien Auswahl des Einzelnen nachgeahmt werden, können darüber hinaus mit erheblichen Schäden für Gruppen von Personen verbunden sein (die beispielsweise dieselben ethnische oder rassische Herkunft oder das gleiche Geschlecht haben wie die in den Deepfakes dargestellten Opfer).

b) Erheblichkeitsschwelle für den Schaden

Das Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung gilt nur, wenn der durch die unterschwelligen, manipulativen und täuschenden Techniken verursachte Schaden „erheblich“ ist. Die KI-Verordnung enthält keine Definition des Begriffs „erheblicher Schaden“, der Begriff sollte jedoch so verstanden werden, dass er erhebliche nachteilige Auswirkungen auf die physische und psychische Gesundheit oder die finanziellen und wirtschaftlichen Interessen von Personen und Gruppen von Personen nach sich zieht. Die Feststellung eines „erheblichen Schadens“ ist sachverhaltsspezifisch und erfordert eine sorgfältige Betrachtung der individuellen Umstände jedes einzelnen Falls sowie eine Einzelfallprüfung; die individuellen Auswirkungen sollten jedoch stets erheblich sein.

In anderen Rechtsvorschriften der Union wird der Begriff „erheblicher Schaden“ auch als nuancierte, kontextabhängige Begrifflichkeit verwendet, die sich an übergeordneten Schutz- und Präventionsmaßnahmen orientiert. Analog dazu können die folgenden zentralen Erwägungen abgeleitet werden, die bei der Beurteilung, was als erheblicher Schaden im Sinne von Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung anzusehen ist, berücksichtigt werden könnten:

• Die Schwere des Schadens bezieht sich auf den Grad der Schädigung, der durch die Verwendung eines KI-Systems mit objektiven und beobachtbaren Auswirkungen im Hinblick auf die erheblichen Schäden verursacht wurde oder mit hinreichender Wahrscheinlichkeit verursacht werden wird. In diesem Zusammenhang ist es besonders wichtig, die gegenseitigen Abhängigkeiten der KI- Systeme, die Kombination verschiedener Arten von Schäden und die nachteiligen Auswirkungen auf Einzelpersonen oder Gruppen von Personen zu berücksichtigen. • Kontext und kumulative Auswirkungen: Der spezifische Kontext, einschließlich des aktuellen Zustands, und die kumulativen Auswirkungen mehrerer Maßnahmen spielen eine wichtige Rolle bei der Beurteilung der Schwere des Schadens.

• Umfang und Intensität: Das Ausmaß des Schadens und die Intensität der negativen Auswirkungen sind für die Beurteilung der Frage, ob der Schaden erheblich ist, von entscheidender Bedeutung. Ebenfalls relevant für die Beurteilung seiner Bedeutung ist die Frage, ob sich der Schaden auf eine große Zahl von Menschen auswirkt.

• Vulnerabilität betroffener Personen: Bestimmte Gruppen wie Kinder, ältere Menschen oder Menschen mit Behinderungen können anfälliger für Schäden durch bestimmte KI-Systeme sein. Was für Personen im Allgemeinen als weniger erheblicher Schaden betrachtet werden kann, kann für solche vulnerablen Gruppen, insbesondere für Kinder, als erheblich und inakzeptabel angesehen werden. • Dauer und Reversibilität: Ein lang anhaltender oder irreversibler Schaden erreicht in der Regel den Schwellenwert für erhebliche Schäden. Kurzfristige und reversible Auswirkungen können, sofern sie nicht häufig auftreten, als weniger erheblich angesehen werden.

Das Ziel der KI-Verordnung, in Verbindung mit Artikel 191 Absatz 2 AEUV ein „hohes Schutzniveau“ zu gewährleisten, spricht dafür, dass bei der Beurteilung der Erheblichkeit des Schadens nach einem umfassenden Schutzkonzept vorzugehen ist. Dies bedeutet, dass sowohl unmittelbare, direkte Schäden als auch systemische, indirekte nachteilige Auswirkungen im Zusammenhang mit KI-Systemen, die unterschwellige, absichtlich manipulative oder täuschende Techniken einsetzen, die dazu bestimmt oder geeignet sind, die individuelle Autonomie, Entscheidungsfindung und freie Auswahl von Personen und Gruppen von Personen zu beeinträchtigen, berücksichtigt werden.

Ein erheblicher physischer Schaden, der mit hinreichender Wahrscheinlichkeit von einem KI-System verursacht wird, umfasst beispielsweise Verletzungen oder Todesfälle oder hinreichend schwerwiegende Auswirkungen auf die Gesundheit von Personen oder die Zerstörung von Eigentum. Bei KI-Systemen, die einer Person nahelegen, Straftaten wie sexuellen Missbrauch und sexuelle Ausbeutung zu begehen, die extreme, gewaltsame oder terroristische Inhalte haben, oder die Einzelpersonen dazu anregen, Straftaten zu begehen, sich selbst zu schädigen oder anderen Personen zu schaden, sollte davon ausgegangen werden, dass sie einen solchen Schwellenwert erreichen.

Geringfügige körperliche Schäden können dagegen weniger schwere Verletzungen wie Prellungen oder vorübergehende Beschwerden umfassen, die keine erheblichen oder dauerhaften Folgen haben und daher die Erheblichkeitsschwelle im Sinne von Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung nicht erreichen. Es sollte geprüft werden, ob der physische Schaden besonders vulnerable Gruppen wie beispielsweise Kinder betrifft, wie groß der Schaden ist und ob er durch andere Arten von Schäden, wie psychologische, finanzielle oder andere Schäden verstärkt wird. Dies erfordert eine Einzelfallprüfung unter Berücksichtigung der vorstehend als Orientierungshilfe für die Bewertung aufgeführten Umstände und Kriterien.

Es gibt zahlreiche Fälle, in denen der Schwellenwert für erhebliche Schäden wahrscheinlich nicht erreicht wird, selbst wenn die Systeme vielleicht unterschwellige, absichtlich manipulative oder täuschende Techniken einsetzen (siehe die Beispiele in Abschnitt 3.).

c) Ursächlicher Zusammenhang und Schwellenwert für die hinreichende Wahrscheinlichkeit des Schadens

Der Begriff „hinreichend wahrscheinlich“ wird in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung verwendet, um festzustellen, ob ein plausibler, hinreichend wahrscheinlicher ursächlicher Zusammenhang zwischen der manipulativen oder täuschenden Technik, die geeignet ist, das Verhalten der Person in einer Weise zu beeinflussen, die ihre freie Auswahl untergräbt, und dem potenziellen erheblichen Schaden besteht. Dieser Begriff ermöglicht die Anwendung des Verbots nicht nur in Fällen, in denen der Schaden eingetreten ist, sondern auch in Fällen, in denen sein Eintritt im Einklang mit der Sicherheitslogik der KI-Verordnung nach mit hinreichender Wahrscheinlichkeit eintreten wird. In diesem Zusammenhang ist die Bewertung, ob der Anbieter oder Betreiber des KI-Systems den erheblichen Schaden, der mit hinreichender Wahrscheinlichkeit durch die eingesetzten unterschwelligen, absichtlich manipulativen oder täuschenden Techniken verursacht wird, nach vernünftigem Ermessen hätte vorhersehen können und ob er geeignete Maßnahmen zur Prävention und Risikominderung getroffen hat, um diese erheblichen schädlichen Auswirkungen zu vermeiden oder zu mindern, von besonderer Relevanz. Dies setzt eine Beurteilung der Plausibilität auf objektiver Grundlage und nach allgemein anerkannten Kriterien (z. B. technischen und wissenschaftlichen Kriterien) voraus, einschließlich eines Kriteriums der Rationalität bei der Feststellung eines plausiblen Kausalzusammenhangs zwischen der KI-Praxis und dem möglicherweise entstehenden erheblichen Schaden. Die Undurchsichtigkeit oder Transparenz des KI-Systems und seiner Funktionsweise kann sich auf die Schlussfolgerung hinsichtlich dieses ursächlichen Zusammenhangs und somit auf die Anwendung des Verbots auswirken.

Um die Bereitstellung oder den Einsatz von KI-Systemen, bei denen die Wahrscheinlichkeit eines Verbots besteht, zu vermeiden, werden Anbieter und Betreiber von KI-Systemen, die solche manipulativen oder täuschenden Techniken einsetzen, ermutigt, geeignete Maßnahmen zu treffen; beispielsweise: 1. Transparenz und individuelle Autonomie: Zur Gewährleistung fundierter Entscheidungen Transparenz hinsichtlich der Funktionsweise des KI-Systems bieten, seine Fähigkeiten und Grenzen klar offenlegen und einschlägige Informationen bereitstellen; die individuelle Autonomie achten und ausbeuterische oder täuschende Praktiken, die geeignet sind, die Autonomie, die Entscheidungsfindung und die freie Auswahl des Einzelnen auf potenziell schädliche Weise deutlich zu beeinträchtigen, vermeiden; geeignete Nutzerkontroll- und Schutzmaßnahmen integrieren, um sicherzustellen, dass das System nicht betrügerisch ist und innerhalb der Grenzen der rechtmäßigen Überzeugungsarbeit, die nicht in den Geltungsbereichs des Verbots fällt, funktioniert (siehe Abschnitt 3..).

2. Einhaltung der einschlägigen geltenden Rechtsvorschriften: in vielen Fällen wird die Einhaltung der einschlägigen geltenden Rechtsvorschriften das Schadensrisiko mindern und darauf hinweisen, dass die Praxis keine absichtlich manipulative oder täuschende Praxis darstellt und dass Maßnahmen zur Risikominderung getroffen wurden, um wahrscheinliche erhebliche Schäden zu verhindern (siehe Abschnitte 3. und 3..).

3. Dem Stand der Technik entsprechende Praktiken und Industriestandards: die Einhaltung beruflicher Sorgfaltspflichten und Industriestandards für die verantwortungsvolle Entwicklung und Nutzung sicherer, ethischer KI-Systeme sowie Maßnahmen zur Minderung der Schäden können dazu beitragen, unbeabsichtigte erheblichen Schäden zuvorzukommen und diese abzumildern.

Für die Beurteilung der Frage, ob mit hinreichender Wahrscheinlichkeit ein plausibler ursächlicher Zusammenhang zwischen dem veränderten Verhalten der mit dem System interagierenden Personen und dem erheblichen Schaden besteht, wären dagegen solche Schäden und Verhaltensveränderungen von Einzelpersonen nicht relevant, die sich aus außerhalb des KI-Systems liegenden Faktoren ergeben, nicht der Kontrolle des Anbieters oder Betreibers unterliegen und nach vernünftigem Ermessen für sie nicht vorhersehbar sind, sodass sie weder Vorsichtsmaßnahmen treffen noch die Risiken mindern können.

So kann der Anbieter eines KI-Systems beispielsweise potenzielle schädliche manipulative Auswirkungen in der Gestaltung des Systems und den Interaktionen mit Menschen durch die Gestaltung, durch vorherige Tests und durch andere verhältnismäßige Maßnahmen zur Risikominderung bewerten und versuchen, diese Risiken zu mindern; er ist jedoch möglicherweise nicht in der Lage, vorherzusehen, ob eine Person aufgrund anderer externer Faktoren in ihrem persönlichen Leben, die nicht bekannt sind und über ihre Interaktionen mit dem System hinausgehen, Depressionen oder ein verändertes Verhalten entwickeln könnte.

Weitere Beispiele, die nicht in den Anwendungsbereich des Verbots fallen, da sie nicht alle Bedingungen erfüllen (z. B. bei rechtmäßiger Überzeugungsarbeit), werden in Abschnitt 3. aufgeführt.

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung gilt, müssen mehrere kumulative Bedingungen erfüllt sein:

(i) Die Praxis muss das „Inverkehrbringen“, die „Inbetriebnahme“ oder die „Verwendung“ eines KI-Systems darstellen.

(ii) Das KI-System muss Vulnerabilitäten aufgrund von Alter, Behinderung oder der sozialen oder wirtschaftlichen Situation ausnutzen.

(iii)Die vom KI-System ermöglichte Ausnutzung muss das Ziel oder die Wirkung haben, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern.

(iv) Das veränderte Verhalten muss dieser Person, einer anderen Person oder einer Gruppe von Personen einen erheblichen Schaden zufügen oder mit hinreichender Wahrscheinlichkeit einen solchen Schaden zufügen.

Damit das Verbot gilt, müssen alle vier Bedingungen gleichzeitig erfüllt sein und es muss ein plausibler Kausalzusammenhang zwischen der Ausnutzung, der wesentlichen Veränderung des Verhaltens der Person und dem erheblichen Schaden bestehen, der sich aus diesem Verhalten ergeben hat oder mit hinreichender Wahrscheinlichkeit ergeben kann.

Die erste Bedingung, d. h. das „Inverkehrbringen“, die „Inbetriebnahme“ oder die „Verwendung“ eines KI-Systems, wurde bereits in Abschnitt 2. analysiert, während die dritte und vierte Bedingung in Bezug auf das Verbot nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung in den Abschnitten 3.. und 3.. erörtert wurden. In den nächsten Abschnitten werden die oben aufgeführten zusätzlichen spezifischen Bedingungen behandelt, d. h. diejenigen Bedingungen, die sich auf die Ausnutzung der Vulnerabilität und Schutzbedürftigkeit sowie den spezifischen Schaden beziehen. 3... Ausnutzung von Vulnerabilität und Schutzbedürftigkeit aufgrund des Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation

Um in den Anwendungsbereich des Verbots nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung zu fallen, muss das KI-System Vulnerabilitäten ausnutzen, die bestimmten Personen oder Gruppen von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation innewohnen und die sie besonders anfällig für manipulative und ausbeuterische Praktiken machen.

In der KI-Verordnung wird der Begriff „Vulnerabilität“ nicht definiert. Dieser Begriff kann so verstanden werden, dass er ein breites Spektrum an Kategorien umfasst, darunter kognitive, emotionale, physische und andere Formen der Anfälligkeit, die die Fähigkeit einer Person oder einer Gruppe von Personen, fundierte Entscheidungen zu treffen, beeinträchtigen oder ihr Verhalten anderweitig beeinflussen können. Während in Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung allgemein auf „eine“ Vulnerabilität oder Schutzbedürftigkeit Bezug genommen wird, werden die einschlägigen Personen, für die das Verbot gilt, auf durch ihr Alter, eine Behinderung oder ihre soziale oder wirtschaftlichen Situation definierte Personen beschränkt, die grundsätzlich weniger in der Lage sind, manipulative oder ausbeuterische Praktiken im Bereich der KI zu erkennen oder ihnen zu widerstehen und einen verstärkten Schutz benötigen. Aus dem Wortlaut von Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung folgt, dass sich diese Anfälligkeit aus der Person ergeben muss, die einer der Gruppen angehört („aufgrund“).

„Ausnutzung“ sollte als objektive Nutzung solcher Vulnerabilitäten in einer Weise verstanden werden, die den ausgenutzten (Gruppen von) Personen oder anderen Personen schadet; sie sollte klar von rechtmäßigen Praktiken unterschieden werden, die nicht von dem Verbot betroffen sind (siehe Abschnitt 3.. „Außerhalb des Anwendungsbereichs“). Die Ausnutzung der Vulnerabilität von Personen, die diesen klar definierten Gruppen angehören, kann kumulativ sein (allgemeiner Verweis auf „eine“), was in Kombination auch einen erschwerenden Faktor darstellen kann, durch den der Schaden wahrscheinlich erhöht wird. Die Ausnutzung der Vulnerabilität von Personen und Personengruppen, die schutzbedürftigen Gruppen angehören, die nicht zu den nach Alter, Behinderung oder besonderer sozialer oder wirtschaftlicher Situation definierten Gruppen zählen, fällt nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung.

a) Alter

Das Alter ist eine vorrangige Kategorie von Vulnerabilität, die unter das Verbot nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung fällt und sowohl junge als auch ältere Menschen umfasst. Dieses Verbot zielt darauf ab, zu verhindern, dass KI- Systeme kognitive und andere Einschränkungen ausnutzen, die bei Kindern und älteren Menschen vorliegen können, und sie vor schädlicher unzulässiger Einflussnahme, Manipulation und Ausbeutung zu schützen. Dies steht im Einklang mit den Zielen der KI-Verordnung und anderer Rechtsrahmen und politischer Strategien der Union und der Mitgliedstaaten zur Gewährleistung der Sicherheit von Kindern.

Kinder, d. h. Personen unter 18 Jahren, sind aufgrund ihres Entwicklungsstadiums besonders anfällig für Manipulationen, was ihre Fähigkeit einschränkt, zu beurteilen und zu verstehen, was real ist und welche Absichten hinter KI-gestützten Interaktionen stehen. Kinder sind aufgrund ihrer kognitiven und sozioemotionalen Unreife darüber hinaus besonders anfällig für die Bildung von Bindungen zu KI-Agenten und -Anwendungen und daher stärker durch Manipulation, Ausbeutung und Suchtverhalten gefährdet.

Beispiele:

- Ein KI-gestütztes Spielzeug, das für die Interaktion mit Kindern konzipiert ist, hält deren Interesse an Interaktionen mit dem Spielzeug wach, indem es sie ermutigt, immer riskantere Herausforderungen wie das Klettern auf Möbel, die Erkundung hoher Regale oder das Hantieren mit scharfkantigen Gegenständen im Gegenzug für digitale Belohnungen und virtuelles Lob durchzuführen und sie zu gefährlichen Verhaltensweisen zu bewegen, bei denen sie wahrscheinlich einen erheblichen körperlichen Schaden erleiden. Ein solches System nutzt die Vulnerabilität von Kindern aus, indem es ihre natürliche Neugier und ihren Wunsch nach Belohnung missbraucht.

– Ein Spiel verwendet KI, um das individuelle Verhalten und die individuellen Vorlieben von Kindern zu analysieren und schafft auf deren Grundlage dann personalisierte und unvorhersehbare Belohnungen durch süchtig machende Verstärkungspläne und Dopamin-ähnliche Schleifen, um übermäßiges Spielen und eine zwanghafte Nutzung des Systems zu fördern. Das Spiel ist so konzipiert, dass es hochgradig suchterzeugend ist, indem es die Kindern innewohnenden Vulnerabilitäten ausnutzt, einschließlich ihrer begrenzten Fähigkeit, langfristige Folgen zu verstehen, sowie ihrer Empfindlichkeit gegenüber Druck, ihrer mangelnden Selbstkontrolle und ihrer Vorliebe für sofortige Befriedigung. Diese KI-gestützte Ausbeutung kann schwerwiegende, lang anhaltende Folgen für Kinder haben, unter anderem potenziell abhängig machendes Verhalten, Probleme mit der physischen Gesundheit aufgrund von Bewegungs- und Schlafmangel, verschlechtertes Sehvermögen, Konzentrationsprobleme und verminderte kognitive Fähigkeiten, schlechte schulische Leistungen und soziale Schwierigkeiten. Dies kann sich erheblich auf die Entwicklung und das Wohlergehen eines Kindes auswirken, mit möglichen längerfristigen Folgen, die sich auch bis ins Erwachsenenalter hineinziehen können.

In beiden Beispielen zielt das Verbot in Artikel 5 Absatz 1 Buchstabe b der KI- Verordnung nur auf solche ausbeutenden und suchtähnlichen Praktiken ab, die Kindern schweren Schaden zufügen, nicht aber auf KI-gestützte Spielzeuge, Spiele, Lernprogramme oder andere digitale Anwendungen im Allgemeinen, die Nutzen bringen können und nicht betroffen sind, wenn sie nicht sämtliche Bedingungen für das Verbot erfüllen. Siehe auch Abschnitt 3. „Außerhalb des Anwendungsbereichs“.

Ebenso könnten ältere Menschen von verminderten kognitiven Fähigkeiten betroffen sein (auch wenn sie nicht an Demenz leiden) und mit der Komplexität moderner KI- Technologien zu kämpfen haben, was sie in diesen Fällen anfällig für Betrügereien (Scams) oder Nötigungstaktiken macht.

Beispiele:

– KI-Systeme, die eingesetzt werden, um ältere Menschen mit täuschenden personalisierten Angeboten oder Scams ins Visier zu nehmen, indem sie ihre eingeschränkten kognitiven Kapazitäten mit dem Ziel ausnutzen, sie zu Entscheidungen zu bewegen, die sie andernfalls nicht getroffen hätten und durch die sie wahrscheinlich einen erheblichen finanziellen Schaden erleiden. – Ein Roboter, der älteren Menschen assistieren soll, könnte ihre prekäre Lage ausnutzen und sie zwingen, gegen ihren freien Willen bestimmte Tätigkeiten durchzuführen, die ihre psychische Gesundheit erheblich verschlechtern und ihnen schwere psychische Schäden zufügen können.

In beiden Beispielen zielt das Verbot in Artikel 5 Absatz 1 Buchstabe b der KI- Verordnung nur auf solche ausbeuterischen Praktiken ab, die ältere Menschen schwer schädigen können, nicht aber KI-gestützte persönliche Assistenten, Gesundheitsanwendungen und Assistenzroboter im Allgemeinen, die nicht betroffen sind, wenn sie nicht sämtliche Bedingungen für dieses Verbot erfüllen. Siehe auch Abschnitt 3. „Außerhalb des Anwendungsbereichs“.

b) Behinderung

Die zweite Kategorie von Vulnerabilitäten, die mit dem Verbot in Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung geschützt werden soll, sind solche, die auf eine Behinderung zurückzuführen sind. Das Ziel besteht darin, zu verhindern, dass KI- Systeme kognitive und andere Einschränkungen und Schwächen von Menschen mit Behinderungen ausnutzen, und sie vor schädlicher unzulässiger Einflussnahme, Manipulation und Ausbeutung zu schützen.

Behinderung umfasst ein breites Spektrum von langfristigen physischen, psychischen und geistigen Beeinträchtigungen sowie Sinnesbeeinträchtigungen, die in Wechselwirkung mit anderen Hemmnissen die uneingeschränkte, wirksame Teilhabe von Einzelpersonen an der Gesellschaft auf gleichberechtigter Basis mit anderen Menschen behindern. KI-Systeme, die solche Vulnerabilitäten ausnutzen, können für Menschen mit Behinderungen, die aufgrund ihrer Beeinträchtigung leichter beeinflusst oder ausgenutzt werden können als andere Personen, besonders schädlich sein. Beispiele:

– Ein therapeutischer Chatbot, der Menschen mit psychischen Behinderungen Unterstützung und Bewältigungsstrategien im Bereich der psychischen Gesundheit bieten soll, kann ihre eingeschränkten intellektuellen Fähigkeiten ausnutzen, um sie zum Kauf teurer medizinischer Produkte zu bewegen oder sie dazu verleiten, sich in einer Weise zu verhalten, die für sie oder andere Menschen schädlich ist. – KI-Systeme können Frauen und junge Mädchen mit Behinderungen im Internet mit sexuell missbräuchlichen Inhalten konfrontieren und mit effektiveren Grooming- Praktiken ansprechen, wodurch ihre Beeinträchtigungen und Vulnerabilitäten ausgenutzt werden, die sie anfälliger für Manipulation und Missbrauch machen und ihre Fähigkeiten, sich zu schützen, mindern.

Im Gegensatz dazu sollten KI-Anwendungen, die nicht barrierefrei konzipiert sind, nicht als Ausnutzung der Schutzbedürftigkeit und Vulnerabilität von Menschen mit Behinderungen betrachtet werden, da sie nicht speziell auf diese Vulnerabilitäten abzielen, sondern einfach nur für Menschen mit Behinderungen unzugänglich sind. c) Besondere soziale oder wirtschaftliche Situation

Die dritte Kategorie von Vulnerabilitäten, die mit dem Verbot in Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung geschützt werden sollen, sind solche, die auf eine besondere soziale oder wirtschaftliche Situation zurückzuführen sind und die betroffenen Personen wahrscheinlich anfälliger für Ausbeutung machen. „Besonders“ sollte in diesem Zusammenhang nicht als einzigartiges, individuelles Merkmal verstanden werden, sondern als rechtliche Stellung oder Zugehörigkeit zu einer bestimmten schutzbedürftigen sozialen oder wirtschaftlichen Gruppe. Erwägungsgrund 29 der KI-Verordnung enthält eine nicht erschöpfende Liste von Beispielen für solche Situationen, beispielsweise Personen, die in extremer Armut leben sowie ethnische oder religiöse Minderheiten. Grundsätzlich sollen unter diese Kategorie relativ stabile und langfristige Merkmale fallen, vorübergehende Umstände wie zeitweilige Arbeitslosigkeit, Überschuldung oder ein Migrationsstatus können jedoch ebenfalls als besondere soziale oder wirtschaftliche Situation in dieser Kategorie erfasst werden. Situationen wie Kummer oder Einsamkeit, mit denen eine Person konfrontiert sein kann, sind jedoch nicht erfasst, da sie aus sozialer und wirtschaftlicher Sicht nicht spezifisch sind (ihre Ausnutzung kann jedoch unter Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung fallen).

Menschen in benachteiligten sozialen oder wirtschaftlichen Situationen sind in der Regel anfälliger und verfügen über weniger Ressourcen und geringere digitale Kompetenzen als die allgemeine Bevölkerung, was es ihnen erschwert, ausbeuterische KI-Praktiken zu erkennen oder ihnen entgegenzutreten. Mit Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung soll sichergestellt werden, dass KI-Technologien bestehende finanzielle und andere soziale Ungleichheiten und Ungerechtigkeiten nicht verstetigen oder verschärfen, indem die Schutzbedürftigkeit und Vulnerabilität dieser Menschen ausgenutzt wird.

So kann beispielsweise ein prädiktiver KI-Algorithmus dazu genutzt werden, Menschen, die in einkommensschwachen Postleitzahlbezirken leben und sich in einer katastrophalen finanziellen Lage befinden, mit Werbung für räuberische Finanzprodukte ins Visier zu nehmen, wodurch ihre Anfälligkeit für solche Werbung aufgrund ihrer möglichen Verzweiflung ausgenutzt und ihnen ein erheblicher finanzieller Schaden zugefügt wird.

Im Gegensatz dazu sollte ein KI-System, das unbeabsichtigt voreingenommen ist und sich aufgrund einseitig verfälschter Trainingsdaten unverhältnismäßig stark auf sozial benachteiligte Personen (indirekte Diskriminierung) auswirkt, nicht automatisch als System zur Ausnutzung der sozialen oder wirtschaftlichen Schutzbedürftigkeit und Vulnerabilität von Personen betrachtet werden, da es nicht speziell auf diese Personen ausgerichtet ist, wie im Fall direkter Diskriminierung, bei der eine solche Zielgruppenansprache ein absichtliches Merkmal der Gestaltung des Algorithmus durch das System ist oder bei der solche diskriminierenden Auswirkungen darauf zurückzuführen sind, dass auf andere Stellvertreter-Merkmale (z. B. Postleitzahlen) abgestellt wird, die in einem engen Zusammenhang mit den geschützten Merkmalen stehen. Zugleich sollte davon ausgegangen werden, dass Anbieter oder Betreiber von KI-Systemen, denen bewusst ist, dass ihre Systeme Personen oder Gruppen von Personen in einer besonderen sozialen oder wirtschaftlichen Situation rechtswidrig diskriminieren, deren Vulnerabilitäten ausnutzen, wenn sie sich des erheblichen Schadens bewusst sind, den diese Personen mit hinreichender Wahrscheinlichkeit erleiden werden, und keine geeigneten Korrekturmaßnahmen ergriffen haben (siehe Abschnitt 3.. Buchstabe c).

Im Zusammenhang mit einer besonderen sozialen oder wirtschaftlichen Situation ist es von entscheidender Bedeutung, die Relevanz von Stellvertretermerkmalen in Verbindung mit Diskriminierungsgründen wie Rasse, ethnischer Zugehörigkeit, Staatsangehörigkeit oder Religion, die nach dem Gleichstellungsrecht der Union geschützt sind, zu berücksichtigen.

So könnten sich beispielsweise sozioökonomischer Status und ethnische Herkunft überschneiden, was bedeutet, dass KI-Systeme, die sozioökonomische Daten nutzen, ethnische Minderheiten oder Personen einer bestimmten Rasse unverhältnismäßig stark beeinträchtigen könnten. Dies kann bestehende Ungleichheiten verschärfen und zu systemischer Diskriminierung oder sogar zum Ausschluss von Einzelpersonen beitragen.

Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung gilt jedoch nicht für KI-Systeme, die sich auf der Grundlage einer breiten Palette von Variablen an Verbraucher richten, die in bestimmten sozialen oder wirtschaftlichen Situationen nicht tangential in einer Wechselbeziehung mit schutzbedürftigen Gruppen stehen, beispielsweise in Bezug auf Marke und Modell des Telefons, das eine Person besitzt, die Größe der Stadt, in der sie lebt, oder in Bezug auf die Häufigkeit von Reisen und des Reiseziels usw. Selbst wenn diese Merkmale die soziale oder wirtschaftliche Situation von Einzelpersonen im Allgemeinen widerspiegeln, sind sie für Einzelpersonen, die sich in einer bestimmten sozialen oder wirtschaftlichen Situation befinden und deren Vulnerabilität durch das Verbot vor Ausnutzung geschützt werden soll, nicht bestimmend.

Andere Menschen in einzigartigen sozialen Kontexten können beispielsweise Migranten oder Flüchtlinge sein, die häufig keinen stabilen Rechtsstatus besitzen und denen sozioökonomische Stabilität fehlt, sodass sie besonders anfällig für Ausnutzung durch KI-Systeme sein können.

Ein Chatbot soll beispielsweise individuell mit Nutzern interagieren, von denen einige zufällig Migranten sind. Der Chatbot erkennt und nutzt die Vulnerabilität und Unzufriedenheit von Migranten, die sich grundsätzlich in einer prekären und instabilen besonderen sozialen oder wirtschaftlichen Situation befinden, und drängt sie mit seinen Antworten auf ihre Anfragen zu extremistischen Ansichten, einschließlich Gewalt gegen die Bevölkerung (bzw. bestimmte Bevölkerungsgruppen) des Landes. 3... Mit dem Ziel oder der Wirkung einer wesentlichen Veränderung des Verhaltens

Die dritte Voraussetzung für die Geltung des Verbots nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung besteht darin, dass die Ausnutzung der vorstehend geprüften Vulnerabilität und Schutzbedürftigkeit entweder a) das „Ziel“ oder b) die „Wirkung …, das Verhalten einer Person“ oder einer Gruppe von Personen „wesentlich zu verändern“, haben muss. Dies beinhaltet eine wesentliche Auswirkung, nicht nur eine geringfügige oder triviale Wirkung, setzt aber nicht zwangsläufig eine Absicht voraus, da Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung Praktiken erfasst, die möglicherweise nur die „Wirkung“ haben, dass wesentliche Veränderungen ausgelöst werden. In Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung werden dieselben Begriffe verwendet und daher sollten sie auf die gleiche Weise ausgelegt werden. Die Erläuterungen in Abschnitt 3.. sind daher auch für Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung maßgeblich. Der einzige bemerkenswerte Unterschied besteht darin, dass nach Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung die ausbeuterische Praxis die Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigen muss, was in Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung nicht vorgesehen ist, da die besondere Vulnerabilität von Kindern und anderen schutzbedürftigen Personen ihre Fähigkeit einschränkt, solche fundierten Entscheidungen zu treffen, und sie zu einem Verhalten zwingt, vor dem sie sich nicht schützen können, wie dies andere Erwachsene könnten.

3... (Mit hinreichender Wahrscheinlichkeit) einen erheblichen Schaden zufügen

Schließlich muss die Veränderung des Verhaltens der schutzbedürftigen Person oder Gruppe von Personen dieser Person oder einer anderen Person einen erheblichen Schaden zufügen oder mit hinreichender Wahrscheinlichkeit zufügen, damit das Verbot nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung gilt. In Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung werden dieselben Begriffe verwendet und daher sollten sie auf die gleiche Weise ausgelegt werden. Die in Abschnitt 3.. aufgeführten Erläuterungen zu den Arten von Schäden, der Erheblichkeitsschwelle für den Schaden sowie dem Kausalzusammenhang und seiner Plausibilität sind daher auch für die Auslegung von Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung maßgeblich.

Wie in Abschnitt 3.. erläutert wird, umfasst ein erheblicher Schaden eine Reihe erheblicher nachteiliger Auswirkungen, einschließlich physischer, psychischer, finanzieller und wirtschaftlicher Schäden, mit deren Eintreten mit hinreichender Wahrscheinlichkeit zu rechnen ist, damit das Verbot nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung gilt. Für schutzbedürftige Gruppen – Kinder, ältere Menschen, Menschen mit Behinderungen und sozioökonomisch benachteiligte Bevölkerungsgruppen – können diese Schäden aufgrund ihrer erhöhten Anfälligkeit für Ausbeutung besonders schwerwiegend und vielgestaltig sein. Was für Erwachsene als hinnehmbares Risiko der Beeinträchtigung angesehen werden kann, stellt für Kinder und die genannten anderen schutzbedürftigen Gruppen häufig einen inakzeptablen Schaden dar. Ein Vorsorgeansatz ist daher besonders bei Unsicherheiten und der Möglichkeit erheblicher Schäden gerechtfertigt.

Beispielsweise sind Kinder sehr leicht zu beeindrucken und verfügen möglicherweise nicht über die kognitive Reife, um auf Überzeugung zielende Inhalte kritisch zu bewerten oder bestimmten ausbeuterischen Praktiken zu widerstehen, deren Ziel darin besteht, sie von KI-gestützten Diensten abhängig zu machen. Dies könnte wiederum dazu beitragen, ihre Werte, Überzeugungen und Verhaltensweisen auf potenziell schädliche Weise zu formen. Der erhebliche Schaden umfasst hier sowohl physische als auch psychische Schäden, die noch verschärft werden durch die Unfähigkeit der Kinder, die Ausbeutung sowie die schädlichen Auswirkungen auf ihre Entwicklung und ihr Wohlergehen mit ihren möglichen langfristigen Folgen zu erkennen und ihr zu widerstehen.

Beispiele:

– KI-Systeme, die zur Generierung von Darstellungen sexuellen Kindesmissbrauchs verwendet werden (oder bestehendes Material, in dem echte Kinder dargestellt werden, manipulieren, um weitere neuartige Inhalte zu schaffen, in denen sie vorkommen) und die zur Entwicklung von Strategien für Grooming und sexuelle Erpressung von Kindern verwendet werden, fügen den betroffenen Kindern wahrscheinlich schweren Schaden und Missbrauch zu und führen häufig zu langfristigen physischen, psychischen und sozialen Folgen für diejenigen, die dies überstehen.

– KI-Systeme können auf die Vulnerabilitäten junger Nutzer abzielen und Pläne für suchterzeugende Verstärkung einsetzen, um diese Nutzer von dem betreffenden Dienst abhängig zu machen; diese Systeme sind für junge Menschen und vor allem Mädchen besonders schädlich. Sie können schwere psychische und physische Schäden verursachen, unter anderem Angstzustände und Depressionen, Körperunzufriedenheit, Essstörungen und psychische Erkrankungen, in einigen Fällen auch Selbstverletzung und suizidales Verhalten. Dies kann auch langfristige schädliche Folgen für die Entwicklung von Kindern haben, einschließlich einer Beeinträchtigung der kognitiven Entwicklung und des Lernens, geringerer sozialer Kompetenzen und der Vermeidung von Erfahrungen wie physischem Spielen, Schlaf und persönlichen sozialen Interaktionen, die für das emotionale und körperliche Wohlbefinden des Kindes von wesentlicher Bedeutung sind.

– Ein anthropomorph gestaltetes KI-System, das in seinen Interaktionen mit Kindern menschenähnliche emotionale Reaktionen simuliert, kann die Vulnerabilität und Schutzbedürftigkeit von Kindern in einer Weise ausnutzen, die ungesunde emotionale Bindungen fördert, Interaktionszeiten manipuliert und das Verständnis von Kindern für echte menschliche Beziehungen verzerrt. Dies kann ihre normale soziale und emotionale Entwicklung und ihre Beziehungen zu anderen Menschen sowie sozio- emotionale Kompetenzen wie Empathie, emotionale Regulierung sowie soziales Verständnis und Anpassungsfähigkeit behindern. Daraus können psychische Schäden wie die Zunahme von Angstzuständen und eine höhere Abhängigkeit der Kinder von diesem Dienst sowie längerfristige Beeinträchtigungen des Wohlergehens des Kindes entstehen.

Solche bewusst suchterzeugenden und ausbeuterischen Gestaltungsmerkmale KI- gestützter Dienste, die, wie oben beschrieben, zu erheblichen, miteinander verbundenen Beeinträchtigungen führen können, sollten von anderen legitimen Verhaltensweisen der Anbieter und Betreiber zur Verfolgung der Nutzereinbindung unterschieden werden, die die individuelle Autonomie und die Sicherheit von Kindern achten, die nicht zu erheblichen Schäden führen und die nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung fallen (siehe Abschnitt 5. „Außerhalb des Anwendungsbereichs“).

Ebenso können ältere Menschen mit nachlassenden kognitiven Fähigkeiten und einer geringeren digitalen Kompetenz konfrontiert sein, was sie zu vorrangigen Zielen für KI-gestützte Betrügereien oder manipulatives Marketing macht. In diesem Fall ist der Schaden häufig finanzieller und psychologischer Natur, der durch die Frustration und Isolation, die viele ältere Menschen erleben, noch verschärft wird und die ausgenutzt werden können, um die manipulative Wirkung zu verstärken.

So kann beispielsweise ein KI-System, das die durch verringerte kognitive Fähigkeiten verursachte Vulnerabilität und Schutzbedürftigkeit älterer Menschen ausnutzt, indem es insbesondere ältere Menschen als Zielgruppe für teure medizinische Behandlungen, unnötige Versicherungspolicen oder betrügerische Investitionsprogramme nutzt, zu erheblichen Einbußen an Ersparnissen, zu einer höheren Verschuldung und zu emotionalem Leid für ältere Menschen führen.

Bestimmte KI-gestützte Praktiken differenzierter Preise (Preisdiskriminierung) bei wichtigen Dienstleistungen wie Versicherungen, die eine besondere soziale oder wirtschaftliche Situation ausnutzen und für Verbraucher mit niedrigerem Einkommen höhere Preise vorsehen, können zu einer erheblichen finanziellen Belastung führen, indem für dieselbe Versicherungsleistung mehr gezahlt werden muss, wodurch diese Verbraucher anfällig für Schocks werden.

Menschen mit Behinderungen stellen ebenfalls eine schutzbedürftige Gruppe dar, die durch ausbeuterische und manipulative KI-Systeme erheblich geschädigt werden kann. So kann beispielsweise ein KI-System, das Emotionserkennung nutzt, um geistig behinderte Menschen in ihrem Alltag zu unterstützen, sie auch dazu bewegen, schädliche Entscheidungen zu treffen, z. B. durch den Kauf von Produkten, die einen unrealistischen Nutzen für die psychische Gesundheit versprechen. Dies dürfte die psychische Gesundheit der Betroffenen verschlechtern und sie durch den Kauf unwirksamer und teurer Produkte finanziell ausbeuten, was ihnen wahrscheinlich erhebliche psychische und finanzielle Schäden zufügt.

Sozial oder wirtschaftlich benachteiligte Einzelpersonen sind besonders anfällig für KI-Systeme, die ihre verzweifelte finanzielle Situation und ihre prekäre soziale Lage ausnutzen; auch sind sie häufig weniger gut informiert und haben geringere digitale Kompetenzen.

Ein KI-Chatbot könnte beispielsweise bestimmte sozial oder wirtschaftlich benachteiligte Gruppen als Zielgruppe ansprechen und sie dazu anstiften, Gewalttaten zu begehen oder andere Personen zu verletzen, indem er ihre erhöhte Anfälligkeit für bestimmte Arten von Inhalten, Angstnarrative oder ausbeuterische Angebote ermittelt. Der gezielte Ansatz des Systems verschärft die bestehenden Vulnerabilitäten dieser sozioökonomisch benachteiligten Personen und verschärft ihre Herausforderungen. In bestimmten Fällen kann dies zu einer Zunahme von Angstzuständen, Depressionen, Gefühlen der Hilflosigkeit, sozialer Isolation oder Selbstverletzung und Radikalisierung führen, die den Schwellenwert für einen erheblichen Schaden nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung erreichen.

Anders als in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung wird in Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung nicht ausdrücklich auf Gruppen zugefügte Schäden Bezug genommen, während in Erwägungsgrund 29 der KI-Verordnung auf beide Verbote, sowohl in Bezug auf Schäden, die bestimmten Personen als auch Gruppen von Einzelpersonen entstanden sind, verwiesen wird. Die beiden Verbote sollten daher kohärent ausgelegt werden, und zwar auch im Einklang mit der Sicherheitslogik der KI-Verordnung und dem Ziel des Verbots in Artikel 5 Absatz 1 Buchstabe b, nämlich alle Personen zu schützen, die aufgrund des Alters, einer Behinderung und ihrer besonderen sozialen oder wirtschaftlichen Situation bestimmten schutzbedürftigen Gruppen angehören. Schäden, die ausgelagert werden können und andere Personen betreffen, sollten daher, auch wenn sie nicht unmittelbar vom System betroffen sind, bei der Beurteilung der Erheblichkeit des Schadens nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung ebenfalls berücksichtigt werden. Beispiele:

– Die KI-gestützte Ausnutzung der Vulnerabilität und Schutzbedürftigkeit von Kindern kann langfristige gesellschaftliche Auswirkungen haben, unter anderem eine gestiegene Häufigkeit psychischer Probleme, höhere Gesundheitskosten und eine geringere Produktivität aufgrund chronischer Gesundheitsprobleme. – Ein KI-System, das die finanziellen Vulnerabilitäten wirtschaftlich benachteiligter Menschen ausbeutet, kann zu finanzieller Ausgrenzung und zu einer Abwärtsspirale sozioökonomischer Härten für diese benachteiligten Gruppen führen. Eine solche Ausbeutung kann gesellschaftliche Schäden mit umfassenderen negativen Auswirkungen auf gesellschaftliche Strukturen und Werte verursachen, einschließlich der Fortdauer und Verschärfung von Diskriminierung und sozialer Ungleichheit sowie der Ausgrenzung dieser Gruppen.

– Ein Chatbot, der mit Fehlinformationen oder Hetze bestimmte vulnerable soziale oder wirtschaftliche Gruppen ins Visier nimmt, kann zu sozialer Polarisierung und Radikalisierung führen und möglicherweise Gewalt oder sogar Verletzung und Tod anderer Personen auslösen.

Diese Beispiele für ausbeuterische KI-Praktiken sollten von zahlreichen anderen KI- Systemen unterschieden werden, die die Schutzbedürftigkeit und Vulnerabilität von Kindern, Menschen mit Behinderungen oder Menschen in besonderen sozialen oder wirtschaftlichen Situationen nicht ausnutzen und mit hinreichender Wahrscheinlichkeit keine erheblichen Schäden verursachen, sondern darauf abzielen, diesen Personen bei ordnungsgemäßer Konzeption und Verwendung einen Nutzen zu bringen (siehe auch Abschnitt 3. „Außerhalb des Anwendungsbereichs“).

Beispiele:

– KI-Systeme, die Kinder beim Lernen und Spielen unterstützen, – KI-Systeme, die älteren Menschen im Alltag helfen und ihre Gesundheit und medizinische Behandlung verbessern, wie persönliche Assistenten oder Assistenzroboter, oder die ihre digitalen Kompetenzen verbessern, – KI-Systeme, die die wirtschaftliche und sonstige Integration sozial benachteiligter Menschen in die Gesellschaft unterstützen, ihre Kompetenzen verbessern usw., – KI-Systeme und -Geräte, die Seh- oder Hörgeschädigte unterstützen oder angepasstes, personalisiertes Lernen ermöglichen, – KI-Systeme, die barrierefreie Lösungen generieren, mit denen für Menschen mit Behinderungen bestehende Hindernisse bei der Nutzung von Produkten und Dienstleistungen beseitigt werden, – KI-gestützte Prothesen usw., die Menschen mit Behinderungen in ihrem Alltag helfen und ihre Integration und volle Teilhabe an der Gesellschaft ermöglichen.

Das Zusammenspiel der Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI- Verordnung macht es erforderlich, zwischen den spezifischen Kontexten, die diese Bestimmung jeweils abdecken, eine klare Linie zu ziehen, damit ihre komplementäre Anwendung sichergestellt werden kann.

Der Schwerpunkt des Verbots in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung liegt in erster Linie auf der Art der Techniken, insbesondere solchen, die unterhalb der Schwelle der bewussten Wahrnehmung arbeiten, und anderen absichtlich manipulativen oder täuschenden Techniken. Zentrale Elemente sind hier die überwiegend verdeckte Art des Einflusses und seine Auswirkungen auf die von dem System betroffene Person, durch die ihre kognitive Autonomie, fundierte und autonome Entscheidungen zu treffen, untergraben wird.

Im Gegensatz dazu liegt der Schwerpunkt des Verbots in Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung auf dem Schutz von Personen, die aufgrund ihres Alters, ihrer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation besonders vulnerabel und aufgrund inhärenter oder situationsbezogener Faktoren grundsätzlich anfälliger für Ausbeutung durch KI sind und daher zusätzlichen Schutz vor Ausbeutung benötigen. Die wichtigsten Elemente sind hier die Merkmale der schutzbedürftigen Personen und die Tatsache, dass ihre besonderen Vulnerabilitäten vom KI-System ausgenutzt werden.

Wenn beispielsweise ein KI-System kurz aufblitzende Bilder verwendet, um Kaufentscheidungen zu beeinflussen, kann es aufgrund des unterschwelligen Charakters der Manipulation unter Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung fallen. Dagegen kann ein KI-System, das ältere Menschen mit Versicherungsangeboten ins Visier nimmt, indem es deren eingeschränkte kognitive Fähigkeiten ausnutzt, unter Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung fallen.

In Szenarien, in denen beide Bestimmungen anwendbar zu sein scheinen, sollte der vorherrschende Aspekt der Ausbeutung das Hauptkriterium für die Differenzierung sein. Erfolgt die Ausbeutung unabhängig von der spezifischen Vulnerabilität und Schutzbedürftigkeit der betroffenen Personen, sollte Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung Vorrang haben, wobei die besonderen Auswirkungen der manipulativen oder täuschenden Technik auf das Verhalten schutzbedürftiger Personen und die spezifischen Schäden, die diese Personen wahrscheinlich erleiden werden, zu berücksichtigen sind. Zielt die KI-gestützte Manipulation und Ausbeutung auf eine bestimmte Gruppe von Personen ab, die aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation schutzbedürftig ist, oder ist sie auf die Ausnutzung von deren Vulnerabilitäten ausgerichtet, so sollte stattdessen Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung angewendet werden. Die Ausnutzung von Vulnerabilitäten anderer Gruppen kann als Bestandteil von Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung abgedeckt werden, wenn sich die absichtlich manipulative Praxis spezifische Vulnerabilitäten und Schwächen dieser Personen zunutze macht.

Damit die Verbote nach Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung Anwendung finden können, müssen, wie vorstehend geprüft, alle in den einschlägigen Bestimmungen aufgeführten Bedingungen erfüllt sein. Alle anderen KI-Systeme, die diese Bedingungen nicht erfüllen, fallen nicht in den Anwendungsbereich dieser Verbote, wobei einige Beispiele nachstehend beschrieben werden. 3... Rechtmäßige Überzeugungsarbeit

Die Unterscheidung zwischen Manipulation und Überzeugungsarbeit ist von entscheidender Bedeutung für die Abgrenzung des Anwendungsbereichs des Verbots in Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung, das nicht für Praktiken rechtmäßiger Überzeugungsarbeit gilt. Auch wenn sowohl Manipulation als auch Überzeugungsarbeit die Entscheidungen und Verhaltensweisen von Einzelpersonen beeinflussen, bestehen hinsichtlich ihrer Methoden und ethischen Auswirkungen erhebliche Unterschiede.

Manipulation beinhaltet in den meisten Fällen verdeckte Techniken, die die Autonomie untergraben und Einzelpersonen dazu veranlassen, Entscheidungen zu treffen, die sie andernfalls – wenn sie sich der Einflüsse in vollem Umfang bewusst gewesen wären – möglicherweise nicht getroffen hätten. Bei diesen Techniken werden oft psychologische Schwächen oder kognitive Verzerrungen ausgenutzt. Im Gegensatz dazu wirkt Überzeugungsarbeit innerhalb der Grenzen von Transparenz und Achtung der individuellen Autonomie. Sie beinhaltet, dass Argumente oder Informationen in einer Art und Weise vorgetragen werden, die Vernunft und Emotionen anspricht, aber die Ziele und die Funktionsweise des KI-Systems erläutert und relevante, zutreffende Informationen bereitstellt, um eine fundierte Entscheidungsfindung zu gewährleisten, und die die Fähigkeit des Einzelnen, die Informationen zu bewerten und eine freie, autonome Auswahl zu treffen, fördert.

Beispielsweise betreibt ein KI-System, das personalisierte Empfehlungen auf der Grundlage transparenter Algorithmen und Nutzerpräferenzen und -kontrollen verwendet, Überzeugungsarbeit. Dagegen stellt ein System, das unterschwellige Botschaften (z. B. nicht wahrnehmbare Bilder) verwendet, um Nutzer ohne ihr Wissen und Verständnis zu bestimmten Entscheidungen zu bewegen, Manipulation dar.

Ziel und Wirkung dieser Techniken unterscheiden sich ebenfalls. Manipulation zielt häufig darauf ab, dem Manipulator auf Kosten der Autonomie und des Wohlergehens der betreffenden Person Vorteile zu verschaffen. Das Ziel von Überzeugungsarbeit besteht dagegen darin, zu informieren und zu überzeugen und Interessen und Vorteile für beide Parteien in Einklang zu bringen. Ethische Überzeugungsarbeit achtet die Autonomie des Einzelnen, fundierte Entscheidungen zu treffen, und vermeidet die Ausnutzung von Vulnerabilitäten.

Beispielsweise betreibt ein KI-System, das transparent arbeitet und die Emotionen von Kunden zu dem Zweck analysiert, die Kundeninteraktionen zu verbessern und mit dem Wissen der Nutzer Unterstützung zu leisten, Überzeugungsarbeit und steht im Einklang mit ihren Interessen. Dagegen handelt es sich bei einem Emotionserkennungssystem, das für gezielte Werbung verwendet wird und im Verborgenen Emotionen von Verbrauchern ableitet, um höherpreisige Produkte in einem bestimmten Moment, in dem sie der Nutzer mit höherer Wahrscheinlichkeit kaufen wird, anzubieten, um Manipulation und gereicht den Verbrauchern zum Nachteil.

In bestimmten Fällen spielt auch die Einwilligung eine wichtige Rolle. Bei auf Überzeugungsarbeit basierenden Interaktionen sind sich die einzelnen Personen des Beeinflussungsversuchs bewusst und können diese frei und autonom wählen. Bei manipulativen Interaktionen beeinträchtigt die fehlende Kenntnis der Techniken oder ihrer Auswirkungen die Wahlfreiheit und eine fundierte und autonome Entscheidungsfindung.

Beispielsweise ist ein KI-System, das den Nutzern helfen soll, eine Fremdsprache durch den Einsatz unterschwelliger Techniken besser und schneller zu erlernen, nicht manipulativ, wenn es transparent arbeitet und die individuelle Autonomie sowie die freie und fundierte Wahl des Nutzers, in die Verwendung des Systems einzuwilligen oder nicht, achtet.

Die Konformität mit Rechts- und Regulierungsrahmen spielt bei der Erfassung von Manipulationen im Vergleich zu rechtmäßiger Überzeugungsarbeit ebenfalls eine wichtige Rolle. Bei KI-Praktiken, die mit den geltenden Rechtsvorschriften, die Transparenz, Fairness sowie die Rechte und die Autonomie des Einzelnen wahren, im Einklang stehen, besteht daher eine größere Wahrscheinlichkeit, dass sie nach der KI- Verordnung nicht verboten sind.

Dies schließt beispielsweise die Einhaltung von Datenschutzvorschriften wie der DSGVO ein, die Transparenzpflichten bei der Datenverarbeitung vorschreibt, d. h., dass in den Informationen, die den betroffenen Personen zur Verfügung zu stellen sind, täuschende oder manipulative Sprache vermieden wird. In bestimmten Fällen kann eine Einwilligung erforderlich sein, damit die Verarbeitung personenbezogener Daten rechtmäßig ist; dies kann beispielsweise bei bestimmten personalisierten Online- Werbeanzeigen der Fall sein, die auf außerhalb des Dienstes in sozialen Netzwerken erhobenen Nutzerdaten beruhen. Diese Einwilligung muss unter anderem freiwillig und in Kenntnis der Sachlage erfolgen. Bei KI-Systemen, die diesen rechtlichen Normen entsprechen, besteht eine größere Wahrscheinlichkeit, dass sie rechtmäßige Überzeugungsarbeit betreiben. Umgekehrt betreiben Systeme, die diese Anforderungen zum Zweck der Verhaltensbeeinflussung umgehen, wahrscheinlich Manipulation.

Insbesondere wird in Erwägungsgrund 29 der KI-Verordnung klargestellt, dass die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung rechtmäßige Praktiken im Zusammenhang mit medizinischen Behandlungen unter bestimmten Bedingungen unberührt lassen.

Beispielsweise können KI-gestützte unterschwellige Techniken zur psychologischen Behandlung einer psychischen Erkrankung oder zur physischen Rehabilitation eingesetzt werden, wenn sie im Einklang mit den geltenden Rechtsvorschriften und medizinischen Standards durchgeführt werden; dies schließt die Einholung der ausdrücklichen Zustimmung der Einzelperson oder ihrer gesetzlichen Vertreter als Nutzungsvoraussetzung ein.

Darüber hinaus wird in Erwägungsgrund 29 der KI-Verordnung klargestellt, dass übliche und rechtmäßige Geschäftspraktiken wie Werbung „als solche“ oder ihrer Art nach nicht als schädliche manipulative, täuschende oder ausbeuterische KI-gestützte Praktiken gelten sollten.

Beispiele:

– Werbetechniken, bei denen KI zur Personalisierung von Inhalten auf der Grundlage von Nutzerpräferenzen verwendet wird, sind von Natur aus nicht manipulativ, wenn sie keine unterschwelligen, absichtlich manipulativen oder täuschenden Techniken einsetzen, die die individuelle Autonomie untergraben oder Vulnerabilitäten auf eine schädliche, nach Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung verbotene Weise ausnutzen. Die Erfüllung der einschlägigen Verpflichtungen aus der DSGVO, dem Verbraucherschutzrecht und der Verordnung (EU) 2022/2065 (im Folgenden „Gesetz über digitale Dienste“) trägt dazu bei, diese Risiken zu mindern. – Die Entwicklung von KI-Modellen und Klassifizierern zur Aufdeckung sexuellen Kindesmissbrauchs im Internet, die im Einklang mit dem geltenden Recht erfolgt, ist eine legitime Praxis, die die Vulnerabilität von Kindern nicht ausbeutet, sondern – im Gegenteil – von wesentlicher Bedeutung für die Verbesserung der Sicherheit von Kindern im Internet ist.

– KI-Systeme, die für die Erbringung von Bankdienstleistungen wie Hypotheken und Darlehen verwendet werden, die im Einklang mit den Rechtsvorschriften der Union über Finanzdienstleistungen, Verbraucherschutz, Datenschutz und Nichtdiskriminierung das Alter oder eine bestimmte sozioökonomische Situation des Kunden als Input nutzen, gelten dann nicht als Ausnutzung von Vulnerabilität oder Schutzbedürftigkeit im Sinne des Artikels 5 Absatz 1 Buchstabe b der KI- Verordnung, wenn sie darauf ausgelegt sind, Menschen zu schützen und zu unterstützen, die aufgrund ihres Alters, einer Behinderung oder einer besonderen sozioökonomischen Situation als schutzbedürftig eingestuft wurden, wenn sie für diese Gruppen von Vorteil sind und zudem zu gerechteren und nachhaltigeren Finanzdienstleistungen für diese Gruppen beitragen.

– KI-Systeme, die Benommenheit und Ermüdung bei Fahrern erkennen und sie im Einklang mit den Sicherheitsvorschriften mit Warnmeldungen auf Ruhepausen hinweisen, sind von Vorteil und gelten nicht als Ausnutzung von Vulnerabilitäten im Sinne von Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung.

3... Manipulative, täuschende und ausbeuterische KI-Systeme, die voraussichtlich keinen erheblichen Schaden verursachen

Eine wesentliche Bedingung für die Geltung der Verbote nach Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung ist, dass die KI-gestützte Manipulation und Ausnutzung von Vulnerabilitäten erheblichen Schaden verursacht oder mit hinreichender Wahrscheinlichkeit verursachen wird. Alle manipulativen, täuschenden und ausbeuterischen KI-Anwendungen, die mit hinreichender Wahrscheinlichkeit keine erheblichen Schäden verursachen, fallen grundsätzlich nicht in den Anwendungsbereich der Verbote, unbeschadet anderer, darüber hinaus geltender Rechtsvorschriften der Union (siehe Abschnitt 3.).

Beispiele für KI-Systeme, die voraussichtlich keinen erheblichen Schaden verursachen: – Ein KI-Begleitsystem (Companion-App) ist anthropomorph und mit Affective Computing (Emotions-KI) konzipiert, um das System ansprechender zu gestalten; es bindet Nutzer tatsächlich wirksamer, übt aber keine manipulativen oder täuschenden Praktiken in einer Weise aus, die ihnen mit hinreichender Wahrscheinlichkeit schwere psychische, physische oder sonstige Schäden zufügt oder ungesunde Bindungen und Abhängigkeiten herbeiführt.

– Ein therapeutischer Chatbot nutzt unterschwellige Techniken, um die Nutzer zu einer gesünderen Lebensweise zu bewegen und schlechte Angewohnheiten wie Rauchen aufzugeben. Selbst wenn die Nutzer, die den Rat des Chatbots und die unterschwellige Therapie befolgen, aufgrund der Bemühungen, das Rauchen aufzugeben, körperliche Beschwerden und psychische Belastungen durchleben, kann nicht davon ausgegangen werden, dass der KI-gestützte Chatbot erhebliche Schäden verursacht. Solche vorübergehenden Beschwerden sind unvermeidlich und werden durch die langfristigen Vorteile für die Gesundheit der Nutzer aufgewogen. Es gibt keine versteckten Versuche, über die Förderung gesunder Gewohnheiten hinaus die Entscheidungsfindung zu beeinflussen.

– Eine Online-Musikplattform nutzt ein Emotionserkennungssystem, um Rückschlüsse auf die Gefühle der Nutzer zu ziehen und ihnen automatisch Lieder zu empfehlen, die zu ihrer Stimmung passen, vermeiden aber gleichzeitig, sie zu stark mit depressiv stimmenden Liedern zu belasten. Da die Nutzer lediglich Musik hören und nicht anderweitig geschädigt werden oder bei ihnen Depressionen und Angstzustände ausgelöst werden, ist mit hinreichender Wahrscheinlichkeit davon auszugehen, dass das System keine erheblichen Schäden verursacht.

– KI-gestützte manipulative und betrügerische Techniken, die in Sicherheitsschulungen und in anderen Lernsimulationen eingesetzt werden, und mit denen versucht wird, Nutzer über Bedrohungen der Cybersicherheit aufzuklären. Diese Systeme können gezielt manipulative Techniken einsetzen (z. B. die Ausnutzung kognitiver Verzerrungen), ohne dass dies den Nutzern bewusst ist; sie verändern das Verhalten, wobei dies jedoch vorübergehend für sinnvolle Schulungs- und Sensibilisierungszwecke und ohne erhebliche Schäden zu verursachen geschieht.

Die Verbote nach Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung lassen andere Rechtsvorschriften der Union unberührt und ergänzen diese. Eine Praxis, die unter das Verbot nach Artikel 5 Absatz 1 Buchstabe a oder b der KI-Verordnung fällt, kann auch einen Verstoß gegen andere Rechtsvorschriften der Union darstellen und sowohl nach der KI-Verordnung als auch nach diesen anderen Rechtsakten der Strafverfolgung unterliegen. Dies ist wichtig, da unterschiedliche Bestimmungen in diesen Rechtsakten unterschiedliche Interessen schützen sollen und unterschiedliche Ziele, Anwendungsbereiche und Adressaten haben. Dadurch wird ein umfassender Regulierungsansatz sichergestellt, der Personen und Gruppen von Personen vor einer schädlichen Nutzung von KI und Manipulation durch sie schützt und sichere, vertrauenswürdige KI-gestützte Dienstleistungen und Produkte in der Union gewährleistet.

Zwischen den Verboten in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung und den Zielen des EU-Verbraucherschutzrechts besteht eine enge Übereinstimmung, insbesondere mit der Richtlinie über unlautere Geschäftspraktiken, die Verbraucher vor irreführenden oder aggressiven Geschäftspraktiken schützt, unter anderem auch, wenn sie KI-gestützt sind. Sowohl die KI-Verordnung als auch die Richtlinie über unlautere Geschäftspraktiken verfolgen das Ziel, die Schädigung von Verbrauchern durch manipulative, täuschende oder aggressive KI-gestützte Geschäftspraktiken proaktiv zu verhindern. Zugleich sind die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI- Verordnung weiter gefasst, da sie nicht nur Verbraucher schützen, sondern auch jede natürliche Person und deren Verhalten in einer Vielzahl von Kontexten, die über den gewerblichen Bereich hinausgehen. Die unter die KI-Verordnung fallenden Schäden sind ebenfalls weiter gefasst als wirtschaftliche Schäden, obwohl in der KI-Verordnung ein Schwellenwert für erhebliche Schäden festgelegt ist, der im Verbraucherschutzrecht nicht besteht.

Die Verbote stehen auch im Einklang mit dem Datenschutzrecht der Union, einschließlich der Grundsätze der rechtmäßigen, redlichen und transparenten Datenverarbeitung, die darauf abzielen, die personenbezogenen Daten betroffener Personen zu schützen und letztlich ihre Grundrechte und ihre Autonomie zu wahren. Die Verfügbarkeit einer größeren Menge an (personenbezogenen) Daten und die zunehmenden Möglichkeiten, diese Daten mit KI-Systemen zu verarbeiten, erhöhen das Risiko schädlicher manipulativer, täuschender oder ausbeuterischer Praktiken, wie sie beispielsweise in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung fallen. In diesem Zusammenhang kann die Einhaltung der Datenschutzvorschriften in Bezug auf Transparenz, Datenminimierung, Fairness und Rechtmäßigkeit, z. B. bei personalisiertem Profiling und Werbung, die auf außerhalb des Dienstes erhobenen Nutzerdaten beruht, dazu beitragen, schädliche personalisierte Manipulationen und Ausbeutung zu vermeiden.

Das Zusammenspiel mit dem Nichtdiskriminierungsrecht der Union ist auch für das Verbot nach Artikel 5 Absatz 1 Buchstabe b der KI-Verordnung von Bedeutung, da Vulnerabilität und Schutzbedürftigkeit aufgrund des Alters oder einer Behinderung ebenfalls unter den Schutz fallende Gründe sind, aus denen Menschen das Recht auf Nichtdiskriminierung haben, während sich die sozioökonomische Situation mit einer Vielzahl anderer Gründe wie Rasse und ethnischer Herkunft überschneidet. Die Verbote in der KI-Verordnung berühren nicht Verbote, die auf anderen Gründen oder diskriminierenden Praktiken beruhen, keinen erheblichen Schaden verursachen und bereits durch das Nichtdiskriminierungsrecht der Union verboten sind.

Die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung ergänzen darüber hinaus die Verordnung (EU) 2022/2065 (Gesetz über digitale Dienste), die Online-Vermittlungsdienste wie Online-Plattformen und Suchmaschinen regelt und Transparenz und Rechenschaftspflicht bei der Bereitstellung dieser Dienste gewährleistet. Insbesondere verbietet Artikel 25 Absatz 1 des Gesetzes über digitale Dienste Dark Patterns innerhalb der Benutzerschnittstelle, um sicherzustellen, dass Anbieter von Online-Plattformen die Nutzer nicht irreführen oder zu Handlungen zwingen, die möglicherweise nicht ihren tatsächlichen Absichten entsprechen. Wenn sie wahrscheinlich erhebliche Schäden verursachen, sollten solche Dark Patterns als Beispiel für manipulative oder täuschende Techniken im Sinne von Artikel 5 Absatz 1 Buchstabe a der KI-Verordnung verstanden werden.

Im Gesetz über digitale Dienste werden auch für Anbieter von Online-Plattformen geltende Verpflichtungen zur Gewährleistung von Transparenz in der Werbung (Artikel 26 und 38 für sehr große Online-Plattformen oder sehr große Suchmaschinen), zur Nutzung von Empfehlungssystemen (Artikel 27) und zum Schutz Minderjähriger (Artikel 28 des Gesetzes über digitale Dienste) festgelegt. Wenn darüber hinaus eine Online-Plattform oder Suchmaschine als sehr große Online-Plattform oder sehr große Suchmaschine eingestuft wird, hat der Anbieter dieses benannten Dienstes zusätzliche Verpflichtungen zur Bewertung und Minderung systemischer Risiken, die sich aus der Konzeption oder dem Betrieb der Dienste und seinen damit verbundenen Systemen, einschließlich algorithmischer Systeme ergeben (Artikel 34 und 35 des Gesetzes über digitale Dienste). Bei der Durchführung von Risikobewertungen sollten Anbieter sehr großer Online-Plattformen und sehr großer Online-Suchmaschinen berücksichtigen, in welcher Weise ihre Empfehlungssysteme, ihre Werbung, ihre Moderation von Inhalten und alle anderen einschlägigen algorithmischen Systeme diese systemischen Risiken beeinflussen. In solchen Risikobewertungen sollte auch analysiert werden, in welcher Weise systemische Risiken unter anderem durch die vorsätzliche Manipulation und automatisierte Ausnutzung des Dienstes beeinflusst werden (vgl. Artikel 34 Absatz 2 des Gesetzes über digitale Dienste und Erwägungsgrund 83 des Gesetzes über digitale Dienste). Gleichwohl deckt der Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe a oder b der KI-Verordnung eine Vielzahl anderer Szenarien ab (z. B. Chatbots, KI-Systeme und KI-gestützte Produkte und Dienstleistungen), die von anderen Akteuren als Anbietern von Vermittlungsdiensten angeboten oder genutzt werden können.

Das Verbot manipulativer KI-Techniken nach Artikel 5 Absatz 1 Buchstabe a der KI- Verordnung unterstützt auch die Ziele der Richtlinie 2010/13/EU (AVMD- Richtlinie), indem schädliche KI-gesteuerte Werbung und andere KI-gestützte manipulative und ausbeuterische Praktiken, die im Mediensektor erhebliche Schäden verursachen können, verhindert werden.

Die KI-Verordnung ergänzt ferner die Verordnung (EU) 2024/900 (Verordnung über politische Werbung), die harmonisierte Vorschriften, einschließlich Transparenz- und damit zusammenhängender Sorgfaltspflichten, für die Erbringung politischer Werbung und damit zusammenhängender Dienstleistungen sowie Vorschriften über den Einsatz von Targeting- oder Anzeigenschaltungsverfahren im Zusammenhang mit politischer Online-Werbung enthält. Diese Verordnung verbietet das Profiling auf der Grundlage besonderer Kategorien personenbezogener Daten im Zusammenhang mit politischer Online-Werbung und das Targeting von Personen, die mindestens ein Jahr jünger als das in den nationalen Vorschriften festgelegte Wahlalter sind. Darüber hinaus können Targeting- oder Anzeigenschaltungsverfahren im Zusammenhang mit politischer Online-Werbung nur dann durchgeführt werden, wenn sie auf personenbezogenen Daten beruhen, die bei den betroffenen Personen mit deren ausdrücklicher Einwilligung erhoben wurden. Außerdem gelten zusätzliche Transparenzanforderungen, d. h. die Offenlegung politischer Anzeigen, die Beschreibung der Verwendung solcher Techniken und der wichtigsten Parameter sowie zusätzliche Informationen über die damit verbundene Logik einschließlich Informationen über die Verwendung von KI- Systemen. Eine gezielte politische Werbung auf der Grundlage einer im Einklang mit der genannten Verordnung erfolgenden Verarbeitung personenbezogener Daten wird dazu beitragen, dass das Profiling von Wählern sowie das Targeting und die Anzeigenschaltung politischer Werbung innerhalb der Grenzen rechtmäßiger Überzeugungsarbeit funktionieren.

Das in der KI-Verordnung enthaltene Verbot schädlicher ausbeuterischer und täuschender KI-Praktiken ergänzt zudem andere geltende Rechtsvorschriften der Union, in denen allgemeine Transparenzvorschriften für Werbung, Verbraucherschutz und das ordnungsgemäße Verhalten von Wirtschaftsbeteiligten festgelegt sind (z. B. werden in der MIFID-Richtlinie 2014/65/EU, der Richtlinie (EU) 2016/97 über Versicherungsvertrieb, der Richtlinie (EU) 2023/2225 über Verbraucherkreditverträge, der Richtlinie (EU) 2002/65 über den Fernabsatz, der Richtlinie 2006/114/EG über irreführende und vergleichende Werbung und der Richtlinie (EU) 2011/83 über die Rechte der Verbraucher allgemeine Verbraucherschutzstandards festgelegt). In diesem Zusammenhang hat die Europäische Aufsichtsbehörde für das Versicherungswesen und die betriebliche Altersversorgung (EIOPA) bereits eine aufsichtliche Erklärung zu einigen unlauteren ausbeuterischen Praktiken im Zusammenhang mit differenzierten Preisen abgegeben, die auch in den Anwendungsbereich der KI-Verordnung fallen könnten, wenn sie durch KI-Systeme ermöglicht werden.

Auch berühren die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI- Verordnung nicht die EU-Produktsicherheitsvorschriften (z. B. für Medizinprodukte, Spielzeug, Maschinen), die eine entscheidende Rolle bei der Gewährleistung der Sicherheit von Produkten mit integrierten KI-Systemen spielen, sondern ergänzen diese. Dies erfordert die Einhaltung der Ex-ante-Sicherheitsanforderungen für regulierte Produkte und deren proaktive Überwachung, um sicherzustellen, dass sie keine Sicherheitsrisiken darstellen, die zu physischen und psychischen Schäden führen können. Der Hersteller solcher Produkte mit eingebetteten KI-Systemen sollte daher diese Verbote in seinen Risikobewertungen und Sicherheits- und Schadensminderungsmaßnahmen berücksichtigen, soweit dies mit der Logik und dem Anwendungsbereich der einschlägigen harmonisierten Rechtsvorschriften der Union zur Sicherheit vereinbar ist. Die Sicherheitsvorschriften der Union ergänzen zudem die Verbote der KI-Verordnung und können auch eingreifen und Sicherheitsrisiken, die keine Gefahr erheblicher Schäden darstellen, entgegenwirken. Insbesondere wirkt die Verordnung (EU) 2023/988 (Verordnung über die allgemeine Produktsicherheit) als Sicherheitsnetz, denn sie schreibt vor, dass alle Verbraucherprodukte, die nicht unter besondere Anforderungen anderer sektorspezifischer Produktsicherheitsvorschriften der Union fallen (einschließlich Produkten mit eingebetteten KI-Systemen, die nicht gemäß Artikel 6 als Hochrisiko-Systeme eingestuft sind und den Anforderungen der KI-Verordnung unterliegen), unter normalen oder vernünftigerweise vorhersehbaren Verwendungsbedingungen sicher sein müssen, wobei insbesondere Risiken für die physische und psychische Gesundheit der Verbraucher zu berücksichtigen sind.

Und schließlich ist das Zusammenspiel mit dem Strafrecht von entscheidender Bedeutung. Die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung zielen darauf ab, schädliches Verhalten zu verhindern, das Straftaten darstellen oder zu Straftaten wie Betrug, Fälschung, Betrügereien, Nötigung oder der Erzeugung und Verbreitung illegaler Inhalte wie terroristischer Inhalte, Darstellungen sexuellen Kindesmissbrauchs, Hetze und sexuell expliziter Deepfakes führen kann. Bedeutsam ist auch, dass die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung als Rechtsvorschriften für den Binnenmarkt nicht nur die Nutzung, sondern auch das Inverkehrbringen eines KI-Systems betreffen, sodass Schäden durch die Einschränkung des Zugangs zu solchen verbotenen Systemen, die kriminelle Aktivitäten erleichtern und verschleiern können, frühzeitig verhindert werden. Darüber hinaus könnten die Verbote in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung auch andere schädliche Praktiken abdecken, die nach Unionsrecht oder nationalem Recht nicht als Straftaten eingestuft werden.