Artikel 5 Absatz 1 Buchstabe F der KI-Verordnung über die Emotionserkennung

Die Emotionserkennungstechnologie entwickelt sich rasch und umfasst verschiedene Technologien und Verarbeitungsvorgänge zur Erkennung, Erfassung, Analyse und Kategorisierung von Emotionen, die Reaktion auf und Interaktion mit Emotionen und zum Erlernen von Emotionen von Personen. Diese Technologie wird auch als „Affective Computing“ bezeichnet. Emotionserkennung kann in zahlreichen Bereichen und Arbeitsgebieten für ein breites Spektrum von Anwendungen genutzt werden, z. B. für die Analyse von Kundenverhalten, für gezielte Werbung und für das Neuromarketing; in der Unterhaltungsbranche, z. B. zur Abgabe personalisierter Empfehlungen oder zur Vorhersage von Reaktionen auf Filme; in Medizin und Gesundheitsversorgung, z. B. zur Erkennung von Depressionen, zur Suizidprävention oder zur Erkennung von Autismus; in der Bildung, z. B. zur Überwachung der Aufmerksamkeit oder des Engagements von Lernenden (Schüler und Studierende unterschiedlicher Altersgruppen); am Arbeitsplatz, z. B. zur Begleitung des Einstellungsverfahrens, zur Überwachung der Emotionen oder der Langeweile von Arbeitnehmern, aber auch für Anwendungen zur Förderung des Wohlbefindens für „zufriedenere Arbeitnehmer“149; für die Strafverfolgung und die öffentliche Sicherheit, z. B. mit Lügendetektoren oder Emotionsscreening bei Großveranstaltungen und für viele andere Zwecke.

Emotionserkennung wird hinsichtlich ihrer Wirksamkeit oder Genauigkeit häufig in Zweifel gezogen. In Erwägungsgrund 44 der KI-Verordnung wird erläutert, dass „im Hinblick auf die wissenschaftliche Grundlage von KI-Systemen, die darauf abzielen, Emotionen zu erkennen oder abzuleiten, …ernsthafte Bedenken [bestehen], insbesondere da sich Gefühlsausdrücke je nach Kultur oder Situation und selbst bei ein und derselben Person erheblich unterscheiden. Zu den größten Schwachstellen solcher Systeme gehört, dass sie beschränkt zuverlässig, nicht eindeutig und nur begrenzt verallgemeinerbar sind.“ Außerdem wird erläutert, dass Emotionserkennung „diskriminierende Ergebnisse hervorbringen und in die Rechte und Freiheiten der betroffenen Personen eingreifen“ kann, insbesondere in das Recht auf Privatsphäre, Menschenwürde und Gedankenfreiheit. Dies spielt in asymmetrischen Beziehungen eine wichtige Rolle, insbesondere im Zusammenhang mit dem Arbeitsplatz und Einrichtungen der allgemeinen und beruflichen Bildung, wo sowohl Arbeitnehmer als auch Schüler und Studierende besonders schutzbedürftig sind. Gleichzeitig bietet die Emotionserkennung Vorteile in bestimmten Anwendungskontexten, z. B. der Sicherheit und der medizinischen Versorgung (z. B. medizinischer Behandlung und Diagnose).

Damit das Verbot nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung gilt, müssen mehrere kumulative Bedingungen erfüllt sein:

(i) Die Praxis muss das „Inverkehrbringen“, die „Inbetriebnahme für diesen spezifischen Zweck“ oder die „Verwendung“ eines KI-Systems darstellen; (ii) das KI-System dient zur Ableitung von Emotionen;

(iii) im Bereich des Arbeitsplatzes oder von Einrichtungen der allgemeinen und beruflichen Bildung und (iv) von dem Verbot ausgenommen sind KI-Systeme, die aus medizinischen Gründen oder Sicherheitsgründen eingeführt werden.

Damit das Verbot Anwendung finden kann, müssen alle vier Bedingungen gleichzeitig erfüllt sein. Das erste Element, d. h. das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems, wurde bereits in Abschnitt 2. analysiert. Das Verbot gilt daher sowohl für Anbieter als auch für Betreiber von KI-Systemen im Rahmen ihrer jeweiligen Verantwortung dafür, solche Systeme nicht in Verkehr zu bringen, in Betrieb zu nehmen oder zu verwenden. Die übrigen Bedingungen für das Verbot werden im Folgenden näher beschrieben und analysiert.

7... KI-Systeme zur Ableitung von Emotionen a) KI-Systeme zur Ableitung von Emotionen im Vergleich zu Emotionserkennungssystemen

In Artikel 3 Nummer 39 der KI-Verordnung werden „Emotionserkennungssysteme“ als KI-Systeme definiert, die dem Zweck dienen, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten festzustellen oder daraus abzuleiten. Das Verbot in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung bezieht sich nicht auf „Emotionserkennungssysteme“, sondern nur auf KI-Systeme „zur Ableitung von Emotionen einer natürlichen Person“. In Erwägungsgrund 44 wird ferner klargestellt, dass dieses Verbot für KI-Systeme gilt, „die darauf abzielen, Emotionen zu erkennen oder abzuleiten“.

Eine Ableitung schließt im Allgemeinen die Erkennung als Voraussetzung ein, sodass das Verbot so zu verstehen ist, dass es sowohl KI-Systeme einschließt, die Emotionen oder Absichten erkennen, als auch solche, die sie ableiten. Aus Gründen der Kohärenz ist es auch wichtig, das Verbot in Artikel 5 Absatz 1 Buchstabe f der KI- Verordnung so auszulegen, dass es einen ähnlichen Anwendungsbereich hat wie die Vorschriften für andere Emotionserkennungssysteme (Anhang III Nummer 1 Buchstabe c und Artikel 50 der KI-Verordnung) und es auf Ableitungen zu beschränken, die auf den biometrischen Daten einer Person beruhen. Die Definition von Emotionserkennungssystemen in Artikel 3 Nummer 39 der KI-Verordnung sollte daher in Bezug auf Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung als relevant angesehen werden.

b) Erkennen und Ableitung von Emotionen oder Absichten

„Erkennen“ findet statt, wenn es die Verarbeitung der biometrischen Daten (z. B. der Stimme oder eines Gesichtsausdrucks) einer natürlichen Person ermöglicht, eine Emotion direkt mit einer zuvor im Emotionserkennungssystem programmierten Emotion zu vergleichen und zu identifizieren. „Ableiten“ findet statt, wenn Informationen, die durch analytische und andere Prozesse des Systems selbst erzeugt wurden, hergeleitet werden. In einem solchen Fall beruhen die Informationen über die Emotion nicht allein auf Daten, die über die natürliche Person erhoben wurden, sondern werden aus anderen Daten abgeleitet; dies schließt Ansätze für maschinelles Lernen ein, wobei aus Daten gelernt wird, wie Emotionen erkannt werden können. c) Emotionen

Für die Zwecke von Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung sollte der Begriff der Emotionen oder Absichten in einem weiten Sinn verstanden und nicht restriktiv ausgelegt werden. Erwägungsgrund 18 der KI-Verordnung enthält einige Einzelheiten und führt Emotionen „wie Glück, Trauer, Wut, Überraschung, Ekel, Verlegenheit, Aufregung, Scham, Verachtung, Zufriedenheit und Vergnügen“ auf. Diese Beispiele sind nicht erschöpfend.

Das Verbot sollte nicht mittels eines Verweises auf Einstellungen umgangen werden; es umfasst auch Fälle, in denen das KI-System auf der Grundlage der biometrischen Daten feststellt, dass eine Person beispielsweise eine feindselige Einstellung zeigt.

In Erwägungsgrund 18 der KI-Verordnung wird klargestellt, dass Emotionen oder Absichten „nicht physische Zustände wie Schmerz oder Ermüdung, einschließlich beispielsweise Systeme, die zur Erkennung des Zustands der Ermüdung von Berufspiloten oder -fahrern eingesetzt werden, um Unfälle zu verhindern“, umfassen. Außerdem wird dort klargestellt, dass Emotionserkennungssysteme nicht „die bloße Erkennung offensichtlicher Ausdrucksformen, Gesten und Bewegungen“ einschließen, „es sei denn, sie werden zum Erkennen oder Ableiten von Emotionen verwendet“, was so zu verstehen ist, dass auch Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung gilt. Bei diesen Ausdrucksformen kann es sich um einfache Gesichtsausdrücke wie ein Stirnrunzeln oder ein Lächeln oder um Gesten wie Hand-, Arm- oder Kopfbewegungen oder um die Stimmmerkmale einer Person handeln, wie eine erhobene Stimme oder ein Flüstern. Werden diese offensichtlichen Ausdrucksformen oder Gesten jedoch verwendet, um Emotionen oder Absichten zu erkennen oder abzuleiten, so fallen sie unter das Verbot.

Beispiele:

– Die Beobachtung, dass eine Person lächelt, ist keine Emotionserkennung. – Die Feststellung, ob eine Person krank ist, ist keine Emotionserkennung. – Verwendet ein Fernsehveranstalter ein Gerät, mit dessen Hilfe nachverfolgt werden kann, wie oft Nachrichtenmoderatoren in die Kamera lächeln, ist dies keine Emotionserkennung.

– Die Schlussfolgerung, dass eine Person glücklich ist, stellt Emotionserkennung dar. Ein KI-System, das beispielsweise aus Gesten, Stirnrunzeln oder fehlendem Lächeln ableitet, dass ein Mitarbeiter unglücklich, traurig oder gegenüber den Kunden wütend ist, stellt „Emotionserkennung“ dar.

– Systeme, die aus Stimmführung oder Körpersprache ableiten, dass ein Schüler zornig und im Begriff ist, gewalttätig zu werden, stellen „Emotionserkennung“ dar. – Der Einsatz von KI-Erkennungssystemen, um auf die Ermüdung eines Berufspiloten oder -fahrers zu schließen, ihn zu warnen und ihm zu empfehlen, zur Vermeidung von Unfällen Pausen einzulegen, ist keine „Emotionserkennung“, da Emotionserkennung keine physischen Zustände wie Schmerzen oder Ermüdung einschließt.

d) Auf der Grundlage ihrer biometrischen Daten

Nach der Definition in Artikel 3 Nummer 39 der KI-Verordnung stellen nur KI- Systeme, die Emotionen oder Absichten auf der Grundlage von biometrischen Daten feststellen oder daraus ableiten, Emotionserkennungssysteme dar.

Persönliche Merkmale, aus denen biometrische Daten extrahiert werden können, sind physische oder verhaltensbezogene Attribute. Physiologische biometrische Daten verwenden physische, strukturelle und relativ statische Attribute einer Person wie Fingerabdrücke, Irismuster, Gesichtskonturen oder die Geometrie von Venen in ihren Händen. Einige Modalitäten sind mikroskopischer Natur, weisen aber nach wie vor biologische und chemische Strukturen auf, die erfasst und identifiziert werden können, beispielsweise DNA und Geruch. In der Verhaltensbiometrie werden die charakteristischen Merkmale von Bewegungen, Gesten und motorischen Fähigkeiten von Einzelpersonen bei der Ausführung einer Aufgabe oder einer Reihe von Aufgaben überwacht. Dies bedeutet, dass menschliche Bewegungen wie Gehen (Ganganalyse) oder der Fingerkontakt mit einer Tastatur (Tastenanschläge) erfasst und analysiert werden. Die Verhaltensbiometrie umfasst eine Vielzahl von Modalitäten, die sowohl absichtlich als auch unwillkürlich wiederholte Bewegungen und das damit verbundene rhythmische Timing bzw. die Anspannung von Körperregionen umfassen und von der Ausführung von Unterschriften, dem Gang, der Stimme oder Tastenanschlägen bis zur Verfolgung der Augenbewegungen und der Herzschläge, Elektroenzephalografie (EEG) oder Elektrokardiogrammen (EKG) reichen. Der biometrische Input kann sich auf eine Modalität (z. B. Gesichtsbilder) oder mehrere Modalitäten (z. B. Gesichtsinformationen in Kombination mit einem Elektroenzephalogramm (EEG)) beziehen. In Erwägungsgrund 18 werden als Beispiele Gesichtsausdrücke, Gesten wie Handbewegungen oder die Stimmmerkmale einer Person genannt.

Beispiele:

– Ein KI-System, das aus schriftlichen Texten (Analysen von Inhalt und Stimmung) Emotionen ableitet, um den Stil oder den Ton eines bestimmten Artikels zu bestimmen, beruht nicht auf biometrischen Daten und fällt daher nicht in den Anwendungsbereich des Verbots.

– Ein KI-System, das Emotionen aus Tastenanschlägen (Art des Tippens), Gesichtsausdrücken, Körperhaltungen oder Bewegungen ableitet, beruht auf biometrischen Daten und fällt in den Anwendungsbereich des Verbots.

Die Definition biometrischer Daten in der KI-Verordnung ist folglich weit gefasst und schließt sämtliche biometrischen Daten ein, die für die Emotionserkennung, die biometrische Kategorisierung oder für andere Zwecke verwendet werden. 7... Beschränkung des Verbots auf den Arbeitsplatz und Bildungseinrichtungen

Das Verbot in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung ist auf Emotionserkennungssysteme „am Arbeitsplatz und in Bildungseinrichtungen“ beschränkt. Wie in Erwägungsgrund 44 der KI-Verordnung klargestellt wird, soll mit dieser Beschränkung dem Machtungleichgewicht in den Bereichen Arbeit und Bildung begegnet werden.

a) „Arbeitsplatz“

Der Begriff „Arbeitsplatz“ sollte weit ausgelegt werden. Dieser Begriff bezieht sich auf jeden besonderen physischen oder virtuellen Raum, in dem natürliche Personen Aufgaben und Verantwortlichkeiten wahrnehmen, die ihnen von ihrem Arbeitgeber oder der Organisation, der sie angeschlossen sind, zugewiesen wurden, z. B. im Falle einer selbstständigen Erwerbstätigkeit. Dies schließt sämtliche Umgebungen ein, in denen die Arbeit ausgeführt wird und die je nach Art der Tätigkeit stark variieren können, und zwar von Büroräumen, Fabriken und Lagern in Innenräumen bis hin zu öffentlich zugänglichen Räumen wie Geschäften, Stadien oder Museen und zu Freigeländen oder Kraftfahrzeugen sowie temporären oder mobilen Arbeitsstätten. Dies ist unabhängig vom Status als Arbeitnehmer, Auftragnehmer, Auszubildender, Freiwilliger usw. Der Begriff „Arbeitsplatz“ in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung sollte im Einklang mit anderen Bestimmungen der KI-Verordnung, die das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen in den Bereichen Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit betreffen, auch für Bewerber während des Auswahl- und Einstellungsverfahrens gelten, da ein Machtungleichgewicht besteht und die Emotionserkennung bereits in der Einstellungsphase in die Privatsphäre eingreifen kann.

Beispiele:

– Die Verwendung von Webcams und Stimmerkennungssystemen durch ein Call- Center zum Zweck der Nachverfolgung der Emotionen der Mitarbeiter, wie z. B. Wut, ist verboten. Werden Emotionserkennungssysteme nur zu persönlichen Schulungszwecken eingesetzt, sind sie zulässig, sofern die Ergebnisse nicht Personen mit Personalverantwortung zur Verfügung gestellt werden, sofern sich die Ergebnisse nicht auf die Bewertung, Beförderung usw. der geschulten Person auswirken können und sofern das Verbot nicht umgangen wird und die Verwendung des Emotionserkennungssystems keine Auswirkungen auf das Arbeitsverhältnis hat. – Die Verwendung von Stimmerkennungssystemen durch ein Call-Center zur Verfolgung von Emotionen ihrer Kunden wie Wut oder Ungeduld ist nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung nicht verboten (z. B. um die Beschäftigten im Umgang mit bestimmten wütenden Kunden zu unterstützen).

– KI-Systeme, die den emotionalen Ton in hybriden Arbeitsteams überwachen, indem sie Emotionen aus Stimm- und Bildaufnahmen hybrider Videokonferenzen erkennen und ableiten, was in Regel der Förderung des sozialen Bewusstseins, des Managements emotionaler Dynamik und der Konfliktverhütung dienen würde, sind verboten.

– Die Verwendung von KI-Systemen zur Emotionserkennung während des Einstellungsverfahrens ist verboten.

– Die Verwendung von KI-Systemen zur Emotionserkennung während der Probezeit ist verboten.

– Die Verwendung von Kameras durch einen Supermarkt zur Verfolgung von Emotionen (beispielsweise Glück) seiner Mitarbeiter ist verboten. – Die Verwendung von Kameras durch einen Supermarkt oder eine Bank, mit deren Hilfe verdächtige Kunden entdeckt werden sollen, damit beispielsweise Schlüsse gezogen werden können, ob jemand im Begriff ist, einen Raub zu begehen, ist nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung nicht verboten, wenn sichergestellt ist, dass keine Mitarbeiter nachverfolgt werden und es ausreichende Schutzvorkehrungen gibt.

b) „Bildungseinrichtungen“

Die Bezugnahme auf Bildungseinrichtungen ist weit gefasst und ist so zu verstehen, dass sie sowohl öffentliche als auch private Einrichtungen umfasst. Es bestehen keine Einschränkungen hinsichtlich der Art oder des Alters der Schüler oder Studierenden oder hinsichtlich einer bestimmten Umgebung (online, Präsenz, integriertes Lernen (Blended Learning) usw.). So fallen beispielsweise Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen in den Anwendungsbereich des Verbots nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung, einschließlich Berufsschulen, d. h. Schulen, in denen Schülern handwerkliche Kompetenzen vermittelt werden und in denen sie Weiterbildungsangeboten folgen. Bildungseinrichtungen werden in der Regel von den zuständigen nationalen Bildungsbehörden oder gleichwertigen Behörden zugelassen oder genehmigt. Ein wesentliches Merkmal besteht darin, dass Bildungseinrichtungen Zertifikate ausstellen können (der Unterrichtsbesuch ist eine Voraussetzung für die Erlangung eines Zertifikats). Das Verbot ist so zu verstehen, dass es während des Verfahrens zur Feststellung, ob ein Bewerber zugelassen werden kann, auch für diese gilt.

Beispiele:

– Eine KI-gestützte Anwendung mit Emotionserkennung für das Erlernen einer Sprache online außerhalb einer Bildungseinrichtung ist nach Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung nicht verboten. Wenn eine Bildungseinrichtung die Studierenden hingegen verpflichtet, das Programm zu nutzen, ist die Verwendung eines solchen Emotionserkennungssystems verboten.

– Die durch eine Bildungseinrichtung erfolgende Verwendung einer KI-gestützten Software zur Verfolgung der Augenbewegungen bei Online-Prüfungen Studierender, um den Fixierungspunkt und die Bewegung der Augen zu verfolgen (um beispielsweise zu erkennen, ob unerlaubtes Material verwendet wird), ist nicht verboten, da das System Emotionen weder erkennt noch ableitet. Wird das System hingegen auch zur Erkennung von Emotionen wie Erregungs- und Angstzuständen genutzt, so fiele dies in den Anwendungsbereich des Verbots.

– Die Verwendung eines KI-Systems zur Emotionserkennung durch eine Bildungseinrichtung zum Zweck der Ableitung des Interesses und der Aufmerksamkeit der Schüler und Studierenden ist verboten. Hingegen sind Emotionserkennungssysteme zulässig, wenn sie nur zu Lernzwecken im Rahmen eines Rollenspiels (z. B. für die Ausbildung von Schauspielern oder Lehrkräften) eingesetzt werden und wenn die Ergebnisse keine Auswirkungen auf die Bewertung oder Zertifizierung der geschulten Person haben können.

– Die Verwendung eines KI-Systems zur Emotionserkennung durch eine Bildungseinrichtung bei Prüfungen zur Feststellung, ob neue Studierende zugelassen werden können, ist verboten.

– Die Verwendung eines KI-Systems durch eine Bildungseinrichtung, das dieser ermöglicht, Studierende, die während des Online-Unterrichts über ihre Telefone oder andere Kanäle miteinander sprechen, zu erfassen, ist nicht verboten, da es keine Emotionen ableitet. Wird das System hingegen auch zur Erkennung von Emotionen wie Erregungs- und Angstzuständen oder Interesse genutzt, so fiele dies in den Anwendungsbereich des Verbots.

– Der Einsatz eines KI-Systems zur Emotionserkennung sowohl bei Lehrkräften (Arbeitsplatz) als auch bei Studierenden (Bildung) durch eine Bildungseinrichtung ist verboten.

7... Ausnahmen aus medizinischen Gründen und Sicherheitsgründen

Das Verbot in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung enthält eine ausdrückliche Ausnahme für Emotionserkennungssysteme, die am Arbeitsplatz und in Bildungseinrichtungen aus medizinischen Gründen oder Sicherheitsgründen eingesetzt werden, beispielsweise Systeme für therapeutische Zwecke. In Anbetracht des Ziels der KI-Verordnung, ein hohes Maß an Schutz der Grundrechte zu gewährleisten, sollte diese Ausnahme eng ausgelegt werden.

Unter therapeutischen Zwecken ist insbesondere die Verwendung von Medizinprodukten mit CE-Zeichen zu verstehen. Darüber hinaus umfasst diese Ausnahme nicht den Einsatz von Emotionserkennungssystemen zur Erkennung allgemeiner Aspekte des Wohlbefindens. Die allgemeine Überwachung des Stressniveaus am Arbeitsplatz ist unter Gesundheits- oder Sicherheitsaspekten nicht zulässig. So würde beispielsweise ein KI-System, das dazu bestimmt ist, Burnout oder Depressionen am Arbeitsplatz oder in Bildungseinrichtungen zu erkennen, nicht unter die Ausnahme fallen und weiterhin verboten bleiben.

Der Begriff „Sicherheitsgründe“ im Rahmen dieser Ausnahme ist so zu verstehen, dass er nur für den Schutz von Leben und Gesundheit gilt, nicht aber für den Schutz anderer Interessen, z. B. Schutz des Eigentums vor Diebstahl oder Betrug.

Aus dieser engen Auslegung der Ausnahme ergibt sich, dass jede Verwendung aus medizinischen Gründen und Sicherheitsgründen stets auf das absolut notwendige und verhältnismäßige Maß beschränkt bleiben sollte, einschließlich zeitlicher Begrenzungen, persönlicher Anwendungen und Umfang, und dass sie von ausreichenden Schutzvorkehrungen begleitet werden sollte. Solche Schutzvorkehrungen könnten beispielsweise ein vorheriges schriftliches und mit Gründen versehenes Sachverständigengutachten zum konkreten Anwendungsfall umfassen. Die Notwendigkeit sollte anhand des medizinischen und sicherheitsbezogenen Zwecks objektiv beurteilt werden und sich nicht auf die „Bedürfnisse“ des Arbeitgebers oder der Bildungseinrichtung beziehen. Bei dieser Bewertung sollte geprüft werden, ob es weniger stark eingreifende alternative Mittel gibt, die denselben Zweck erfüllen würden.

Arbeitgeber und Pädagogen sollten Emotionserkennungssysteme nur aus medizinischen Gründen und Sicherheitsgründen einführen, wenn eindeutig Bedarf dafür besteht. Die in diesem Zusammenhang erhobenen und verarbeiteten Daten dürfen für keine anderen Zwecke verwendet werden. Dies ist besonders wichtig, da sich der Einsatz von KI-Managementsoftware am Arbeitsplatz nachweislich negativ auf die Gesundheit und Sicherheit der Arbeitnehmer auswirkt. Eine kontinuierliche Überwachung mittels am Körper getragener Geräte (Wearables) kann beispielsweise zu einer Zunahme von Arbeitsstress führen und zugleich die Produktivität beeinträchtigen.

Da in Erwägungsgrund 18 der KI-Verordnung physische Zustände wie Schmerz oder Ermüdung von der Definition des Begriffs „Emotionserkennungssysteme“ ausgenommen sind, würde eine Reihe von aus Sicherheitsgründen verwendeten KI- Systemen bereits nicht unter diese Definition fallen, beispielsweise Systeme, die zur Erkennung des Ermüdungszustands von Berufspiloten oder -fahrern eingesetzt werden, um Unfälle zu verhindern.

Andere Gesetze, einschließlich Datenschutzvorschriften, gelten weiterhin für Emotionserkennungssysteme, die die Bedingungen der Ausnahme in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung erfüllen.

Emotionserkennungssysteme, die gemäß Artikel 6 Absatz 2 und Anhang III Absatz 1 Buchstabe c der KI-Verordnung als Hochrisikosysteme eingestuft werden, müssen die Hochrisikoanforderungen in Kapitel III Abschnitt 2 der KI-Verordnung und die Transparenzpflicht nach Artikel 50 Absatz 3 der KI-Verordnung erfüllen. Beispiele:

Emotionserkennung kann aus medizinischen Gründen zur Unterstützung von Arbeitnehmern oder Studierenden mit Autismus und zur Verbesserung der Barrierefreiheit für blinde oder gehörlose Menschen eingesetzt werden. Solche Verwendungen würden unter die Ausnahme aus medizinischen Gründen in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung fallen.

Dagegen gilt die Emotionserkennung zur Bewertung des Wohlbefindens, des Motivationsniveaus und der Arbeits- oder Lernzufriedenheit von Studierenden oder Arbeitnehmern nicht als „Verwendung aus medizinischen Gründen“ und wäre verboten.

Einem Arbeitgeber wäre es untersagt, am Arbeitsplatz KI-gestützte Geräte oder digitale Assistenten einzusetzen, um auf der Grundlage gemessener Stresswerte Angstzustände oder Langeweile von Arbeitnehmern zu messen, es sei denn, der erhöhte Stresswert bzw. die mangelnde Konzentration würden beispielsweise beim Einsatz gefährlicher Maschinen oder Umgang mit gefährlichen Chemikalien eine besondere Gefahr darstellen. Im letzteren Fall darf der Arbeitgeber die Daten nicht für andere Zwecke wie beispielsweise Beurteilung der Arbeitsleistung des Arbeitnehmers verwenden.

Artikel 2 Absatz 11 der KI-Verordnung sieht vor, dass die Union oder die Mitgliedstaaten „Rechts- oder Verwaltungsvorschriften, … die für die Arbeitnehmer im Hinblick auf den Schutz ihrer Rechte bei der Verwendung von KI-Systemen durch die Arbeitgeber vorteilhafter sind,“ beibehalten oder einführen können. Auch Kollektivvereinbarungen, die für die Arbeitnehmer vorteilhafter sind, können gefördert oder zugelassen werden.

Die Mitgliedstaaten können beispielsweise Rechtsvorschriften erlassen, mit denen bestimmt wird, dass Emotionserkennungssysteme im Bereich der Arbeit nicht für medizinische Zwecke verwendet werden dürfen.

Wie bereits erwähnt, fallen folgende Systeme nicht in den Anwendungsbereich: - KI-Systeme, die Emotionen und Stimmungen nicht auf der Grundlage biometrischer Daten ableiten, - KI-Systeme, die physische Zustände wie Schmerz und Ermüdung ableiten.

Emotionserkennungssysteme, die in allen anderen Bereichen außer den Bereichen Arbeitsplatz und Bildungseinrichtungen eingesetzt werden, fallen nicht unter das Verbot in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung. Solche Systeme gelten jedoch als Hochrisiko-KI-Systeme. Gleichzeitig können solche Systeme in bestimmten Fällen kraft Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung (schädliche Manipulation und Ausbeutung) oder aufgrund anderer Rechtsvorschriften der Union verboten sein. Für Systeme dieser Art gelten weiterhin alle anderen anwendbaren Rechtsvorschriften wie das Datenschutzrecht der Union, der Verbraucherschutz usw.

Beispiele:

Emotionserkennungssysteme, die in einem gewerblichen Kontext zur Kundenansprache verwendet werden, fallen unabhängig davon, ob sie sich auf biometrische Daten stützen, nicht unter das Verbot des Artikels 5 Absatz 1 Buchstabe f der KI-Verordnung. Daher fallen beispielsweise KI-Systeme, die eine Emotionserkennung auf der Grundlage von Tastenanschlägen oder Sprachnachrichten von Kunden ermöglichen (z. B. Chat-Nachrichten, Nutzung virtueller Sprachassistenten), und die im Online-Marketing für Anwendungen zur Anzeige personalisierter Botschaften und für Werbezwecke, auch in intelligenten Umgebungen („intelligente Werbetafeln“), verwendet werden, nicht unter das Verbot. Solche Praktiken können jedoch unter das Verbot der schädlichen Manipulation und Ausbeutung in Artikel 5 Absatz 1 Buchstaben a und b der KI-Verordnung fallen, wenn alle Bedingungen für die Anwendung dieser Verbote erfüllt sind. a) Andere Systeme, die nicht in den Anwendungsbereich fallen

Der Begriff „Massenkontrolle“ bezieht sich im Allgemeinen auf die Kontrolle und Überwachung des Verhaltens von Gruppen zur Aufrechterhaltung der (öffentlichen) Ordnung und der Sicherheit von Veranstaltungen. Sie wird häufig mit Großveranstaltungen (z. B. Fußballspielen, Konzerten usw.) oder bestimmten Orten wie Flughäfen oder Zügen in Verbindung gebracht. Systeme zur Massenkontrolle können ohne die Ableitung der Emotionen einzelner Personen arbeiten, wenn sie beispielsweise den allgemeinen Lärmpegel und das Niveau der allgemeinen Stimmung an einem bestimmten Ort messen. In diesem Fall würde das System nicht in den Anwendungsbereich von Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung fallen, da es keine Emotionen einer (konkreten) natürlichen Person ableitet.

Es kann jedoch Fälle geben, in denen solche Massenkontrollsysteme Emotionen von Einzelpersonen ableiten, beispielsweise, ob es viele zornige Gesichter gibt. Normalerweise würden solche KI-Systeme nicht unter das Verbot in Artikel 5 Absatz 1 Buchstabe f der KI-Verordnung fallen, da sie in der Regel nicht am Arbeitsplatz oder in Bildungseinrichtungen verwendet werden.

Nicht in den Anwendungsbereich fallen auch Systeme, die im medizinischen Bereich eingesetzt werden, z. B. Pflegeroboter oder Emotionserkennungssysteme, die von Hausärzten an ihrem Arbeitsplatz bei Untersuchungen genutzt werden, sowie Stimmmonitore, die Notrufe analysieren.

Solche Systeme werden häufig Personen überprüfen, die sich in einem beruflichen Kontext befinden, z. B. das Sicherheitspersonal in einem Fußballstadion oder an einem wichtigen Bahnhof (wo diese Systeme zur Erkennung aggressiver Verhaltensweisen eingesetzt werden) oder Beschäftigte im medizinischen Bereich. In Fällen dieser Art müssen die Betreiber Schutzvorkehrungen treffen, um die Überprüfung von Arbeitnehmern zu vermeiden. Es lässt sich jedoch nicht vollständig vermeiden, dass solche Systeme auch die Emotionen dieser Arbeitnehmer ableiten. Da das Hauptziel des Systems nicht darin besteht, die Emotionen der Arbeitnehmer zu bewerten, sollten diese Systeme als nicht in den Anwendungsbereich des Verbots fallend betrachtet werden. Die Betreiber solcher Systeme bleiben dafür verantwortlich, dass die Arbeitnehmer durch die Verwendung der Systeme nicht beeinträchtigt werden.