De AI Act uitgelegd: verbod op emotieherkenning (7/10)

Voor bedrijven kan het waardevol zijn om inzicht te krijgen in de emoties van klanten en werknemers. Zo kan de klanttevredenheid beter worden gemonitord, of kunnen specifieke aanbiedingen worden afgestemd op de emotie van de klant. Daarom zijn ontwikkelaars van AI-systemen aan de slag gegaan met het produceren van technologieën die op basis van gezichtsuitdrukkingen, stemintonaties of andere non-verbale signalen emoties kunnen herkennen.

Zo heeft bijvoorbeeld het Amerikaanse bedrijf Affectiva een systeem ontwikkeld dat kan worden ingezet om het effect van een film of van muziek te meten op basis van de emoties van de kijker of luisteraar. Regisseurs en muzikanten kunnen dit vervolgens gebruiken om hun film of muziek te verbeteren op basis van de emotie die zij willen oproepen. De effectiviteit en betrouwbaarheid van dit soort systemen wordt overigens nog sterk in twijfel getrokken door experts.

Werkgevers kunnen er ook belang bij hebben om de emoties van hun werknemers te (her)kennen. Dit kan worden ingezet om burn-outs te voorkomen, medewerkerstevredenheid te meten, of om te monitoren of werknemers de juiste houding aannemen bij klantcontact. De eerste bedrijven experimenteren al met dergelijke systemen op de werkvloer. Zo gebruikt Amazon een vergelijkbaar systeem in haar callcenters; niet alleen om de klanttevredenheid te meten, maar ook om emoties van werknemers te monitoren – bijvoorbeeld of ze wel vriendelijk genoeg klinken tegen klanten.

De inzet van emotieherkenning kan echter leiden tot discriminatie of andere ongewenste vormen van onderscheid. Ook speelt de ongelijke machtsverhouding tussen werkgever en werknemer, of tussen onderwijsinstelling en student, een belangrijke rol. Om werknemers en studenten te beschermen, verbiedt de AI Act dan ook dergelijke AI-systemen.

De AI Act kent een strikt verbod voor het gebruik van AI-systemen die emoties herkennen op de werkplek of in het onderwijs, namelijk in artikel 5 lid 1 sub f AI Act. 

Meer specifiek is dit verbod van toepassing als aan onderstaande voorwaarden wordt voldaan:

1. het moet gaan om het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem;
2. het AI-systeem moet worden gebruikt met het specifieke doel om emoties te herkennen, of is als zodanig operationeel;
3. het AI-systeem moet het vermogen hebben om aan de hand van biometrische gegevens emoties af te leiden of te herkennen;
4. het AI-systeem moet worden toegepast op de werkplek of binnen onderwijsinstellingen.

Onderscheid emoties en fysieke toestanden

Om onder het verbod te vallen moet het AI-systeem aldus emoties of intenties kunnen afleiden of vaststellen op basis van biometrische gegevens, denk aan het gezicht of de stem van een werknemers of student. Onder emoties en intenties wordt onder meer verstaan: geluk, droefheid, woede, verrassing, weerzin, verlegenheid, opwinding, schaamte, minachting, tevredenheid en plezier. Ook (gezichts)uitdrukkingen of gebaren die worden gebruikt om emoties te herkennen kunnen hieronder vallen, zoals een frons, glimlach, hoofdbeweging of luide spreektoon.

Fysieke toestanden vallen hier echter niet onder, denk aan het detecteren van pijn of vermoeidheid. Dit heeft (ook) te maken met het feit dat systemen die worden ingezet voor medische of veiligheidsdoeleinden, zijn uitgezonderd van dit verbod. Denk aan AI-systemen die worden gebruikt om vermoeidheid bij beroepspiloten of beroepschauffeurs te detecteren om ongevallen te voorkomen. Dit soort AI-systemen zijn niet verboden.

Werkplek

Ook het begrip ‘werkplek’ moet ruim worden geïnterpreteerd. Het begrip heeft betrekking op elke fysieke en virtuele ruimte waar natuurlijke personen taken en verantwoordelijkheden uitvoeren die aan hen zijn toegewezen door hun werkgever of door de organisatie waarmee zij zijn verbonden (bijvoorbeeld in het geval van zzp’ers). Het begrip omvat kort gezegd elke omgeving waarin werk wordt verricht, denk aan kantoorruimtes, fabrieken, magazijnen, maar ook publiek toegankelijke ruimtes zoals winkels, musea en mobiele werkplekken.

Ook staat dit begrip los van de hoedanigheid waarin iemand werkt, bijvoorbeeld als werknemer, opdrachtnemer, stagiair of vrijwilliger. Dit verbod geldt zelfs al in het selectie- en wervingsproces. Het begrip ‘werkplek’ lijkt echter niet zo ver te strekken dat onder het verbod ook valt de inzet van emotieherkenning op de werkplek richting bijvoorbeeld klanten of patiënten. Dit betekent echter nog niet dat AI-systemen die emoties kunnen herkennen van klanten of patiënten zonder meer mogen worden ingezet. Hoogstwaarschijnlijk gaan voor dergelijke systemen per 2 augustus 2026 omvangrijke verplichtingen gelden omdat deze systemen doorgaans zullen worden aangemerkt als systemen met een hoog risico.

Dunne lijn tussen emotieherkenning en sentimentanalyses

Tot slot kan het lastig zijn om te bepalen of een AI-systeem gebruikmaakt van emotieherkenning of van bijvoorbeeld sentimentanalyses. Emotieherkenning herkent specifieke emoties die iemand uitdrukt (zoals woede, angst of verdriet) en met sentimentanalyses wordt de algemene houding of stemming herkent (bijvoorbeeld positief, neutraal of negatief). Emotieherkenning is vaak gebaseerd op biometrische gegevens, terwijl sentimentanalyse doorgaans gebaseerd is op tekst, bijvoorbeeld berichten op social media, reviews of klantfeedback. Het kan aldus de moeite zijn om verschillende AI-systemen te onderzoeken, om zo niet onder een verboden praktijk te vallen.

Het is van belang dat u zo snel mogelijk vaststelt dat zich binnen uw organisatie geen verboden AI-praktijken voordoen. Is daar wel sprake van, dan kan dit worden beboet met forse geldboetes die kunnen oplopen tot 35 miljoen euro of 7 % van de totale omzet. Het feit dat op dit moment nog geen aangewezen toezichthouder voor de verboden AI-praktijken is, betekent niet dat er nog niets tegen kan worden gedaan. De verboden zijn immers rechtstreeks van toepassing sinds 2 februari 2025 en een overtreding van de AI Act betreft dan ook een onrechtmatige daad. Burgers of ondernemingen die daardoor schade leiden, kunnen aldus op dit moment al een procedure starten.

Kortom, het voldoen aan de AI Act vraagt om een gestructureerde aanpak binnen uw organisatie. Wij helpen u graag door AI-systemen binnen uw organisatie in kaart te brengen, te classificeren en de reeds bestaande verplichtingen met u uit te voeren. Dit doen wij samen met een externe partner en dit doen wij in drie stappen: een kennissessie, een AI-scan en vervolgens de implementatie.

Heeft uw organisatie hulp nodig bij het uitvoeren van deze stappen, dan biedt het Holla AI-team aldus de AI-scan aan. Heeft u hierover vragen? Neem dan contact met ons op. Wij helpen u graag verder en houd onze website in de gaten voor de andere artikelen uit onze blogreeks.