De AI Act uitgelegd: verbod uitbuiting van kwetsbaarheden (3/10)

In onze vorige blog is het verbod op gedragsmanipulatie toegelicht. Deze blog gaat in op het tweede verbod uit artikel 5 lid 1 sub b van de AI Act, namelijk het verbod op uitbuiting van kwetsbaarheden. Zoals in de vorige blog ook is toegelicht, is er een overlap met het verbod uit sub a. Waar sub a ziet op de aard van de gebruikte techniek (zoals beeldflitsen om koopgedrag te beïnvloeden), richt sub b zich op (extra) bescherming van kwetsbare personen die vatbaarder zijn voor uitbuiting door AI. Sub b gaat over situaties waarin bepaalde kenmerken van een groep actief worden misbruikt. Denk aan ouderen die duurdere verzekeringen worden aangeboden op basis van hun verminderde cognitieve vermogens.

Kort gezegd geldt een verbod op AI-systemen die gebruikmaken van kwetsbaarheden van een persoon of een specifieke groep van personen vanwege hun leeftijd, handicap of een specifieke sociale of economische situatie. Dit met als doel of gevolg een wezenlijke storing van het gedrag en op een wijze waardoor aanzienlijke schade wordt veroorzaakt of kan worden veroorzaakt.

Meer specifiek is dit verbod van toepassing als aan onderstaande voorwaarden wordt voldaan:

1. de praktijk moet betrekking hebben op het ‘in de handel brengen, ‘in gebruik stellen’ of ‘gebruiken’ van een AI-systeem;
2. het AI-systeem moet kwetsbaarheden uitbuiten die voortkomen uit leeftijd, handicap of een specifieke sociaaleconomische situatie;
3. de uitbuiting die door het AI-systeem wordt toegepast, moet tot doel of tot gevolg hebben dat het gedrag van een persoon of groep personen wezenlijk wordt verstoord;
4. het verstoorde gedrag moet leiden tot, of redelijkerwijs waarschijnlijk leiden tot, aanzienlijke schade voor die persoon of een andere persoon.

Om te vallen onder het verbod moeten alle vier de voorwaarden tegelijkertijd zijn vervuld, en er moet een aannemelijk verband zijn tussen de uitbuiting, de wezenlijke gedragsverstoring en de aanzienlijke schade. De eerste, derde vierde voorwaarde hebben wij al toegelicht in onze tweede blog. In deze blog zoomen wij met name in op de tweede voorwaarde.

De AI Act definieert het begrip ‘kwetsbaarheden’ niet. Het begrip dient echter breed te worden geïnterpreteerd en omvat cognitieve, emotionele en fysieke vatbaarheid die het vermogen van personen aantast om geïnformeerde keuzes te kunnen maken of weerstand te kunnen bieden.

Hoewel artikel 5 lid 1 sub b AVG spreekt van ‘elke kwetsbaarheid’, beperkt het verbod zich op dit moment tot kwetsbaarheden die verband houden met leeftijd, handicap of sociaaleconomische situatie. Volgens de Europese Commissie gaat het daarbij om situaties waarin personen doorgaans minder goed in staat zijn AI-gestuurde manipulatie te herkennen of daartegen op te treden, en waarin deze personen dus extra bescherming nodig hebben. Op dit moment vallen andere kwetsbaarheden buiten het bereik van dit verbod.

Het begrip ‘uitbuiting’ moet worden opgevat als het objectief benutten van dergelijke kwetsbaarheden op een wijze die schadelijk is voor de betrokken (groep van) personen. Er zijn wel legitieme praktijken die buiten het bereik van het verbod vallen; die lichten wij straks ook nader toe.

Leeftijd

Leeftijd is een kwetsbaarheidscategorie en omvat zowel jonge als oudere mensen. Het doel is te voorkomen dat AI-systemen gebruikmaken van beperkingen bij kinderen en ouderen, en hen zo blootstellen aan ongepaste beïnvloeding, manipulatie of uitbuiting. Zo zijn kinderen bijvoorbeeld vatbaar voor het ontwikkelen van gehechtheid aan AI-toepassingen, wat hun vatbaarheid voor manipulatie en verslaving vergroot. Om die reden is extra voorzichtigheid nodig.

Een voorbeeld onder dit verbod is dan ook een AI-gestuurde speelgoedrobot dat kinderen aanspoort om steeds riskantere uitdagingen aan te gaan, zoals het klimmen in bomen. In ruil daarvoor krijgen zij digitale beloningen, met als mogelijk gevolg fysieke schade en het gebruik kan ook leiden tot afnemende schoolprestaties, concentratieproblemen en verslavingsgedrag. Een ander voorbeeld onder dit verbod is een AI-systeem dat ouderen met dementie doelgericht misleidt tot het nemen van financiële beslissingen met mogelijk aanzienlijke schade.

Handicap

De tweede kwetsbaarheidscategorie betreft personen met een handicap. De Europese Commissie omschrijft een handicap als een langdurige fysieke, mentale, intellectuele of zintuiglijke beperking die de volledige en gelijkwaardige deelname aan de samenleving belemmert. AI-systemen die deze beperkingen misbruiken, kunnen voor deze groep bijzonder schadelijk zijn.

Een voorbeeld onder dit verbod is een AI-chatbot voor mentale gezondheidszorg die personen met een verstandelijke beperking manipuleert tot het aankopen van dure (gezondheids)producten. Een AI-systeem dat simpelweg niet toegankelijk is voor personen met een handicap, valt niet onder dit verbod.

Specifiek sociaaleconomische situatie

De derde kwetsbaarheidscategorie betreft specifiek sociaaleconomische situaties die personen vatbaarder maken voor uitbuiting. ‘Specifiek’ verwijst daarbij naar juridische of feitelijke groepskenmerken, zoals armoede, lidmaatschap van een minderheidsgroep, migranten of vluchtelingen. Ook tijdelijke situaties, zoals werkloosheid of het hebben van schulden, kunnen hieronder vallen. Algemeen menselijke emoties, zoals eenzaamheid, vallen in beginsel buiten dit verbod.

Personen in sociaaleconomisch kwetsbare situaties beschikken vaak over minder middelen en digitale vaardigheden. Hierdoor zijn zij vatbaarder voor misbruik door een AI-systeem en het verbod beoogt te voorkomen dat bestaande ongelijkheden worden verergerd.

Een voorbeeld onder dit verbod is een voorspellend AI-systeem dat advertenties voor bepaalde leningen richt op mensen uit lage-inkomenswijken, met aanzienlijke financiële schade tot gevolg. AI-systemen die onbedoeld discriminerende effecten hebben (bijvoorbeeld door bevooroordeelde trainingsdata), vallen niet automatisch onder het verbod. Als de aanbieder of gebruiker echter hiervan op de hoogte is en geen passende maatregelen neemt, dan kan dit alsnog als uitbuiting worden aangemerkt.

De derde voorwaarde voor toepassing van het verbod is dat het misbruik van de kwetsbaarheden tot doel of tot gevolg moet hebben dat het gedrag van een persoon of een groep personen wezenlijk wordt verstoord. Het gaat daarbij om een substantiële beïnvloeding die de autonomie en vrije keuze van een persoon aantast.

Artikel 5 lid 1 sub a en b van de AI Act gebruiken dezelfde begrippen en moeten dus ook op consistente wijze worden geïnterpreteerd. Het enige verschil is dat sub a vereist dat de uitbuitende praktijk de mogelijkheid om een geïnformeerde beslissing te nemen aanmerkelijk belemmert. Dit vereiste ontbreekt in sub b omdat kinderen en andere kwetsbare personen vanwege hun aard al minder in staat zijn geïnformeerde beslissingen te nemen.

Voor kwetsbare groepen kunnen de schadevormen bovendien extra ernstig zijn, juist vanwege hun verhoogde kwetsbaarheid voor uitbuiting. Wat voor een volwassene als een aanvaardbaar risico wordt gezien, kan bijvoorbeeld voor een kind als onaanvaardbare schade gelden.

Voorbeelden van schade zijn:

• AI-systemen die worden ingezet voor het genereren van kindermisbruikmateriaal en strategieën voor grooming of seksuele uitbuiting. Deze systemen leiden vaak tot zware, langdurige schade, zowel fysiek, psychisch als sociaal.
• AI-systemen die inspelen op verslavingsgevoeligheid van jongeren kunnen leiden tot angst, depressie, eetstoornissen, zelfbeschadiging en suïcidaal gedrag.
• Sociale AI-chatbots die kinderen emotioneel afhankelijk maken door het nabootsen van menselijke emoties, kunnen het begrip van echte relaties verstoren en leiden tot blijvende sociaal-emotionele schade.
• AI-systemen die ouderen misleiden om dure medische behandelingen of onnodige verzekeringen af te nemen, kan leiden tot financiële schade en emotionele stress.

Het kan overigens gaan om individuele schade, maar ook om groepsschade en dus kunnen ook effecten op derden meetellen bij het bepalen van de ernst van de schade. Denk aan misinformatie en haatspraak via AI-chatbots gericht op bepaalde groepen, hetgeen kan leiden tot polarisatie, geweld en zelfs dodelijke slachtoffers. Wel geldt hierbij dat alleen uitbuiting met aanzienlijke schade onder het verbod valt. AI-toepassingen die legitiem ondersteunend zijn, vallen niet onder het verbod.

Het verbod uit sub a en sub b is niet van toepassing op rechtmatige beïnvloedingspraktijken. Het onderscheid met manipulatie is dan ook van belang. Manipulatie omvat in de meeste gevallen heimelijke technieken die de autonomie ondermijnen, waardoor personen beslissingen nemen die zij mogelijk niet zouden nemen als zij zich volledig bewust waren van de invloed. Deze technieken maken vaak gebruik van psychologische zwakheden of cognitieve vooroordelen. Daarentegen blijven rechtmatige beïnvloedingspraktijken binnen de grenzen van transparantie en respect voor autonomie. Het AI-systeem is in dat geval duidelijk over het doel en zijn werking en ondersteunt de gebruiker bij het maken van een vrije en geïnformeerde keuze. Toestemming vanuit de gebruiker kan daarbij ook een positieve rol spelen.

Manipulatie is bovendien doorgaans gericht op het behalen van voordeel ten koste van de autonomie of het welzijn van het individu. Beïnvloeding daarentegen is gericht op informeren en overtuigen, waarbij belangen en voordelen van beide partijen worden afgestemd. Ook ethisch verantwoord gebruik vereist dat beïnvloeding de autonomie van de persoon respecteert en kwetsbaarheden niet uitbuit. Verder speelt de naleving van wettelijke kaders een rol bij de beoordeling of sprake is van manipulatie of rechtmatige beïnvloeding.

Voorbeelden van legitieme praktijken zijn:

• Educatieve AI voor kinderen
• Zorg ondersteunende AI voor ouderen
• AI voor inclusie van sociaaleconomisch benadeelden
• Hulpmiddelen voor mensen met een visuele of auditieve beperking

Het is van belang dat u zo snel mogelijk vaststelt dat zich binnen uw organisatie geen verboden AI-praktijken voordoen. Is daar wel sprake van, dan kan dit worden beboet met forse geldboetes die kunnen oplopen tot 35 miljoen euro of 7 % van de totale omzet. Het feit dat op dit moment nog geen aangewezen toezichthouder voor de verboden AI-praktijken is, betekent niet dat er nog niets tegen kan worden gedaan. De verboden zijn immers rechtstreeks van toepassing sinds 2 februari 2025 en een overtreding van de AI Act betreft dan ook een onrechtmatige daad. Burgers of ondernemingen die daardoor schade leiden, kunnen aldus op dit moment al een procedure starten.

Kortom, het voldoen aan de AI Act vraagt om een gestructureerde aanpak binnen uw organisatie. Wij helpen u graag door AI-systemen binnen uw organisatie in kaart te brengen, te classificeren en de reeds bestaande verplichtingen met u uit te voeren. Dit doen wij samen met een externe partner en dit doen wij in drie stappen: een kennissessie, een AI-scan en vervolgens de implementatie.

Heeft uw organisatie hulp nodig bij het uitvoeren van deze stappen, dan biedt het Holla AI-team aldus de AI-scan aan. Heeft u hierover vragen? Neem dan contact met ons op. Wij helpen u graag verder en houd onze website in de gaten voor de andere artikelen uit onze blogreeks.