De AI Act uitgelegd: verbod op gedragsmanipulatie (2/10)

In onze vorige blog is de definitie van een AI-systeem en de verplichting tot AI-geletterdheid uiteengezet. Deze blog gaat in op het eerste verbod uit artikel 5 lid 1 sub a van de AI Act, namelijk het verbod op gedragsmanipulatie. Kort gezegd geldt een verbod op AI-systemen die gebruikmaken van technieken die mensen op een verborgen, misleidende of manipulerende manier beïnvloeden, en waarbij deze mensen door de technieken iets doen wat zij anders niet zouden doen. Hierdoor zullen zij redelijkerwijs aanzienlijke schade oplopen.

Meer specifiek is dit verbod van toepassing als aan onderstaande voorwaarden wordt voldaan:

1. de praktijk moet betrekking hebben op het ‘in de handel brengen, ‘in gebruik stellen’ of ‘gebruiken’ van een AI-systeem;
2. het AI-systeem moet gebruikmaken van subliminale technieken, doelbewust manipulatieve of misleidende technieken;
3. de technieken die door het AI-systeem worden toegepast, moeten tot doel of tot gevolg hebben dat het gedrag van een persoon of groep personen wordt verstoord;
4. het verstoorde gedrag moet leiden tot, of redelijkerwijs waarschijnlijk leiden tot, aanzienlijke schade voor die persoon of een andere persoon.

In de richtsnoeren licht de Europese Commissie deze voorwaarden als volgt toe.

Ten aanzien van de eerste voorwaarde geldt dat het verboden is voor aanbieders én gebruikers om verboden AI-systemen in de handel te brengen, in gebruik te stellen of te gebruiken. In de handel brengen houdt in het beschikbaar stellen van een AI-systeem op de Europese markt, met het oog op distributie of gebruik, al dan niet tegen betaling. In gebruik stellen betekent de directe levering van een AI-systeem aan een gebruiker voor het eerste (eigen) gebruik voor het beoogde doel. De term ‘gebruiken’ is breder dan ‘in gebruik stellen’. Het gebruik ziet op het feitelijk toepassen van het AI-systeem binnen een bepaalde context of proces. Denk aan een Europese organisatie die een AI-systeem van een derde partij gebruikt binnen haar HR-processen.

De tweede voorwaarde bevat een verbod op het gebruik van subliminale, doelbewust manipulatieve of misleidende technieken.

Subliminale technieken

Subliminale technieken beïnvloeden gedrag door rationele afweermechanismen te omzeilen. Hierdoor zijn deze technieken in staat om beslissingen te beïnvloeden zonder dat een persoon zich daarvan bewust is. Deze technieken kunnen gebruikmaken van subtiele audio-, visuele of tactiele prikkels. Tactiele prikkels zijn door middel van aanraking waarneembaar. Deze subtiele prikkels worden niet bewust waargenomen, maar kunnen toch door de hersenen worden verwerkt en kunnen het gedrag beïnvloeden. AI-systemen kunnen bijvoorbeeld beelden of teksten tonen welke technisch gezien zichtbaar zijn voor mensen, maar te snel worden getoond om deze bewust te registreren, terwijl ze wel het gedrag kunnen beïnvloeden. Dit geldt ook voor auditieve boodschappen. AI-systemen kunnen geluiden afspelen op een laag volume of maskeren met andere geluiden, waardoor de luisteraar wordt beïnvloed zonder bewuste waarneming.

Doelbewust manipulatieve technieken

Doelbewust manipulatieve technieken zijn technieken die zijn ontworpen om het gedrag van een persoon te beïnvloeden, te wijzigen of te controleren. Dit soort technieken maken vaak misbruik van cognitieve vooroordelen, psychologische kwetsbaarheden of externe invloeden. Zo kunnen doelbewust manipulatieve technieken bijvoorbeeld bestaan uit sensorische manipulatie, waarbij het AI-systeem achtergrondgeluiden of beelden inzet die stemmingsveranderingen veroorzaken, zoals verhoogde angst of mentale stress. Daarnaast kunnen manipulatieve technieken bestaan uit gepersonaliseerde manipulatie waarbij het AI-systeem zeer overtuigende berichten creëert en afstemt op basis van persoonlijke gegevens van een individu.

Het verbod op doelbewuste manipulatieve technieken heeft ook betrekking op AI-systemen die personen manipuleren, zonder dat dit oorspronkelijk de bedoeling is van de aanbieder of gebruiker van het AI-systeem. Een AI-systeem kan namelijk ook zelf manipulatieve technieken hanteren, doordat trainingsdata veel voorbeelden van manipulatie bevatten. Het is dan ook van belang rekening te houden met dit verbod in alle fasen van (de ontwikkeling van) het AI-systeem.

Misleidende technieken

Bij misleidende technieken wordt via het AI-systeem valse of misleidende informatie getoond. Deze technieken beïnvloeden het gedrag van personen, zonder dat deze personen zich bewust zijn van de beïnvloeding of zich hiertegen kunnen verzetten. Dit verbod geldt ook als de misleiding niet opzettelijk door een aanbieder of gebruiker is veroorzaakt. Een voorbeeld van een misleidende techniek die door een AI-systeem wordt toegepast, is een AI-chatbot die zich voordoet als een vriend of familielid met een nagebootste stem en probeert te doen alsof hij die persoon in kwestie is, bijvoorbeeld om geld afhandig te maken. Denk hierbij ook aan een deepfake die kwaadwillig wordt ingezet.

De derde voorwaarde voor toepassing van het verbod is dat de gebruikte techniek ‘tot doel of tot gevolg moet hebben dat het gedrag van een persoon of een groep personen wezenlijk wordt verstoord’. Het gaat daarbij om substantiële beïnvloeding die de autonomie en vrije keuze van een persoon aantast. Het vermogen om een geïnformeerd besluit te nemen wordt merkbaar aangetast door het AI-systeem.

Een voorbeeld van een AI-systeem dat tot doel heeft het gedrag van een persoon wezenlijk te verstoren, is een chatbot die subliminale technieken – zoals korte visuele signalen of onhoorbare auditieve signalen – gebruikt, waarbij die technieken worden ingezet met het doel om het gedrag van personen wezenlijk te verstoren. Of denk aan doelbewust manipulatieve technieken die erop gericht zijn de aankopen van consumenten te beïnvloeden zonder dat zij zich daarvan bewust zijn.

Een voorbeeld van een AI-systeem dat tot gevolg heeft dat het gedrag wordt verstoord, is een chatbot die wordt ingezet om personen te ondersteunen en te adviseren bij een gezonde levensstijl, maar individuele kwetsbaarheden uitbuit om ongezonde gewoonten aan te nemen of gevaarlijke activiteiten te ondernemen, waarvan redelijkerwijs kan worden verwacht dat deze personen dat advies ook zullen opvolgen en daardoor aanzienlijke schade zullen lijden.

De vierde en tevens laatste voorwaarde houdt in dat de verstoring van het gedrag van een persoon (redelijkerwijs waarschijnlijk) aanzienlijke schade veroorzaakt. Deze schade kan bestaan uit fysieke, psychologische, financiële of economische schade, die in bepaalde situaties kan leiden tot bredere maatschappelijke schade. Een voorbeeld van fysieke schade door een AI-systeem is een chatbot die aanzet tot zelfbeschadiging of zelfmoord. Financiële of economische schade kan bijvoorbeeld optreden bij een chatbot die frauduleuze producten aanbiedt waardoor aanzienlijke financiële schade wordt veroorzaakt.

Deze schadevormen kunnen ook gelijktijdig optreden. Een AI-systeem kan bijvoorbeeld naast fysieke schade ook psychologische trauma’s, stress of angst veroorzaken. Daarnaast kan een AI-systeem psychisch leed veroorzaken door verslavend gedrag, angst en depressie te bevorderen, wat vervolgens kan leiden tot lichamelijke schade, zoals slapeloosheid en lichamelijke problemen.

Het verbod geldt overigens alleen bij aanzienlijke schade. Of schade aanzienlijk is, hangt af van de omstandigheden van het geval en vereist een beoordeling per geval. Aanzienlijke schade omvat doorgaans bijvoorbeeld verwondingen, overlijden, ernstige gezondheidsproblemen of vernieling van eigendommen. Bij de beoordeling van de vraag of de geleden schade aanzienlijk is, kunnen de volgende factoren worden betrokken:

• de ernst van de schade;
• de specifieke context waarin het AI-systeem is gebruikt;
• de omvang van de schade en de intensiteit van de negatieve effecten;
• de kwetsbaarheid van de getroffen personen;
• de duur en omkeerbaarheid.

De kwetsbaarheid van de getroffen personen speelt bijvoorbeeld een rol omdat kinderen, ouderen of personen met een beperking eerder vatbaar kunnen zijn voor schade door specifieke AI-systemen. Ook de duur en omkeerbaarheid speelt een rol omdat langdurige of onomkeerbare schade eerder als aanzienlijke schade zal kwalificeren dan korte termijneffecten en omkeerbare effecten. Over het algemeen geldt overigens dat de lat van ‘aanzienlijke’ schade redelijk snel zal worden behaald. In eerdere tekstvoorstellen van de AI Act was gekozen voor de term ‘significante’ schade, maar dan zou de lat veel hoger liggen.

Artikel 5 lid 1 sub a AI Act heeft een overlap met sub b. Sub b richt zich op de bescherming van kwetsbare personen, zoals ouderen of mensen met een beperking, die vatbaarder zijn voor uitbuiting door AI. Waar sub a ziet op subliminale manipulatie (zoals beeldflitsen om koopgedrag te beïnvloeden), gaat sub b echter over het actief misbruiken van kwetsbaarheden, bijvoorbeeld door ouderen verzekeringen aan te bieden op basis van hun verminderde cognitieve vermogens. In onze volgende blog wordt nader ingegaan op het tweede verbod ten aanzien van kwetsbaarheden van personen.

Het is van belang dat u zo snel mogelijk vaststelt dat zich binnen uw organisatie geen verboden AI-praktijken voordoen. Is daar wel sprake van, dan kan dit worden beboet met forse geldboetes die kunnen oplopen tot 35 miljoen euro of 7 % van de totale omzet. Het feit dat op dit moment nog geen aangewezen toezichthouder voor de verboden AI-praktijken is, betekent niet dat er nog niets tegen kan worden gedaan. De verboden zijn immers rechtstreeks van toepassing sinds 2 februari 2025 en een overtreding van de AI Act betreft dan ook een onrechtmatige daad. Burgers of ondernemingen die daardoor schade leiden, kunnen aldus op dit moment al een procedure starten.

Kortom, het voldoen aan de AI Act vraagt om een gestructureerde aanpak binnen uw organisatie. Wij helpen u graag door AI-systemen binnen uw organisatie in kaart te brengen, te classificeren en de reeds bestaande verplichtingen met u uit te voeren. Dit doen wij samen met een externe partner en dit doen wij in drie stappen: een kennissessie, een AI-scan en vervolgens de implementatie.

Heeft uw organisatie hulp nodig bij het uitvoeren van deze stappen, dan biedt het Holla AI-team aldus de AI-scan aan. Heeft u hierover vragen? Neem dan contact met ons op. Wij helpen u graag verder en houd onze website in de gaten voor de andere artikelen uit onze blogreeks.