De AI Act uitgelegd: verbod op social scoring (4/10)

Social scoring verwijst naar het algoritmisch toekennen van scores aan personen op basis van hun gedrag (bijvoorbeeld betalingsgedrag of social media-activiteiten) of op basis van bepaalde persoonlijkheidskenmerken (zoals etniciteit of opleidingsniveau), doorgaans met als doel om op basis van die scores beslissingen te nemen. Denk aan het beperken van toegang tot essentiële diensten, zoals toegang tot overheidsdiensten, huisvesting, onderwijs, werk of verzekeringen.

Een bekend voorbeeld van social scoring is het sociaalkredietsysteem in China. De Chinese autoriteiten werken al lange tijd aan een systeem dat het gedrag van haar bevolking in de gaten houdt en rangschikt op basis van sociale scores. Zo krijgen Chinese inwoners plus- en minpunten toegewezen op basis van onder meer hun inkomen, naleving van wetten en gesloten overeenkomsten, maar ook op basis van hun gedrag. Die plus- en minpunten kunnen weer meewegen bij bijvoorbeeld het verkrijgen van een lening, het kopen van een huis of het solliciteren naar een overheidsfunctie.

Een dergelijk systeem wensen wij in de Europese Unie niet te hebben omdat de inzet ervan kan leiden tot een onaanvaardbare inbreuk op bepaalde grondrechten, waaronder het recht op gelijke behandeling, het recht op privacy en gegevensbescherming en het recht op non-discriminatie. Social scoring kan er namelijk voor zorgen dat (groepen) personen op een oneerlijke manier worden behandeld en dit kan weer leiden tot discriminatoire en oneerlijke uitkomsten. Bovendien kan social scoring ook bijdragen aan sociale controle en (constante) surveillance door de overheid, zoals we dat ook in China zien.

De AI Act introduceert dan ook een derde verbod in artikel 5 lid 1 sub c, namelijk ten aanzien van social scoring op basis van gedrag of persoonlijke kenmerken. Meer specifiek geldt er een verbod op het gebruik van AI-systemen voor het profileren, evalueren of classificeren van (groepen) natuurlijke personen op basis van hun sociale gedrag of op basis van bekende, afgeleide of voorspelde persoonlijkheidskenmerken, indien dit leidt tot:

1. een nadelige of ongunstige behandeling in sociale context die geen verband houdt met de context waarin de gegevens oorspronkelijk zijn gegenereerd of verzameld; of
2. een nadelige of ongunstige behandeling die ongerechtvaardigd of onevenredig is ten opzichte van het sociale gedrag of de ernst ervan.

Een ‘ongunstige behandeling’ betekent dat een persoon of groep personen als gevolg van de score ongunstiger wordt behandeld ten opzichte van anderen, zonder dat daarbij noodzakelijkerwijs sprake hoeft te zijn van concreet nadeel of schade. Dit is bijvoorbeeld het geval wanneer personen door middel van een scoringssysteem worden geselecteerd voor extra controles op basis van bepaalde persoonsgebonden fraude-indicatoren. Een ‘nadelige behandeling’ vereist daarentegen dat een persoon of groep personen daadwerkelijk schade of nadeel ondervindt van de behandeling. Denk aan uitsluiting van bepaalde groepen personen op basis van hun score.

1. In sociale context

Het eerste scenario betekent kort gezegd dat de score wordt bepaald op basis van gegevens die zijn verzameld of gegenereerd in een andere context dan waarin de beoordeling plaatsvindt, denk aan gegevens van een social media-account. De gegevens uit die andere context worden vervolgens door het AI-systeem gebruikt voor het toekennen van een bepaalde score, zonder dat er een duidelijk verband bestaat met het doel van de beoordeling of classificatie. Doorgaans gebeurt dit tegen de redelijke verwachting van de betrokkenen in en in strijd met Europese privacywetgeving.

Als voorbeeld wordt in de richtsnoeren omschreven een nationale belastingdienst die gebruikmaakt van een voorspellend AI-systeem voor alle belastingaangiften van burgers in een land om vervolgens te bepalen welke aangiften nader moeten worden onderzocht. Het systeem gebruikt daarvoor enerzijds relevante variabelen, zoals het jaarlijks inkomen, bezit (onroerend goed) en gegevens over de gezinsverhouding. Anderzijds gebruikt de belastingdienst niet-relevante gegevens, zoals sociale gewoonten van belastingplichtigen, hun internetgebruik of sociale media-activiteiten.

Ook indirect kunnen gebruikte gegevens zorgen voor discriminatie. Denk aan het voorbeeld van de Nederlandse Dienst Uitvoering Onderwijs (“DUO”), waarbij DUO aan de hand van een algoritme controleerde of een student terecht studiefinanciering ontving voor uitwonende studenten of niet. Studenten met een migratieachtergrond werden hierbij indirect gediscrimineerd. Studenten die namelijk dicht bij hun ouders woonden werden vaker gecontroleerd, terwijl kinderen met een migratieachtergrond gemiddeld dichterbij hun ouders blijven wonen dan kinderen zonder migratieachtergrond. Hierdoor hadden zij een grotere kans op controle en dit leidde tot indirecte discriminatie. Het is bovendien de vraag of het gegeven over het al dan niet dicht bij de ouders wonen, relevant is in de context waarin zij worden verzameld.

2. Ongerechtvaardigd of onevenredig

De ernst van de gevolgen en de inmenging in de grondrechten van de betrokken persoon als gevolg van de sociale score moeten ook worden afgewogen tegen de ernst van het sociale gedrag van de betrokken persoon. Er moet steeds per geval worden beoordeeld of de behandeling in verhouding staat tot het nagestreefde doel. Een behandeling kan als ongerechtvaardigd of onevenredig worden beschouwd als er bijvoorbeeld geen legitiem doel aan de sociale score ten grondslag ligt.

Een voorbeeld is een gemeente die een AI-systeem gebruikt om de betrouwbaarheid van haar inwoners te beoordelen op basis van verschillende gegevens over hun sociale gedrag. Inwoners die als ‘minder betrouwbaar’ worden bestempeld op basis van de gegenereerde score worden op een zwarte lijst geplaatst, wat leidt tot het intrekken van bijvoorbeeld vergunningen en verscherpt toezicht. Factoren die meewegen in de beoordeling zijn onder meer: het niet deelnemen aan vrijwilligerswerk en klein wangedrag, zoals het te laat terugbrengen van bibliotheekboeken, te laat betalen van gemeentelijke belastingen en het niet scheiden van afval. In dit geval staat de scoringspraktijk niet in verhouding tot het sociale gedrag en lijkt dit eerder op een sociaalkredietsysteem zoals we dat kennen uit China.

Het verbod onder de AI Act geldt voor scoringspraktijken die betrekking hebben op natuurlijke personen. Dit betekent dat scoringssystemen voor rechtspersonen in beginsel buiten het toepassingsbereik vallen, tenzij de beoordeling is gebaseerd op persoonlijke kenmerken van bijvoorbeeld bestuurders. Ook kan het systeem wel onder het verbod vallen als het direct gevolgen heeft voor bijvoorbeeld werknemers of klanten van de rechtspersoon.

Ook zijn scoringssystemen toegestaan die uitsluitend werken op basis van objectieve waarden en prognoses, zonder dat daarbij sprake is van de evaluatie of classificatie van een persoon op basis van irrelevante gegevens. Een voorbeeld hiervan is een systeem dat wordt gebruikt door een kredietverstrekker om de financiële kredietwaardigheid van een klant te beoordelen of openstaande schulden in kaart te brengen. Deze scores zijn gebaseerd op gegevens zoals inkomen, uitgaven en andere financiële omstandigheden. Dit zijn in beginsel relevante gegevens voor een legitiem doel en daarmee valt deze scoringspraktijk niet onder het verbod.

Zo zijn er nog meer voorbeelden waarin het gebruik van scoringspraktijken is toegestaan. Het is aldus geen absoluut verbod; het verbod geldt alleen wanneer wordt voldaan aan de vereisten als omschreven in het verbod. Op het moment dat het scoringssysteem uitsluitend relevante gegevens gebruikt voor een legitiem doel (bijvoorbeeld het opsporen van fraude) en er wordt bovendien voldaan aan andere relevante wetgeving, dan valt het systeem buiten het verbod van artikel 5 lid 1 sub c AI Act. Opgelet moet worden dat het systeem niet alsnog indirect onder het verbod valt, zoals toegelicht hiervoor.

Het is van belang dat u zo snel mogelijk vaststelt dat zich binnen uw organisatie geen verboden AI-praktijken voordoen. Is daar wel sprake van, dan kan dit worden beboet met forse geldboetes die kunnen oplopen tot 35 miljoen euro of 7 % van de totale omzet. Het feit dat op dit moment nog geen aangewezen toezichthouder voor de verboden AI-praktijken is, betekent niet dat er nog niets tegen kan worden gedaan. De verboden zijn immers rechtstreeks van toepassing sinds 2 februari 2025 en een overtreding van de AI Act betreft dan ook een onrechtmatige daad. Burgers of ondernemingen die daardoor schade leiden, kunnen aldus op dit moment al een procedure starten.

Kortom, het voldoen aan de AI Act vraagt om een gestructureerde aanpak binnen uw organisatie. Wij helpen u graag door AI-systemen binnen uw organisatie in kaart te brengen, te classificeren en de reeds bestaande verplichtingen met u uit te voeren. Dit doen wij samen met een externe partner en dit doen wij in drie stappen: een kennissessie, een AI-scan en vervolgens de implementatie.

Heeft uw organisatie hulp nodig bij het uitvoeren van deze stappen, dan biedt het Holla AI-team aldus de AI-scan aan. Heeft u hierover vragen? Neem dan contact met ons op. Wij helpen u graag verder en houd onze website in de gaten voor de andere artikelen uit onze blogreeks.