AI in actie: Spanningsveld AI en mensenrechten (10/12)

Er lijkt geen maat te staan op de opkomst van Artificial Intelligence (‘AI’). Door de opkomst van ChatGPT is AI in een korte tijd bekend geworden bij een breed publiek, maar AI omvat veel meer dan chatbots. Denk aan toepassingen op het gebied van gezondheid (zoals het detecteren van kanker), werkgelegenheid, videogames en jouw YouTube feed. AI komt terug in bijna alle facetten van het dagelijkse leven. Reden genoeg dus om stil te staan bij het juridisch kader van AI. In deze blogreeks behandelt het Holla AI-team verschillende juridische vraagstukken op het gebied van AI. Onderstaande blog is deel 10 van de reeks en gaat in op het mogelijke spanningsveld tussen mensenrechten en AI, en daarmee het belang van een risicobeoordeling.

Discriminerende camera’s en sensoren?

Enige tijd geleden heeft de politie in Roermond camera’s en andere sensoren geplaatst in de regio Roermond om winkeldiefstal te voorkomen. Deze camera’s en sensoren legden verschillende gegevens vast van personen in en rondom Roermond. Aan de hand van deze gegevens kon vervolgens een AI-systeem een risico-score toekennen aan een bepaald voertuig, waarmee de kans werd voorspeld dat er een overval plaats zou vinden. Hierdoor zou de politie op tijd ter plaatse kunnen zijn om in te grijpen. Dit is een vorm van predictive policing. Uit onderzoek van Amnesty bleek echter dat deze systemen leidden tot massasurveillance en etnische profilering. Personen werden immers constant in de gaten gehouden, en dat is een schending van hun privacy. Verder bleek dat auto’s uit Oost-Europese landen een zwaardere score kregen dan auto’s uit een ander land, en dat is discriminerend.

Waar komt het vandaan?

De voorbeelden van AI-systemen die het niet zo nauw nemen met mensenrechten zijn talrijk. Proctoring software die zwarte mensen minder goed herkent, de gender-bias van Google Translate, en discriminatie bij de Belastingdienst doordat etniciteit een belangrijke rol speelde bij het opsporen van fraude. Dit zijn slechts enkele van de vele voorbeelden. Hoe kan het zo zijn dat AI-systemen discrimineren? AI-systemen worden getraind op basis van grote (historische) datasets. Het kan dan ook voorkomen dat er getraind wordt aan de hand van data die discriminerend kan zijn, zoals etnische afkomst, leeftijd, geslacht, politieke voorkeur en ga zo maar door. Wanneer de input discriminerend is, dan bestaat er een zeer grote kans dat de output van het AI-systeem ook discriminerend is. Stel dat een AI-systeem ontwikkeld wordt voor het beoordelen van vergunningsaanvragen. Daarvoor worden alle besluiten omtrent vergunningen uit het verleden geanalyseerd door een AI-systeem. In het verleden zijn er echter een aantal medewerkers geweest die een aanvraag afwezen omdat de aanvrager een bepaalde etnische afkomst had. Een AI-systeem leert vervolgens zichzelf deze verbanden aan, en zal dan ook eerder vergunningen afwijzen als de aanvrager deze specifieke etnische afkomst heeft. Zo ging dat ook bij de casus in Roermond. Uit de trainingsdata bleek immers dat personen met een Oost-Europese achtergrond vaker een overval zouden plegen, en het AI-systeem heeft zichzelf dat verband aangeleerd. Een aanbieder of gebruiker van een AI-systeem wil hier echter niet mee geconfronteerd worden. Het is immers slecht voor de reputatie van de organisatie en het kan leiden tot aansprakelijkheid.

Inbreuk andere mensenrechten?

Een verbod op discriminatie is neergelegd in artikel 1 van de Nederlandse Grondwet en in verschillende Europese wetgeving, zoals in artikel 14 van het Europees Verdrag voor de Rechten van de Mens (‘EVRM’). Naast discriminatie kan bij de ontwikkeling en inzet van AI ook sprake zijn van een inbreuk op andere mensenrechten. Zo is ook het recht op toegang tot informatie (artikel 10 EVRM) kwetsbaar door het risico op verspreiding van desinformatie door AI-systemen. Daarnaast kan AI mogelijk in de weg staan aan het recht op een eerlijk proces (artikel 6 EVRM) en het recht op een daadwerkelijk rechtsmiddel (artikel 13 EVRM). Bovendien kan AI een risico opleveren voor het recht op een privéleven en voor de gegevensbescherming (artikel 8 EVRM), zie ook onze tweede blog. Kortom: de ontwikkeling en inzet kan veel gevolgen hebben voor de (rechten van de) mens.

Fundamental Rights Impact Assessment

Om ervoor te zorgen dat het risico op een inbreuk op de mensenrechten zo klein mogelijk is, is in de AI-verordening – waar wij eerder al een introductie op gaven – vastgelegd dat in sommige situaties een Fundamental Rights Impact Assessment (‘FRIA’) moet worden uitgevoerd. De FRIA is een instrument waarmee wordt beoordeeld wat de gevolgen zijn van een bepaald AI-systeem op mensenrechten. In deze beoordeling wordt onder meer gekeken naar de gevolgen op het gebied van privacy en gegevensbescherming, discriminatie en gelijkheid, vrijheid van meningsuiting, toegang tot de rechter, sociale zekerheid, werkgelegenheid en goed bestuur. Dit is ook meteen het grootste verschil met een Data Protection Impact Assessment (‘DPIA’), die wij al langer kennen uit de AVG. Bij de DPIA moet in beginsel alleen gekeken worden naar de privacyrisico’s, terwijl bij de FRIA ook alle andere fundamentele rechten in aanmerking moeten worden genomen. De DPIA kan uiteraard wel als basis of uitgangspunt worden genomen, maar de FRIA is veelomvattender. Wanneer een organisatie een FRIA moet uitvoeren, moet die organisatie onder andere beoordelen welke fundamentele rechten in het gedrang kunnen komen, welke nadelige gevolgen dit kan hebben en op welke manier deze nadelige gevolgen voor de fundamentele rechten zoveel mogelijk beperkt kunnen worden. Om nadelige gevolgen te kunnen beperken zullen bepaalde maatregelen moeten worden genomen, zoals het aanpassen van het systeem, het toevoegen van (uitgebreider) menselijk toezicht of een mogelijkheid voor personen wiens rechten aangetast worden om in beroep te gaan tegen het systeem.

Wanneer moet een FRIA uitgevoerd worden?

De beoordeling moet uiteraard worden uitgevoerd vóór gebruik van het systeem of bij een significante aanpassing van het systeem. Ook moet de beoordeling zorgvuldig worden gedocumenteerd. Blijkt uit de beoordeling dat er een te grote impact is op de mensenrechten, ondanks de genomen maatregelen? Dan zal uw organisatie moeten afzien van het gebruik van het AI-systeem. Bovendien moet u de aanbieder van het AI-systeem op de hoogte stellen van de bevindingen van de FRIA, en zal hij ook de nationale toezichthoudende autoriteit moeten informeren. Deze autoriteit moet overigens straks onder de AI-verordening nog worden aangesteld. De verplichting om een FRIA uit te voeren, geldt alleen voor gebruikers van AI-systemen met een hoog risico. Wij adviseren echter bij elke inzet van een nieuw (AI-)systeem een risicobeoordeling uit te voeren, eventueel verkort indien het niet voor uw organisatie verplicht is.

Risicobeoordeling algoritmes

Naast de FRIA bestaat op dit moment ook al een Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (‘IAMA’). De FRIA zal in de kern vergelijkbaar zijn met de IAMA, behalve dan dat niet ieder algoritme een AI-toepassing is, maar de inhoud van de risicobeoordeling zal op hoofdlijnen vergelijkbaar zijn. De IAMA is opgesteld in opdracht van het Ministerie van Binnenlandse Zaken en heeft (eveneens) tot doel overheden en bedrijven te helpen bij het identificeren en mitigeren van risico’s bij de inzet van algoritmen. Er is ook door de overheid een model openbaar toegankelijk gepubliceerd, zie hier.

Wat kunt u nu al doen?

Maakt u al gebruik van een AI-systeem? Beoordeel dan of u een FRIA moet uitvoeren. Daarvoor moet u allereerst vaststellen of uw systeem een AI-systeem is met een hoog risico. Indien dat het geval is, moet u straks onder de AI-verordening naar alle verwachting verplicht een FRIA uitvoeren. Gezien het feit dat dit veel tijd kan kosten, adviseren wij u tijdig te beginnen met het uitvoeren van een dergelijke risicobeoordeling. Heeft u vragen over het beoordelen van uw AI-systeem en het uitvoeren van een risicobeoordeling? Neem dan contact op met ons AI-team. Zij helpen u graag verder.

Mogelijk interessante artikelen voor u:

• Impact op klimaat, duurzaamheid en milieu (9/12)
• AI binnen de gezondheidszorg (8/12)
• AI-chatbots op de werkvloer (7/12)