De AI Act uitgelegd: verbod op individual predictive policing (5/10)

Voorkomen is beter dan genezen. Dat geldt zeker voor misdrijven waarbij de veiligheid van personen in het geding is. Het is opsporings- en handhavingsinstanties, zoals de politie, er dan ook veel aan gelegen om te kunnen voorspellen wie een misdrijf zal plegen, zodat dit misdrijf (eerder) voorkomen kan worden. De opkomst van AI heeft ervoor gezorgd dat software bestaat die in staat is om dit soort gedrag te kunnen voorspellen. Er worden gegevens van een persoon in het AI-systeem geplaatst, waarna het systeem de kans berekent dat een persoon een misdaad zal plegen. Is die kans hoog genoeg, dan kan de politie ingrijpen en op deze manier een misdrijf voorkomen.

Klinkt goed toch? Niet helemaal. Onder de AI Act is namelijk het gebruik van dergelijke predictive policing-systemen op individueel niveau verboden. Het verbod op het gebruik van dergelijke systemen is geworteld in de fundamentele principes van het vermoeden van onschuld en menselijke waardigheid. Mensen moeten beoordeeld worden op wat ze daadwerkelijk doen, niet op wat zij mogelijk zouden kunnen doen volgens op AI-gebaseerde inschattingen en ook niet op basis van persoonlijke kenmerken (zoals nationaliteit, ras en welke auto iemand heeft). In andere woorden: of iemand aangemerkt wordt als mogelijke dader moet worden vastgesteld door een mens, niet door een technologie. Om die reden zijn sommige individual predictive policing-systemen verboden.

Een systeem valt kort gezegd onder dit verbod als aan onderstaande voorwaarden wordt voldaan:

1. er moet sprake zijn van een AI-systeem dat het risico inschat dat een bepaald persoon een strafbaar feit zal gaan plegen; én
2. deze risicobeoordeling moet uitsluitend zijn gebaseerd op één van de volgende elementen:
   1. profilering van deze persoon. Dit betekent dat een profiel moet zijn opgesteld op basis van persoonsgegevens van deze persoon en aan de hand van deze persoonsgegevens worden bepaalde persoonlijke aspecten geëvalueerd, zoals de economische situatie, gezondheid of interesses van deze persoon, of
   2. de beoordeling van persoonlijkheidskenmerken en eigenschappen van deze persoon. Hierbij gaat het om persoonlijkheidskenmerken of eigenschappen, zoals nationaliteit, geboorteplaats, verblijfplaats, aantal kinderen, schuldniveau of type auto.

Wij geven een aantal voorbeelden om bovenstaande criteria te verduidelijken.

Het eerste voorbeeld betreft een AI-systeem dat wordt gebruikt door de politie waarbij het risico wordt ingeschat dat een persoon crimineel gedrag zal vertonen. Daarmee is in ieder geval al voldaan aan het eerste vereiste. Om het risico in te schatten, wordt vervolgens gebruikgemaakt van de volgende gegevens: leeftijd, nationaliteit, adres, type auto en relatiestatus van de betreffende persoon. Daarmee wordt voldaan aan het tweede vereiste, onderdeel b. De beoordeling wordt namelijk uitgevoerd op basis van eigenschappen van deze persoon. Een dergelijk systeem is dus verboden.

Het tweede voorbeeld betreft een AI-systeem dat wordt gebruikt door de Belastingdienst om te voorspellen of iemand fiscale fraude pleegt (eerste vereiste). Dit gebeurt uitsluitend op basis van persoonlijke kenmerken zoals dubbele nationaliteit, geboorteplaats, en aantal kinderen (tweede vereiste, onderdeel b). Ook hierbij is duidelijk te zien dat een risico-inschatting uitsluitend plaatsvindt aan de hand van persoonlijke kenmerken of eigenschappen, en dus is het systeem verboden.

Een dergelijk AI-systeem waarmee risico’s op crimineel gedrag kunnen worden ingeschat, kan zeker ook zeer nuttig zijn. Er zijn dus een aantal situaties waarin een dergelijk systeem wel is toegestaan.

1. Een dergelijk systeem mag, op grond van de AI Act, wel gebruikt worden als ondersteunend middel bij een menselijke beoordeling van de betrokkenheid van een persoon bij een strafbaar feit. Voorwaarde daarbij is dat die menselijke beoordeling gebaseerd is op objectieve en verifieerbare feiten. Hierbij kun je denken aan een situatie waarin er al een redelijke verdenking is dat iemand een misdrijf heeft gepleegd en het systeem uitsluitend wordt ingezet om die verdenking te staven. Stel iemand heeft een wapen gekocht of neemt deel aan een terroristisch forum, dan zijn dat objectieve maatstaven aan de hand waarvan kan worden ingeschat dat deze persoon voornemens is crimineel of terroristisch gedrag te vertonen. Om dat vermoeden te onderbouwen, is het wel toegestaan om een individual predictive policing-systeem te gebruiken.
2. Private organisaties mogen wel gebruik maken van AI-systemen voor het uitvoeren van risicobeoordelingen. Dat mogen zij alleen voor eigen doeleinden; niet voor de politie of een andere overheidsinstantie. Het is dan niet erg wanneer er door het systeem toevallig ook iets wordt gesignaleerd dat te maken heeft met een strafbaar feit. Zolang het verband met criminaliteit toeval is, valt dit gebruik niet onder een verbod.
3. Verder is het ook toegestaan om locatie gebaseerde of plaatsgebonden voorspellingen te doen waarbij beoordelingen niet aan de hand van een specifieke natuurlijke persoon worden gedaan, maar op basis van eigenschappen van een locatie, bijvoorbeeld voor het voorspellen van smokkelroutes en de detectie van schoten in de stad aan de hand van microfoons.
4. AI-systemen die worden gebruikt voor het inschatten van risico’s op administratieve overtredingen, vallen ook niet onder het verbod. Administratieve overtredingen zijn lichte vormen van wetsovertredingen, waarbij er geen strafrechtelijke vervolging plaatsvindt. In plaats daarvan zal meestal de overheid een boete of maatregel opleggen. Denk bijvoorbeeld aan kleine verkeersovertredingen of kleine fouten bij de belastingaangifte.

Hoewel de AI Act een verbod op individual predictive policing-systemen in het leven roept, bestaan er aldus ook uitzonderingen op dit verbod. Hierdoor kunnen dergelijke systemen nuttig blijven, zonder daarbij afbreuk te doen aan mensenrechten en menselijke waardigheid.

Het is van belang dat u zo snel mogelijk vaststelt dat zich binnen uw organisatie geen verboden AI-praktijken voordoen. Is daar wel sprake van, dan kan dit worden beboet met forse geldboetes die kunnen oplopen tot 35 miljoen euro of 7 % van de totale omzet. Het feit dat op dit moment nog geen aangewezen toezichthouder voor de verboden AI-praktijken is, betekent niet dat er nog niets tegen kan worden gedaan. De verboden zijn immers rechtstreeks van toepassing sinds 2 februari 2025 en een overtreding van de AI Act betreft dan ook een onrechtmatige daad. Burgers of ondernemingen die daardoor schade leiden, kunnen aldus op dit moment al een procedure starten.

Kortom, het voldoen aan de AI Act vraagt om een gestructureerde aanpak binnen uw organisatie. Wij helpen u graag door AI-systemen binnen uw organisatie in kaart te brengen, te classificeren en de reeds bestaande verplichtingen met u uit te voeren. Dit doen wij samen met een externe partner en dit doen wij in drie stappen: een kennissessie, een AI-scan en vervolgens de implementatie.

Heeft uw organisatie hulp nodig bij het uitvoeren van deze stappen, dan biedt het Holla AI-team aldus de AI-scan voor naleving van de AI Act aan. Heeft u hierover vragen? Neem dan contact met ons op, wij helpen u graag verder. Houd onze website in de gaten voor de andere artikelen uit onze blogreeks.