De AI Act uitgelegd: verbod op biometrische categorisering (8/10)

Biometrische categorisering verwijst naar het indelen van natuurlijke personen in specifieke categorieën op basis van hun ‘biometrische gegevens’. ‘Biometrische gegevens’ zijn persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevens. Het gaat bij biometrische categorisering niet om het identificeren of verifiëren van een identiteit, maar het toeschrijven van een individu aan een bepaalde categorie.

Een grote verscheidenheid aan informatie, waaronder ‘gevoelige’ informatie, kan worden verkregen, afgeleid of geïnterpreteerd uit biometrische gegevens, zelfs zonder medeweten van de betrokken personen, om deze personen vervolgens in categorieën in te delen. Dit kan leiden tot een oneerlijke en discriminerende behandeling, bijvoorbeeld wanneer een dienst wordt geweigerd omdat iemand als behorend tot een bepaald ras wordt beschouwd.

AI-systemen die worden ingezet voor biometrische categorisatie met als doel natuurlijke personen toe te wijzen aan specifieke groepen of categorieën, om daaruit bijvoorbeeld hun seksuele of politieke geaardheid af te kunnen leiden, schenden dan ook de menselijke waardigheid en brengen aanzienlijke risico’s met zich mee voor andere grondrechten, zoals privacy en non-discriminatie.

De AI Act bevat dan ook een verbod op AI-gebaseerde systemen voor biometrische categorisatie in artikel 5 lid 1 onder g van de AI Act. Het verbod geldt voor zowel aanbieders als gebruikers van AI-systemen en is van toepassing als aan vijf cumulatieve voorwaarden wordt voldaan:

1. het moet gaan om het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem;
2. het systeem moet een biometrisch categorisatiesysteem zijn;
3. individuele personen moeten worden gecategoriseerd;
4. op basis van hun biometrische gegevens;
5. om daaruit hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksueel gedrag of seksuele gerichtheid af te leiden of te achterhalen.

Wat is een ‘biometrisch categorisatiesysteem’?

De categorisatie door een biometrisch systeem houdt in dat wordt vastgesteld of iemands biometrische gegevens passen binnen een vooraf gedefinieerde groep. Bijvoorbeeld: een advertentiebord toont verschillende reclames afhankelijk van de waargenomen leeftijd of het geslacht van de kijker. Biometrische categorisatie kan gebaseerd zijn op fysieke kenmerken, zoals gezichtsstructuur, huidskleur of andere uiterlijke eigenschappen, op basis waarvan personen vervolgens in specifieke categorieën worden ingedeeld. Sommige van deze categorieën kunnen ‘gevoelig’ zijn of betrekking hebben op kenmerken die beschermd worden onder het EU-recht inzake non-discriminatie, zoals iemands ras. Biometrische categorisatie kan echter ook gebaseerd zijn op DNA of gedragsaspecten, zoals iemands manier van lopen.

De AI Act definieert een biometrisch categorisatiesysteem als een AI-systeem dat natuurlijke personen op basis van hun biometrische gegevens in specifieke categorieën indeelt, tenzij dit slechts een bijkomend onderdeel is van een andere commerciële dienst én strikt noodzakelijk is om technische redenen. Voorbeelden van dergelijke toegestane toepassingen zijn:

• Filters binnen sociale netwerken waarmee gebruikers hun uiterlijk op foto’s of video’s kunnen aanpassen. Deze zijn toegestaan, omdat ze slechts functioneren binnen de hoofddienst van het platform: het delen van online content.
• Filters binnen online marktplaatsen die gezichts- of lichaamskenmerken categoriseren, zodat consumenten producten op zichzelf kunnen visualiseren en kunnen “passen”. Ook deze zijn toegestaan, omdat ze alleen werken in het kader van de hoofddienst: het verkopen van producten.

Daarentegen zijn de volgende toepassingen wél verboden:

• Een AI-systeem dat personen op een sociaal mediaplatform categoriseert op basis van hun vermoedelijke politieke voorkeur, door biometrische gegevens uit geüploade foto's te analyseren om hen gerichte politieke boodschappen te sturen. Hoewel dit systeem mogelijk slechts een bijkomend onderdeel is van politieke reclame, is het niet strikt noodzakelijk om objectieve technische redenen en is de praktijk dus verboden.
• Een AI-systeem dat gebruikers van een sociaal mediaplatform categoriseert op basis van hun vermoedelijke seksuele geaardheid, door biometrische gegevens uit gedeelde foto's te analyseren en hen vervolgens gerichte advertenties toont. Ook hier ontbreekt de strikte technische noodzaak, waardoor ook deze praktijk verboden is.

Zoals gezegd verbiedt de AI Act uitsluitend biometrische categorisatiesystemen die als doel hebben een beperkt aantal gevoelige kenmerken af te leiden of te veronderstellen, namelijk:
ras, politieke opvattingen, vakbondslidmaatschap, religieuze of levensbeschouwelijke overtuigingen, seksueel gedrag of seksuele geaardheid. Een voorbeeld van een dergelijke verboden systeem is een systeem dat beweert iemands ras te kunnen afleiden uit diens stemgeluid of een systeem dat beweert iemands religieuze overtuiging te kunnen afleiden uit tatoeages of gelaatskenmerken.

Labelen of filteren wél toegestaan

Het verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, ook niet bij gebruik voor wetshandhaving. Het labelen of filteren van biometrische datasets kan namelijk juist door biometrische categorisatiesystemen worden gedaan om ervoor te zorgen dat alle demografische groepen evenwichtig worden vertegenwoordigd en niet bijvoorbeeld één specifieke groep wordt oververtegenwoordigd. Als de data die gebruikt worden om een algoritme te trainen bevooroordeeld zijn tegen een bepaalde groep, kan het algoritme deze bias overnemen, wat kan leiden tot onrechtmatige discriminatie. Daarom kan het noodzakelijk zijn om biometrische data te labelen op basis van beschermde gevoelige informatie om juist discriminatie te voorkomen en de kwaliteit van de data te waarborgen. Dit soort labelen of filteren van biometrische data is dan ook expliciet vrijgesteld van het verbod. Voorbeelden van toegestaan labelen of filteren zijn:

• Het labelen van biometrische data om te voorkomen dat leden van een etnische groep minder kans krijgen op een sollicitatiegesprek omdat het algoritme is getraind op data waarbij die groep slechtere resultaten behaalt dan anderen.
• Het categoriseren van patiënten op basis van huid- of oogkleur in medische beelden, bijvoorbeeld voor het stellen van diagnoses zoals kanker.

Het is van belang dat u zo snel mogelijk vaststelt dat zich binnen uw organisatie geen verboden AI-praktijken voordoen. Is daar wel sprake van, dan kan dit worden beboet met forse geldboetes die kunnen oplopen tot 35 miljoen euro of 7 % van de totale omzet. Het feit dat op dit moment nog geen aangewezen toezichthouder voor de verboden AI-praktijken is, betekent niet dat er nog niets tegen kan worden gedaan. De verboden zijn immers rechtstreeks van toepassing sinds 2 februari 2025 en een overtreding van de AI Act betreft dan ook een onrechtmatige daad. Burgers of ondernemingen die daardoor schade leiden, kunnen aldus op dit moment al een procedure starten.

Kortom, het voldoen aan de AI Act vraagt om een gestructureerde aanpak binnen uw organisatie. Wij helpen u graag door AI-systemen binnen uw organisatie in kaart te brengen, te classificeren en de reeds bestaande verplichtingen met u uit te voeren. Dit doen wij samen met een externe partner en dit doen wij in drie stappen: een kennissessie, een AI-scan en vervolgens de implementatie.

Heeft uw organisatie hulp nodig bij het uitvoeren van deze stappen, dan biedt het Holla AI-team aldus de AI-scan aan. Heeft u hierover vragen? Neem dan contact met ons op. Wij helpen u graag verder en houd onze website in de gaten voor de andere artikelen uit onze blogreeks.