AI in actie: Introductie op AI en de AI-verordening (1/12)

Er lijkt geen maat te staan op de opkomst van Artificial Intelligence (‘AI’). Door de opkomst van ChatGPT is AI in een korte tijd bekend geworden bij een breed publiek, maar AI omvat veel meer dan chatbots. Denk aan toepassingen op het gebied van gezondheid (zoals het detecteren van kanker), werkgelegenheid, videogames en jouw YouTube feed. AI komt terug in bijna alle facetten van het dagelijkse leven. Reden genoeg dus om stil te staan bij het juridisch kader van AI. In deze blogreeks behandelt het Holla AI-team verschillende juridische vraagstukken op het gebied van AI. Onderstaande blog is deel 1 van de reeks en betreft een inleiding op AI en de aankomende Europese AI-verordening.

Wat is AI?

Kunstmatige intelligentie (ofwel AI) wordt in de praktijk regelmatig omschreven als technologieën en systemen die in staat zijn taken uit te voeren die in beginsel menselijke intelligentie vereisen. AI-systemen kunnen namelijk leren, redeneren, zich aanpassen en autonome beslissingen nemen op basis van grote hoeveelheden data. De inzet van AI brengt daarmee veel voordelen met zich mee: het is snel, (doorgaans) nauwkeurig, efficiënt en breed inzetbaar. AI is dan ook zeer welkom in een tijd waarbij in veel sectoren een personeelstekort heerst en kosten hoog zijn. Daar staat tegenover dat de inzet van AI ook nadelen met zich meebrengt. Naast het feit dat er niet altijd voldoende (juiste) data voorhanden is om het AI-systeem te trainen en de uitkomsten van AI (nog) niet altijd correct en volledig zijn, zijn AI-systemen regelmatig ook onvoldoende transparant en verklaarbaar. Het is niet altijd duidelijk hoe AI-systemen werken en op hoe ze aan de uitkomsten komen. Wanneer AI-systemen op een verkeerde manier worden ingezet, kan dit voor risico’s opleveren of negatieve gevolgen hebben voor mens, maatschappij en milieu. Om dit te voorkomen of te beperken, heeft de Europese Commissie in 2021 een voorstel gedaan voor een verordening tot vaststelling van Europese regels over AI. Deze verordening wordt ook wel de ‘AI Act’ genoemd. In een eerder artikel hebben wij de hoofdlijnen van de AI-verordening al toegelicht. Inmiddels is er een aangepaste versie van de AI-verordening voorgesteld door het Europees Parlement. Deze blog vormt een update van en uitbreiding op het vorige artikel en betreft het eerste artikel in onze AI-blogreeks.

De AI-verordening: risk-based approach

De AI-verordening heeft met name tot doel de inzet en ontwikkeling van AI in goede banen te leiden en om meer (product)veiligheid te bevorderen. Daarbij is in de verordening gekozen voor een ‘risk-based approach’. Dit betekent: hoe hoger de risico’s van een AI-systeem, hoe strenger de regels. Het gaat dan om risico’s voor gezondheid, veiligheid, fundamentele rechten en milieu. De ‘risk-based approach’ komt kort gezegd op het volgende neer:

AI-systemen met een onaanvaardbaar risico

Bepaalde AI-systemen met een onaanvaardbaar risico zullen worden verboden. Het gaat daarbij om:

• Systemen die het onderbewustzijn beïnvloeden of systemen die (opzettelijk) gedrag manipuleren of misleiden en daarmee significante schade bij (groepen van) personen kunnen veroorzaken, waaronder kan worden verstaan fysieke, psychologische, financiële of emotionele schade.
• Systemen die gebruikmaken van de kwetsbaarheden van specifieke (groepen van) personen en daarmee eveneens significante schade bij (groepen van) personen kunnen veroorzaken.
• Systemen voor biometrische categorisatie op basis van gevoelige eigenschappen of kenmerken.
• ‘Social scoring’ systemen, waarbij personen geclassificeerd worden op basis van hun gedrag, sociaaleconomische status of persoonlijke kenmerken.
• Real-time biometrisch identificatiesystemen op afstand en in openbare ruimten, bijvoorbeeld camerasystemen met gezichtsherkenning.
• ‘Predictive policing’ systemen, waarbij risico’s worden ingeschat dat een persoon een strafrechtelijk feit of een bestuursrechtelijke overtreding (opnieuw) gaat plegen aan de hand van kenmerken van die persoon.
• Systemen die gezichtsherkenningsdatabases creëren of uitbreiden door ongericht gezichtsbeelden van internet of CCTV te ‘scrapen’.
• Systemen die emoties kunnen detecteren en die worden gebruikt in de volgende sectoren: rechtshandhaving, grenscontroles, op de werkvloer of in het onderwijs (bijvoorbeeld ‘proctoring’).

De AI-verordening bevat wel enkele uitzonderingen op deze verboden. Zo zijn bijvoorbeeld real-time biometrisch identificatiesystemen onder bepaalde omstandigheden wel toegestaan en is het gebruik manipulatieve systemen bijvoorbeeld toegestaan als een persoon daar uitdrukkelijke toestemming voor heeft gegeven.

AI-systemen met een hoog risico

Sommige AI-systemen zullen worden geclassificeerd als een systeem met een hoog risico. Deze systemen zijn nog wél toegestaan, maar hiervoor gaan strenge verplichtingen gelden (zie later in deze blog). Twee soorten AI-systemen zullen gelden als een hoog risico:

1. AI-systemen die zijn bedoeld om te worden gebruikt als veiligheidscomponent van een product, of als het AI-systeem zelf een product is dat valt onder Europese wetgeving op het gebied van productveiligheid. Het gaat hierbij om wetgeving op het gebied van burgerluchtvaart, voertuigen, landbouw en spoorwegen, maar ook ten aanzien van bijvoorbeeld speelgoed of (medische) hulpmiddelen.

2. AI-systemen die een significant risico hebben om schade te veroorzaken aan de gezondheid, veiligheid of mensenrechten van natuurlijke personen (en in sommige gevallen aan het milieu), én die worden ingezet voor onder meer de volgende doeleinden:
   • biometrische identificatie en categorisering van personen, behalve die systemen die verboden zijn;
   • beheer en exploitatie van kritieke infrastructuren, zoals voor het weg-, spoor- en luchtverkeer;
   • onderwijs en beroepsopleiding;
   • werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid;
   • toegang tot en gebruik van essentiële particuliere diensten en openbare diensten en uitkeringen, zoals gezondheidszorg, elektriciteit en internet;
   • rechtshandhaving;
   • migratie, asiel en beheer van grenscontroles; of
   • rechtsbedeling en democratische processen.

AI-systemen met een beperkt en laag risico

Bij AI-systemen met een beperkt risico moet men denken aan chatbots (zoals ChatGPT) en ‘deepfakes’. Voor deze systemen geldt een transparantieverplichting. Personen zullen moeten worden geïnformeerd wanneer dergelijke AI-systemen worden gebruikt voor interacties met hen. Het doel hiervan is dat personen weloverwogen keuzes kunnen maken of afstand kunnen nemen van een bepaald systeem. Bij AI-systemen met een laag risico gaat het bijvoorbeeld om videogames en spamfilters. Deze AI-systemen worden niet gereguleerd. Wel wordt in de AI-verordening bij iedere vorm van AI aangeraden om een interne gedragscode op te stellen. In deze code kunnen vrijwillige afspraken worden gemaakt over relevante zaken bij AI-systemen, zoals over transparantie, inspraak van belanghebbenden tijdens het ontwerp en de ontwikkeling van AI-systemen, en diversiteit binnen de ontwikkelingsteams.

Vaststellen rollen en verplichtingen AI-verordening

Naast het bepalen van het risiconiveau, is het van belang de rollen van de partijen vast te stellen ten aanzien van het AI-systeem. De AI-verordening is namelijk gericht aan: aanbieders, gebruikers, importeurs, distributeurs en getroffen personen. In deze blog zullen wij focussen op de verplichtingen die gaan gelden voor aanbieders en gebruikers nu voor hen de meeste verplichtingen gaan gelden. Voor aanbieders van AI-systemen met een hoog risico, gelden een aantal verplichtingen. Aanbieders zijn de partijen die AI-systemen ontwikkelen of het AI-systeem aanbieden aan gebruikers. De volgende verplichtingen gelden voor aanbieders van AI-systemen met een hoog risico:

Aantonen overeenstemming AI-verordening	Conformiteitsbeoordeling + EU-conformiteitsverklaring
Trainen menselijk toezicht	CE-markering aanbrengen
Data governance	Registreren in publieke Europese databank
Specificeren inputdata	Gebruiksaanwijzingen opstellen
Systeem voor kwaliteitsbeheer	Transparantie voor gebruikers
Technische documentatie	Ernstige incidenten en storingen melden
Logs bijhouden	Nauwkeurigheid, robuustheid en cyberbeveiliging

Gebruikers van AI-systemen zijn die partijen die een AI-systeem onder eigen verantwoordelijkheid gebruiken, tenzij het systeem wordt gebruikt voor een persoonlijke niet-beroepsactiviteit. Voor gebruikers van AI-systemen met een hoog risico gelden de volgende verplichtingen:

Gebruik in overeenstemming met gebruiksaanwijzingen aanbieder	Logs bewaren voor 6 maanden
Competent en getraind menselijk toezicht	Ondernemingsraad consulteren en werknemers informeren
Monitoren werking systeem, inclusief robuustheid en cyberbeveiliging	Data protection impact assessment uitvoeren (als AVG van toepassing is) en een samenvatting publiceren
Inputdata moet relevant zijn voor beoogd doel	Personen informeren over wie besluiten worden genomen met AI-systeem
Informeren aanbieder en toezichthouder bij ernstige incidenten, en meewerken overeenstemming AI-verordening	Fundamental rights impact assessment uitvoeren (vergelijkbaar met impact assessment mensenrechten en algoritmes, zie bijvoorbeeld)

Daarnaast introduceert de AI-verordening algemene beginselen – zoals transparantie, non-discriminatie en milieuvriendelijkheid – en worden een aantal rechten voor betrokkenen geïntroduceerd. De rechten voor betrokkenen omvatten onder meer het recht om een klacht in te dienen bij een nationale toezichthouder, het recht op uitleg en het recht op collectieve (schadevergoedings)acties onder de ook aankomende AI-aansprakelijkheidsrichtlijn.

Foundation models en generative AI

Naast de toepassing van de AI-verordening op een AI-systeem in brede zin, zijn in de AI-verordening nu ook specifieke definities en verplichtingen opgenomen voor ‘foundation models’ en voor ‘generative AI’ (zoals ChatGPT), ofwel systemen die bepaalde content genereren. Voor deze vormen van AI gaan ook uitgebreide verplichtingen gelden, die vergelijkbaar zijn met enkele verplichtingen voor AI-systemen met een hoog risico. Denk hierbij aan data governance, technische documentatie en registratie in een Europese database. Daarnaast zullen voor ‘generative AI’ nog aanvullende verplichtingen gaan gelden, zoals het documenteren en publiceren van trainingsdata die auteursrechtelijk beschermd is.

Gevolgen bij overtreding?

Aan het overtreden van de verplichtingen die voortvloeien uit de AI-verordening zijn flinke consequenties verbonden. Een geldboete kan maar liefst oplopen tot 40 miljoen euro of 7% van de totale wereldwijde jaarlijkse omzet, als dat laatste hoger is. In de eerste versie van het voorstel bedroegen de boetes 30 miljoen euro of 6% van de totale wereldwijde jaarlijkse omzet. De geldboeten kunnen aldus hoog oplopen.

Wat te verwachten?

Nu overeenstemming is bereikt binnen het Europees Parlement, moeten het Europees Parlement, de Europese Commissie en de Raad van Ministers gezamenlijk tot een definitieve versie komen. U kunt hier het laatste voorstel van de Raad van Ministers vinden. Het doel is deze overeenstemming voor het einde van 2023 te bereiken. In de zomer van 2024 zou de AI-verordening dan in werking kunnen treden met een transitieperiode van twee jaar. Dat betekent dat organisaties nog twee jaar hebben om ervoor te zorgen dat zij in overeenstemming met de AI-verordening handelen. In 2026 zou de AI-verordening vervolgens definitief van kracht moeten gaan. Een en ander kan uiteraard nog uitlopen of veranderen.

Wat kunt u nu doen?

Een goed begin is het halve werk. Hoewel de inhoud van de AI-verordening naar alle verwachting nog gaat veranderen, is de komst van bepaalde verplichtingen uit de verordening vrijwel zeker. Denk hierbij aan meer transparantie en het uitvoeren van een ‘fundamental rights impact assessment’. Bovendien geldt voor sommige verplichtingen dat deze ook voortkomen uit andere wet- en regelgeving die al op uw AI-systeem van toepassing kunnen zijn, zoals uit de AVG of de Verordening medische hulpmiddelen. Wij adviseren u dan ook tijdig te beginnen en alvast in kaart te brengen welke AI-systemen u aanbiedt of gebruikt, binnen welke categorie die AI-systemen vallen en welke verplichtingen daar voor u aan gekoppeld zijn. Mocht u hierover vragen hebben of heeft u hierbij hulp nodig? Neem dan contact op met ons AI-team. Zij helpen u graag verder.

Ook verschenen in deze blogreeks:

• AI in actie: Samenspel tussen AI en de AVG (2/12)