Overwegingen bij COM(2021)206 - Vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de unie

Dit is een beperkte versie

U kijkt naar een beperkte versie van dit dossier in de EU Monitor.

 
dossier COM(2021)206 - Vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot ...
document COM(2021)206 NLEN
datum 21 april 2021
 
(1) Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie. Deze verordening streeft een aantal dwingende redenen van algemeen belang na, zoals een hoog niveau van bescherming van de gezondheid, de veiligheid en de grondrechten, en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.

(2) Artificiële-intelligentiesystemen (AI-systemen) kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd, terwijl verschillen die het vrije verkeer van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, met beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend om deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.

(3) Artificiële intelligentie is een snel evoluerende verzameling van technologieën die kan bijdragen aan een brede waaier van economische en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, onderwijs en opleiding, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, en klimaatmitigatie en -adaptatie.

(4) Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, risico’s opleveren en schade toebrengen aan de openbare belangen en rechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn.

(5) Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen en de inbedrijfstelling van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Door die regels vast te stellen, steunt deze verordening de doelstelling van de Unie om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad 33 , en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement 34 .

(6) Het begrip “AI-systeem” moet duidelijk worden gedefinieerd om rechtszekerheid te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op toekomstige technologische ontwikkelingen te kunnen inspelen. De definitie moet gebaseerd zijn op de belangrijkste functionele kenmerken van de software, met name het vermogen om, voor een bepaalde reeks door de mens gedefinieerde doelstellingen, een output te genereren zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee het systeem in wisselwerking staat, zowel in een fysieke als een digitale dimensie. AI-systemen kunnen zodanig worden ontworpen dat zij in verschillende mate autonoom kunnen functioneren en als zelfstandig onderdeel of als component van een product kunnen worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed). De definitie van AI-systeem moet worden aangevuld met een lijst van specifieke technieken en benaderingen voor de ontwikkeling ervan, die in het licht van de technologische en marktontwikkelingen moet worden bijgewerkt door middel van gedelegeerde handelingen van de Commissie tot wijziging van die lijst.

(7) Het in deze verordening gebruikte begrip biometrische gegevens sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad 35 , artikel 3, lid 18, van Verordening (EU) 2018/1725 van het Europees Parlement en de Raad 36 en artikel 3, lid 13, van Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad 37 .

(8) Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens. Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.

(9) Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is. Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie.

(10) Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruikers van AI-systemen.

(11) Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruikers van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output in de Unie wordt gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds.

(12) Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of gebruiker van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten].

(13) Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest van de grondrechten van de Europese Unie (het Handvest), niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie.

(14) Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

(15) Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

(16) Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek.

(17) AI-systemen die door of in naam van overheidsinstanties worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren de betrouwbaarheid van natuurlijke personen op basis van hun sociale gedrag in meerdere contexten of op basis van bekende of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden.

(18) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten.

(19) Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in drie limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik alleen noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar mogelijke slachtoffers van misdrijven, waaronder vermiste kinderen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag; en de opsporing, lokalisatie, identificatie of vervolging van daders of verdachten van de in Kaderbesluit 2002/584/JBZ van de Raad 38 bedoelde strafbare feiten indien deze in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumstraf van minstens drie jaar, en indien zij in het recht van die lidstaat zijn omschreven. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt er op toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van biometrische systemen voor identificatie op afstand in real time te rechtvaardigen. Bovendien zullen sommige van de 32 in Kaderbesluit 2002/584/JBZ van de Raad genoemde strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zal zijn voor de praktische uitvoering van de opsporing, lokalisatie, identificatie of vervolging van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen.

(20) Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die drie limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Voorts moet het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving aan passende beperkingen in tijd en ruimte worden onderworpen, met name gelet op het bewijs of de aanwijzingen met betrekking tot de bedreigingen, de slachtoffers of de dader. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de drie bovenvermelde situaties.

(21) Voor elk gebruik van een biometrisch systeem voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving moet een uitdrukkelijke en specifieke toestemming van een rechterlijke instantie of van een onafhankelijke administratieve autoriteit van een lidstaat vereist zijn. Die toestemming moet in beginsel vóór het gebruik worden verkregen, behalve in naar behoren gemotiveerde spoedeisende gevallen, dat wil zeggen situaties waarin het wegens de noodzaak om de systemen in kwestie te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik een toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en vastgesteld in de context van elk individueel dringend gebruik door de rechtshandhavingsautoriteit zelf. Bovendien moet de rechtshandhavingsautoriteit in dergelijke situaties zo spoedig mogelijk een toestemming trachten te verkrijgen, met vermelding van de redenen waarom zij die niet eerder heeft kunnen vragen.

(22) Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk is indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen.

(23) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, behoudens bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mag een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het door deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke data in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn 2016/680. Het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader voor dergelijk gebruik ten behoeve van de rechtshandhaving dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van een toelating uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die daaraan uitvoering kunnen geven.

(24) Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving zoals geregeld in deze verordening, ook wanneer die systemen in openbare ruimten door bevoegde autoriteiten worden gebruikt voor andere doeleinden dan de rechtshandhaving, moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing.

(25) Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

(26) Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken.

(27) AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht of in bedrijf worden gesteld als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren.

(28) AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als onderdelen van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn. De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is een bijzonder relevante factor voor de indeling van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen.

(29) Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad 39 , Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad 40 , Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad 41 , Richtlijn 2014/90/EU van het Europees Parlement en de Raad 42 , Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad 43 , Verordening (EU) 2018/858 van het Europees Parlement en de Raad 44 , Verordening (EU) 2018/1139 van het Europees Parlement en de Raad 45 , en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad 46 , moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt.

(30) Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(31) De indeling van een AI-systeem als een AI-systeem met een hoog risico overeenkomstig deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgesteld in de relevante harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor Verordening (EU) 2017/745 van het Europees Parlement en de Raad 47 en Verordening (EU) 2017/746 van het Europees Parlement en de Raad 48 , waarin in een conformiteitsbeoordeling door een derde partij is voorzien voor producten met een gemiddeld risico en producten met een hoog risico.

(32) Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in de verordening beschreven, specifieke en vooraf bepaalde gebieden. Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd.

(33) Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en discriminerende effecten met zich meebrengen. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Daarom moeten biometrische systemen voor identificatie op afstand “in realtime” en “achteraf” als systemen met een hoog risico worden aangemerkt. Gezien de risico’s die zij inhouden, moeten voor beide soorten systemen voor biometrische identificatie op afstand specifieke eisen inzake menselijk toezicht en het bijhouden van logbestanden gelden.

(34) Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van het wegverkeer en de water-, gas-, verwarmings- en elektriciteitsvoorziening als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren.

(35) AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs, moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden.

(36) AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen. Relevante werkgerelateerde contractuele betrekkingen moeten werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Deze personen worden in beginsel niet beschouwd als gebruikers in de zin van deze verordening. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook gevolgen hebben voor hun rechten op gegevensbescherming en privacy.

(37) Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. Gezien de zeer beperkte omvang van de gevolgen en de op de markt beschikbare alternatieven, is het passend om AI-systemen voor de beoordeling van de kredietwaardigheid en kredietscore uit te sluiten wanneer zij door kleine aanbieders voor eigen gebruik in gebruik worden gesteld. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(38) Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door rechtshandhavingsinstanties te worden gebruikt voor individuele risicobeoordelingen, leugendetectortests en vergelijkbare instrumenten of om de gemoedstoestand van natuurlijke personen te bepalen, om “deep fakes” op te sporen, om de betrouwbaarheid van bewijs in strafprocedures te evalueren, om het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit te voorspellen op basis van de profilering van natuurlijke personen, om persoonlijkheidskenmerken of eerder crimineel gedrag van natuurlijke personen of groepen te beoordelen, voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. 

(39) AI-systemen die worden gebruikt op het gebied van migratie, asiel en grensbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door de bevoegde overheidsinstanties die taken op het gebied van migratie, asiel en grensbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, of om de gemoedstoestand van natuurlijke personen te bepalen, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om de echtheid te controleren van de relevante documenten van natuurlijke personen, om bevoegde overheidsinstanties bij te staan die aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten behandelen teneinde vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen. AI-systemen op het gebied van migratie, asiel en grensbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele voorschriften die zijn vastgesteld in Richtlijn 2013/32/EU van het Europees Parlement en de Raad 49 , Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad 50 en andere relevante wetgeving.

(40) Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.

(41) Het feit dat een AI-systeem uit hoofde van deze verordening als systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem noodzakelijkerwijs rechtmatig is op grond van andere handelingen van het Unierecht of op grond van intern recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens, het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke voorschriften die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en intern recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing.

(42) Om de risico’s van AI-systemen met een hoog risico die in de Unie in de handel zijn gebracht of op andere wijze in gebruik zijn gesteld voor gebruikers en betrokken personen te beperken, moeten bepaalde verplichte voorschriften van toepassing zijn, rekening houdend met het beoogde doel van het gebruik van het systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld.

(43) Op AI-systemen met een hoog risico moeten voorschriften van toepassing zijn met betrekking tot de kwaliteit van de gebruikte datareeksen, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruikers, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze voorschriften zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten waarvan in het licht van het beoogde doel van het systeem sprake is, te verminderen wanneer geen andere maatregelen redelijkerwijs beschikbaar zijn die de handel in mindere mate beperken, zodat ongerechtvaardigde beperkingen van de handel worden voorkomen.

(44) Kwalitatief hoogwaardige data zijn essentieel voor de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datareeksen voor training, validatie en tests vereisen de uitvoering van passende praktijken voor databeheer. datareeksen voor training, validatie en tests moeten voldoende relevant, representatief, foutloos en volledig zijn met het oog op het beoogde doel van het systeem. De datareeksen moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen waarvoor de AI-systemen met een hoog risico moeten worden gebruikt. Ten aanzien van datareeksen voor training, validatie en tests moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, gedrags- of functionele omgeving of context waarin het AI-systeem moet worden gebruikt. Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vertekening (bias) in AI-systemen, moeten aanbieders ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang, teneinde de monitoring, opsporing en correctie van vertekening in verband met AI-systemen met een hoog risico te waarborgen.

(45) Voor de ontwikkeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals digitale-innovatiehubs, faciliteiten voor tests en experimenten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datareeksen op de gebieden waarop zij activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van algoritmen voor artificiële intelligentie aan de hand van deze datareeksen vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

(46) Informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de overeenstemming met de voorschriften van deze verordening te controleren. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende voorschriften te beoordelen. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer. De technische informatie moet actueel worden gehouden.

(47) Om de ondoorzichtigheid aan te pakken, die ertoe leidt dat bepaalde AI-systemen ondoorgrondelijk of te complex zijn voor natuurlijke personen, moet een bepaalde mate van transparantie vereist zijn voor AI-systemen met een hoog risico. Gebruikers moeten de output van het systeem kunnen interpreteren en dienovereenkomstig kunnen gebruiken. AI-systemen met een hoog risico moeten derhalve vergezeld gaan van relevante documentatie en gebruiksaanwijzingen en beknopte en duidelijke informatie bevatten, waar passend ook met betrekking tot mogelijke risico’s voor de grondrechten en risico’s op discriminatie.

(48) AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan. Met het oog hierop moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat dit in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke exploitant en dat de natuurlijke personen aan wie de taak van het menselijke toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren.

(49) AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in overeenstemming met de algemeen erkende stand van de techniek. De mate van nauwkeurigheid en de maatstaven voor de nauwkeurigheid moeten aan de gebruikers worden meegedeeld.

(50) De technische robuustheid is een essentieel voorschrift voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen risico’s in verband met de beperkingen van het systeem (bv. fouten, onregelmatigheden, onverwachte situaties) en tegen kwaadwillige acties die de beveiliging van het AI-systeem in gevaar kunnen brengen en kunnen leiden tot schadelijk of anderszins ongewenst gedrag. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.

(51) Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals datareeksen voor training (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.

(52) Als onderdeel van de harmonisatiewetgeving van de Unie moeten regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico die consistent zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad tot vaststelling van de eisen inzake accreditatie en markttoezicht betreffende het verhandelen van producten 51 , Besluit nr. 768/2008/EG van het Europees Parlement en de Raad betreffende een gemeenschappelijk kader voor het verhandelen van producten 52 en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad betreffende markttoezicht en conformiteit van producten 53 (hierna het “nieuwe wetgevingskader voor het verhandelen van producten” genoemd).

(53) Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.

(54) De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

(55) Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder desbetreffende sectorale wetgeving van het nieuwe wetgevingskader niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de fabrikant van het eindproduct, zoals gedefinieerd in de desbetreffende wetgeving van het nieuwe wetgevingskader, de verplichtingen van de aanbieder naleven, zoals vastgesteld in deze verordening, en er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de voorschriften van deze verordening.

(56) Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor exploitanten en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gemaakt, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar maken in de Unie, wijzen aanbieders die buiten de Unie zijn gevestigd in gevallen waarin geen importeur kan worden vastgesteld derhalve per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

(57) In lijn met de beginselen van het nieuwe wetgevingskader moeten specifieke verplichtingen voor betrokken marktdeelnemers, zoals importeurs en distributeurs, worden vastgesteld om de rechtszekerheid te waarborgen en de naleving van de regelgeving door deze betrokken marktdeelnemers te vergemakkelijken.

(58) Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten die mogelijk gepaard gaan met het gebruik hiervan, onder meer met betrekking tot de noodzaak om een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk te waarborgen, is het passend om specifieke verantwoordelijkheden voor gebruikers vast te stellen. In het bijzonder moeten gebruikers AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksaanwijzingen en moeten, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie.

(59) Het is passend om te bepalen dat de gebruiker van het AI-systeem de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan moet zijn die/dat verantwoordelijk is voor het gebruik van het AI-systeem, tenzij het gebruik plaatsvindt in de loop van een persoonlijke, niet-beroepsactiviteit.

(60) Gezien de complexiteit van de waardeketen voor artificiële intelligentie moeten relevante derde partijen, en met name de partijen die zijn betrokken bij de verkoop en de levering van de software, softwarehulpmiddelen en -onderdelen, vooraf getrainde modellen en data, of aanbieders van netwerkdiensten waar passend samenwerken met aanbieders en gebruikers om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken en met de bevoegde autoriteiten zoals vastgesteld in het kader van deze verordening.

(61) Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen. De naleving van geharmoniseerde normen, zoals gedefinieerd in Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad 54 , moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. De Commissie zou echter gemeenschappelijke technische specificaties kunnen vaststellen op gebieden waarop geen geharmoniseerde normen bestaan of waarop deze ontoereikend zijn.

(62) Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.

(63) Teneinde de lasten voor exploitanten tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, is het passend dat de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens de benadering van het nieuwe wetgevingskader met de voorschriften van deze verordening, wordt beoordeeld als onderdeel van de conformiteitsbeoordeling waarin in die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende specifieke wetgeving van het nieuwe wetgevingskader. Deze benadering wordt volledig weerspiegeld in de wisselwerking tussen deze verordening en de [machineverordening]. Hoewel de voorschriften van deze verordening ook betrekking hebben op de veiligheidsrisico’s van AI-systemen die de veiligheidsfuncties van machines waarborgen, zullen bepaalde specifieke voorschriften van de [machineverordening] de veilige integratie van het AI-systeem in de volledige machine waarborgen, zodat de veiligheid van de machine in haar geheel niet in gevaar wordt gebracht. In de [machineverordening] wordt dezelfde definitie van AI-systemen toegepast als in deze verordening.

(64) Gezien de uitgebreidere ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van risico’s die hiermee gepaard gaan, is het passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen van derden voor AI-systemen met een hoog risico die geen verband houden met producten te beperken. De conformiteitsbeoordeling van dergelijke systemen moet derhalve als algemene regel door de aanbieder onder eigen verantwoordelijkheid worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van personen op afstand, ten aanzien waarvan een aangemelde instantie moet worden betrokken bij de conformiteitsbeoordeling, voor zover deze systemen niet verboden zijn.

(65) Met het oog op de uitvoering van een conformiteitsbeoordeling door derden voor AI-systemen die moeten worden gebruikt voor de biometrische identificatie van personen op afstand, moeten de nationale bevoegde autoriteiten aangemelde instanties aanwijzen op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties en afwezigheid van belangenconflicten.

(66) In lijn met het algemeen erkende begrip van ingrijpende wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat voor een AI-systeem een nieuwe conformiteitsbeoordeling wordt uitgevoerd wanneer zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van het systeem met deze verordening of wanneer het beoogde doel van het systeem verandert. Daarnaast is het ten aanzien van AI-systemen die blijven “leren” nadat zij in de handel worden gebracht of in gebruik worden gesteld (d.w.z. die automatisch aanpassen hoe taken worden uitgevoerd) noodzakelijk om te voorzien in regels die bepalen dat veranderingen met betrekking tot het algoritme en de prestaties ervan die vooraf door de aanbieder zijn bepaald en die op het moment van de conformiteitsbeoordeling zijn beoordeeld, geen ingrijpende wijziging vormen.

(67) Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat zij vrij kunnen bewegen op de interne markt. De lidstaten mogen het in de handel brengen en in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde voorschriften voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

(68) In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen en de samenleving in haar geheel. Het is derhalve passend dat de lidstaten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen en de bescherming van industrieel en commercieel eigendom toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen.

(69) Om de werkzaamheden van de Commissie en de lidstaten op het gebied van artificiële intelligentie te vergemakkelijken en om de transparantie ten opzichte van het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, worden verplicht hun AI-systemen met een hoog risico te registreren in een EU-databank, die door de Commissie moet worden vastgesteld en beheerd. De Commissie moet de verwerkingsverantwoordelijke van die databank zijn, in overeenstemming met Verordening (EU) 2018/1725 van het Europees Parlement en de Raad 55 . Teneinde de volledige functionaliteit van de databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten.

(70) Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om inhoud te genereren, kunnen specifieke risico’s op imitatie of bedrog met zich meebrengen, ongeacht of zij al dan niet als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de voorschriften en verplichtingen voor AI-systemen met een hoog risico. Met name moeten natuurlijke personen op de hoogte worden gesteld van het feit dat zij interageren met een AI-systeem, tenzij dit duidelijk blijkt uit de omstandigheden en de context van het gebruik. Natuurlijke personen moeten bovendien worden geïnformeerd wanneer zij worden blootgesteld aan een systeem voor het herkennen van emoties of een systeem voor biometrische categorisering. Dergelijke informatie en kennisgevingen moeten een formaat hebben dat toegankelijk is voor personen met een handicap. Daarnaast moeten gebruikers die een AI-systeem gebruiken om beeld-, audio- of video-inhoud te genereren of te manipuleren die duidelijke overeenkomsten vertoont met bestaande personen, plaatsen of gebeurtenissen en ten onrechte door personen als authentiek zou worden waargenomen, bekendmaken dat de inhoud kunstmatig is gecreëerd of gemanipuleerd door de output van artificiële intelligentie als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken.

(71) Artificiële intelligentie is een snel ontwikkelende familie van technologieën die nieuwe vormen van regelgevingstoezicht en een veilige plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en maatregelen voor risicobeperking worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatievriendelijk, toekomstbestendig en bestand tegen verstoringen is, moeten de nationale bevoegde autoriteiten van een of meer lidstaten worden aangemoedigd om testomgevingen voor regelgeving op het gebied van artificiële intelligentie vast te stellen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld.

(72) De doelstellingen van testomgevingen voor regelgeving moeten bestaan in de bevordering van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten; het verbeteren van de rechtszekerheid voor innovatoren en het toezicht van de bevoegde autoriteiten en het begrijpen van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kleine en middelgrote ondernemingen (kmo’s) en startende ondernemingen weg te nemen. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Deze verordening moet de rechtsgrondslag bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, in lijn met artikel 6, lid 4, van Verordening (EU) 2016/679 en artikel 6 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, van Richtlijn (EU) 2016/680, Deelnemers van de testomgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en in goed vertrouwen te handelen om eventuele grote risico’s voor de veiligheid en de grondrechten te beperken die zich tijdens de ontwikkeling en het experimenteren in de testomgeving kunnen voordoen. Er moet rekening worden gehouden met het gedrag van de deelnemers van de testomgeving wanneer bevoegde autoriteiten besluiten om al dan niet een administratieve geldboete op te leggen op grond van artikel 83, lid 2, van Verordening (EU) 2016/679 en artikel 57 van Richtlijn (EU) 2016/680.

(73) Om de innovatie te bevorderen en beschermen, is het belangrijk dat de belangen van kleine aanbieders en gebruikers van AI-systemen in het bijzonder in aanmerking worden genomen. Hiertoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze exploitanten en die onder meer betrekking hebben op bewustmaking en informatie en communicatie. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van kleine aanbieders wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere exploitanten. De lidstaten zouden ervoor kunnen zorgen dat een van de talen die door hen worden vastgesteld en aanvaard voor de documentatie van betrokken aanbieders en voor de communicatie met exploitanten breed wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruikers.

(74) Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders en aangemelde organen van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden het platform voor AI on demand, de Europese digitale-innovatiehubs en de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of EU-niveau zijn vastgesteld, kunnen bijdragen tot de uitvoering van deze verordening. Binnen hun respectievelijke mandaat en bevoegdheid kunnen zij met name technische en wetenschappelijke steun verlenen aan aanbieders en aangemelde instanties.

(75) Het is passend dat de Commissie voor zover mogelijk de toegang tot faciliteiten voor tests en experimenteren voor instanties, groepen of laboratoria vergemakkelijkt die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.

(76) Teneinde een soepele, doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken, moet een Europees Comité voor artificiële intelligentie worden opgericht. Het Comité moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen, aanbevelingen of richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over technische specificaties of bestaande normen met betrekking tot de voorschriften van deze verordening en de adviesverlening aan en ondersteuning van de Commissie ten aanzien van specifieke vragen in verband met artificiële intelligentie.

(77) De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat een of meer nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een officieel contactpunt in te stellen voor het publiek en andere wederpartijen op het niveau van de lidstaten en de Unie, moet in elke lidstaat één nationale autoriteit worden aangewezen als nationale toezichthoudende autoriteit.

(78) Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht te zorgen voor een systeem om eventuele ernstige incidenten of eventuele inbreuken op het intern of Unierecht voor de bescherming van de grondrechten die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten.

(79) Teneinde een passende en doeltreffende handhaving te waarborgen van de voorschriften en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Waar noodzakelijk met het oog op hun taken, moeten nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling, ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld.

(80) De wetgeving van de Unie inzake financiële diensten omvat regels en voorschriften met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, moeten de autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van, waar van toepassing, de Europese Centrale Bank, worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van deze verordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU van het Europees Parlement en de Raad 56 verder te verbeteren, is het ook passend om de procedure voor de conformiteitsbeoordeling en enkele van de procedurele verplichtingen van aanbieders in verband met het risicobeheer, de monitoring na het in de handel brengen en de documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitoringsverplichting voor gebruikers van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU.

(81) De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de voorschriften van deze verordening kan leiden tot een groter gebruik van betrouwbare artificiële intelligentie in de Unie. Aanbieders van AI-systemen die geen hoog risico met zich meebrengen, moeten worden aangemoedigd om gedragscodes op te stellen die bedoeld zijn ter bevordering van de vrijwillige toepassing van de verplichte voorschriften die gelden voor AI-systemen met een hoog risico. Aanbieders moeten ook worden aangemoedigd om op vrijwillige basis aanvullende voorschriften toe te passen die bijvoorbeeld betrekking hebben op milieuduurzaamheid, de toegankelijkheid voor personen met een handicap, de deelname van belanghebbenden aan het ontwerp en de ontwikkeling van AI-systemen en de diversiteit van de ontwikkelingsteams. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen te helpen beperken die de grensoverschrijdende uitwisseling van data voor AI-ontwikkeling belemmeren, waaronder met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.

(82) Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de voorschriften van deze verordening, desalniettemin veilig zijn wanneer zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Richtlijn 2001/95/EG van het Europees Parlement en de Raad 57 als vangnet van toepassing zijn.

(83) Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen.

(84) De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop. Voor bepaalde specifieke inbreuken moeten de lidstaten de marges en criteria van deze verordening in aanmerking nemen. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om geldboeten op te leggen aan instellingen, agentschappen en organen van de Unie die vallen onder het toepassingsgebied van deze verordening.

(85) Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet de Commissie de bevoegdheid krijgen om overeenkomstig artikel 290 VWEU handelingen vast te stellen teneinde wijzigingen aan te brengen in de technieken en benaderingen van bijlage I voor het definiëren van AI-systemen, de in de lijst van bijlage II opgenomen harmonisatiewetgeving van de Unie, de in de lijst van bijlage III opgenomen AI-systemen met een hoog risico, de bepalingen inzake technische documentatie van bijlage IV, de inhoud van de EU-conformiteitsverklaring van bijlage V, de bepalingen inzake de procedures voor de conformiteitsbeoordeling van de bijlagen VI en VII en de bepalingen inzake de vaststelling van de AI-systemen met een hoog risico waarop de procedure voor de conformiteitsbeoordeling op basis van de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie van toepassing moet zijn. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven 58 . Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

(86) Om eenvormige voorwaarden voor de uitvoering van deze verordening te waarborgen, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met Verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad 59 .

(87) Daar de doelstelling van deze verordening niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden, beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.

(88) Deze verordening moet van toepassing zijn vanaf … [PB — voeg de datum van artikel 85 in]. De infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling moet echter vóór deze datum operationeel zijn; de bepalingen inzake aangemelde instanties en de governancestructuur moeten derhalve van toepassing zijn vanaf … [PB — datum invoegen — drie maanden na de inwerkingtreding van deze verordening]. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten derhalve van toepassing zijn vanaf [PB — datum invoegen — twaalf maanden na de inwerkingtreding van deze verordening].

(89) Overeenkomstig artikel 42, lid 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op […] hebben zij een advies uitgebracht.