Artikelen bij COM(2020)65 - WITBOEK over kunstmatige intelligentie - een Europese benadering op basis van excellentie en vertrouwen - Hoofdinhoud
Dit is een beperkte versie
U kijkt naar een beperkte versie van dit dossier in de EU Monitor.
| dossier | COM(2020)65 - WITBOEK over kunstmatige intelligentie - een Europese benadering op basis van excellentie en vertrouwen. |
|---|---|
| document | COM(2020)65   |
| datum | 19 februari 2020 |
Brussel, 19.2.2020
COM(2020) 65 final
WITBOEK
over kunstmatige intelligentie - een Europese benadering op basis van excellentie en vertrouwen
Witboek over kunstmatige intelligentie —
een Europese benadering op basis van excellentie en vertrouwen
Kunstmatige intelligentie ontwikkelt zich snel. Ze zal onze levens veranderen door de gezondheidszorg te verbeteren (bv. door nauwkeuriger diagnoses, waardoor betere preventie van ziekten mogelijk wordt), de landbouw efficiënter te maken, bij te dragen tot de bestrijding van en aanpassing aan de klimaatverandering, de efficiëntie van productiesystemen te verbeteren via voorspellend onderhoud, de beveiliging van de Europese burgers te versterken, en op veel andere manieren die we ons nu nog amper kunnen inbeelden. Tegelijkertijd brengt kunstmatige intelligentie (KI) een aantal potentiële risico’s met zich mee, zoals een gebrek aan transparantie bij de besluitvorming, gender- of andere vormen van discriminatie, schending van de privacy of gebruik voor criminele doeleinden.
Tegen de achtergrond van een felle wereldwijde concurrentie, is er behoefte aan een solide Europese aanpak, voortbouwend op de in april 2018 gepresenteerde Europese strategie voor KI 1 . Om de kansen van KI te benutten en het hoofd te bieden aan de uitdagingen, moet de EU eensgezind optreden en zelf bepalen hoe zij de ontwikkeling en toepassing van KI zal bevorderen, op basis van Europese waarden.
De Commissie is vastbesloten wetenschappelijke doorbraken mogelijk te maken, het technologische leiderschap van de EU in stand te houden en ervoor te zorgen dat nieuwe technologieën ten dienste staan van alle Europeanen, door hun levens te verbeteren en tegelijk hun rechten te respecteren.
Commissievoorzitter Ursula von der Leyen heeft in haar politieke beleidslijnen 2 aangekondigd dat zij de menselijke en ethische implicaties van KI op gecoördineerde Europese wijze zal aanpakken en zal nadenken over een beter gebruik van big data voor innovatie.
De Commissie is dus voorstander van een op regelgeving en investeringen gerichte aanpak die een dubbel doel heeft: de aanvaarding van KI bevorderen en de risico’s van bepaalde toepassingen van deze nieuwe technologie beperken. Het doel van dit witboek is beleidsopties te formuleren voor de verwezenlijking van deze doelstellingen. Het witboek gaat niet in op de ontwikkeling en het gebruik van KI voor militaire doeleinden. De Commissie nodigt de lidstaten, de andere Europese instellingen en alle belanghebbenden, waaronder het bedrijfsleven, de sociale partners, maatschappelijke organisaties, onderzoekers en het grote publiek, uit om te reageren op de onderstaande opties en bij te dragen tot de toekomstige beleidsvorming van de Commissie op dit gebied.
1.Inleiding
Nu digitale technologie een steeds centralere plaats inneemt in alle aspecten van het dagelijks leven, moeten de mensen er vertrouwen in kunnen hebben. Dit is een essentiële voorwaarde voor de aanvaarding ervan. Aangezien Europa sterk gehecht is aan waarden en de rechtsstaat en heeft bewezen in staat te zijn veilige, betrouwbare en gesofisticeerde producten en diensten te creëren, bv. in de luchtvaart-, energie- en autosector en de sector van medische apparatuur, is hier een kans weggelegd voor Europa.
De huidige en toekomstige economische groei en het maatschappelijk welzijn van Europa zijn in toenemende mate afhankelijk van waarde die wordt gecreëerd op basis van data. KI is een van de belangrijkste toepassingen van de data-economie. Op dit ogenblik hebben de meeste data betrekking op consumenten en worden ze opgeslagen op centrale cloudgebaseerde infrastructuur. In de nabije toekomst zal een groot deel van de nog veel grotere hoeveelheid gegevens daarentegen afkomstig zijn van de industrie en het bedrijfsleven; deze gegevens zullen worden opgeslagen op verschillende systemen, met name computerapparatuur aan de rand van het netwerk. Dit opent nieuwe mogelijkheden voor Europa, dat een sterke positie inneemt in de gedigitaliseerde industrie en business-to-businesstoepassingen, maar relatief zwak staat op het gebied van consumentenplatforms.
Eenvoudig gesteld is KI een verzameling technologieën die data, algoritmen en rekenkracht combineren. De toename in rekenkracht en de steeds grotere beschikbaarheid van data zijn dan ook belangrijke drijfveren achter de huidige opkomst van KI. Door zijn technologische en industriële kracht te combineren met een hoogwaardige digitale infrastructuur en een regelgevingskader dat gebaseerd is op zijn grondwaarden, kan Europa een wereldleider worden op het gebied van innovatie in de data-economie en de toepassingen ervan, zoals uiteengezet in de Europese datastrategie 3 . Op basis daarvan kan het een ecosysteem voor KI ontwikkelen dat de voordelen van deze technologie naar de volledige Europese maatschappij en economie brengt:
·burgers zullen profijt kunnen trekken van betere gezondheidszorg, minder storingen van huishoudtoestellen, veiligere en schonere vervoerssystemen, betere openbare dienstverlening;
·bedrijven zullen een nieuwe generatie producten en diensten kunnen ontwikkelen op gebieden waarop Europa bijzonder sterk staat (machinebouw, vervoer, cyberbeveiliging, landbouw, de groene en circulaire economie, gezondheidszorg en sectoren met een hoge toegevoegde waarde zoals mode en toerisme); en
·diensten van openbaar belang zullen de kosten van hun dienstverlening kunnen drukken (vervoer, onderwijs, energie en afvalbeheer), bijvoorbeeld door de duurzaamheid van de producten 4 te verbeteren en door de wetshandhavingsautoriteiten passende instrumenten te verstrekken om de beveiliging van de burgers te garanderen 5 , met passende waarborgen voor hun rechten en vrijheden.
Gezien de bijzonder grote impact die KI kan hebben op onze samenleving en de noodzaak om vertrouwen op te bouwen, is het van essentieel belang dat de Europese KI geworteld is in onze waarden en grondrechten, zoals menselijke waardigheid en bescherming van de privacy.
Bovendien moet de impact van KI-systemen niet alleen worden bekeken vanuit individueel perspectief, maar ook vanuit het perspectief van de samenleving als geheel. Het gebruik van KI-systemen kan een belangrijke rol spelen om de doelstellingen inzake duurzame ontwikkeling te bereiken en om het democratische proces en de sociale rechten te ondersteunen. Met de recente voorstellen over de Europese green deal 6 heeft Europa het voortouw genomen in de aanpak van uitdagingen op het gebied van klimaat en milieu. Digitale technologieën zoals KI zijn een cruciale randvoorwaarde om de doelstellingen van de green deal te kunnen bereiken. Gezien het toenemende belang van KI moet tijdens de volledige levenscyclus van KI-systemen en in de hele toeleveringsketen rekening worden gehouden met het milieueffect van KI-systemen, bv. wat betreft het gebruik van hulpbronnen voor het trainen van algoritmen en het opslaan van data.
Er is behoefte aan een gemeenschappelijke Europese benadering van KI om voldoende schaalgrootte te bereiken en versnippering van de interne markt te voorkomen. Nationale initiatieven kunnen een gevaar vormen voor de rechtszekerheid, het vertrouwen van de burgers verzwakken en het ontstaan van een dynamische Europese industrie de kop indrukken.
In dit witboek worden beleidsopties voorgesteld om de betrouwbare en veilige ontwikkeling van KI in Europa mogelijk te maken, waarbij de waarden en rechten van de EU-burgers volledig worden gerespecteerd. De belangrijkste bouwstenen van dit witboek zijn:
·Het beleidskader, dat maatregelen bevat om de inspanningen op Europees, nationaal en regionaal niveau op één lijn te brengen. Dit kader heeft tot doel om, aan de hand van een partnerschap tussen de private en de publieke sector, middelen vrij te maken om tot een “ecosysteem van excellentie” te komen in de volledige waardeketen, beginnende bij onderzoek en innovatie, en om de juiste stimulansen te creëren om sneller oplossingen op basis van KI te kunnen ontwikkelen, ook door kleine en middelgrote ondernemingen (kmo’s).
·De kernelementen van een toekomstig regelgevingskader voor KI in Europa, die een uniek “ecosysteem van vertrouwen” zullen creëren. Om dit te verwezenlijken moet het kader garanderen dat de EU-regels worden nageleefd, met inbegrip van de regels ter bescherming van de grondrechten en de consumentenrechten, met name met betrekking tot in de EU toegepaste KI-systemen die een groot risico vormen 7 . Het opbouwen van een ecosysteem van vertrouwen is een beleidsdoelstelling op zichzelf: dit kan burgers het nodige vertrouwen geven om KI-toepassingen te aanvaarden en bedrijven en openbare organisaties de nodige rechtszekerheid verschaffen om te innoveren op basis van KI. De Commissie is een groot voorstander van een mensgerichte benadering op basis van de mededeling “Vertrouwen kweken in mensgerichte kunstmatige intelligentie” 8 , en zal ook rekening houden met de input die is verkregen tijdens de proeffase van de ethische richtsnoeren die zijn opgesteld door de deskundigengroep op hoog niveau inzake KI.
De Europese datastrategie, die bij dit witboek is gevoegd, heeft tot doel Europa in staat te stellen een van de meest aantrekkelijke, veilige en dynamische data-agile economieën ter wereld te worden. In die strategie worden een aantal beleidsmaatregelen uiteengezet die nodig zijn om dit doel te bereiken, zoals het vrijmaken van particuliere en publieke investeringen. In het verslag van de Commissie bij dit witboek wordt ten slotte onderzocht welke gevolgen KI, het internet der dingen en andere digitale technologieën hebben voor de veiligheids- en aansprakelijkheidswetgeving.
2.De sterke positie op industriële en professionele markten benutten
Europa is goed geplaatst om te profiteren van het potentieel van KI, niet alleen als gebruiker maar ook als ontwerper en producent van deze technologie. Het heeft uitstekende onderzoekscentra en innoverende start-ups, bekleedt een toonaangevende positie op het gebied van robotica en beschikt over concurrerende productie- en dienstensectoren, zowel in de automobielsector, de gezondheidszorg, de energiesector, de financiële dienstensector als de landbouw. Europa heeft een sterke computerinfrastructuur ontwikkeld (bv. supercomputers), wat van essentieel belang is voor de werking van KI. Europa beschikt ook over grote hoeveelheden openbare en industriële data, die momenteel onderbenut blijven. Het beschikt over alom erkende industriële kracht op het gebied van veilige en beveiligde digitale systemen met een laag energieverbruik, die van essentieel belang zijn voor de verdere ontwikkeling van KI.
Door gebruik te maken van het vermogen van de EU om te investeren in technologieën en infrastructuur van de volgende generatie, alsook in digitale vaardigheden zoals datageletterdheid, zal de Europese heerschappij op het gebied van cruciale ontsluitende technologieën en infrastructuur voor de data-economie groter worden. De infrastructuur moet de oprichting ondersteunen van Europese datapools die betrouwbare KI mogelijk maken, d.w.z. KI die gebaseerd is op Europese waarden en regels.
Europa moet deze sterke punten als hefboom gebruiken om zijn positie te versterken in de ecosystemen en in de hele waardeketen, van bepaalde sectoren van hardwareproductie via software tot diensten. In zeker mate gebeurt dit nu al. Europa produceert meer dan een kwart van alle robots voor industriële en professionele dienstverlening (bv. voor precisielandbouw, beveiliging, gezondheid, logistiek), en speelt een belangrijke rol in de ontwikkeling en het gebruik van softwaretoepassingen voor bedrijven en organisaties (business-to-business, zoals software voor Enterprise Resource Planning en voor ontwerp en engineering) en toepassingen ter ondersteuning van elektronische overheidsdiensten en de “intelligente onderneming”.
Europa neemt het voortouw in de uitrol van KI in de productie-industrie. Meer dan de helft van de grootste fabrikanten in Europa gebruiken minstens één KI-toepassing in hun productieprocessen 9 .
Een van de redenen voor de sterke positie van Europa op het gebied van onderzoek is het EU-financieringsprogramma, dat heeft ertoe heeft bijgedragen dat inspanningen worden gebundeld, dubbel werk wordt vermeden en publieke en private investeringen worden vrijgemaakt in de lidstaten. In de voorbije drie jaar is de EU-financiering voor onderzoek en innovatie op het gebied van KI gestegen tot 1,5 miljard euro, een toename met 70 % in vergelijking met de voorgaande periode.
De investeringen in onderzoek en innovatie in Europa bedragen echter nog steeds maar een fractie van de publieke en private investeringen in andere delen van de wereld. In 2016 werd in Europa ongeveer 3,2 miljard euro geïnvesteerd in KI, tegenover 12,1 miljard euro in Noord-Amerika en 6,5 miljard euro in Azië 10 . Europa moet reageren en moet zijn investeringsniveau aanzienlijk optrekken. Het gecoördineerd plan inzake KI 11 , dat samen met de lidstaten is opgesteld, blijkt een goed uitgangspunt om in Europa tot nauwere samenwerking te komen op het vlak van KI en om synergieën tot stand te brengen, zodat de investeringen in de KI-waardeketen maximaal kunnen worden benut.
3.Toekomstige kansen grijpen: de volgende datagolf
Hoewel Europa momenteel zwakker staat op het gebied van consumententoepassingen en onlineplatforms, wat leidt tot een concurrentienadeel inzake toegang tot data, zijn er wel grote verschuivingen op til in de waarde en het hergebruik van data in verschillende sectoren. Het volume aan data dat in de wereld wordt geproduceerd, stijgt snel, van 33 zettabytes in 2018 tot naar verwachting 175 zettabytes in 2025 12 . Elke nieuwe golf aan data brengt ook nieuwe kansen voor Europa om een plaats te veroveren in de data-agile economie en uit te groeien tot een wereldleider op dit gebied. Bovendien zal de manier waarop data worden opgeslagen en verwerkt drastisch veranderen in de komende vijf jaar. 80 % van de verwerking en analyse van data die op dit ogenblik plaatsvindt in de cloud, gebeurt in datacentra en gecentraliseerde computerfaciliteiten, en 20 % in slimme geconnecteerde objecten, zoals auto’s, huishoudtoestellen of industriële robots, en in computerfaciliteiten in de nabijheid van de gebruiker (“edge computing”). Tegen 2025 zal er een grote verschuiving plaatsvinden in deze percentages 13 .
Europa is een wereldleider in energiezuinige elektronica, die van cruciaal belang is voor de volgende generatie gespecialiseerde processoren voor KI. Deze markt wordt momenteel gedomineerd door spelers van buiten de EU. Hier kan verandering in komen door initiatieven zoals het European Processor Initiative, dat specifiek betrekking heeft op de ontwikkeling van energiezuinige computersystemen, zowel voor edge computing als voor high-performance computing van de volgende generatie, en door de werkzaamheden van de gemeenschappelijke onderneming voor belangrijke gebieden van de digitale technologie, die van start gaat in 2021. Europa is ook marktleider in neuromorfische oplossingen 14 , die ideaal geschikt zijn voor de automatisering van industriële processen (industry 4.0) en vervoerswijzen. Zij kunnen de energie-efficiëntie aanzienlijk verbeteren.
Recente doorbraken in kwantumcomputing zullen leiden tot een exponentiële toename van de verwerkingscapaciteit 15 . Europa kan in deze technologie de leiding nemen dankzij zijn academische kracht op het vlak van kwantumcomputing en de sterke positie van de Europese industrie in kwantumsimulatoren en programmeeromgevingen voor kwantumcomputers. Europese initiatieven om de beschikbaarheid van faciliteiten voor kwantumtests en -experimenten te vergroten, zullen helpen om deze nieuwe kwantumoplossingen toe te passen in een aantal industriële en academische sectoren.
Parallel daarmee zal Europa het voortouw blijven nemen met betrekking tot de algoritmen die ten grondslag liggen aan KI, daarbij voortbouwend op haar eigen wetenschappelijke excellentie. Er moeten bruggen worden gebouwd tussen vakgebieden die momenteel gescheiden werken, zoals machinaal leren en deep learning (gekenmerkt door beperkte interpreteerbaarheid, de behoefte aan grote hoeveelheden data om de modellen te trainen en te leren via correlatie) en symbolische benaderingen (waarbij regels worden gecreëerd door middel van menselijke tussenkomst). De combinatie van symbolisch redeneren en diepe neurale netwerken kan de verklaarbaarheid van KI-resultaten helpen verbeteren.
4.Een ecosysteem van excellentie
Om te komen tot een ecosysteem van excellentie dat de ontwikkeling en toepassing van KI in de hele economie en in alle overheidsdiensten van de EU kan ondersteunen, moet de actie op meerdere niveaus worden uitgebreid.
A.Samenwerking met de lidstaten
In april 2018 heeft de Commissie haar strategie inzake KI vastgesteld 16 en in december 2018 heeft zij een gecoördineerd plan gepresenteerd, dat samen met de lidstaten werd opgesteld, om de ontwikkeling en het gebruik van KI in Europa te bevorderen 17 .
Dit plan bevat een 70-tal gezamenlijke acties voor nauwere en efficiëntere samenwerking tussen de lidstaten en de Commissie op belangrijke gebieden zoals onderzoek, investeringen, marktaanvaarding, vaardigheden en talenten, data en internationale samenwerking. Het plan loopt tot 2027 en zal regelmatig worden gecontroleerd en geëvalueerd.
Het doel is te streven naar een zo groot mogelijk effect van de investeringen in onderzoek, innovatie en uitrol, de nationale KI-strategieën te beoordelen, voort te bouwen op het gecoördineerde plan inzake KI en dit plan samen met de lidstaten verder uit te breiden:
·Actie 1: Rekening houdend met de resultaten van de openbare raadpleging over het witboek zal de Commissie een herziening van het gecoördineerd plan voorstellen aan de lidstaten; dit herziene plan moet eind 2020 zijn goedgekeurd
EU-financiering van KI moet investeringen aantrekken en bundelen op gebieden waarop de vereiste actie groter is dan wat één lidstaat kan bereiken. Het doel is in het komende decennium meer dan 20 miljard euro 18 per jaar aan investeringen in KI aan te trekken in de EU. Om private en publieke investeringen te stimuleren, zal de EU middelen ter beschikking stellen uit het programma Digitaal Europa, uit Horizon Europa en uit de Europese structuur- en investeringsfondsen, teneinde tegemoet te komen aan de behoeften van minder ontwikkelde regio’s en plattelandsgebieden.
In het gecoördineerde plan kan ook aandacht worden besteed aan maatschappelijk en ecologisch welzijn als kernbeginsel voor KI. KI-systemen kunnen een oplossing helpen vinden voor de meest dringende problemen, zoals klimaatverandering en aantasting van het milieu. Het is ook belangrijk dat dit op een milieuvriendelijke manier gebeurt. KI kan en moet zelf zijn gebruik van hulpbronnen en energie kritisch onderzoeken en moet worden getraind om keuzes te maken die positief zijn voor het milieu. De Commissie zal, samen met de lidstaten, opties overwegen om KI-oplossingen in die zin aan te moedigen en te bevorderen.
B.Richting geven aan de inspanningen van de onderzoeks- en innovatiegemeenschap
Europa kan het zich niet veroorloven het huidige versnipperde landschap van kenniscentra te handhaven omdat geen enkel van deze centra groot genoeg is om te concurreren met de leidende instellingen van de wereld. Het is van essentieel belang dat meer synergieën en netwerken worden gecreëerd tussen de diverse Europese onderzoekscentra op het gebied van KI en dat hun inspanningen op elkaar worden afgestemd, teneinde hun excellentie te verbeteren, de beste onderzoekers aan te trekken en te behouden en de beste technologie te ontwikkelen. Europa heeft behoefte aan een centrum voor onderzoek, innovatie en deskundigheid dat deze inspanningen coördineert, dat wereldwijd een referentie is op het vlak van excellentie in KI en dat investeringen en de beste talenten op dit vakgebied kan aantrekken.
De centra en netwerken moeten zich toeleggen op sectoren waarin Europa wereldwijd toonaangevend kan worden, zoals industrie, gezondheidszorg, vervoer, financiën, waardeketens in de agrovoedingssector, energie/milieu, bosbouw, aardobservatie en de ruimtevaart. In al deze sectoren is de strijd aan de gang om wereldleider te worden, en Europa beschikt over aanzienlijke mogelijkheden, kennis en deskundigheid 19 . Even belangrijk is het opzetten van test- en experimenteerlocaties ter ondersteuning van de ontwikkeling en de daaropvolgende uitrol van nieuwe KI-toepassingen.
·Actie 2: De Commissie zal de oprichting van excellentie- en testcentra faciliteren die Europese, nationale en particuliere investeringen kunnen combineren, eventueel ook via een nieuw rechtsinstrument. In het kader van het programma Digitaal Europa heeft de Commissie, als onderdeel van het meerjarig financieel kader voor de periode 2021-2027, een ambitieus en concreet bedrag voorgesteld ter ondersteuning van testcentra van wereldklasse in Europa, waar nodig aangevuld met onderzoeks- en innovatiemaatregelen van Horizon Europa.
C.Vaardigheden
De Europese benadering van KI moet worden geschraagd door een sterke focus op vaardigheden, om tekorten aan vaardigheden te verhelpen 20 . De Commissie zal binnenkort een versterking van de vaardighedenagenda voorstellen, teneinde ervoor te zorgen dat iedereen in Europa kan profiteren van de groene en digitale transformatie van de EU-economie. Er kan ook steun worden geboden aan de sectorale regelgevende instanties om hun KI-vaardigheden te verbeteren, zodat ze de relevante regels effectief en efficiënt kunnen toepassen. Het geactualiseerde actieplan voor digitaal onderwijs zal helpen om beter gebruik te maken van data en op KI gebaseerde technologieën zoals zelflerende en voorspellende analyses, teneinde de onderwijs- en opleidingssystemen te verbeteren en ze geschikt te maken voor het digitale tijdperk. Het plan zal ook het bewustzijn van KI op alle onderwijsniveaus doen toenemen, zodat de burgers voorbereid zijn om weloverwogen beslissingen te nemen die in toenemende mate gebaseerd zijn op KI.
Het ontwikkelen van de vaardigheden die nodig zijn om in KI te werken en het bijscholen van de beroepsbevolking om klaar te zijn voor de KI-transformatie zijn een prioriteit van het herziene gecoördineerde plan betreffende KI dat samen met de lidstaten moet worden opgesteld. Dit kan onder meer inhouden dat de beoordelingslijst van de ethische richtsnoeren wordt omgezet in een indicatief “curriculum” voor KI-ontwikkelaars, dat beschikbaar zal worden gesteld als hulpmiddel voor opleidingsinstellingen. Er moeten bijzondere inspanningen worden geleverd om het aantal vrouwen dat in dit gebied is opgeleid en werkzaam is, te doen toenemen.
Bovendien zou een toonaangevend centrum voor onderzoek en innovatie inzake KI in Europa talent van over de hele wereld aantrekken als gevolg van de mogelijkheden die het zou bieden. Een dergelijk centrum zou ook uitmuntende vaardigheden ontwikkelen en verspreiden, die in heel Europa kunnen wortelen en groeien.
·Actie 3: Via de pijler voor geavanceerde vaardigheden van het programma Digitaal Europa netwerken van vooraanstaande universiteiten en instellingen voor hoger onderwijs opzetten en ondersteunen, teneinde de beste professoren en wetenschappers aan te trekken en wereldwijd toonaangevende masterprogramma’s op het gebied van KI aan te bieden.
Behalve via bijscholing krijgen werknemers en werkgevers ook rechtstreeks te maken met het ontwerp en gebruik van KI-systemen op de werkplek. De betrokkenheid van de sociale partners zal een cruciale factor zijn voor een mensgerichte benadering van KI op het werk.
D.Focus op kmo’s
Het is ook belangrijk ervoor te zorgen dat kmo’s toegang kunnen krijgen tot en gebruik kunnen maken van KI. Daartoe moeten de digitale-innovatiehubs 21 en het platform voor KI-on-demand 22 verder worden versterkt en moet de samenwerking tussen kmo’s worden bevorderd. Het programma Digitaal Europa speelt hierin een essentiële rol. Alle digitale-innovatiehubs moeten kmo’s helpen om KI te begrijpen en toe te passen, maar het is belangrijk dat minstens één innovatiehub per lidstaat een hoge mate van specialisatie in KI heeft.
Kmo’s en start-ups moeten toegang moeten krijgen tot financiering om hun processen aan te passen of om te innoveren met behulp van KI. Voortbouwend op het aanstaande proefinvesteringsfonds van 100 miljoen euro in KI en blockchain, is de Commissie van plan de toegang tot financiering voor KI verder te vergroten in het kader van InvestEU 23 . KI wordt expliciet genoemd als een van de in aanmerking komende gebieden voor het gebruik van de InvestEU-garantie.
·Actie 4: De Commissie zal met de lidstaten samenwerken om ervoor te zorgen dat minstens één digitale-innovatiehub per lidstaat een hoge mate van specialisatie in KI heeft. Digital-innovatiehubs kunnen worden ondersteund in het kader van het programma Digitaal Europa.
·De Commissie en het Europees Investeringsfonds zullen in het eerste kwartaal van 2020 een proefproject van 100 miljoen EUR opstarten om risicofinanciering te verstrekken voor innovatieve ontwikkelingen op het gebied van KI. Het is de bedoeling van de Commissie om dit vanaf 2021 aanzienlijk uit te breiden via InvestEU, op voorwaarde dat een definitief akkoord wordt bereikt over het MFK.
E.Partnerschap met de particuliere sector
Het is ook van essentieel belang ervoor te zorgen dat de particuliere sector volledig betrokken wordt bij het vaststellen van de onderzoeks- en innovatieagenda en zorgt voor de nodige mede-investeringen. Hiervoor moet een publiek-privaat partnerschap met een brede basis worden opgezet en moet het topmanagement van ondernemingen de nodige verbintenissen aangaan.
·Actie 5: In het kader van Horizon Europa zal de Commissie een nieuw publiek-privaat partnerschap oprichten op het gebied van KI, data en robotica om de inspanningen te bundelen, te zorgen voor coördinatie van onderzoek en innovatie inzake KI, samen te werken met andere publiek-private partnerschappen binnen Horizon Europa en samen te werken met de bovenvermelde testfaciliteiten en digitale-innovatiehubs.
F.Het gebruik van KI door de overheidssector stimuleren
Het is van essentieel belang dat overheidsdiensten, ziekenhuizen, nutsbedrijven en vervoersdiensten, financiële toezichthouders en andere gebieden van openbaar belang snel beginnen met de uitrol van producten en diensten die gebaseerd zijn op KI. De nadruk ligt vooral op de gebieden gezondheidszorg en vervoer, waar de technologie rijp is om op grote schaal te worden ingezet.
·Actie 6: De Commissie zal het initiatief nemen voor open en transparante sectorale dialogen waarbij prioriteit wordt gegeven aan marktdeelnemers uit de gezondheidszorg, rurale overheden en openbare diensten, teneinde een actieplan te presenteren om het ontwikkelen, testen en toepassen van KI te faciliteren. De sectorale dialogen zullen worden gebruikt om een specifiek “programma voor het gebruik van KI” op te stellen, dat de openbare aanbesteding van KI-systemen zal ondersteunen en de aanbestedingsprocedures zelf zal helpen transformeren.
G.Zorgen voor toegang tot data en computerinfrastructuur
De in dit witboek beschreven actiegebieden vormen een aanvulling op het plan dat gelijktijdig wordt gepresenteerd in het kader van de Europese datastrategie. Het verbeteren van de toegang tot en het beheer van data is van fundamenteel belang. Zonder data is de ontwikkeling van KI en andere digitale toepassingen niet mogelijk. Het enorme volume aan nieuwe data die nog moeten worden gegenereerd, vormt een kans voor Europa om zichzelf in de voorhoede van de data- en KI-transformatie te positioneren. Door verantwoord databeheer te bevorderen en ervoor te zorgen dat de data beantwoorden aan de FAIR-beginselen, kan vertrouwen worden opgebouwd en kan de herbruikbaarheid van data worden gegarandeerd 24 . Al even belangrijk zijn investeringen in belangrijke computertechnologieën en -infrastructuur.
De Commissie heeft in het kader van het programma Digitaal Europa meer dan 4 miljard EUR aan steun voorgesteld voor high-performance computing en kwantumcomputing, waaronder ook edge computing en KI, data en cloudinfrastructuur. Deze prioriteiten worden verder ontwikkeld in het kader van de Europese datastrategie.
H.Internationale aspecten
Europa is goed geplaatst om wereldwijd het voortouw te nemen bij het tot stand brengen van allianties rond gedeelde waarden en het bevorderen van ethisch gebruik van KI. De werkzaamheden van de EU op het gebied van KI hebben de internationale besprekingen al beïnvloed. Voor de opstelling van zijn ethische richtsnoeren heeft de deskundigengroep op hoog niveau een aantal organisaties van buiten de EU en verschillende waarnemers van overheden geraadpleegd. Tegelijk was de EU nauw betrokken bij de opstelling van de ethische richtsnoeren voor KI van de OESO 25 . De G20 bekrachtigde deze beginselen vervolgens in zijn ministeriële verklaring over handel en digitale economie van juni 2019.
De EU erkent ook dat belangrijke werkzaamheden met betrekking tot KI worden verricht in andere multilaterale fora, zoals de Raad van Europa, de Organisatie van de Verenigde Naties voor Onderwijs, Wetenschap en Cultuur (UNESCO), de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO), de Wereldhandelsorganisatie en de Internationale Telecommunicatie-unie (ITU). Op het niveau van de VN is de EU betrokken bij de follow-up van het verslag van het panel op hoog niveau inzake digitale samenwerking, dat ook een aanbeveling over KI bevat.
De EU zal inzake KI blijven samenwerken met gelijkgezinde landen en mondiale spelers, op basis van de regels en waarden van de EU (bv. opwaartse convergentie van de regelgeving, toegang tot belangrijke hulpbronnen, zoals data, totstandbrenging van een gelijk speelveld). De Commissie zal nauwlettend toezicht houden op het beleid van derde landen die datastromen beperken en zal onnodige beperkingen ter sprake brengen tijdens bilaterale handelsbesprekingen en aanpakken via maatregelen in het kader van de Wereldhandelsorganisatie. De Commissie is ervan overtuigd dat internationale samenwerking inzake KI gebaseerd moet zijn op een aanpak waarbij de eerbiediging van de grondrechten, met inbegrip van de menselijke waardigheid, pluralisme, inclusie, non-discriminatie en bescherming van de privacy en persoonsgegevens 26 , wordt bevorderd, en zal ernaar streven haar waarden over de hele wereld uit te dragen 27 . Het is ook duidelijk dat verantwoorde ontwikkeling en gebruik van KI een drijvende kracht kan zijn om de doelstellingen inzake duurzame ontwikkeling en de agenda voor 2030 te verwezenlijken.
5.Een ecosysteem van vertrouwen: regelgevingskader voor KI
Zoals elke nieuwe technologie brengt het gebruik van KI zowel kansen als risico’s met zich mee. Burgers zijn bang dat zij hun rechten en veiligheid niet zullen kunnen verdedigen wanneer zij te maken krijgen met de informatie-asymmetrieën van algoritmische besluitvorming, en bedrijven maken zich zorgen over de rechtsonzekerheid. KI kan bijdragen tot de beveiliging van de burgers en hen in staat stellen hun grondrechten uit te oefenen, maar de burgers zijn ook bang dat het onbedoelde gevolgen kan hebben of zelfs voor kwaadaardige doeleinden kan worden gebruikt. Deze bezorgdheid moet worden weerlegd. Naast een gebrek aan investeringen en vaardigheden, is het gebrek aan vertrouwen de belangrijke factor die een bredere aanvaarding van KI belemmert.
Daarom heeft de Commissie op 25 april 2018 een KI-strategie 28 gepresenteerd waarin zij ingaat op de sociaaleconomische aspecten en de behoefte aan meer investeringen in onderzoek, innovatie en KI-capaciteit in de hele EU. Zij heeft met de lidstaten overeenstemming bereikt over een gecoördineerd plan 29 om de strategieën op elkaar af te stemmen. De Commissie heeft ook een deskundigengroep op hoog niveau opgericht die in april 2019 richtsnoeren inzake betrouwbare KI heeft gepubliceerd 30 .
De Commissie heeft een mededeling 31 gepubliceerd waarin zij nader ingaat op de zeven essentiële vereisten die worden genoemd in de richtsnoeren van de deskundigengroep op hoog niveau:
·Invloed en toezicht door mensen,
·Technische robuustheid en veiligheid,
·Privacy en datagovernance,
·Transparantie,
·Diversiteit, non-discriminatie en billijkheid,
·Maatschappelijk en ecologisch welzijn, en
·Verantwoordingsplicht.
Voorts bevatten de richtsnoeren een evaluatielijst voor praktisch gebruik door ondernemingen. In de tweede helft van 2019 hebben meer dan 350 organisaties deze evaluatielijst getest en feedback gegeven. In het licht van deze feedback zal de groep op hoog niveau haar richtsnoeren tegen juni 2020 herzien. Een belangrijk resultaat van het feedbackproces is dat, naast een aantal vereisten die al zijn weerspiegeld in bestaande wettelijke of bestuursrechtelijke regelingen, de vereisten inzake transparantie, traceerbaarheid en menselijk toezicht niet specifiek aan bod komen in de geldende wetgeving in veel economische sectoren.
In aanvulling op deze reeks niet-bindende richtsnoeren van de deskundigengroep op hoog niveau, en in overeenstemming met de politieke beleidslijnen van de voorzitter, zou een duidelijk Europees regelgevingskader het vertrouwen van consumenten en ondernemingen in KI doen toenemen en ervoor zorgen dat deze technologie sneller ingang vindt. Een dergelijk regelgevingskader moet sporen met de andere acties ter bevordering van Europa’s innovatiecapaciteit en concurrentievermogen op dit gebied. Bovendien moet het zorgen voor optimale sociale, ecologische en economische resultaten en voor naleving van de wetten, beginselen en waarden van de EU. Dit is met name relevant op gebieden waarop KI de grootste directe impact heeft op de rechten van de burgers, bijvoorbeeld in het geval van KI-toepassingen voor rechtshandhaving en rechtspraak.
Ontwikkelaars en exploitanten van KI vallen reeds onder de Europese wetgeving inzake grondrechten (bv. gegevensbescherming, privacy, non-discriminatie), consumentenbescherming en regels inzake productveiligheid en aansprakelijkheid. Consumenten verwachten hetzelfde niveau van veiligheid en respect voor hun rechten, ongeacht of een product of systeem al dan niet gebaseerd is op KI. Sommige specifieke kenmerken van KI (bv. gebrek aan transparantie) kunnen de toepassing en handhaving van deze wetgeving bemoeilijken. Om deze reden moet worden onderzocht of de huidige wetgeving geschikt is om het hoofd te bieden aan de risico’s van KI en of deze effectief kan worden gehandhaafd. Verder moet worden onderzocht of de wetgeving moet worden aangepast en of nieuwe wetgeving nodig is.
Gezien de snelheid waarmee KI zich ontwikkelt, moet het regelgevingskader ruimte laten voor verdere ontwikkelingen. Eventuele wijzigingen moeten beperkt blijven tot duidelijk omschreven problemen waarvoor haalbare oplossingen bestaan.
De lidstaten wijzen erop dat er op dit ogenblik geen gemeenschappelijk Europees kader bestaat. De Duitse commissie voor data-ethiek heeft gepleit voor een risicogebaseerd systeem met vijf niveaus, dat gaat van geen regelgeving voor de meest onschuldige KI-systemen tot een volledig verbod voor de meest gevaarlijke. Denemarken heeft net een prototype van een Data Ethics Seal gelanceerd. Malta heeft een systeem van vrijwillige certificering ingevoerd voor KI. Als de EU er niet in slaagt tot een EU-brede aanpak te komen, bestaat er een reëel risico op versnippering van de interne markt, hetgeen de doelstellingen van vertrouwen, rechtszekerheid en marktaanvaarding zou ondermijnen.
Een solide Europees regelgevingskader voor betrouwbare KI zal alle Europese burgers beschermen en zal bijdragen tot de totstandkoming van een soepele interne markt voor de verdere ontwikkeling en toepassing van KI en tot de versterking van Europa’s industriële basis voor KI.
A.Probleemstelling
KI kan veel goed doen, onder meer door producten en processen veiliger te maken, maar kan ook schade berokkenen. Het kan dan zowel om materiële (veiligheid en gezondheid van personen, met inbegrip van verlies van mensenlevens, schade aan eigendom) als om immateriële (schending van privacy, beperkingen van het recht op vrijheid van meningsuiting, schendingen van de menselijke waardigheid, discriminatie, bijvoorbeeld bij de toegang tot werk) schade gaan, en kan betrekking hebben op een grote verscheidenheid aan risico’s. Het regelgevingskader moet aandacht besteden aan de wijze waarop de verschillende risico’s op mogelijke schade tot een minimum kunnen worden beperkt, met name de belangrijkste.
De belangrijkste risico’s in verband met het gebruik van KI hebben betrekking op de toepassing van regels die ontworpen zijn om grondrechten (zoals de bescherming van persoonsgegevens en privacy, non-discriminatie) te beschermen, alsook kwesties in verband met veiligheid 32 en aansprakelijkheid.
Risico’s voor de grondrechten, met inbegrip van de bescherming van persoonsgegevens en privacy en non-discriminatie
Het gebruik van KI kan gevolgen hebben voor de waarden waarop de EU is gebaseerd en kan leiden tot schendingen van de grondrechten 33 , zoals het recht op vrijheid van meningsuiting, vrijheid van vergadering, menselijke waardigheid, non-discriminatie op grond van geslacht, ras, etnische afkomst, religie of overtuiging, handicap, leeftijd of seksuele geaardheid, al naargelang van toepassing in bepaalde domeinen, bescherming van persoonsgegevens en privacy 34 , het recht op een doeltreffende voorziening in rechte en een eerlijk proces en consumentenbescherming. Deze risico’s kunnen het gevolg zijn van gebreken in het algemene ontwerp van KI-systemen (onder meer ook wat menselijk toezicht betreft) of van het gebruik van data zonder de mogelijke vertekeningen te corrigeren (bv. het systeem is getraind met uitsluitend of hoofdzakelijk gegevens van mannen, wat leidt tot suboptimale resultaten voor vrouwen).
KI kan veel functies vervullen die voorheen alleen door de mens konden worden verricht. Ten gevolge daarvan zullen burgers en juridische entiteiten in toenemende mate gevolgen ondervinden van beslissingen die door of met behulp van KI-systemen zijn genomen. Het zal soms moeilijk zijn dergelijke beslissingen te begrijpen en, indien nodig, aan te vechten. Bovendien vergroot KI de mogelijkheden om de dagelijkse gewoonten van de mensen te volgen en te analyseren. Zo bestaat het risico dat KI, tegen de gegevensbeschermings- en andere regels van de EU in, wordt gebruikt door overheden of andere entiteiten voor grootschalig toezicht en door werkgevers om te observeren hoe hun werknemers zich gedragen. Door grote hoeveelheden data te analyseren en verbanden te leggen tussen die data, kan KI ook worden gebruikt om data over personen te traceren en te de-anonimiseren, hetgeen nieuwe risico’s voor de bescherming van persoonsgegevens oplevert, zelfs voor datasets die op zich geen persoonsgegevens bevatten. KI wordt ook gebruikt door online-tussenpersonen om informatie voor hun gebruikers te prioriteren en inhoud te modereren. De verwerkte gegevens, de manier waarop toepassingen zijn ontworpen en de ruimte voor menselijke tussenkomst kunnen gevolgen hebben voor de rechten op vrije meningsuiting, bescherming van persoonsgegevens, privacy en politieke vrijheid.
Wanneer bepaalde KI-algoritmen worden gebruikt voor het voorspellen van recidive, kunnen ze leiden tot vooroordelen op basis van geslacht of ras, bijvoorbeeld door een verschillende waarschijnlijkheid van recidive te voorspellen voor mannen en vrouwen of voor onderdanen en buitenlanders. Bron: Tolan S., Miron M., Gomez E. and Castillo C. 'Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment for Juvenile Justice in Catalonia', Best Paper Award, International Conference on AI and Law, 2019.
Bepaalde KI-programma’s voor gezichtsanalyse leiden tot vooroordelen op basis van gender en ras. Ze maken weinig fouten bij het bepalen van het geslacht van mannen met een lichtere huid, maar meer fouten bij het bepalen van het geslacht van vrouwen met een donkerder huid. Bron: Joy Buolamwini, Timnit Gebru; Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81:77-91, 2018.
Vooroordelen en discriminatie zijn inherente risico’s van elke maatschappelijke of economische activiteit. Menselijke besluitvorming is niet immuun voor fouten en vooroordelen. Als dezelfde vooroordelen aanwezig zijn in KI, kan dit echter discriminerende gevolgen hebben voor een veel grotere groep mensen, zonder de mechanismen voor sociale controle die van toepassing zijn op menselijk gedrag 35 . Dit kan ook gebeuren wanneer het KI-systeem “leert” terwijl het wordt gebruikt. In dergelijke gevallen, wanneer het resultaat niet kon worden voorkomen of voorspeld in de ontwerpfase, vloeit het risico niet voort uit een tekortkoming in het oorspronkelijke ontwerp van het systeem, maar uit de praktische gevolgen van de correlaties of patronen die het systeem identificeert in een grote dataset.
De specifieke kenmerken van veel KI-technologieën, zoals het gebrek aan transparantie (het “zwarte-doos-effect”), de complexiteit, de onvoorspelbaarheid en het gedeeltelijk autonoom gedrag, kunnen het moeilijk maken om de naleving van de bestaande EU-wetgeving ter bescherming van de grondrechten te controleren en kunnen de doeltreffende handhaving van die wetgeving belemmeren. Het is mogelijk dat de handhavingsautoriteiten en betrokkenen niet over de middelen beschikken om na te gaan hoe een bepaalde met behulp van KI genomen beslissing tot stand is gekomen en dus ook niet kunnen bepalen of de relevante regels zijn nageleefd. Personen en juridische entiteiten kunnen moeilijkheden ondervinden om daadwerkelijk toegang tot de rechter te krijgen in situaties waarin zij negatieve gevolgen ondervinden van dergelijke beslissingen.
Risico’s voor de veiligheid en de doeltreffende werking van de aansprakelijkheidsregeling
KI-technologieën die zijn ingebouwd in producten en diensten kunnen nieuwe veiligheidsrisico’s met zich meebrengen voor de gebruikers. Door een tekortkoming in de technologie voor de herkenning van objecten kan een autonome auto bijvoorbeeld een voorwerp op de weg verkeerd identificeren en een ongeval met gewonden en materiële schade veroorzaken. Zoals met de risico’s voor de grondrechten, kunnen deze risico’s worden veroorzaakt door tekortkomingen in het ontwerp van de KI-technologie of verband houden met problemen met de beschikbaarheid en kwaliteit van data of andere problemen die voortvloeien uit machinaal leren. Sommige van deze risico’s blijven niet beperkt tot producten en diensten die gebaseerd zijn op KI, maar het gebruik van KI kan die risico’s vergroten of verergeren.
Naast de risico’s voor de betrokkenen, kan een gebrek aan duidelijke veiligheidsbepalingen ter bestrijding van deze risico’s ook rechtsonzekerheid creëren voor bedrijven die hun op KI-gebaseerde producten in de EU op de markt brengen. Markttoezichtautoriteiten en handhavingsautoriteiten kunnen zich in een situatie bevinden waarin het onduidelijk is of ze kunnen ingrijpen, omdat zij mogelijkerwijs niet bevoegd zijn om in te grijpen en/of niet over de passende technische capaciteiten voor inspectie beschikken 36 . Rechtsonzekerheid kan dus leiden tot een verzwakking van het algemene veiligheidsniveau en kan het concurrentievermogen van Europese ondernemingen ondermijnen.
Volgens de productaansprakelijkheidsrichtlijn is een fabrikant aansprakelijk voor schade veroorzaakt door een gebrekkig product. In het geval van op KI gebaseerde systemen, zoals autonome auto’s, kan het echter moeilijk zijn aan te tonen dat er sprake is van een gebrekkig product, dat de schade zich heeft voorgedaan en dat er een oorzakelijk verband is tussen beide. Bovendien heerst er enige onzekerheid over de vraag hoe en in hoeverre de productaansprakelijkheidsrichtlijn van toepassing is in het geval van bepaalde types gebreken, bijvoorbeeld gebreken die voortvloeien uit tekortkomingen in de cyberbeveiliging van het product.
Wanneer veiligheidsrisico’s opduiken, maken het gebrek aan duidelijke eisen en de bovenvermelde kenmerken van KI-technologieën het moeilijk om potentieel problematische beslissingen die genomen zijn met behulp van KI-systemen, te traceren. Dit maakt het op zijn beurt moeilijk voor personen die schade hebben geleden om compensatie te verkrijgen op basis van de huidige Europese en nationale aansprakelijkheidswetgeving 37 .
De moeilijkheid om de hierboven bedoelde potentieel problematische beslissingen die genomen zijn door KI-systemen te traceren, geldt dus evenzeer voor kwesties die verband houden met veiligheid en aansprakelijkheid. Personen die schade hebben geleden, hebben mogelijk geen daadwerkelijke toegang tot het bewijsmateriaal dat nodig is om een zaak op te bouwen in de rechtbank, en kunnen over minder doeltreffende beroepsmogelijkheden beschikken in vergelijking met situaties waarin de schade wordt veroorzaakt door traditionele technologieën. Deze risico’s zullen verder toenemen naarmate meer gebruik wordt gemaakt van KI.
B. Mogelijke aanpassingen van het bestaande EU-wetgevingskader voor KI
Een uitgebreid instrumentarium van bestaande EU-wetgeving inzake productveiligheid en aansprakelijk 38 , met inbegrip van sectorspecifieke regelgeving, is relevant voor en kan mogelijk van toepassing zijn op een aantal ontluikende KI-toepassingen, aangevuld door nationale wetgeving.
Wat de bescherming van de grondrechten en de consumentenrechten betreft, omvat het wetgevingskader van de EU wetgeving zoals de richtlijn inzake gelijke behandeling ongeacht ras of etnische afstamming 39 , de richtlijn voor gelijke behandeling in arbeid en beroep 40 , de richtlijnen inzake gelijke behandeling van mannen en vrouwen in arbeid en beroep en bij de toegang tot en het aanbod van goederen en diensten 41 , een aantal regels inzake consumentenbescherming 42 en regels inzake de bescherming van persoonsgegevens en de privacy, met name de algemene verordening gegevensbescherming, en andere sectorale wetgeving inzake de bescherming van persoonsgegevens, zoals de richtlijn gegevensbescherming bij rechtshandhaving 43 . Bovendien gelden vanaf 2025 de regels inzake de toegankelijkheidseisen voor goederen en diensten, zoals uiteengezet in de Europese toegankelijkheidswet 44 . Bovendien moeten de grondrechten worden geëerbiedigd bij de toepassing van andere EU-wetgeving, onder meer ook op het gebied van financiële diensten, migratie of de verantwoordelijkheid van online-tussenpersonen.
De EU-wetgeving blijft in beginsel volledig van toepassing, ongeacht of het al dan niet om KI gaat, maar toch is het belangrijk te beoordelen of ze adequaat kan worden gehandhaafd, teneinde de risico’s van KI-systemen aan te pakken, en of aanpassing van specifieke rechtsinstrumenten nodig is.
Het blijft bijvoorbeeld de volledige verantwoordelijkheid van marktdeelnemers ervoor te zorgen dat KI in overeenstemming is met de bestaande regels inzake consumentenbescherming; geen enkele algoritmische uitbuiting van consumentengedrag in overtreding met de bestaande regels zal worden toegestaan, en schendingen zullen dienovereenkomstig worden bestraft.
De Commissie is van mening dat het wetgevingskader kan worden verbeterd om de volgende risico’s en situaties aan te pakken:
·Doeltreffende toepassing en handhaving van bestaande EU- en nationale wetgeving: de essentiële kenmerken van KI hebben tot gevolg dat het een uitdaging is de bestaande EU- en nationale wetgeving correct toe te passen en te handhaven. Door het gebrek aan transparantie van KI is het moeilijk om mogelijke inbreuken op wetten vast te stellen en aan te tonen, met inbegrip van inbreuken op wettelijke bepalingen die de grondrechten beschermen, aansprakelijkheid toewijzen en de voorwaarden bepalen om compensatie te vragen. Om de effectieve toepassing en handhaving van de bestaande wetgeving te garanderen, kan het derhalve nodig zijn deze op bepaalde punten te wijzigen of te verduidelijken, bijvoorbeeld wat aansprakelijkheid betreft, zoals nader toegelicht in het bij dit witboek gevoegde verslag.
·Grenzen van het toepassingsgebied van de bestaande EU-wetgeving: de focus van de EU-productveiligheidswetgeving ligt in de eerste plaats op het in de handel brengen van producten. Volgens die wetgeving moet software die deel uitmaakt van het eindproduct voldoen aan de relevante productveiligheidseisen; het is echter onduidelijk of op zichzelf staande software ook onder de EU-productveiligheidswetgeving valt, behalve dan voor bepaalde sectoren, waarvoor expliciete regels gelden 45 . De geldende algemene EU-veiligheidswetgeving is van toepassing op producten en niet op diensten, en in beginsel dus ook niet op diensten die op KI-technologie zijn gebaseerd (bv. gezondheidsdiensten, financiële diensten, vervoersdiensten).
·Veranderende functies van KI-systemen: de integratie van software, waaronder KI, in producten kan de functies van die producten en systemen tijdens hun levenscyclus wijzigen. Dit geldt met name voor systemen die frequente software-updates vereisen of die afhankelijk zijn van machinaal leren. Deze kenmerken kunnen aanleiding geven tot nieuwe risico’s die niet aanwezig waren toen het systeem in de handel werd gebracht. Deze risico’s komen onvoldoende aan bod in de bestaande wetgeving, die hoofdzakelijk gericht is op veiligheidsrisico’s die aanwezig zijn op het ogenblik dat het product of systeem in de handel wordt gebracht.
·Onzekerheid over de toewijzing van aansprakelijkheid tussen verschillende marktdeelnemers in de toeleveringsketen: in het algemeen wijst de EU-wetgeving inzake productveiligheid de aansprakelijkheid toe aan de fabrikant van het in de handel gebrachte product, met inbegrip van alle onderdelen, zoals ook KI-systemen. De regels kunnen echter onduidelijk worden als KI wordt toegevoegd nadat het product in de handel is gebracht, door een partij die niet de fabrikant van het product is. Bovendien voorziet de EU-wetgeving inzake productaansprakelijkheid in de aansprakelijkheid van fabrikanten, en laat ze het aan de nationale aansprakelijkheidsregels om de aansprakelijkheid van anderen in de toeleveringsketen te regelen.
·Wijzigingen van het concept veiligheid: het gebruik van KI in producten en diensten kan risico’s opleveren die momenteel niet expliciet aan bod komen in de EU-wetgeving. Deze risico’s kunnen verband houden met cyberdreigingen, persoonlijke veiligheidsrisico’s (bijvoorbeeld ten gevolge van nieuwe toepassingen van KI, zoals thuisapparatuur), risico’s ten gevolge van verlies van connectiviteit enz. Deze risico’s kunnen aanwezig zijn op het ogenblik dat de producten in de handel worden gebracht of kunnen het gevolg zijn van software-updates of zelflerende producten. De EU moet ten volle gebruik maken van de instrumenten waarover zij beschikt om haar empirische basis over potentiële risico’s in verband met KI-toepassingen te versterken, met inbegrip van de ervaring die het Agentschap van de Europese Unie voor cyberbeveiliging (Enisa) heeft met het beoordelen van KI-dreigingen.
Zoals eerder aangegeven, onderzoeken diverse lidstaten al hoe zij de uitdagingen van KI kunnen aanpakken in hun nationale wetgeving, met het risico op versnippering van de interne markt tot gevolg. Uiteenlopende nationale regels zullen waarschijnlijk hinderpalen creëren voor bedrijven die KI-systemen willen verkopen en exploiteren op de interne markt. Door te zorgen voor een gemeenschappelijke aanpak op EU-niveau kunnen Europese bedrijven profiteren van vlotte toegang tot de interne markt en wordt hun concurrentievermogen op de mondiale markten versterkt.
Verslag over de gevolgen van kunstmatige intelligentie, het internet der dingen en robotica voor de veiligheid en de aansprakelijkheid
In het verslag, dat bij dit witboek is gevoegd, wordt het relevante rechtskader geanalyseerd. Voorts wordt nagegaan op welke punten onzekerheid bestaat over de toepassing van dit kader met betrekking tot de specifieke risico’s van KI-systemen en andere digitale technologieën.
De conclusie luidt dat de huidige wetgeving inzake productveiligheid reeds een uitgebreid veiligheidsconcept ondersteunt waarbij bescherming wordt geboden tegen alle soorten risico’s die voortvloeien uit het product, al naargelang het gebruik ervan. Om meer rechtszekerheid te bieden, kunnen echter bepalingen worden ingevoerd die expliciet betrekking hebben op nieuwe risico’s ten gevolge van opkomende digitale technologieën.
De kenmerken van opkomende digitale technologieën zoals KI, het IoT en robotica, kunnen leiden tot problemen met bepaalde aspecten van de aansprakelijkheidskaders en kunnen de effectiviteit ervan beperken. Sommige van deze kenmerken maken het moeilijk om schade terug te traceren naar een persoon, hetgeen volgens de meeste nationale regels noodzakelijk is om een claim op basis van een fout te kunnen indienen. Dit kan de kosten voor slachtoffers aanzienlijk opdrijven en betekent dat het moeilijk kan zijn om een aansprakelijkheidsclaim in te dienen of te bewijzen die niet tegen de fabrikant is gericht.
·Het autonome gedrag van bepaalde KI-systemen tijdens hun levenscyclus kan leiden tot belangrijke wijzigingen in het product, die gevolgen hebben voor de veiligheid en waarvoor dus een nieuwe risicobeoordeling nodig kan zijn. Bovendien kan menselijk toezicht op het productontwerp en gedurende de levenscyclus van de KI-producten en -systemen noodzakelijk zijn als waarborg.
·Indien van toepassing kunnen ook expliciete verplichtingen voor fabrikanten met betrekking tot risico’s voor de geestelijke veiligheid van gebruikers worden overwogen (bv. samenwerking met humanoïde robots).
·In de productveiligheidswetgeving van de Unie kunnen specifieke eisen worden gesteld om tegemoet te komen aan het veiligheidsrisico van foutieve data in de ontwerpfase, en kan worden voorzien in mechanismen om ervoor te zorgen dat de kwaliteit van de data behouden blijft gedurende het gebruik van KI-producten en -systemen.
·Het gebrek aan transparantie van systemen op basis van algoritmen kan worden aangepakt door middel van transparantievereisten.
·Bestaande regels moeten eventueel worden aangepast en verduidelijkt in het geval van op zichzelf staande software die als dusdanig in de handel wordt gebracht of wordt gedownload in een product nadat het in de handel is gebracht, als deze software gevolgen heeft voor de veiligheid.
·Gezien de toenemende complexiteit van de toeleveringsketens voor nieuwe technologieën, kunnen bepalingen waarbij specifiek wordt gevraagd om samenwerking tussen de marktdeelnemers in de toeleveringsketen en de gebruikers, rechtszekerheid bieden.
·Personen die schade hebben geleden die mede door KI-systemen is veroorzaakt, moeten hetzelfde niveau van bescherming genieten als personen die schade hebben geleden die door andere technologieën is veroorzaakt, waarbij de technologische innovatie zich verder moet kunnen ontwikkelen.
·Alle mogelijkheden om deze doelstelling te bereiken, moeten zorgvuldig worden beoordeeld, met inbegrip van mogelijke wijzigingen van de productaansprakelijkheidsrichtlijn en eventuele verdere gerichte harmonisatie van de nationale aansprakelijkheidsregels. De Commissie verzamelt op dit ogenblik meningen over de mate waarin het noodzakelijk is de gevolgen van complexiteit te verzachten door de bewijslast aan te passen die uit hoofde van nationale aansprakelijkheidsregels vereist is voor schade die door het gebruik van KI-toepassingen werd veroorzaakt.
De Commissie concludeert uit het bovenstaande dat – naast eventuele aanpassingen van de bestaande wetgeving – misschien nieuwe wetgeving, specifiek voor KI, nodig is om rechtskader van de EU geschikt te maken voor de huidige en verwachte technologische en commerciële ontwikkelingen.
C.Werkingssfeer van een toekomstig EU-regelgevingskader
Het is belangrijk de werkingssfeer van het toekomstige specifieke regelgevingskader voor KI te bepalen. De werkhypothese is dat het regelgevingskader van toepassing zou zijn op producten en diensten die gebaseerd zijn op KI. KI moet dus duidelijk worden gedefinieerd, zowel in het kader van dit witboek als voor eventuele toekomstige beleidsinitiatieven.
In haar mededeling over KI voor Europa heeft de Commissie een eerste definitie van KI gegeven 46 . Deze definitie werd verder verfijnd door de deskundigengroep op hoog niveau 47 .
In elk nieuw juridisch instrument moet de definitie van KI voldoende flexibel zijn om rekening te houden met de technische vooruitgang, en toch nauwkeurig genoeg zijn om de nodige rechtszekerheid te bieden.
In autonome voertuigen gebruikt het algoritme bijvoorbeeld realtime-data van de auto (snelheid, motorverbruik, schokdempers enz.) en van de sensoren die de omgeving van de auto scannen (weg, verkeerstekens, andere voertuigen, voetgangers enz.) om de richting, versnelling en snelheid te bepalen die nodig zijn om een bepaalde bestemming te bereiken. Op basis van de waargenomen data past het algoritme zich aan aan de wegsituatie en de externe omstandigheden, zoals het gedrag van andere bestuurders, om de rit zo comfortabel en veilig mogelijk te maken.
Voor de doeleinden van dit witboek en alle eventuele toekomstige beleidsbesprekingen lijkt het belangrijk de hoofdbestanddelen van KI te verduidelijken, namelijk “data” en “algoritmen”. KI kan worden geïntegreerd in hardware. In het geval van technieken voor machinaal leren, een subset van KI, worden algoritmen getraind om bepaalde patronen af te leiden uit een reeks data en zo te bepalen welke maatregelen nodig zijn om een bepaald doel te bereiken. Algoritmen kunnen verder leren wanneer ze in gebruik zijn. Op KI gebaseerde producten kunnen zelfstandig handelen door hun omgeving waar te nemen en zonder een vooraf vastgestelde reeks instructies te volgen, maar hun gedrag wordt grotendeels bepaald en beperkt door hun ontwikkelaars. Mensen bepalen en programmeren de doelstellingen en het KI-systeem moet deze zo goed mogelijk verwezenlijken.
De EU beschikt over een strikt rechtskader om onder meer de consumentenbescherming te waarborgen, oneerlijke handelspraktijken aan te pakken en persoonsgegevens en de privacy te beschermen. Bovendien bevat het acquis specifieke regels voor bepaalde sectoren (zoals gezondheidszorg en vervoer). Die bestaande bepalingen van de EU-wetgeving zullen van toepassing blijven op KI, hoewel het mogelijk is dat bepaalde updates van dat kader nodig zijn om de digitale transformatie en het gebruik van KI te weerspiegelen (zie deel B). De aspecten die al zijn geregeld door bestaande horizontale of sectorale wetgeving (bv. medische toestellen 48 en vervoerssystemen) blijven onder die wetgeving vallen.
Om zijn doelstellingen te kunnen verwezenlijken, moet het nieuwe regelgevingskader voor KI in beginsel doeltreffend, maar niet te prescriptief zijn; dit zou immers onevenredige lasten met zich meebrengen, met name voor het mkb. De Commissie is van mening dat zij een risicogebaseerde aanpak moet volgen om dit evenwicht te vinden.
Een dergelijke risicogebaseerde aanpak is belangrijk om ertoe bij te dragen dat de regelgeving evenredig is. Deze aanpak vergt echter duidelijke criteria om een onderscheid te maken tussen de verschillende KI-toepassingen, en met name om een antwoord te geven op de vraag of ze al dan niet “risicovol” zijn 49 . Het moet voor alle partijen duidelijk en begrijpelijk zijn of een KI-toepassing risicovol is. Maar zelfs als een KI-toepassing niet als risicovol wordt beschouwd, moet ze volledig onder de bestaande EU-regels blijven vallen.
De Commissie is van mening dat een bepaalde KI-toepassing in het algemeen als risicovol moet worden beschouwd in het licht van wat er op het spel staat, rekening houdende met de vraag of de sector en het beoogde gebruik aanzienlijke risico’s inhouden, met name vanuit het oogpunt van de bescherming van de veiligheid, de consumentenrechten en de grondrechten. Specifiek moet een KI-toepassing als risicovol worden beschouwd als ze aan de volgende twee cumulatieve criteria voldoet:
·ten eerste moet de KI-toepassing worden gebruikt in een sector waar, gezien de kenmerken van de activiteiten die doorgaans plaatsvinden, aanzienlijke risico’s kunnen worden verwacht. Dit eerste criterium zorgt ervoor dat de regelgeving gericht is op gebieden waar het, in het algemeen, het meest waarschijnlijk is dat zich risico’s voordoen. De betrokken sectoren moeten specifiek en exhaustief worden opgesomd in het nieuwe regelgevingskader, bijvoorbeeld gezondheidszorg, vervoer, energie en delen van de overheidssector 50 . De lijst moet periodiek worden herzien en zo nodig worden gewijzigd in functie van relevante ontwikkelingen in de praktijk;
·ten tweede moet de KI-toepassing in de betrokken sector zodanig worden gebruikt dat er waarschijnlijk aanzienlijke risico’s optreden. Dit tweede criterium weerspiegelt de erkenning dat niet elk gebruik van KI in de geselecteerde sectoren noodzakelijkerwijs aanzienlijke risico’s met zich meebrengt. Gezondheidszorg kan bijvoorbeeld in het algemeen een relevante sector zijn, maar een tekortkoming in het systeem voor de registratie van afspraken in een ziekenhuis houdt normaal geen risico’s in die zo ernstig zijn dat zij wetgevend ingrijpen rechtvaardigen. De beoordeling van het risiconiveau van een bepaalde toepassing kan worden gebaseerd op de gevolgen voor de betrokken partijen. Bijvoorbeeld KI-toepassingen die juridische of soortgelijke ernstige gevolgen voor de rechten van een persoon of onderneming of risico’s op letsel, overlijden of aanzienlijke materiële of immateriële schade met zich meebrengen, of die gevolgen hebben die niet redelijkerwijs kunnen worden vermeden door particulieren of rechtspersonen.
De toepassing van de twee cumulatieve criteria garandeert dat het toepassingsgebied van het regelgevingskader gericht is en rechtszekerheid biedt. De verplichte eisen in het nieuwe regelgevingskader inzake KI (zie punt D hieronder) zouden in beginsel alleen gelden voor toepassingen die als risicovol worden beschouwd overeenkomstig deze twee cumulatieve criteria.
Onverminderd het voorgaande kan er ook sprake zijn van buitengewone omstandigheden waarin, wegens de risico’s die op het spel staan, het gebruik van KI-toepassingen voor bepaalde doeleinden als dusdanig als risicovol moet worden beschouwd, dus ongeacht de betrokken sector, en waarin de onderstaande eisen nog steeds van toepassing zouden zijn 51 . Ter illustratie:
·Het gebruik van KI-toepassingen voor wervingsprocedures en in situaties die gevolgen hebben voor de rechten van werknemers wordt altijd als risicovol beschouwd, gezien de gevolgen voor personen en gezien het EU-acquis inzake gelijke behandeling in arbeid en beroep; in dat geval zijn de onderstaande eisen dus te allen tijde van toepassing. Andere specifieke toepassingen op het gebied van consumentenrechten kunnen in overweging worden genomen.
·Het gebruik van KI-toepassingen voor biometrische identificatie op afstand 52 en andere ingrijpende bewakingstechnologieën wordt altijd als risicovol beschouwd; de onderstaande eisen zullen dus altijd van toepassing zijn.
D.Types eisen
Bij het ontwerpen van het toekomstige regelgevingskader voor KI moet worden beslist welke types verplichte regelgevende eisen moeten worden opgelegd aan de relevante actoren. Deze eisen kunnen verder worden gespecificeerd aan de hand van normen. Zoals opgemerkt in deel C hierboven en in aanvulling op reeds bestaande wetgeving zouden die eisen alleen gelden voor risicovolle KI-toepassingen, om te garanderen dat alle regelgevende maatregelen gericht en evenredig zijn.
Rekening houdend met de richtsnoeren van de deskundigengroep op hoog niveau en wat in het voorgaande is uiteengezet, kunnen de voorschriften voor risicovolle KI-toepassingen de volgende essentiële kenmerken vertonen, die in de volgende punten nader worden besproken:
·trainingsdata;
·data en registers;
·te verstrekken informatie;
·robuustheid en nauwkeurigheid;
·menselijk toezicht;
·specifieke voorschriften voor welbepaalde KI-toepassingen, bijvoorbeeld voor biometrische identificatie op afstand.
Om rechtszekerheid te garanderen, zullen deze voorschriften nader worden gespecificeerd, zodat ze een duidelijke benchmark vormen voor de actoren die eraan moeten voldoen.
a)Trainingsdata
Het is belangrijker dan ooit om de waarden en regels van de EU te bevorderen, te versterken en te verdedigen, en met name de rechten die burgers aan het EU-recht ontlenen. Deze inspanningen hebben ongetwijfeld ook betrekking op de hier bedoelde risicovolle KI-toepassingen die in de EU in de handel worden gebracht en gebruikt.
Zoals reeds eerder gezegd, kan KI niet bestaan zonder data. De werking van veel KI-systemen en de acties en beslissingen waar ze toe kunnen leiden, hangen in sterke mate af van de dataset waarmee de systemen zijn getraind. Daarom moeten de nodige maatregelen worden genomen om te garanderen dat, wat betreft de data die gebruikt worden om KI-systemen te trainen, de waarden en regels van de EU worden gerespecteerd, met name wat betreft veiligheid en de bescherming van de grondrechten. De volgende voorschriften kunnen worden overwogen voor de dataset die gebruikt wordt om KI-systemen te trainen:
·Eisen die tot doel hebben redelijkerwijs te garanderen dat het daaropvolgende gebruik van de producten of diensten die door het KI-systeem mogelijk worden gemaakt, veilig is in de zin dat het beantwoordt aan de normen in de EU-veiligheidsvoorschriften (bestaande en eventuele aanvullende), zoals eisen om te garanderen dat KI-systemen worden getraind op basis van datasets die voldoende breed zijn en alle relevante scenario’s bestrijken die nodig zijn om gevaarlijke situaties te vermijden.
·Eisen om redelijke maatregelen te nemen om ervoor te zorgen dat het latere gebruik van KI-systemen niet leidt tot resultaten die verboden discriminatie tot gevolg hebben. Deze eisen kunnen met name verplichtingen inhouden om datasets te gebruiken die voldoende representatief zijn, met name om te garanderen dat alle relevante aspecten van gender, ras en andere mogelijke gronden van verboden discriminatie op passende wijze tot uiting komen in die datasets.
·Eisen die erop gericht zijn te waarborgen dat de privacy en persoonsgegevens op passende wijze worden beschermd tijdens het gebruik van op KI gebaseerde producten en diensten. De algemene verordening gegevensbescherming en de richtlijn rechtshandhaving zijn van toepassing op kwesties die binnen hun respectieve werkingssfeer vallen.
b)Bijhouden van registers en data
Rekening houdend met elementen zoals de complexiteit en het gebrek aan transparantie van veel KI-systemen en de bijbehorende problemen om de naleving en handhaving van de toepasselijke regels doeltreffend te controleren, is er behoefte aan eisen met betrekking tot het bijhouden van registers over de programmering van de algoritmen, de data die gebruikt zijn om risicovolle KI-systemen te trainen en, in bepaalde gevallen, het bijhouden van de data zelf. In wezen maken die eisen het mogelijk om potentieel problematische acties of beslissingen van KI-systemen terug te traceren en te verifiëren. Dit zou niet alleen het toezicht en de handhaving moeten vergemakkelijken, het kan de betrokken marktdeelnemers ook stimuleren om in een vroeg stadium rekening te houden met de noodzaak om die regels na te leven.
Daartoe kan in het regelgevingskader worden bepaald dat het volgende moet worden bijgehouden:
·nauwkeurige registers van de data die gebruikt zijn om de KI-systemen te trainen en te testen, met inbegrip van een beschrijving van de hoofdkenmerken en de wijze waarop de dataset werd geselecteerd;
·in bepaalde gerechtvaardigde gevallen, de datasets zelf;
·documentatie over de programmerings 53 - en trainingsmethoden, de processen en technieken om de KI-systemen te bouwen, te testen en te valideren, ook wanneer dit relevant is voor de veiligheid en om vooroordelen te vermijden die tot verboden discriminatie zouden kunnen leiden.
De registers, documentatie en, indien relevant, datasets moeten worden bewaard gedurende een beperkte, redelijke periode om te garanderen dat de relevante wetgeving doeltreffend kan worden gehandhaafd. Er moeten maatregelen worden genomen om ervoor te zorgen dat ze op verzoek ter beschikking worden gesteld, met name met het oog op tests of inspecties door bevoegde autoriteiten. Indien nodig moeten regelingen worden getroffen om ervoor te zorgen dat vertrouwelijke informatie, zoals bedrijfsgeheimen, wordt beschermd.
c)Informatieverstrekking
De vereiste transparantie gaat verder dan de onder c) besproken eisen inzake het bijhouden van registers en data. Om de beoogde doelstellingen te bereiken – met name het bevorderen van het verantwoorde gebruik van KI, het opbouwen van vertrouwen en het vergemakkelijken van beroep, indien nodig – is het belangrijk dat op proactieve wijze passende informatie wordt verstrekt over het gebruik van risicovolle KI-systemen.
Daartoe kunnen de volgende eisen in overweging worden genomen:
·ervoor zorgen dat duidelijke informatie wordt verstrekt over de mogelijkheden en beperkingen van KI-systemen, met name het doel dat met de systemen wordt nagestreefd, de voorwaarden waaronder zij naar verwachting zullen werken zoals beoogd, en het verwachte niveau van nauwkeurigheid bij het bereiken van het gespecificeerde doel. Deze informatie is vooral belangrijk voor degenen die de systemen uitrollen, maar ze kan ook relevant zijn voor bevoegde autoriteiten en betrokken partijen.
·Voorts moeten burgers ook duidelijk worden geïnformeerd wanneer zij te maken hebben met een KI-systeem en niet met een mens. De EU-wetgeving inzake gegevensbescherming bevat reeds bepaalde regels in die zin 54 , maar er kan behoefte zijn aan aanvullende eisen om de bovenvermelde doelstellingen te verwezenlijken. Indien dit het geval is, moeten onnodige lasten worden vermeden. Dergelijke informatie hoeft bijvoorbeeld niet te worden verstrekt als het voor de burgers onmiddellijk duidelijk is dat zij met KI-systemen te maken hebben. Het is bovendien belangrijk dat de verstrekte informatie objectief, beknopt en gemakkelijk te begrijpen is. De wijze waarop de informatie moet worden verstrekt, moet worden afgestemd op de specifieke context.
d)Robuustheid en nauwkeurigheid
KI-systemen – en zeker risicovolle toepassingen van KI – moeten technisch robuust en accuraat zijn om betrouwbaar te kunnen zijn. Dat betekent dat dergelijke systemen op verantwoorde wijze moeten worden ontwikkeld en dat vooraf voldoende moet worden gekeken naar de risico’s die zij kunnen veroorzaken. De ontwikkeling en werking ervan moeten zodanig zijn dat KI-systemen zich betrouwbaar gedragen, zoals beoogd. Alle redelijke maatregelen moeten worden genomen om het risico op schade tot een minimum te beperken.
Daartoe kunnen de volgende elementen in overweging worden genomen:
·eisen die garanderen dat de KI-systemen robuust en nauwkeurig zijn, of tenminste een correcte weergave zijn van hun niveau van nauwkeurigheid tijdens alle fasen van hun levenscyclus;
·eisen die garanderen dat resultaten reproduceerbaar zijn;
·eisen die garanderen dat KI-systemen op passende wijze kunnen omgaan met fouten of inconsistenties tijdens alle fasen van hun levenscyclus;
·eisen die garanderen dat KI-systemen bestand zijn tegen zowel openlijke aanvallen als meer subtiele pogingen om data of algoritmen zelf te manipuleren, en dat in dergelijke gevallen risicobeperkende maatregelen worden genomen.
e)Menselijk toezicht
Menselijk toezicht helpt ervoor te zorgen dat een KI-systeem de menselijke autonomie niet ondermijnt en geen andere negatieve effecten veroorzaakt. De doelstelling van betrouwbare, ethische en mensgerichte KI kan alleen worden bereikt door te zorgen voor passende menselijke tussenkomst bij risicovolle KI-toepassingen.
Zelfs als de KI-toepassingen die in dit witboek worden overwogen voor een specifiek rechtsstelsel allemaal als risicovol worden beschouwd, kunnen het passende type en de passende graad van menselijk toezicht variëren van het ene geval tot het andere. Dit hangt met name af van het beoogde gebruik van de systemen en de mogelijke gevolgen ervan voor burgers en juridische entiteiten. Het laat ook de juridische rechten van de algemene verordening gegevensbescherming onverlet wanneer het KI-systeem persoonsgegevens verwerkt. Menselijk toezicht kan onder meer, maar niet uitsluitend, op de volgende manieren plaatsvinden:
·het resultaat van het KI-systeem wordt pas effectief als het eerst is beoordeeld en gevalideerd door een mens (bv. de beslissing om een aanvraag voor socialezekerheidsuitkeringen af te wijzen, kan alleen door een mens worden genomen);
·het resultaat van het KI-systeem wordt onmiddellijk effectief, maar er wordt gezorgd voor menselijke tussenkomst achteraf (bv. de afwijzing van een aanvraag voor een creditcard kan door een KI-systeem worden verwerkt, maar menselijke beoordeling achteraf moet mogelijk zijn);
·monitoring van het KI-systeem terwijl het in werking is en de mogelijkheid om in real time in te grijpen en het buiten werking te stellen (bv. een zelfrijdende auto moet over een stopknop of -procedure beschikken, in het geval een mens beslist dat de bediening van de auto niet veilig is);
·in de ontwerpfase, door operationele beperkingen op te leggen aan het KI-systeem (bv. een zelfrijdende auto moet stoppen met rijden bij slecht zicht omdat de sensoren minder betrouwbaar worden of moet in alle omstandigheden een bepaalde afstand aanhouden tot het voorgaande voertuig).
f)Specifieke eisen voor biometrische identificatie op afstand
Het verzamelen en gebruiken van biometrische data 55 voor identificatie op afstand 56 , bijvoorbeeld via de uitrol van gezichtsherkenning in openbare ruimten, brengt specifieke risico’s voor de grondrechten met zich mee 57 . De gevolgen van het gebruik van KI-systemen voor biometrische identificatie op afstand kunnen aanzienlijk variëren naargelang het doel, de context en de reikwijdte van het gebruik.
Volgens de EU-regels inzake gegevensbescherming is het in beginsel verboden biometrische data te verwerken wanneer dit uitsluitend tot doel heeft een natuurlijke persoon te identificeren, behalve onder specifieke voorwaarden 58 . Volgens de algemene verordening gegevensbescherming kan een dergelijke verwerking alleen plaatsvinden om een beperkt aantal redenen, waarvan redenen van zwaarwegend algemeen belang de belangrijkste is. In dat geval moet de verwerking plaatsvinden op basis van het Unierecht of het nationale recht, mits de eisen inzake evenredigheid worden nageleefd, het essentiële recht op gegevensbescherming wordt gerespecteerd en passende waarborgen in acht worden genomen. Volgens de richtlijn inzake rechtshandhaving moet een dergelijke verwerking strikt noodzakelijk zijn, moet ze in beginsel zijn toegestaan uit hoofde van de EU- of nationale wetgeving en moet worden voorzien in passende waarborgen. Aangezien elke verwerking van biometrische gegevens die uitsluitend tot doel heeft een natuurlijke persoon te identificeren, zou neerkomen op een uitzondering op een verbod dat is vastgesteld in de EU-wetgeving, zou dit onder het Handvest van de grondrechten van de EU vallen.
Hieruit volgt dat, overeenkomstig de huidige EU-regels inzake gegevensbescherming en het Handvest van de grondrechten, KI alleen mag worden gebruikt voor biometrische identificatie op afstand als deze toepassing naar behoren gerechtvaardigd en evenredig is en wordt voorzien in passende waarborgen.
Om tegemoet te komen aan deze maatschappelijke bezorgdheid over het gebruik van KI voor dergelijke doeleinden op openbare plaatsen, en om versnippering van de interne markt te voorkomen, zal de Commissie het initiatief nemen voor een breed Europees debat over specifieke omstandigheden die een dergelijk gebruik rechtvaardigen, als die er al zijn, en over gemeenschappelijke waarborgen.
E.Adressaten
In verband met de adressaten van de wettelijke eisen die van toepassing zouden zijn met betrekking tot de bovenvermelde risicovolle KI-toepassingen, moet rekening worden gehouden met twee belangrijke kwesties.
Ten eerste is er de vraag hoe de verplichtingen moeten worden gespreid over de betrokken marktdeelnemers. Bij de levenscyclus van een KI-systeem zijn veel actoren betrokken, zoals de ontwikkelaars, degenen die een op KI-gebaseerd product of dienst uitrollen, en eventueel anderen (fabrikant, distributeur of importeur, dienstverlener, professionele of particuliere gebruiker).
De Commissie is van mening dat, in een toekomstig regelgevingskader, elke verplichting moet worden opgelegd aan de actor(en) die het best geplaatst is (zijn) om de potentiële risico’s aan te pakken. De ontwikkelaars van KI kunnen bijvoorbeeld het best geplaatst zijn om de risico’s aan te pakken die voortvloeien uit de ontwikkelingsfase, maar zij hebben minder controle over de risico’s tijdens de gebruiksfase. De verplichtingen die van toepassing zijn op de gebruiksfase moeten derhalve worden opgelegd aan degenen die het product of de dienst uitrollen. Dit laat de vraag onverlet welke partij de aansprakelijk draagt voor veroorzaakte schade, teneinde eindgebruikers of andere partijen die schade hebben geleden, toegang te bieden tot de rechter. Volgens de EU-productaansprakelijkheidswetgeving wordt de aansprakelijkheid voor producten met gebreken toegewezen aan de fabrikant, onverminderd nationale wetgeving die het ook mogelijk maakt om claims in te dienen tegen andere partijen.
Ten tweede rijst de vraag over het geografische toepassingsgebied van het wetgevend optreden. Volgens de Commissie is het van het allergrootste belang dat de eisen van toepassing zijn op alle relevante marktdeelnemers die op KI-gebaseerde producten of diensten aanbieden in de EU, ongeacht of ze in de EU zijn gevestigd of niet. Anders kunnen de doelstellingen van het bovenvermeld wetgevend optreden niet volledig worden bereikt.
F.Naleving en handhaving
Om te garanderen dat KI betrouwbaar en veilig is en voldoet aan de Europese waarden en regels, moeten de toepasselijke wettelijke vereisten in de praktijk worden nageleefd en effectief worden gehandhaafd door de bevoegde nationale autoriteiten, de Europese autoriteiten en de betrokken partijen. De bevoegde autoriteiten moeten in staat zijn om individuele gevallen te onderzoeken en om de gevolgen voor de samenleving te beoordelen.
Gezien het hoge risico dat bepaalde KI-toepassingen inhouden voor de burgers en onze samenleving (zie deel A hierboven), is de Commissie in dit stadium van mening dat een objectieve, voorafgaande conformiteitsbeoordeling noodzakelijk is om na te gaan of en te garanderen dat bepaalde van de bovengenoemde verplichte eisen die van toepassing zijn op risicovolle toepassingen (zie deel D hierboven), worden nageleefd. Deze voorafgaande conformiteitsbeoordeling kan test-, inspectie- of certificeringsprocedures omvatten 59 . Ze zou ook betrekking kunnen hebben op controles van de algoritmen en van de in de ontwikkelingsfase gebruikte datasets.
De conformiteitsbeoordeling voor risicovolle KI-toepassingen moet deel uitmaken van de conformiteitsbeoordelingsmechanismen die al bestaan voor een groot aantal producten die op de interne markt van de EU worden aangeboden. Indien geen beroep kan worden gedaan op bestaande mechanismen, moeten soortgelijke mechanismen worden opgezet op basis van beste praktijken en eventuele input van belanghebbenden en Europese normalisatie-instellingen. Dergelijke nieuwe mechanismen moeten evenredig en niet-discriminerend zijn en moeten gebruikmaken van transparante en objectieve criteria die in overeenstemming zijn met de internationale verplichtingen.
Bij het ontwerpen en toepassen van een systeem dat afhankelijk is van voorafgaande beoordelingen, moet met name rekening worden gehouden met het volgende:
·Het is mogelijk dat niet alle bovenstaande eisen geschikt zijn om aan de hand van een voorafgaande conformiteitsbeoordeling te worden geverifieerd. De eis om informatie te verstrekken leent zich bijvoorbeeld niet goed voor verificatie aan de hand van een dergelijke beoordeling.
·Er moet met name rekening worden gehouden met de mogelijkheid dat bepaalde KI-systemen zich ontwikkelen en leren uit ervaring, waardoor het mogelijk is dat herhaalde beoordelingen nodig zijn tijdens de levensduur van die systemen.
·Voor training gebruikte data en de relevante programmerings- en trainingsmethoden, -processen en -technieken die gebruikt worden om KI-systemen te bouwen, te testen en te valideren, moeten worden gecontroleerd.
·Indien uit de conformiteitsbeoordeling blijkt dat een KI-systeem niet voldoet aan de eis inzake de voor training gebruikte data, moeten de vastgestelde tekortkomingen worden verholpen, bijvoorbeeld door het systeem in de EU op zodanige wijze opnieuw te trainen dat aan alle toepasselijke eisen wordt voldaan.
De conformiteitsbeoordelingen zijn verplicht voor alle marktdeelnemers waarop de eisen betrekking hebben, ongeacht hun plaats van vestiging 60 . Om de lasten voor het mkb te beperken, kan een ondersteunende structuur worden overwogen, bijvoorbeeld via de digitale-innovatiehubs. Ook normen en specifieke online-instrumenten kunnen de conformiteit faciliteren.
Elke voorafgaande conformiteitsbeoordeling moet de monitoring van de naleving en de handhaving achteraf door de bevoegde nationale autoriteiten onverlet laten. Dat geldt zowel voor risicovolle als voor andere KI-toepassingen die aan wettelijke eisen zijn onderworpen; de risicovolle aard van de toepassingen in kwestie kan voor de bevoegde nationale autoriteiten echter een reden zijn om bijzondere aandacht te schenken aan deze toepassingen. Controles achteraf moeten mogelijk worden gemaakt door passende documentatie van de relevante KI-toepassing (zie punt E); indien van toepassing moeten derde partijen, zoals bevoegde autoriteiten, de mogelijkheid hebben om dergelijke toepassingen te testen. Dit kan met name van belang zijn wanneer zich risico’s voor de grondrechten kunnen voordoen, hetgeen contextafhankelijk is. Dergelijke monitoring van de naleving moet deel uitmaken van een permanente regeling voor markttoezicht. Aspecten die verband houden met governance worden verder besproken in punt H hieronder.
Bovendien moet ervoor worden gezorgd dat partijen die negatieve gevolgen ondervinden van KI-systemen, zowel risicovolle als andere, over effectieve rechtsmiddelen beschikken. Problemen met aansprakelijkheid worden verder besproken in het bij dit witboek gevoegde verslag over het veiligheids- en aansprakelijkheidskader.
G.Vrijwillige etikettering voor niet-risicovolle KI-toepassingen
Voor KI-toepassingen die niet als risicovol worden beschouwd (zie punt C) en dus niet onder de hierboven besproken verplichte eisen (zie punten D, E en F) vallen, zou het een optie zijn om, in aanvulling op de toepasselijke wetgeving, een vrijwillige etiketteringsregeling op te stellen.
Deze regeling zou inhouden dat belangstellende marktdeelnemers die niet onder de verplichte eisen vallen, kunnen beslissen om zich vrijwillig te onderwerpen aan die eisen of aan een specifieke reeks soortgelijke eisen die speciaal zijn vastgesteld met het oog op de vrijwillige regeling. De betrokken marktdeelnemers zouden dan een kwaliteitskeurmerk krijgen voor hun KI-toepassingen.
Hiermee kunnen de marktdeelnemers aantonen dat hun KI-producten en diensten betrouwbaar zijn. De gebruikers kunnen gemakkelijk zien dat de producten en diensten in kwestie voldoen aan bepaalde objectieve en gestandaardiseerde EU-brede benchmarks, die verder gaan dan de gebruikelijke wettelijke verplichtingen. Dit zou het vertrouwen van de gebruikers in KI-systemen helpen versterken en ertoe bijdragen dat de technologie algemeen ingang vindt.
Deze optie zou de creatie inhouden van een nieuw juridisch instrument met betrekking tot de vrijwillige etiketteringsregeling voor ontwikkelaars en/of exploitanten van KI-systemen die niet als risicovol worden beschouwd. De deelname aan de etiketteringsregeling zou vrijwillig zijn, maar als een ontwikkelaar of exploitant ervoor kiest de regeling toe te passen, zijn de eisen bindend. Via een combinatie van ex-ante en ex-post handhaving moet ervoor worden gezorgd dat aan alle eisen wordt voldaan.
H.Governance
Er is behoefte aan een Europese governancestructuur voor KI in de vorm van een samenwerkingskader voor nationale bevoegde autoriteiten, teneinde versnippering van verantwoordelijkheden te voorkomen, de capaciteit in de lidstaten te vergroten en ervoor te zorgen dat Europa geleidelijk de capaciteit verwerft die nodig is voor het testen en certificeren van op KI-gebaseerde producten en diensten. In deze context zou het nuttig zijn de bevoegde nationale autoriteiten te ondersteunen om hen in staat te stellen hun mandaat te vervullen wanneer KI wordt gebruikt.
Een Europese governancestructuur zou een verscheidenheid aan taken kunnen hebben: forum voor regelmatige uitwisseling van informatie en beste praktijken, identificeren van ontluikende trends en verstrekken van advies over normalisatieactiviteiten en over certificering. De governancestructuur kan ook een sleutelrol spelen bij het vergemakkelijken van de tenuitvoerlegging van het rechtskader, bijvoorbeeld door richtsnoeren, adviezen en deskundigheid te verstrekken. Er moet dan ook gebruik worden gemaakt van een netwerk van nationale autoriteiten, sectorale netwerken en regulerende instanties, zowel op nationaal als op EU-niveau. Bovendien kan een comité van deskundigen bijstand verlenen aan de Commissie.
De governancestructuur moet maximale participatie van belanghebbenden garanderen. Belanghebbenden – consumentenorganisaties en sociale partners, bedrijven, onderzoekers en maatschappelijke organisaties – moeten worden geraadpleegd over de uitvoering en de verdere ontwikkeling van het kader.
De functies van de nieuwe governancestructuur mogen niet overlappen met die van reeds bestaande structuren op het gebied van financiën, geneesmiddelen, luchtvaart, medische hulpmiddelen, consumentenbescherming en gegevensbescherming. In plaats daarvan moet de governancestructuur in de diverse sectoren nauwe banden tot stand brengen met andere bevoegde instanties van de EU en de lidstaten, teneinde de aanwezige deskundigheid aan te vullen en de bestaande instanties te helpen bij de monitoring van de activiteiten van marktdeelnemers die betrokken zijn bij de uitrol van KI-systemen en op KI gebaseerde producten en diensten.
Indien gebruik wordt gemaakt van deze optie, zou de uitvoering van conformiteitsbeoordelingen ten slotte kunnen worden toevertrouwd aan door de lidstaten aangewezen aangemelde instanties. Testcentra moeten onafhankelijke audits en beoordelingen van KI-systemen mogelijk maken overeenkomstig de hierboven beschreven eisen. Onafhankelijke beoordelingen zullen het vertrouwen doen toenemen en staan garant voor objectiviteit. Dit kan ook de werkzaamheden van de relevante bevoegde autoriteiten vergemakkelijken.
De EU beschikt over uitstekende test- en beoordelingscentra en moet ook haar capaciteit op het gebied van KI ontwikkelen. In derde landen gevestigde marktdeelnemers die de interne markt willen betreden, kunnen gebruik maken van in de EU gevestigde aangewezen instanties of, indien overeenkomsten inzake wederzijdse erkenning zijn gesloten met deze derde landen, een beroep doen op de instanties van derde landen die zijn aangewezen om dergelijke beoordelingen uit te voeren.
De governancestructuur met betrekking tot KI en de eventuele conformiteitsbeoordelingen zouden geen gevolgen hebben voor de bevoegdheden en verantwoordelijkheden die de relevante bevoegde autoriteiten uit hoofde van de bestaande EU-wetgeving genieten in specifieke sectoren of voor specifieke kwesties (financiën, geneesmiddelen, luchtvaart, medische hulpmiddelen, consumentenbescherming, gegevensbescherming enz.).
6.Conclusie
KI is een strategische technologie die tal van voordelen biedt voor burgers, bedrijven en de samenleving als geheel, op voorwaarde dat zij mensgericht, ethisch en duurzaam is en de grondrechten en kernwaarden eerbiedigt. Dankzij KI kan belangrijke efficiëntie- en productiviteitswinst worden geboekt, die het concurrentievermogen van de Europese industrie kan versterken en het welzijn van de burgers kan verbeteren. KI kan ook bijdragen aan oplossingen voor een aantal van de meest prangende maatschappelijke uitdagingen, zoals de strijd tegen klimaatverandering en milieuaantasting, de uitdagingen in verband met duurzaamheid en demografische veranderingen, de bescherming van onze democratieën en, indien nodig en evenredig, de bestrijding van misdaad.
Om de kansen die door KI worden geboden volledig te kunnen grijpen, moet Europa de nodige industriële en technologische capaciteiten ontwikkelen en versterken. Zoals uiteengezet in de begeleidende Europese datastrategie, zijn hiervoor ook maatregelen nodig die de EU in staat stellen een mondiale hub voor data te worden.
De Europese aanpak van KI heeft tot doel Europa’s innovatiecapaciteit op het gebied van KI te bevorderen en tegelijkertijd de ontwikkeling en aanvaarding van ethische en betrouwbare KI door de gehele economie van de EU te ondersteunen. KI moet ten dienste staan van de mensen en een positieve kracht zijn in de samenleving.
De Commissie doet een oproep om opmerkingen over de voorstellen in het witboek in te dienen via een openbare raadpleging die beschikbaar is op https://ec.europa.eu/info/consultations_nl . De raadpleging loopt tot en met 19 mei 2020.
Het is vast gebruik van de Commissie om bijdragen die als reactie op een publieke raadpleging zijn ontvangen, te publiceren. U kunt echter vragen dat uw bijdrage (of delen daarvan) vertrouwelijk blijven. Geef dan op de eerste bladzijde van uw bijdrage duidelijk aan dat uw bijdrage niet mag worden openbaargemaakt. In dat geval dient u de Commissie ook een niet-vertrouwelijke versie van uw bijdrage te zenden die wél mag worden openbaargemaakt.
Met dit witboek en het bijbehorende verslag over het veiligheids- en aansprakelijkheidskader neemt de Commissie het initiatief voor een brede raadpleging waarin zij bij het maatschappelijk middenveld, het bedrijfsleven en de academische wereld peilt naar concrete voorstellen voor een Europese aanpak van KI. Deze voorstellen kunnen zowel betrekking hebben op beleidsmaatregelen om investeringen in onderzoek en ontwikkeling te bevorderen, om de ontwikkeling van vaardigheden te versterken en om KI ingang te doen vinden bij kmo’s, als op voorstellen voor essentiële onderdelen van een toekomstig regelgevingskader. Deze raadpleging zal een brede dialoog met alle betrokken partijen mogelijk maken; de resultaten zullen worden meegenomen in de volgende stappen van de Commissie.
(1)
Kunstmatige intelligentie voor Europa, COM(2018) 237 final
(2)
https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_nl_0.pdf.
(3)
COM(2020) 66 final.
(4)
KI en digitalisering in het algemeen zijn van cruciaal belang om de ambities van de Europese green deal te kunnen verwezenlijken. Op dit ogenblik wordt de milieuvoetafdruk van de ICT-sector op meer dan 2 % van alle wereldwijde emissies geraamd. In de Europese digitale strategie die bij dit witboek is gevoegd, worden maatregelen voorgesteld om de digitale sector te vergroenen.
(5)
KI-instrumenten kunnen kansen bieden om de EU-burgers beter te beschermen tegen misdaad en terreurdaden.
Dergelijke instrumenten kunnen bijvoorbeeld helpen om terroristische propaganda op het internet te identificeren, verdachte transacties bij de verkoop van gevaarlijke producten op te sporen, gevaarlijke verborgen voorwerpen of illegale stoffen of producten te ontdekken, bijstand te bieden aan burgers in noodsituaties en eerstehulpverleners te begeleiden.
(6)
COM(2019) 640 final.
(7)
Het is mogelijk dat verdere regelingen nodig zijn om misbruik van KI voor criminele doeleinden te voorkomen en te bestrijden, maar dit valt buiten het toepassingsgebied van dit witboek.
(8)
COM(2019) 168.
(9)
Gevolgd door Japan (30 %) en de VS (28 %). Bron: CapGemini (2019).
(10)
10 imperatives for Europe in the age of AI and automation, McKinsey (2017).
(11)
COM(2018) 795.
(12)
IDC (2019).
(13)
Gartner (2017).
(14)
Neuromorfische oplossingen zijn elk zeer grootschalig systeem van geïntegreerde schakelingen dat neurobiologische structuren in het zenuwstelsel nabootst.
(15)
Kwantumcomputers zullen in luttele seconden datareeksen kunnen verwerken die vele malen groter zijn dan de reeksen die op dit ogenblik door de krachtigste computers kunnen worden verwerkt, waardoor het mogelijk wordt nieuwe KI-toepassingen te ontwikkelen in verschillende sectoren.
(16)
Kunstmatige intelligentie voor Europa, COM(2018) 237 .
(17)
Gecoördineerd plan inzake kunstmatige intelligentie, COM(2018) 795 .
(18)
COM(2018) 237.
(19)
Het toekomstige Europees Defensiefonds en de permanente gestructureerde samenwerking (PESCO) zal ook mogelijkheden creëren voor onderzoek en ontwikkeling op het gebied van KI. Deze projecten moeten worden gesynchroniseerd met de bredere civiele programma’s van de EU die aan KI zijn gewijd.
(20)
https://ec.europa.eu/jrc/en/publication/academic-offer-and-demand-advanced-profiles-eu.
(21)
ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-helping-companies-across-economy-make-most-digital-opportunities.
(22)
www.Ai4eu.eu.
(23)
Europe.eu/investeu.
(24)
“Findable, Accessible, Interoperable and Reusable” (vindbaar, toegankelijk, interoperabel en herbruikbaar), zoals vermeld in het eindverslag en het actieplan van de deskundigengroep van de Commissie inzake FAIR-gegevens, 2018, https://ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf.
(25)
https://www.oecd.org/going-digital/ai/principles/
(26)
In het kader van het partnerschapsinstrument zal de Commissie een project van 2,5 miljoen EUR financieren dat de samenwerking met gelijkgestemde partners zal vergemakkelijken, teneinde de ethische richtsnoeren van de EU inzake KI te bevorderen en gemeenschappelijke beginselen en operationele conclusies vast te stellen.
(27)
Voorzitter Von der Leyen, Een Unie die de lat hoger legt - Mijn agenda voor Europa, blz. 17.
(28)
COM(2018) 237.
(29)
COM(2018) 795.
(30)
https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top
(31)
COM(2019) 168.
(32)
Hieronder worden onder meer cyberbeveiligingskwesties, problemen die verband houden met KI-toepassingen in kritieke infrastructuren of kwaadwillig gebruik van KI verstaan.
(33)
Uit onderzoek van de Raad van Europa blijkt dat KI gevolgen kan hebben voor een groot aantal grondrechten, https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5 .
(34)
De algemene verordening gegevensbescherming en de e-privacyrichtlijn (momenteel wordt onderhandeld over een nieuwe e-privacyverordening) komen tegemoet aan deze risico’s, maar wellicht moet worden onderzocht of systemen op basis van KI aanvullende risico’s met zich meebrengen. De Commissie zal de toepassing van de algemene verordening gegevensbescherming permanent monitoren en beoordelen.
(35)
Het Raadgevend Comité van de Commissie voor gelijke kansen van mannen en vrouwen werkt momenteel aan een “advies over kunstmatige intelligentie”, waarin onder meer wordt ingegaan op de gevolgen van kunstmatige intelligentie voor gendergelijkheid; naar verwachting zal dit advies begin 2020 door het comité worden vastgesteld. In de EU-strategie inzake gendergelijkheid 2020-2024 wordt eveneens aandacht besteed aan het verband tussen KI en gendergelijkheid; het Europees netwerk van organen voor de bevordering van gelijke behandeling (Equinet) zal begin 2020 een verslag publiceren (door Robin Allen en Dee Masters) met de titel “Regulating AI: the new role for Equality Bodies – Meeting the new challenges to equality and non-discrimination from increased digitalisation and the use of AI”.
(36)
Een voorbeeld is de smartwatch voor kinderen. Dit product brengt dan wel geen directe schade toe aan het kind dat het draagt, maar aangezien het op geen enkele manier is beveiligd, kan het gemakkelijk worden gebruikt als instrument om toegang te krijgen tot het kind. Het kan moeilijk zijn voor de markttoezichtautoriteiten om in te grijpen in gevallen waarin het risico geen verband houdt met het product op zich.
(37)
In het verslag van de Commissie bij dit witboek wordt onderzocht welke gevolgen KI, het internet der dingen en andere digitale technologieën hebben voor de veiligheids- en aansprakelijkheidswetgeving.
(38)
Het rechtskader van de EU voor productveiligheid bestaat uit de richtlijn algemene productveiligheid (Richtlijn 2001/95/EG), dat als veiligheidsnet dient, en een aantal sectorspecifieke regels voor verschillende productcategorieën, gaande van machines over vliegtuigen en auto’s tot speelgoed en medische apparatuur, en heeft tot doel te zorgen voor een hoog niveau van veiligheid en gezondheid. De wetgeving inzake productaansprakelijkheid wordt aangevuld door verschillende systemen van burgerlijke aansprakelijkheid voor schade die wordt veroorzaakt door producten of diensten.
(39)
Richtlijn 2000/43/EG.
(40)
Richtlijn 2000/78/EG.
(41)
Richtlijn 2004/113/EG; Richtlijn 2006/54/EG.
(42)
Zoals de richtlijn oneerlijke handelspraktijken (Richtlijn 2005/29/EG) en de richtlijn consumentenrechten (Richtlijn 2011/83/EG).
(43)
Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens door bevoegde autoriteiten met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, en betreffende het vrije verkeer van die gegevens.
(44)
Richtlijn (EU) 2019/882 betreffende de toegankelijkheidsvoorschriften voor producten en diensten.
(45)
Software die door de fabrikant is bestemd om voor medische doeleinden te worden gebruikt, wordt bijvoorbeeld als een medisch hulpmiddel beschouwd in de zin van de verordening betreffende medische hulpmiddelen (Verordening (EU) 2017/745).
(46)
COM(2018) 237 final, blz. 1: "Kunstmatige intelligentie (KI) verwijst naar systemen die intelligent gedrag vertonen door hun omgeving te analyseren en – in zekere mate zelfstandig – actie te ondernemen om specifieke doelstellingen te verwezenlijken.
Op KI gebaseerde systemen kunnen uitsluitend uit software bestaan en actief zijn in de virtuele wereld (bijvoorbeeld stemgestuurde assistenten, software voor beeldanalyse, zoekmachines en systemen voor spraak- en gezichtsherkenning), maar KI kan ook in hardwareapparaten worden geïntegreerd (bijvoorbeeld geavanceerde robots, zelfrijdende auto’s, drones of toepassingen van het internet der dingen)."
(47)
Deskundigengroep op hoog niveau, een definitie van KI, blz. 8: “Systemen op basis van kunstmatige intelligentie (KI) zijn door mensen ontworpen softwaresystemen (en mogelijk ook hardwaresystemen) die, met een complex doel, in de fysieke of digitale dimensie werken door via gegevensverzameling hun omgeving waar te nemen, de verzamelde gestructureerde of ongestructureerde gegevens te interpreteren, te redeneren op basis van de uit deze gegevens verkregen kennis of de verkregen informatie te verwerken en te beslissen met welke handeling(en) het gestelde doel het best kan worden bereikt. KI-systemen kunnen gebruikmaken van symbolische regels of een numeriek model leren en kunnen hun gedrag ook aanpassen door te analyseren welke invloed hun eerdere handelingen op de omgeving hebben.”
(48)
Er zijn bijvoorbeeld verschillende veiligheidsoverwegingen en juridische gevolgen verbonden aan KI-systemen die gespecialiseerde medische informatie verstrekken aan dokters, KI-systemen die rechtstreeks medische informatie verstrekken aan de patiënt en KI-systemen die zelf rechtstreeks medische taken uitvoeren op een patiënt. De Commissie onderzoekt deze uitdagingen op het gebied van veiligheid en aansprakelijkheid, die specifiek zijn voor de gezondheidszorg.
(49)
Al naargelang het domein, bv. productveiligheid, kan de EU-wetgeving “risico’s” anders indelen dan hier is beschreven.
(50)
De openbare sector kan gebieden bestrijken als asiel, migratie, grenscontrole en rechtspraak, sociale zekerheid en arbeidsbemiddeling.
(51)
Het is belangrijk om te benadrukken dat ook andere EU-wetgeving van toepassingen kan zijn. De richtlijn algemene productveiligheid kan bijvoorbeeld van toepassing zijn op KI-toepassingen, wanneer deze zijn ingebouwd in een consumentenproduct.
(52)
Er moet een onderscheid worden gemaakt tussen biometrische identificatie op afstand en biometrische authenticatie (dit laatste is een beveiligingsproces dat gebaseerd is op de unieke biologische kenmerken van een individu om na te gaan of hij/zij is wie hij/zij zegt). Biometrische identificatie op afstand betekent dat de identiteit van meerdere personen op afstand, in een openbare ruimte en op continue of doorlopende wijze wordt vastgesteld met behulp van biometrische kenmerken (vingerafdrukken, gezichtsherkenning, iris, aderpatroon enz.), door deze te toetsen aan data die zijn opgeslagen in een databank.
(53)
Bijvoorbeeld documentatie over het algoritme, met inbegrip van wat het model dient te optimaliseren, welke gewichten aanvankelijk zijn toegekend aan bepaalde parameters enz.
(54)
Overeenkomstig artikel 13, lid 2, onder f), van de algemene verordening gegevensbescherming moeten verwerkingsverantwoordelijken de betrokkene bij de verkrijging van de persoonsgegevens nadere informatie over het bestaan van geautomatiseerde besluitvorming en bepaalde aanvullende informatie verstrekken om een behoorlijke en transparante verwerking te waarborgen.
(55)
Biometrische gegevens zijn gedefinieerd als “persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke of fysiologische kenmerken van een natuurlijke persoon op grond waarvan eenduidige identificatie van die natuurlijke persoon mogelijk is of wordt bevestigd, d.w.z. foto's, gezichtsopnamen, dactyloscopische gegevens [vingerafdrukken].” Richtlijn rechtshandhaving, art. 3, lid 13; algemene verordening gegevensbescherming, art. 4, lid 14; Verordening (EU) 2018/1725, art. 3, lid 18.
(56)
In het geval van gezichtsherkenning wordt een template van iemands gezichtsopname vergeleken met veel andere templates die in een databank zijn opgeslagen, om na te gaan of zijn of haar model in die databank zit. Authenticatie (of verificatie) daarentegen wordt vaak beschreven als één-op-één-overeenstemming. Het maakt de vergelijking mogelijk tussen twee biometrische templates, waarvan gewoonlijk wordt aangenomen dat ze betrekking hebben op dezelfde persoon. De twee biometrische templates worden vergeleken om te bepalen of de persoon op de twee afbeeldingen dezelfde is.
Deze procedure wordt bijvoorbeeld gebruikt in de poortjes van systemen voor automatische grenscontrole die gebruikt worden in luchthavens.
(57)
Bijvoorbeeld de waardigheid van personen. Het recht op eerbiediging van het privéleven en de bescherming van persoonsgegevens vormen de kern van de bezorgdheid over de grondrechten bij het gebruik van gezichtsherkenningstechnologie. Deze technologie kan ook gevolgen hebben op het vlak van non-discriminatie en rechten van speciale groepen, zoals kinderen, ouderen en personen met een handicap. Bovendien mag de vrijheid van meningsuiting, vereniging en vergadering niet worden ondermijnd door het gebruik van de technologie. Zie: Facial recognition technology: fundamental rights considerations in the context of law enforcement, https://fra.europa.eu/en/publication/2019/facial-recognition.
(58)
Artikel 9 van de algemene verordening gegevensbescherming, artikel 10 van de richtlijn rechtshandhaving. Zie ook artikel 10 van Verordening (EU) 2018/1725 (van toepassing op de instellingen en organen van de EU).
(59)
Het systeem zou gebaseerd zijn op de conformiteitsbeoordelingsprocedures in de EU (zie Besluit 768/2008/EG) of op Verordening (EU) 2019/881 (de cyberbeveiligingsverordening), rekening houdende met de specifieke kenmerken van KI. Zie de 'Blauwe Gids' voor de uitvoering van de productvoorschriften van de EU, 2014.
(60)
Zie punt H hieronder wat de relevante governancestructuur betreft, met inbegrip van de instanties die zijn aangewezen om de conformiteitsbeoordelingen uit te voeren.