Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144, en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (Voor de EER relevante tekst)
HET EUROPEES PARLEMENT EN DE RAAD VAN DE EUROPESE UNIE,
Gezien het Verdrag betreffende de werking van de Europese Unie, en met name de artikelen 16 en 114,
Gezien het voorstel van de Europese Commissie,
Na toezending van het ontwerp van wetgevingshandeling aan de nationale parlementen,
Gezien het advies van het Europees Economisch en Sociaal Comité1,
Gezien het advies van de Europese Centrale Bank2,
Gezien het advies van het Comité van de Regio’s3,
Handelend volgens de gewone wetgevingsprocedure4,
(1) Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen, het in gebruik stellen, en het gebruik van artificiële-intelligentiesystemen (AI-systemen) in de Unie, in overeenstemming met de waarden van de Unie, de introductie van mensgerichte en betrouwbare artificiële intelligentie (AI) te bevorderen en te zorgen voor een hoge mate van bescherming van de gezondheid, de veiligheid en de grondrechten zoals vastgelegd in het Handvest van de grondrechten van de Europese Unie (het “Handvest”), met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, te beschermen tegen de schadelijke effecten van AI-systemen in de Unie, alsook innovatie te ondersteunen. Deze verordening waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.
(2) Deze verordening moet worden toegepast in overeenstemming met de in het Handvest vastgelegde waarden van de Unie, om zo de bescherming van natuurlijke personen, ondernemingen, de democratie, de rechtsstaat en de bescherming van het milieu te faciliteren en tegelijkertijd innovatie en werkgelegenheid te stimuleren en van de Unie een voortrekker te maken bij de introductie van betrouwbare AI.
(3) AI-systemen kunnen gemakkelijk worden ingezet in een ruime verscheidenheid van economische sectoren en in tal van onderdelen van de samenleving, ook grensoverschrijdend, en kunnen gemakkelijk in de hele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat AI betrouwbaar en veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en tot vermindering van de rechtszekerheid voor operatoren die AI-systemen ontwikkelen, importeren of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd zodat AI betrouwbaar is, terwijl verschillen die het vrije verkeer, de innovatie, de inzet en de ingebruikneming van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor operatoren vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, waarbij beperkingen worden opgelegd aan het voor rechtshandhaving bedoelde gebruik van AI-systemen voor biometrische identificatie op afstand, AI-systemen voor risicobeoordelingen van natuurlijke personen en AI-systemen voor biometrische categorisering, moet deze verordening, wat die specifieke regels betreft, worden gebaseerd op artikel 16 VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.
(4) AI is een snel evoluerende verzameling van technologieën die bijdraagt aan een brede waaier van economische, milieu- en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Het gebruik van AI kan ondernemingen, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor natuurlijke personen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om sociaal en ecologische gunstige resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, voedselveiligheid, onderwijs en opleiding, media, sport, cultuur, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, milieumonitoring, behoud en herstel van biodiversiteit en ecosystemen en klimaatmitigatie en -adaptatie.
(5) Tegelijkertijd kan AI, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, en van het niveau van technologische ontwikkeling, risico’s opleveren en schade toebrengen aan de openbare belangen en grondrechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn, en kan lichamelijke, psychische, maatschappelijke of economische schade omvatten.
(6) Aangezien AI van grote invloed op de samenleving kan zijn en het dus nodig is vertrouwen op te bouwen, is het essentieel dat AI en het AI-regelgevingskader worden ontwikkeld in overeenstemming met de waarden van de Unie zoals verankerd in artikel 2 van het Verdrag betreffende de Europese Unie (VEU), met de in de Verdragen vastgelegde grondrechten en fundamentele vrijheden, alsook, op grond van artikel 6 VEU, met het Handvest. Een eerste voorwaarde is dat AI een mensgerichte technologie moet zijn. Het moet dienen als instrument voor mensen, met als uiteindelijk doel het welzijn van de mens te vergroten.
(7) Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke regels voor AI-systemen met een hoog risico worden vastgesteld. Die regels moeten in overeenstemming zijn met het Handvest, niet-discriminerend zijn en stroken met de internationale handelsverbintenissen van de Unie. In de regels moet ook rekening worden gehouden met de Europese verklaring over digitale rechten en beginselen voor het digitale decennium en de ethische richtsnoeren voor betrouwbare KI van de deskundigengroep op hoog niveau inzake artificiële intelligentie (AI HLEG).
(8) Om de ontwikkeling, het gebruik en de introductie van AI op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake AI, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen, het in gebruik stellen en het gebruik van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen profiteren van het beginsel van vrij verkeer van goederen en diensten. Die regels moeten duidelijk en robuust zijn voor wat betreft de bescherming van de grondrechten, en nieuwe innovatieve oplossingen ondersteunen, om zo een Europees ecosysteem mogelijk te maken van publieke en particuliere actoren die AI-systemen creëren conform de waarden van de Unie, en het potentieel van de digitale transformatie in alle regio’s van de Unie te ontsluiten. Door die regels, alsook maatregelen ter ondersteuning van innovatie met bijzondere nadruk op kleine en middelgrote ondernemingen (kmo’s), waaronder start-ups, vast te stellen, steunt deze verordening de doelstelling om de Europese mensgerichte benadering van AI te bevorderen en wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische AI, zoals verklaard door de Europese Raad5, en waarborgt deze verordening de bescherming van ethische beginselen, zoals specifiek gevraagd door het Europees Parlement6.
(9) Er moeten geharmoniseerde regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico, en in overeenstemming zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad7, Besluit nr. 768/2008/EG van het Europees Parlement en de Raad8 en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad9 (“het nieuwe wetgevingskader”). De in deze verordening vastgelegde geharmoniseerde regels moeten in alle sectoren van toepassing zijn en mogen, in overeenstemming met het nieuwe wetgevingskader, geen afbreuk doen aan bestaand Unierecht, met name het Unierecht inzake gegevensbescherming, consumentenbescherming, grondrechten, werkgelegenheid, bescherming van werknemers en productveiligheid, waarop deze verordening een aanvulling vormt. Bijgevolg blijven alle rechten en rechtsmiddelen waarin dat Unierecht voorziet voor consumenten en andere personen voor wie AI-systemen negatieve gevolgen kunnen hebben, onder meer wat betreft de vergoeding van mogelijke schade overeenkomstig Richtlijn 85/374/EEG van de Raad10, onverlet en volledig van toepassing. Voorts mag deze verordening, in het kader van de werkgelegenheid en de bescherming van werknemers, derhalve geen afbreuk doen aan het recht van de Unie inzake sociaal beleid, noch aan het nationale arbeidsrecht, in naleving van het Unierecht, wat betreft werkgelegenheid en arbeidsvoorwaarden, met inbegrip van gezondheid en veiligheid op het werk en de betrekkingen tussen werkgevers en werknemers. Deze verordening mag evenmin afbreuk doen aan de uitoefening van de in de lidstaten en op het niveau van de Unie erkende grondrechten, waaronder het stakingsrecht of de stakingsvrijheid dan wel het recht of de vrijheid om in het kader van de specifieke stelsels van arbeidsverhoudingen in de lidstaten andere acties te voeren, alsook het recht om over collectieve overeenkomsten te onderhandelen, deze te sluiten en naleving ervan af te dwingen, of om collectieve actie te voeren overeenkomstig het nationaal recht. Deze verordening mag geen afbreuk doen aan de bepalingen ter verbetering van de arbeidsomstandigheden bij platformwerk die zijn vastgelegd in een richtlijn van het Europees Parlement en de Raad betreffende de verbetering van de arbeidsvoorwaarden bij platformwerk. Daarnaast heeft deze verordening tot doel de doeltreffendheid van dergelijke bestaande rechten en rechtsmiddelen te versterken door specifieke eisen en verplichtingen vast te stellen, onder meer met betrekking tot de transparantie, technische documentatie en registratie van AI-systemen. Voorts moeten de verplichtingen die verschillende operatoren die betrokken zijn bij de AI-waardeketen uit hoofde van deze verordening krijgen opgelegd, van toepassing zijn onverminderd het nationale recht, in naleving van het Unierecht, met als gevolg dat het gebruik van bepaalde AI-systemen wordt beperkt indien dergelijk nationaal recht buiten het toepassingsgebied van deze verordening valt of andere legitieme doelstellingen van algemeen belang nastreeft dan die welke door deze verordening worden nagestreefd. Deze verordening mag bijvoorbeeld geen afbreuk doen aan het nationale arbeidsrecht en de wetgeving inzake de bescherming van minderjarigen, namelijk personen jonger dan 18 jaar, rekening houdend met algemene opmerking nr. 25 (2021) bij het Verdrag van de Verenigde Naties inzake de rechten van het kind over kinderrechten met betrekking tot de digitale omgeving, voor zover deze niet specifiek zijn voor AI-systemen en andere legitieme doelstellingen van algemeen belang nastreven.
(10) Het grondrecht van de bescherming van persoonsgegevens wordt met name gewaarborgd door de Verordeningen (EU) 2016/67911 en (EU) 2018/172512 van het Europees Parlement en de Raad en Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad13. Daarnaast beschermt Richtlijn 2002/58/EG van het Europees Parlement en de Raad14 het privéleven en de vertrouwelijkheid van communicatie, onder meer door te voorzien in voorwaarden met betrekking tot de opslag van en de toegang tot persoonsgegevens en niet-persoonsgebonden gegevens in eindapparatuur. Die rechtshandelingen van de Unie vormen de basis voor duurzame en verantwoorde dataverwerking, onder meer wanneer datasets een mix van persoonsgegevens en niet-persoonsgebonden gegevens bevatten. Deze verordening laat de toepassing van de bestaande Uniewetgeving betreffende de verwerking van persoonsgegevens, met inbegrip van de taken en bevoegdheden van de onafhankelijke toezichthoudende autoriteiten die met het toezicht op de naleving van die instrumenten belast zijn, onverlet. Deze verordening doet evenmin afbreuk aan de verplichtingen van aanbieders en gebruiksverantwoordelijken van AI-systemen in hun rol als verwerkingsverantwoordelijke of verwerker die voortvloeien uit het Unie- of nationale recht inzake de bescherming van persoonsgegevens, voor zover er in het kader van het ontwerp, de ontwikkeling of het gebruik van AI-systemen persoonsgegevens worden verwerkt. Het is ook passend te verduidelijken dat betrokkenen alle rechten en waarborgen blijven genieten die hun door dat Unierecht zijn toegekend, met inbegrip van de rechten die verband houden met uitsluitend geautomatiseerde individuele besluitvorming, waaronder profilering. De in deze verordening vastgelegde geharmoniseerde regels voor het in de handel brengen, de ingebruikstelling en het gebruik van AI-systemen moeten de doeltreffende uitvoering vergemakkelijken en de uitoefening van de rechten en andere rechtsmiddelen van betrokkenen mogelijk maken die worden gewaarborgd door het Unierecht inzake de bescherming van persoonsgegevens en andere grondrechten.
(11) Deze verordening mag geen afbreuk doen aan de bepalingen betreffende de aansprakelijkheid van aanbieders van tussenhandelsdiensten, zoals vastgelegd in Verordening 2022/2065 van het Europees Parlement en de Raad15.
(12) Het begrip “AI-systeem” in deze verordening moet duidelijk worden gedefinieerd en moet nauw aansluiten op het werk van internationale organisaties die zich bezighouden met AI, om rechtszekerheid te waarborgen, internationale convergentie en brede acceptatie te faciliteren, en tegelijkertijd de nodige flexibiliteit te bieden om op de snelle technologische ontwikkelingen op dit gebied te kunnen inspelen. Bovendien moet de definitie gebaseerd zijn op de belangrijkste kenmerken van AI-systemen die het onderscheiden van eenvoudigere traditionele softwaresystemen of programmeringsbenaderingen, en mag het geen betrekking hebben op systemen die gebaseerd zijn op regels die uitsluitend door natuurlijke personen zijn vastgesteld om automatisch handelingen uit te voeren. Een belangrijk kenmerk van AI-systemen is hun inferentievermogen. Dit inferentievermogen slaat op het proces waarbij output, zoals voorspellingen, content, aanbevelingen of besluiten, wordt verkregen waarmee fysieke en virtuele omgevingen kunnen worden beïnvloed, en op het vermogen van AI-systemen om modellen of algoritmen, of beide, af te leiden uit input of data. De technieken die inferentie mogelijk maken bij de opbouw van een AI-systeem, omvatten benaderingen op basis van machinaal leren waarbij aan de hand van data wordt geleerd hoe bepaalde doelstellingen kunnen worden bereikt, alsook op logica en kennis gebaseerde benaderingen waarbij iets wordt geïnfereerd uit gecodeerde kennis of uit een symbolische weergave van de op te lossen taak. Het inferentievermogen van een AI-systeem overstijgt de elementaire verwerking van data door leren, redeneren of modelleren mogelijk te maken. De term “op een machine gebaseerd” verwijst naar het feit dat AI-systemen op machines draaien. De verwijzing naar expliciete of impliciete doelstellingen onderstreept dat AI-systemen kunnen functioneren volgens expliciete, gedefinieerde doelstellingen, of volgens impliciete doelstellingen. De doelstellingen van een AI-systeem kunnen verschillen van het beoogde doel van het AI-systeem in een specifieke context. Voor de toepassing van deze verordening moeten onder omgevingen de contexten worden verstaan waarin de AI-systemen werken, terwijl de output die door het AI-systeem wordt gegenereerd een uiting is van de verschillende functies van AI-systemen en de vorm kan aannemen van voorspellingen, content, aanbevelingen of besluiten. AI-systemen worden zodanig ontworpen dat zij in verschillende mate autonoom kunnen functioneren, wat betekent dat zij een zekere mate van onafhankelijkheid van menselijke betrokkenheid bezitten en zonder menselijke tussenkomst kunnen functioneren. Het aanpassingsvermogen dat een AI-systeem na het inzetten ervan kan vertonen, heeft betrekking op zelflerende capaciteiten, waardoor het systeem tijdens het gebruik kan veranderen. AI-systemen kunnen op standalonebasis of als component van een product worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed).
(13) Het in deze verordening bedoelde begrip “gebruiksverantwoordelijke” moet worden uitgelegd als alle natuurlijke of rechtspersonen, met inbegrip van overheidsinstanties, agentschappen of andere organen, die een AI-systeem onder eigen verantwoordelijkheid gebruiken, behalve in gevallen waarin het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-professionele activiteit. Afhankelijk van het type AI-systeem kan het gebruik van het systeem invloed hebben op andere personen dan de gebruiksverantwoordelijke.
(14) Het in deze verordening gebruikte begrip “biometrische gegevens” moet worden uitgelegd in het licht van het begrip biometrische gegevens zoals gedefinieerd in artikel 4, punt 14), van Verordening (EU) 2016/679, artikel 3, punt 18), van Verordening (EU) 2018/1725 en artikel 3, punt 13), van Richtlijn (EU) 2016/680. Biometrische gegevens kunnen de authenticatie, identificatie of categorisering van natuurlijke personen en de herkenning van emoties van natuurlijke personen mogelijk maken.
(15) Het in deze verordening bedoelde begrip “biometrische identificatie” moet worden gedefinieerd als de automatische herkenning van fysieke, fysiologische en gedragsgerelateerde menselijke kenmerken zoals het gezicht, oogbewegingen, lichaamsvorm, stem, prosodie, gang, houding, hartslag, bloeddruk, geur, toetsaanslagen, met als doel de identiteit van een natuurlijke persoon vast te stellen door biometrische gegevens van die natuurlijke persoon te vergelijken met opgeslagen biometrische gegevens van natuurlijke personen in een referentiedatabank, ongeacht of die natuurlijke persoon daarmee heeft ingestemd. Daarvan uitgesloten zijn AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, die er uitsluitend op gericht zijn te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie.
(16) Het begrip “biometrische categorisering” in deze verordening moet worden gedefinieerd als het toewijzen van natuurlijke personen aan specifieke categorieën op basis van hun biometrische gegevens. Zulke specifieke categorieën kunnen betrekking hebben op aspecten zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, gedragsgerelateerde of persoonlijkheidskenmerken, taal, religie, het behoren tot een nationale minderheid, seksuele gerichtheid of politieke overtuiging. Daarvan uitgesloten zijn systemen voor biometrische categorisering die een louter bijkomstige functie zijn die intrinsiek verbonden is met een andere commerciële dienst, waarbij die functie om objectieve technische redenen niet los van de hoofddienst kan worden gebruikt, en de integratie van die functie of functionaliteit geen middel is om de toepassing van de regels van deze verordening te omzeilen. Filters die op onlinemarktplaatsen gebruikte gezichts- of lichaamskenmerken categoriseren, kunnen bijvoorbeeld een dergelijke nevenfunctie vormen, aangezien zij alleen kunnen worden gebruikt voor de hoofddienst die bestaat in de verkoop van een product door de consument in staat te stellen de weergave van het product op zichzelf te bekijken en de consument te helpen een aankoopbeslissing te nemen. Filters die worden gebruikt op online socialenetwerkdiensten die gezichts- of lichaamskenmerken categoriseren om gebruikers in staat te stellen foto’s of video’s toe te voegen of te wijzigen, kunnen ook als bijkomstig worden beschouwd, aangezien dergelijke filters niet kunnen worden gebruikt zonder de hoofddienst van de socialenetwerkdiensten die bestaat in het online delen van content.
(17) Het in deze verordening bedoelde begrip “systeem voor biometrische identificatie op afstand” moet functioneel worden gedefinieerd, als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen, doorgaans van een afstand, zonder dat zij hier actief bij betrokken zijn, door vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank, ongeacht de specifieke gebruikte technologie, processen of soorten biometrische gegevens. Dergelijke systemen voor biometrische identificatie op afstand worden doorgaans gebruikt om meerdere personen of hun gedrag gelijktijdig waar te nemen, teneinde de identificatie van natuurlijke personen, zonder dat zij er actief bij betrokken zijn, aanzienlijk te vergemakkelijken. Daarvan uitgesloten zijn AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, met als enige doel te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie. Die uitsluiting wordt gerechtvaardigd door het feit dat dergelijke systemen waarschijnlijk geringe gevolgen zullen hebben voor de grondrechten van natuurlijke personen in vergelijking met systemen voor biometrische identificatie op afstand die kunnen worden gebruikt voor de verwerking van biometrische gegevens van een groot aantal personen, zonder dat zij er actief bij betrokken zijn. In het geval van realtimesystemen gebeurt de vastlegging van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de betrokken AI-systemen te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van: “live” of “bijna live” materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een noemenswaardige vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.
(18) Het in deze verordening bedoelde begrip “systeem voor het herkennen van emoties” moet worden gedefinieerd als een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens. Het begrip verwijst naar emoties of intenties zoals geluk, droefheid, woede, verrassing, weerzin, verlegenheid, opwinding, schaamte, minachting, tevredenheid en plezier. Het omvat geen fysieke toestanden, zoals pijn of vermoeidheid, met inbegrip van bijvoorbeeld systemen die worden gebruikt om vermoeidheid bij beroepspiloten of beroepschauffeurs te detecteren om ongevallen te voorkomen. Het omvat evenmin de loutere detectie van gemakkelijk zichtbare uitdrukkingen, gebaren of bewegingen, tenzij deze worden gebruikt om emoties te herkennen of af te leiden. Die uitdrukkingen kunnen basale gezichtsuitdrukkingen zijn, zoals een frons of een glimlach, of gebaren zoals hand-, arm-, of hoofdbewegingen, of kenmerken van iemands stem, zoals een luide spreektoon of een fluistertoon.
(19) Voor de toepassing van deze verordening moet het begrip “openbare ruimte” worden opgevat als een verwijzing naar elke fysieke plaats die toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of de plaats in kwestie particulier of publiek eigendom is, ongeacht de activiteit waarvoor de plaats kan worden gebruikt, zoals voor handel, zoals winkels, restaurants, cafés, voor diensten, zoals banken, beroepsactiviteiten, horeca, voor sport, zoals zwembaden, fitnesscentra, stadions, voor vervoer, zoals bus-, metro- en treinstations, luchthavens, vervoermiddelen, voor ontspanning, zoals bioscopen, theaters, musea, concert- en conferentiezalen of voor vrijetijdsbesteding of anderszins, zoals openbare wegen en pleinen, parken, bossen, speelplaatsen. Een plaats moet ook als openbare ruimte worden ingedeeld indien, ongeacht potentiële capaciteits- of beveiligings-beperkingen, de toegang onderworpen is aan bepaalde vooraf vastgestelde voorwaarden waaraan een onbepaald aantal personen kan voldoen, zoals de aankoop van een vervoerbewijs of een vervoerstitel, voorafgaande registratie of het hebben van een bepaalde leeftijd. Een plaats mag daarentegen niet als openbare ruimte worden beschouwd indien de toegang beperkt is tot specifieke en gedefinieerde natuurlijke personen door middel van Unie- of nationale wetgeving die rechtstreeks verband houdt met de openbare veiligheid of beveiliging of door de duidelijke wilsuiting van de persoon die ter plaatse over de benodigde autoriteit beschikt. De feitelijke mogelijkheid van toegang alleen, zoals een onvergrendelde deur of een open poort in een omheining, betekent niet dat de plaats een openbare ruimte is wanneer er aanwijzingen of omstandigheden zijn die het tegendeel suggereren, zoals borden die de toegang verbieden of beperken. Bedrijfsruimten en fabrieksgebouwen, alsook kantoren en werkplekken die alleen bestemd zijn voor bevoegde werknemers en dienstverleners, zijn plaatsen die niet openbaar zijn. Gevangenissen of grenstoezichtsgebieden mogen niet als openbare ruimte worden ingedeeld. Sommige andere plaatsen kunnen uit zowel niet-openbare als openbare ruimten bestaan, zoals de hal van een particulier woongebouw waar men door moet om bij een arts te komen, of een luchthaven. Onlineruimten vallen onder het toepassingsgebied, omdat het geen fysieke ruimten zijn. Of een bepaalde ruimte openbaar is, moet echter per geval worden bepaald, rekening houdend met de specifieke omstandigheden van de situatie in kwestie.
(20) Om de grootste voordelen van AI-systemen te behalen en tegelijkertijd de grondrechten, gezondheid en veiligheid te beschermen en democratische controle mogelijk te maken, moeten aanbieders, gebruiksverantwoordelijken en betrokken personen door middel van AI-geletterdheid van de nodige kennis voorzien worden om onderbouwde beslissingen te nemen met betrekking tot AI-systemen. Die kennis kan verschillen naargelang de context en kan inzicht omvatten in de correcte toepassing van technische elementen tijdens de ontwikkelingsfase van het AI-systeem, de maatregelen die moeten worden toegepast tijdens het gebruik ervan, hoe de output van het AI-systeem moet worden geïnterpreteerd, en, in het geval van betrokken personen, de kennis die nodig is om te begrijpen hoe beslissingen die met behulp van AI worden genomen, op hen van invloed zullen zijn. In het kader van de toepassing van deze verordening moet AI-geletterdheid alle relevante actoren in de AI-waardeketen de inzichten verschaffen die nodig zijn om de passende naleving en de correcte handhaving ervan te waarborgen. Voorts kunnen de brede uitvoering van maatregelen op het gebied van AI-geletterdheid en de invoering van passende vervolgmaatregelen bijdragen tot het verbeteren van de arbeidsomstandigheden en uiteindelijk de consolidatie en innovatie van betrouwbare AI in de Unie ondersteunen. De Europese raad voor artificiële intelligentie (European Artificial Intelligence Board — de “AI-board”) moet de Commissie ondersteunen bij het bevorderen van instrumenten voor AI-geletterdheid en van de bekendheid van het publiek met en hun begrip van de voordelen, risico’s, waarborgen, rechten en plichten met betrekking tot het gebruik van AI-systemen. In samenwerking met de relevante belanghebbenden moeten de Commissie en de lidstaten de opstelling van vrijwillige gedragscodes faciliteren om de AI-geletterdheid te bevorderen bij personen die zich bezighouden met de ontwikkeling, de exploitatie en het gebruik van AI.
(21) Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van natuurlijke personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruiksverantwoordelijken van AI-systemen.
(22) Gezien hun digitale aard moeten zelfs bepaalde AI-systemen die niet in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt, onder het toepassingsgebied van deze verordening vallen. Dit is bijvoorbeeld het geval wanneer een in de Unie gevestigde operator aan een in een derde land gevestigde operator bepaalde diensten uitbesteedt voor een activiteit die wordt verricht door een AI-systeem dat als een AI-systeem met een hoog risico kan worden aangemerkt. In die omstandigheden zou het AI-systeem dat door de operator in een derde land wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende operator in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat het AI-systeem in de Unie in de handel wordt gebracht, in gebruik wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output bedoeld is om in de Unie te worden gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake toekomstige samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal worden uitgewisseld, mag deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van samenwerking of internationale overeenkomsten die op het niveau van de Unie of op nationaal niveau zijn gesloten met het oog op samenwerking met de Unie of haar lidstaten op het gebied van rechtshandhaving en justitie, mits het betrokken derde land of de betrokken internationale organisatie in passende waarborgen voorziet met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. In voorkomend geval kan dit betrekking hebben op activiteiten van entiteiten die door derde landen zijn belast met de uitvoering van specifieke taken ter ondersteuning van deze samenwerking op het gebied van rechtshandhaving en justitie. Een dergelijk kader voor samenwerking of dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere agentschappen van de Unie enerzijds en derde landen en internationale organisaties anderzijds. De autoriteiten die uit hoofde van deze verordening bevoegd zijn voor het toezicht op de rechtshandhavingsinstanties en justitiële autoriteiten, moeten beoordelen of die kaders voor samenwerking of internationale overeenkomsten passende waarborgen bevatten met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. De ontvangende nationale autoriteiten en de ontvangende instellingen, organen en instanties van de Unie die gebruikmaken van dergelijke output in de Unie, blijven er verantwoordelijk voor dat het gebruik ervan in overeenstemming is met het recht van de Unie. Wanneer die internationale overeenkomsten worden herzien of er in de toekomst nieuwe worden gesloten, moeten de overeenkomstsluitende partijen alles in het werk stellen om die overeenkomsten in overeenstemming te brengen met de eisen van deze verordening.
(23) Deze verordening moet ook van toepassing zijn op instellingen, organen en instanties van de Unie wanneer zij optreden als aanbieder of gebruiksverantwoordelijke van een AI-systeem.
(24) Indien en voor zover AI-systemen voor militaire, defensie- of nationale veiligheidsdoeleinden, met of zonder wijziging van die systemen, in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt, moeten deze worden uitgesloten van het toepassingsgebied van deze verordening, ongeacht welk soort entiteit, bv. een publieke of private entiteit, die activiteiten uitvoert. Wat militaire en defensiedoeleinden betreft, wordt een dergelijke uitsluiting zowel gerechtvaardigd door artikel 4, lid 2, VEU, als door de specifieke kenmerken van het defensiebeleid van de lidstaten en het gemeenschappelijk defensiebeleid van de Unie krachtens titel V, hoofdstuk 2, VEU, die onder het internationaal publiekrecht vallen, wat derhalve het geschiktere rechtskader is voor de regulering van AI-systemen in de context van het gebruik van dodelijk geweld en andere AI-systemen in de context van militaire en defensieactiviteiten. Wat de doeleinden van nationale veiligheid betreft, wordt de uitsluiting zowel gerechtvaardigd door het feit dat nationale veiligheid overeenkomstig artikel 4, lid 2, VEU, de uitsluitende verantwoordelijkheid van elke lidstaat blijft, als door de specifieke aard en operationele behoeften van de nationale veiligheidsactiviteiten en door de specifieke nationale regels die op die activiteiten van toepassing zijn. Indien echter een AI-systeem dat is ontwikkeld, in de handel is gebracht, in gebruik is gesteld of wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, tijdelijk of permanent voor andere dan die doeleinden wordt gebruikt, bijvoorbeeld civiele of humanitaire doeleinden, rechtshandhaving of openbare veiligheid, valt een dergelijk systeem wel binnen het toepassingsgebied van deze verordening. In dat geval moet de entiteit die het AI-systeem voor andere doeleinden dan militaire, defensie- of nationale veiligheidsdoeleinden gebruikt, ervoor zorgen dat het AI-systeem voldoet aan deze verordening, tenzij dat reeds het geval is. AI-systemen die in de handel worden gebracht of in gebruik worden gesteld voor een uitgesloten doeleinde, d.w.z. militaire, defensie- of nationaleveiligheidsdoeleinden, en een of meer niet-uitgesloten doeleinden, zoals civiele doeleinden of rechtshandhaving, vallen binnen het toepassingsgebied van deze verordening, en aanbieders van die systemen moeten er dan ook voor zorgen dat deze verordening wordt nageleefd. In die gevallen mag het feit dat een AI-systeem onder het toepassingsgebied van deze verordening valt, geen afbreuk doen aan de mogelijkheid voor entiteiten die nationale veiligheids-, defensie- en militaire activiteiten verrichten, ongeacht het soort entiteit dat die activiteiten uitvoert, om de AI-systemen te gebruiken voor nationale veiligheids-, militaire en defensiedoeleinden, waarvan het gebruik is uitgesloten van het toepassingsgebied van deze verordening. Een AI-systeem dat in de handel wordt gebracht voor civiele of rechtshandhavingsdoeleinden en dat met of zonder wijziging wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, mag niet binnen het toepassingsgebied van deze verordening vallen, ongeacht het soort entiteit dat die activiteiten uitvoert.
(25) Deze verordening moet innovatie ondersteunen en de vrijheid van wetenschap eerbiedigen en mag onderzoeks- en ontwikkelingsactiviteiten niet ondermijnen. Het is daarom noodzakelijk AI-systemen en -modellen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel, van het toepassingsgebied van deze verordening uit te sluiten. Bovendien moet ervoor worden gezorgd dat deze verordening geen andere gevolgen heeft voor wetenschappelijke onderzoeks- en ontwikkelingsactiviteiten met betrekking tot AI-systemen of -modellen voordat zij in de handel worden gebracht of in gebruik worden gesteld. Wat productgericht onderzoek en test- en ontwikkelingsactiviteiten met betrekking tot AI-systemen of -modellen betreft, mogen de bepalingen van deze verordening ook niet van toepassing zijn voordat die systemen en modellen in gebruik worden gesteld of in de handel worden gebracht. Die uitsluiting doet geen afbreuk aan de verplichting om aan deze verordening te voldoen wanneer een AI-systeem dat onder het toepassingsgebied van deze verordening valt, in de handel wordt gebracht of in gebruik wordt gesteld als gevolg van dergelijke onderzoeks- en ontwikkelingsactiviteiten, noch aan de toepassing van bepalingen inzake AI-testomgevingen voor regelgeving en testen onder reële omstandigheden. Onverminderd de uitsluiting van AI-systemen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en ontwikkeling als enig doel, moet elk ander AI-systeem dat voor de uitvoering van onderzoeks- en ontwikkelingsactiviteiten kan worden gebruikt, onderworpen blijven aan de bepalingen van deze verordening. Alle onderzoeks- en ontwikkelingsactiviteiten moeten in elk geval worden uitgevoerd met inachtneming van de erkende ethische en beroepsnormen voor wetenschappelijk onderzoek, en in overeenstemming met het toepasselijke Unierecht.
(26) Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en content van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde onaanvaardbare praktijken op het gebied van AI te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken operatoren vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.
(27) Hoewel de risicogebaseerde aanpak de basis vormt voor een evenredige en doeltreffende reeks bindende regels, is het belangrijk te herinneren aan de ethische richtsnoeren voor betrouwbare KI van 2019 die zijn opgesteld door de onafhankelijke AI HLEG die door de Commissie is aangesteld. In die richtsnoeren heeft de AI HLEG zeven niet-bindende ethische beginselen ontwikkeld die ervoor moeten zorgen dat AI betrouwbaar en ethisch verantwoord is. Die beginselen zijn: invloed en toezicht door mensen, technische robuustheid en veiligheid, privacy en datagovernance, transparantie; diversiteit, non-discriminatie en rechtvaardigheid, sociaal en ecologisch welzijn, en verantwoordingsplicht. Onverminderd de juridisch bindende eisen van deze verordening en enig ander toepasselijk Unierecht dragen die richtsnoeren bij tot het ontwerpen van coherente, betrouwbare en mensgerichte AI, in overeenstemming met het Handvest en de waarden waarop de Unie is gegrondvest. Volgens de richtsnoeren van de AI HLEG houdt “invloed en toezicht door mensen” in dat AI-systemen worden ontwikkeld en gebruikt als een instrument dat ten dienste staat van mensen, dat de menselijke waardigheid en persoonlijke autonomie eerbiedigt, en dat functioneert op een wijze waar mensen op passende wijze controle en toezicht op kunnen houden. “Technische robuustheid en veiligheid” betekent dat AI-systemen worden ontwikkeld op een wijze die voorziet in robuustheid in geval van problemen en in weerbaarheid tegen pogingen om het gebruik of de prestaties van het AI-systeem te wijzigen voor onrechtmatig gebruik door derden, en die onbedoelde schade tot een minimum beperkt. “Privacy en datagovernance” betekent dat AI-systemen worden ontwikkeld en gebruikt in overeenstemming met de regels inzake privacy en gegevensbescherming, en de verwerking van gegevens voldoet aan hoge normen wat kwaliteit en integriteit betreft. “Transparantie” betekent dat AI-systemen worden ontwikkeld en gebruikt op een wijze die passende traceerbaarheid en verklaarbaarheid mogelijk maakt, waarbij mensen ervan bewust worden gemaakt dat zij communiceren of interageren met een AI-systeem, en gebruiksverantwoordelijken naar behoren worden geïnformeerd over de mogelijkheden en beperkingen van dat AI-systeem en betrokken personen worden geïnformeerd over hun rechten. “Diversiteit, non-discriminatie en rechtvaardigheid” betekent dat AI-systemen zodanig worden ontwikkeld en gebruikt dat de inclusie van diverse actoren wordt gewaarborgd en dat gelijke toegang, gendergelijkheid en culturele diversiteit worden bevorderd, waarbij discriminerende effecten en onrechtvaardige vertekeningen die op grond van het Unierecht of het nationale recht verboden zijn, worden voorkomen. “Sociaal en ecologisch welzijn” betekent dat AI-systemen worden ontwikkeld en gebruikt op een duurzame en milieuvriendelijke wijze en op een manier die alle mensen ten goede komt, waarbij de langetermijneffecten op het individu, de samenleving en de democratie worden gemonitord en beoordeeld. De toepassing van die beginselen moet waar mogelijk worden vertaald in het ontwerp en het gebruik van AI-modellen. Zij moeten in ieder geval dienen als basis voor het opstellen van gedragscodes in het kader van deze verordening. Alle belanghebbenden, met inbegrip van het bedrijfsleven, de academische wereld, het maatschappelijk middenveld en normalisatieorganisaties, worden aangemoedigd om in voorkomend geval rekening te houden met de ethische beginselen voor de ontwikkeling van vrijwillige beste praktijken en normen.
(28) Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.
(29) Op AI gebaseerde manipulatietechnieken kunnen worden gebruikt om gebruikers te overtuigen zich ongewenst te gedragen en ze te misleiden door hen aan te zetten tot bepaalde beslissingen waardoor hun autonomie, besluitvorming en keuze worden ondermijnd en beperkt. Het in de handel brengen, in gebruik stellen of gebruiken van bepaalde AI-systemen met als doel of gevolg het menselijk gedrag wezenlijk te verstoren, waarbij waarschijnlijk aanzienlijke schade, met name met voldoende belangrijke negatieve gevolgen voor de fysieke of psychologische gezondheid of voor financiële belangen, zal optreden, is bijzonder gevaarlijk en moet daarom worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten zoals audio-, beeld- en videostimuli die personen niet kunnen waarnemen, omdat deze stimuli verder gaan dan de menselijke perceptie, of andere manipulatieve of bedrieglijke technieken die de autonomie, besluitvorming of vrije keuze van personen ondermijnen of beperken op wijzen waarvan mensen zich van deze technieken niet bewust zijn of waarbij, zelfs als ze zich er bewust van zijn, ze nog steeds misleid kunnen worden of hen niet kunnen beheersen of weerstaan. Dit kan bijvoorbeeld worden vergemakkelijkt door machine-hersen-interfaces of virtuele realiteit, aangezien zij een hogere mate van controle mogelijk maken over de stimuli die aan personen worden gepresenteerd, voor zover zij hun gedrag wezenlijk kunnen verstoren op een aanzienlijk schadelijke manier. Daarnaast kunnen AI-systemen ook kwetsbaarheden uitbuiten van een persoon of een specifieke groep personen als gevolg van hun leeftijd, handicap in de zin van Richtlijn (EU) 2019/882 van het Europees Parlement en de Raad16 of een specifieke sociale of economische situatie waardoor deze personen waarschijnlijk kwetsbaarder zullen zijn voor uitbuiting, zoals personen die in extreme armoede leven of personen die tot een etnische of religieuze minderheid behoren. Dergelijke AI-systemen kunnen in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt met als doel of als gevolg dat het gedrag van een persoon wezenlijk wordt verstoord op een manier die deze persoon, een andere persoon of groepen personen aanzienlijke schade berokkent of redelijkerwijs dreigt te berokkenen, met inbegrip van schade die in de loop der tijd erger kan worden, en moeten daarom worden verboden. Er kan worden aangenomen dat er geen sprake is van een intentie om gedrag te verstoren wanneer de verstoring het gevolg is van factoren buiten het AI-systeem waarop de aanbieder of de gebruiksverantwoordelijke geen invloed heeft, namelijk factoren die redelijkerwijs niet te voorzien zijn en die de aanbieder of de gebruiksverantwoordelijke van het AI-systeem bijgevolg niet kan beperken. In ieder geval is het niet vereist dat de aanbieder of de gebruiksverantwoordelijke de intentie heeft aanzienlijke schade te berokkenen, op voorwaarde dat deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. De verbodsbepalingen voor dergelijke AI-praktijken vormen een aanvulling op de bepalingen van Richtlijn 2005/29/EG van het Europees Parlement en de Raad17, met name die bepalingen waarin is vastgesteld dat oneerlijke handelspraktijken die tot economische of financiële schade voor consumenten leiden onder alle omstandigheden verboden zijn, ongeacht of zij via AI-systemen of anderszins tot stand worden gebracht. Het verbod op manipulatie- en uitbuitingspraktijken in deze verordening mag geen afbreuk doen aan rechtmatige praktijken in het kader van medische behandelingen, zoals psychologische behandeling van een psychische aandoening of lichamelijke revalidatie, wanneer die praktijken worden uitgevoerd overeenkomstig de toepasselijke medische normen en wetgeving, bijvoorbeeld met uitdrukkelijke toestemming van de natuurlijke personen of hun wettelijke vertegenwoordigers. Bovendien mogen gangbare en legitieme handelspraktijken, bijvoorbeeld in de reclamesector, die in overeenstemming zijn met het toepasselijke recht op zich niet worden beschouwd als schadelijke manipulatieve op AI gebaseerde praktijken.
(30) Systemen voor biometrische categorisering die gebaseerd zijn op biometrische gegevens van natuurlijke personen, zoals het gezicht of vingerafdrukken, om de politieke opvattingen, het lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, ras, seksleven of seksuele gerichtheid van een persoon af te leiden of te infereren, moeten worden verboden. Dat verbod mag geen betrekking hebben op het rechtmatig labelen, filteren of categoriseren van reeksen biometrische gegevens die in overeenstemming met het Unierecht of het nationale recht met betrekking tot biometrische gegevens zijn verkregen, zoals het sorteren van beelden op basis van haar- of oogkleur, die bijvoorbeeld op het gebied van rechtshandhaving kunnen worden gebruikt.
(31) AI-systemen die door publieke of door private actoren worden gebruikt om een beoordeling van natuurlijke personen (“social scoring”) uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren natuurlijke personen of groepen natuurlijke personen op basis van meerdere datapunten met betrekking tot hun sociale gedrag in meerdere contexten of op basis van bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken gedurende een bepaalde periode. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen natuurlijke personen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. AI-systemen die dergelijke onaanvaardbare scoringpraktijken met zich meebrengen en tot dergelijke nadelige of ongunstige resultaten leiden, moeten daarom worden verboden. Dat verbod mag geen afbreuk doen aan wettige praktijken voor de evaluatie van natuurlijke personen die worden verricht voor een specifiek doeleinde in overeenstemming met het Unierecht en het nationale recht.
(32) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten voor rechtshandhavingsdoeleinden wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Technische onnauwkeurigheden van AI-systemen voor biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Dergelijke mogelijke vertekende resultaten en discriminerende effecten zijn met name relevant met betrekking tot leeftijd, etniciteit, ras, geslacht of handicap. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de betrokken personen in de context van rechtshandhavingsactiviteiten of wanneer die personen van de rechtshandhavingsactiviteiten gevolgen ondervinden.
(33) Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik strikt noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar bepaalde slachtoffers van misdrijven, waaronder vermiste personen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag, en de lokalisatie of identificatie van daders of verdachten van de in een bijlage bij deze verordening genoemde strafbare feiten, indien die strafbare feiten in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumduur van ten minste vier jaar en zoals zij zijn gedefinieerd in het recht van die lidstaat. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt erop toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van systemen voor biometrische identificatie op afstand in real time te rechtvaardigen. De in een bijlage bij deze verordening genoemde strafbare feiten zijn gebaseerd op de 32 in KaderBesluit 2002/584/JBZ van de Raad18 genoemde strafbare feiten, ermee rekening houdend dat sommige van die strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zou kunnen zijn voor de praktische uitvoering van de lokalisatie of identificatie van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen. Een imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen kan ook het gevolg zijn van een ernstige verstoring van kritieke infrastructuur, zoals gedefinieerd in artikel 2, punt 4), van Richtlijn (EU) 2022/2557 van het Europees Parlement en de Raad19, wanneer de verstoring of vernietiging van dergelijke kritieke infrastructuur zou leiden tot een imminente dreiging voor het leven of de fysieke veiligheid van een persoon, onder meer door ernstige schade aan de levering van basisvoorzieningen aan de bevolking of aan de uitoefening van de kernfunctie van de staat. Daarnaast moet deze verordening de rechtshandhavingsinstanties en de grenstoezichts-, immigratie- of asielautoriteiten in staat stellen identiteitscontroles uit te voeren in aanwezigheid van de betrokken persoon overeenkomstig de voorwaarden die in het Unierecht en het nationale recht voor dergelijke controles zijn vastgelegd. Met name moeten die autoriteiten informatiesystemen kunnen gebruiken in overeenstemming met het Unierecht of het nationale recht om personen te identificeren die tijdens een identiteitscontrole weigeren te worden geïdentificeerd of niet in staat zijn hun identiteit bekend te maken of te bewijzen, zonder dat zij door deze verordening verplicht worden om voorafgaande toestemming te verkrijgen. Het kan hierbij bijvoorbeeld gaan om een persoon die betrokken is bij een misdrijf of iemand die als gevolg van een ongeval of een medische aandoening niet bereid of in staat is zijn identiteit bekend te maken aan rechtshandhavingsinstanties.
(34) Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Daarnaast mag het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op rechtshandhaving alleen worden ingezet om de identiteit van de specifiek beoogde natuurlijke persoon te bevestigen en moet het worden beperkt tot wat strikt noodzakelijk qua duur en geografische en personele reikwijdte, met name rekening houdend met het bewijs of de aanwijzingen met betrekking tot de dreigingen, de slachtoffers of de dader. Het gebruik van het systeem voor biometrische identificatie op afstand in real time in openbare ruimten mag alleen worden toegestaan indien de betrokken rechtshandhavingsinstantie een in deze verordening bedoelde effectbeoordeling op het gebied van de grondrechten heeft voltooid en, tenzij anders bepaald in deze verordening, het systeem in de databank heeft geregistreerd zoals vastgelegd in deze verordening. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de bovenvermelde situaties.
(35) Voor elk gebruik van een systeem voor biometrische identificatie op afstand in real time in openbare ruimten voor rechtshandhavingsdoeleinden moet uitdrukkelijke en specifieke toestemming vereist zijn van een gerechtelijke instantie of van een onafhankelijke administratieve instantie van een lidstaat, met bindende beslissingsbevoegdheid. Deze toestemming moet in beginsel worden verkregen voordat het AI-systeem voor de identificatie van een of meer personen wordt gebruikt. Uitzonderingen op deze regel moeten worden toegestaan in naar behoren gemotiveerde dringende situaties, namelijk in situaties waarin het wegens de noodzaak om het betrokken AI-systeem te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik van het AI-systeem worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en door de rechtshandhavingsinstantie zelf vastgesteld in de context van elk afzonderlijk dringend gebruik. In dergelijke situaties moet de rechtshandhavingsinstantie onverwijld en uiterlijk binnen 24 uur om dergelijke toestemming verzoeken, met opgave van de redenen waarom zij niet eerder een verzoek daartoe heeft kunnen indienen. Indien een dergelijke toestemming wordt geweigerd, moet het gebruik van systemen voor biometrische identificatie in real time waarop dat verzoek betrekking heeft, met onmiddellijke ingang worden stopgezet en moeten alle gegevens met betrekking tot dat gebruik worden verwijderd en gewist. Onder dergelijke gegevens wordt verstaan: inputdata die rechtstreeks door een AI-systeem zijn verkregen tijdens het gebruik van een dergelijk systeem, alsook de resultaten en output van het gebruik in verband met dat verzoek. Daaronder mag niet worden verstaan: input die rechtmatig is verkregen overeenkomstig een ander Unierecht of nationaal recht. In geen geval mag een besluit dat nadelige rechtsgevolgen heeft voor een persoon uitsluitend worden genomen op basis van de output van het systeem voor biometrische identificatie op afstand.
(36) Om hun taken overeenkomstig de eisen van deze verordening en de nationale regels uit te voeren, moeten de betrokken markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit in kennis worden gesteld van elk gebruik van het systeem voor biometrische identificatie in real time. De markttoezicht-autoriteiten en de nationale gegevensbeschermingsautoriteiten die in kennis zijn gesteld, moeten bij de Commissie een jaarverslag indienen over het gebruik van systemen voor biometrische identificatie in real time.
(37) Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk mag zijn indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen. Dergelijke nationale regels moeten binnen dertig dagen na de vaststelling ervan ter kennis van de Commissie worden gebracht.
(38) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten voor rechtshandhavingsdoeleinden brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, met inachtneming van bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mogen een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het bij deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke gegevens in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn (EU) 2016/680. Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader met betrekking tot dergelijk gebruik voor rechtshandhavingsdoeleinden dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van toestemming uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die aan die toestemming uitvoering kunnen geven.
(39) Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, die geen verband houdt met het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten voor rechtshandhavingsdoeleinden zoals geregeld in deze verordening, moet blijven voldoen aan alle eisen die voortvloeien uit artikel 10 van Richtlijn (EU) 2016/680. Voor andere doeleinden dan rechtshandhaving verbieden artikel 9, lid 1, van Verordening (EU) 2016/679 en artikel 10, lid 1, van Verordening (EU) 2018/1725 de verwerking van biometrische gegevens, met inachtneming van beperkte uitzonderingen zoals bepaald in die artikelen. Bij de toepassing van artikel 9, lid 1, van Verordening (EU) 2016/679 is het gebruik van biometrische identificatie op afstand voor andere doeleinden dan rechtshandhaving reeds onderworpen aan verbodsbesluiten van nationale gegevensbeschermingsautoriteiten.
(40) Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, gehecht aan het VEU en het VWEU, is Ierland niet gebonden door de regels die zijn vastgelegd in artikel 5, lid 1, eerste alinea, punt g), voor zover dit van toepassing is op het gebruik van systemen voor biometrische categorisering voor activiteiten op het gebied van politiële samenwerking en justitiële samenwerking in strafzaken, artikel 5, lid 1, eerste alinea, punt d), voor zover het van toepassing is op het gebruik van onder die bepaling vallende AI-systemen, artikel 5, lid 1, eerste alinea, punt h), artikel 5, leden 2 tot en met 6, en artikel 26, lid 10, van deze verordening, en die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van hoofdstuk 4 of 5 van titel V van het derde deel van het VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.
(41) Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, gehecht aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, eerste alinea, punt g), voor zover dit van toepassing is op het gebruik van systemen voor biometrische categorisering voor activiteiten op het gebied van politiële samenwerking en justitiële samenwerking in strafzaken, artikel 5, lid 1, eerste alinea, punt d), voor zover het van toepassing is op het gebruik van onder die bepaling vallende AI-systemen, artikel 5, lid 1, eerste alinea, punt h), artikel 5, leden 2 tot en met 6, en artikel 26, lid 10, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van hoofdstuk 4 of 5 van titel V van het derde deel van het VWEU, niet bindend voor, noch van toepassing op Denemarken.
(42) In overeenstemming met het vermoeden van onschuld moeten natuurlijke personen in de Unie altijd worden beoordeeld op hun feitelijke gedrag. Natuurlijke personen mogen nooit worden beoordeeld op basis van door AI voorspeld gedrag dat uitsluitend gebaseerd is op hun profilering, persoonlijkheidskenmerken of kenmerken, zoals nationaliteit, geboorteplaats, verblijfplaats, aantal kinderen, schuldniveau of type auto, zonder een redelijk vermoeden dat die persoon betrokken is bij een criminele activiteit op basis van objectieve, verifieerbare feiten en zonder menselijke beoordeling daarvan. Daarom moeten risicobeoordelingen die met betrekking tot natuurlijke personen worden uitgevoerd, uitsluitend op basis van profilering of beoordeling van hun persoonlijkheidskenmerken en kenmerken, om de waarschijnlijkheid dat zij strafbare feiten plegen, te beoordelen, of om te voorspellen dat er een feitelijk of potentieel strafbaar feit zal plaatsvinden, worden verboden. In elk geval heeft dat verbod geen betrekking op risicoanalyses die niet zijn gebaseerd op de profilering van natuurlijke personen of op de persoonlijkheidskenmerken en kenmerken van natuurlijke personen, zoals AI-systemen die gebruikmaken van risicoanalyses om de waarschijnlijkheid van financiële fraude door ondernemingen te beoordelen op basis van verdachte transacties, of van risicoanalyse-instrumenten om de waarschijnlijkheid van vondsten van verdovende middelen of illegale goederen door douaneautoriteiten te voorspellen, bijvoorbeeld op basis van bekende smokkelroutes.
(43) Het in de handel brengen, het in gebruik stellen voor dat specifieke doel en het gebruiken van AI-systemen die databanken voor gezichtsherkenning creëren of uitbreiden door middel van de niet-gerichte scraping van gezichtsopnamen van het internet of CCTV-beelden, moeten worden verboden omdat dergelijke praktijken het gevoel van grootschalig toezicht vergroten en kunnen leiden tot grove schendingen van de grondrechten, waaronder het recht op privacy.
(44) Er bestaat ernstige bezorgdheid over de wetenschappelijke basis van AI-systemen die gericht zijn op het identificeren of afleiden van emoties, met name omdat emoties sterk uiteenlopen tussen culturen en situaties, en zelfs bij één persoon. Tot de belangrijkste tekortkomingen van dergelijke systemen behoren de beperkte betrouwbaarheid, het gebrek aan specificiteit en de beperkte veralgemeenbaarheid. Daarom kunnen AI-systemen die emoties of intenties van natuurlijke personen identificeren of afleiden op basis van hun biometrische gegevens, tot discriminerende resultaten leiden en inbreuk maken op de rechten en vrijheden van de betrokken personen. Gezien de ongelijke machtsverhoudingen in de context van werk of onderwijs, in combinatie met het ingrijpende karakter van deze systemen, kunnen dergelijke systemen leiden tot een nadelige of ongunstige behandeling van bepaalde natuurlijke personen of hele groepen personen. Daarom moeten het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen die bedoeld zijn om te worden gebruikt om de emotionele toestand van natuurlijke personen in situaties die verband houden met de werkplek en het onderwijs te detecteren, worden verboden. Dat verbod mag geen betrekking hebben op AI-systemen die uitsluitend om medische of veiligheidsredenen in de handel worden gebracht, zoals systemen die bedoeld zijn voor therapeutisch gebruik.
(45) Deze verordening moet praktijken die verboden zijn uit hoofde van het Unierecht, met inbegrip van het gegevensbeschermingsrecht, het non-discriminatierecht, het recht inzake consumentenbescherming, en het mededingingsrecht, onverlet laten.
(46) AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. Op basis van het nieuwe wetgevingskader, zoals verduidelijkt in de mededeling van de Commissie “De Blauwe Gids van 2022: richtlijnen voor de uitvoering van de productvoorschriften van de EU”20, luidt de algemene regel dat meer dan een rechtshandeling van de harmonisatiewetgeving van de Unie, zoals de Verordeningen (EU) 2017/74521 en (EU) 2017/74622 van het Europees Parlement en de Raad of Richtlijn 2006/42/EG van het Europees Parlement en de Raad23, op één product van toepassing kan zijn, aangezien het aanbieden of in gebruik stellen van het product alleen kan plaatsvinden wanneer het product voldoet aan alle toepasselijke harmonisatiewetgeving van de Unie. Om consistentie te waarborgen en onnodige administratieve lasten of kosten te vermijden, moeten aanbieders van een product dat een of meer AI-systemen met een hoog risico bevat waarop de eisen van deze verordening en van de harmonisatiewetgeving van de Unie zoals vermeld in een bijlage bij deze verordening van toepassing zijn, flexibel zijn met betrekking tot operationele beslissingen over hoe ervoor kan worden gezorgd dat een product dat een of meer AI-systemen bevat, op optimale wijze voldoet aan alle toepasselijke eisen van die harmonisatiewetgeving van de Unie. De aanmerking als AI-systeem met een hoog risico, moet worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en daarbij moeten potentiële restricties voor de internationale handel tot een minimum worden beperkt.
(47) AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als veiligheidscomponenten van producten. Overeenkomstig de in de harmonisatiewetgeving van de Unie beoogde doelstellingen om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn.
(48) Een bijzonder relevante factor voor de classificering van een AI-systeem als AI-systeem met een hoog risico, is de omvang van de door het AI-systeem veroorzaakte nadelige effecten op de grondrechten die door het Handvest worden beschermd. Onder die rechten zijn begrepen: het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, het recht op non-discriminatie, het recht op onderwijs, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, gendergelijkheid, intellectuele-eigendomsrechten, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, alsook het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het Handvest en in het Verdrag van de Verenigde Naties inzake de rechten van het kind, nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving, waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Ook het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is vastgelegd en in het beleid van de Unie wordt uitgevoerd, moet in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, onder meer met betrekking tot de gezondheid en de veiligheid van personen.
(49) Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad24, Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad25, Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad26, Richtlijn 2014/90/EU van het Europees Parlement en de Raad27, Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad28, Verordening (EU) 2018/858 van het Europees Parlement en de Raad29, Verordening (EU) 2018/1139 van het Europees Parlement en de Raad30, en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad31, moeten die handelingen worden gewijzigd om ervoor te zorgen dat de Commissie, op basis van de technische en regelgeving van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en autoriteiten die daarbij zijn ingesteld, rekening houdt met de in deze verordening vastgelegde dwingende eisen voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen desbetreffende gedelegeerde of uitvoeringshandelingen vaststelt.
(50) Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde in een bijlage bij deze verordening vermelde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico te classificeren indien het betrokken product de conformiteits-beoordelingsprocedure ondergaat bij een conformiteitsbeoordelingsinstantie op grond van die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen, medische hulpmiddelen voor in-vitrodiagnostiek, de automobiel- en de luchtvaartsector.
(51) De classificatie van een AI-systeem als een AI-systeem met een hoog risico op grond van deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgelegd in de toepasselijke harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor de Verordeningen (EU) 2017/745 en (EU) 2017/746, waarin wordt voorzien in een conformiteitsbeoordeling door een derde partij voor producten met een middelgroot risico en producten met een hoog risico.
(52) Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden geclassificeerd indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in deze verordening beschreven, specifieke en vooraf bepaalde gebieden. De identificatie van die systemen is gebaseerd op dezelfde methode en criteria die ook worden overwogen voor toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico die de Commissie via gedelegeerde handelingen moet kunnen vaststellen om rekening te houden met het snelle tempo van de technologische ontwikkeling en met de mogelijke veranderingen in het gebruik van AI-systemen.
(53) Het is ook belangrijk te verduidelijken dat er specifieke gevallen kunnen zijn waarin AI-systemen die worden gebruikt op in deze verordening beschreven, specifieke gebieden, niet leiden tot een aanzienlijk risico op schade aan de juridische belangen die op die gebieden worden beschermd, omdat zij de besluitvorming niet wezenlijk beïnvloeden of die belangen niet wezenlijk schaden. Voor de toepassing van deze verordening moet een AI-systeem dat het resultaat van de besluitvorming niet wezenlijk beïnvloedt, worden beschouwd als een AI-systeem dat geen invloed heeft op de inhoud, en daarmee op het resultaat, van de menselijke of geautomatiseerde besluitvorming. Er kan sprake zijn van een AI-systeem dat het resultaat van de besluitvorming niet wezenlijk beïnvloedt, indien aan een of meer van de volgende voorwaarden is voldaan. De eerste voorwaarde luidt dat het AI-systeem bedoeld moet zijn om een enge procedurele taak uit te voeren, zoals een AI-systeem dat ongestructureerde data omzet in gestructureerde data, een AI-systeem dat binnenkomende documenten classificeert in categorieën of een AI-systeem dat wordt gebruikt om binnen een groot aantal aanvragen dubbels op te sporen. Dergelijke taken zijn dermate specifiek en beperkt dat zij slechts beperkte risico’s met zich meebrengen, die niet toenemen door gebruik van een AI-systeem in een context die in een bijlage bij deze verordening als gebruik met een hoog risico is opgenomen. De tweede voorwaarde is dat de door het AI-systeem uitgevoerde taak bedoeld moet zijn om het resultaat te verbeteren van een eerder voltooide menselijke activiteit die relevant kan zijn in voor de in een lijst in een bijlage bij deze verordening vermelde gevallen van hoog-risicogebruik. Die kenmerken in beschouwing genomen, voegt het AI-systeem slechts een extra laag toe aan een menselijke activiteit, en houdt dit bijgevolg een lager risico in. Dit is bijvoorbeeld het geval voor AI-systemen die bedoeld zijn om de taal van eerder opgestelde documenten te verbeteren, bijvoorbeeld met betrekking tot professionele toon of academische stijl, of door een tekst af te stemmen op een bepaalde merkboodschap. Als derde voorwaarde geldt dat het AI-systeem bedoeld moet zijn om besluitvormings-patronen of afwijkingen van eerdere besluitvormingspatronen op te sporen. Het risico zou in dergelijke gevallen lager liggen omdat het AI-systeem wordt gebruikt na een eerder afgeronde menselijke beoordeling en het niet de bedoeling is dat het AI-systeem deze vervangt of wijzigt zonder gedegen menselijke toetsing. Dergelijke AI-systemen omvatten bijvoorbeeld systemen die, aan de hand van een bepaald beoordelingspatroon van een leerkracht, achteraf kunnen worden gebruikt om na te gaan of de leerkracht mogelijk van dat patroon is afgeweken, en zo mogelijke inconsistenties of anomalieën te signaleren. De vierde voorwaarde houdt in dat het AI-systeem bedoeld moet zijn om een taak uit te voeren die slechts dient ter voorbereiding van een beoordeling die relevant is voor de in een bijlage bij deze verordening vermelde AI-systemen, waardoor het mogelijke effect van de output van het systeem een zeer laag risico inhoudt voor de beoordeling die erop volgt. Daarbij kan het onder meer gaan over slimme oplossingen voor bestandsbeheer, waaronder verschillende functies zoals indexering, opzoeking, tekst- en spraakverwerking of het koppelen van gegevens aan andere gegevensbronnen, of AI-systemen die worden gebruikt voor de vertaling van brondocumenten. In elk geval moeten AI-systemen die worden gebruikt in een bijlage bij deze verordening vermelde gevallen van gebruik met een hoog risico worden geacht een aanzienlijk risico te vormen op schade aan de gezondheid, veiligheid of grondrechten indien het AI-systeem profilering inhoudt in de zin van artikel 4, punt 4), van Verordening (EU) 2016/679 of artikel 3, punt 4), van Richtlijn (EU) 2016/680 of artikel 3, punt 5), van Verordening (EU) 2018/1725. Om de traceerbaarheid en transparantie te waarborgen, moet een aanbieder die op basis van de hierboven vermelde voorwaarden van mening is dat een AI-systeem geen hoog risico vormt, documentatie van de beoordeling opstellen voordat dat systeem in de handel wordt gebracht of in gebruik wordt gesteld, en moet hij deze documentatie op verzoek aan de nationale bevoegde autoriteiten verstrekken. Een dergelijke aanbieder moet worden verplicht het AI-systeem te registreren in de EU-databank die bij deze verordening wordt opgezet. Met het oog op het verstrekken van verdere richtsnoeren voor de praktische uitvoering van de voorwaarden waaronder de in een bijlage bij deze verordening vermelde AI-systemen bij wijze van uitzondering geen hoog risico vormen, moet de Commissie, na raadpleging van de AI-board, richtsnoeren verstrekken waarin die praktische uitvoering wordt uiteengezet, aangevuld met een uitgebreide lijst van praktische voorbeelden van gebruiksgevallen van AI-systemen met een hoog risico en van gebruiksgevallen van AI-systemen zonder hoog risico.
(54) Aangezien biometrische gegevens een bijzondere categorie persoonsgegevens vormen, is het passend verschillende gevallen van kritiek gebruik van biometrische systemen te classificeren als gebruik met een hoog risico, voor zover het gebruik is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Het risico op dergelijke vertekende resultaten en discriminerende effecten is met name relevant wanneer zij betrekking hebben op leeftijd, etniciteit, ras, geslacht of handicap. Systemen voor biometrische identificatie op afstand moeten daarom worden geclassificeerd als systemen met een hoog risico, gezien de risico’s die zij met zich meebrengen. Een dergelijke classificatie geldt niet voor AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, met als enige doel te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die die persoon beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie. Daarnaast moeten AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische categorisering op basis van krachtens artikel 9, lid 1, van Verordening (EU) 2016/679 beschermde gevoelige eigenschappen of kenmerken op basis van biometrische gegevens, voor zover deze niet verboden zijn op grond van deze verordening, en systemen voor het herkennen van emoties die niet verboden zijn op grond van deze verordening, worden geclassificeerd als systemen met een hoog risico. Biometrische systemen die uitsluitend bedoeld zijn om te worden gebruikt om cyberbeveiligings- en persoonsgegevensbeschermingsmaatregelen mogelijk te maken, mogen niet als AI-systemen met een hoog risico worden beschouwd.
(55) Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer en de exploitatie van kritieke digitale infrastructuur als opgenomen in bijlage I, punt 8), van Richtlijn (EU) 2022/2557, wegverkeer en de levering van water, gas, verwarming en elektriciteit, te classificeren als systemen met een hoog risico, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en kan leiden tot aanzienlijke verstoringen van de normale beoefening van sociale en economische activiteiten. Veiligheidscomponenten van kritieke infrastructuur, waaronder kritieke digitale infrastructuur, zijn systemen die worden gebruikt om de fysieke integriteit van kritieke infrastructuur of de gezondheid en veiligheid van personen en eigendommen rechtstreeks te beschermen, maar die niet noodzakelijk zijn voor de werking van het systeem. Het falen of gebrekkig functioneren van dergelijke componenten kan direct leiden tot risico’s voor de fysieke integriteit van kritieke infrastructuur en bijgevolg tot risico’s voor de gezondheid en veiligheid van personen en eigendommen. Componenten die uitsluitend voor cyberbeveiligingsdoeleinden zijn bestemd, mogen niet als veiligheidscomponenten worden aangemerkt. Voorbeelden van veiligheidscomponenten van dergelijke kritieke infrastructuur zijn systemen voor de monitoring van waterdruk of brandalarminstallaties in centra voor cloud computing.
(56) Het inzetten van AI-systemen in het onderwijs is belangrijk om digitaal onderwijs en digitale opleidingen van hoge kwaliteit te bevorderen en om alle lerenden en leerkrachten in staat te stellen de nodige digitale vaardigheden en competenties te verwerven en te delen, met inbegrip van mediageletterdheid, en kritisch denken, om actief deel te nemen aan de economie, de samenleving en democratische processen. AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, met name voor het bepalen van toegang of toelating, voor het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of programma’s op alle niveaus, voor het evalueren van leerresultaten van personen, voor de beoordeling van het passende onderwijsniveau voor een persoon en het uitoefenen van wezenlijke invloed op het niveau van onderwijs en opleiding dat aan die persoon zal worden verstrekt of waartoe die persoon toegang zal kunnen krijgen, of voor het monitoren en opsporen van ongeoorloofd gedrag van studenten tijdens tests, moeten echter als AI-systemen met een hoog risico worden geclassificeerd, aangezien ze bepalend kunnen zijn voor de onderwijs- en beroepsloopbaan van die persoon en derhalve invloed kunnen hebben op zijn vermogen om in zijn levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij bijzonder ingrijpend zijn en in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden, bijvoorbeeld ten nadele van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid.
(57) AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de werving en selectie van personen, voor het nemen van besluiten die van invloed zijn op de voorwaarden van arbeidsgerelateerde betrekkingen, de bevordering en beëindiging van arbeidsgerelateerde contractuele betrekkingen, voor het toewijzen van taken op basis van individueel gedrag of persoonlijke eigenschappen of kenmerken, en voor monitoring of evaluatie van personen in arbeidsgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen, alsook voor de rechten van werknemers. Relevante arbeidsgerelateerde contractuele betrekkingen moeten, op betekenisvolle wijze, werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Dergelijke systemen kunnen er in het wervingsproces en bij de evaluatie, de promotie of het behoud van personen in arbeidsgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld ten aanzien van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook afbreuk doen aan hun grondrechten inzake gegevensbescherming en privacy.
(58) Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. Met name natuurlijke personen die essentiële overheidsuitkeringen en -diensten van overheidsinstanties aanvragen of ontvangen, namelijk gezondheidszorg, socialezekerheidsuitkeringen, sociale diensten die bescherming bieden in gevallen zoals moederschap, ziekte, arbeidsongevallen, afhankelijkheid of ouderdom en verlies van werkgelegenheid en sociale bijstand en bijstand voor huisvesting, zijn doorgaans afhankelijk van deze uitkeringen en diensten en bevinden zich in een kwetsbare positie ten opzichte van de bevoegde autoriteiten. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden verleend, geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, alsook of begunstigden daadwerkelijk recht hebben op dergelijke uitkeringen of diensten, kunnen deze systemen aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte, en moeten zij derhalve als AI-systemen met een hoog risico worden geclassificeerd. Deze verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die baat zou hebben bij een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Voorts moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dergelijke doeleinden worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen, en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet voor het opsporen van fraude bij het aanbieden van financiële diensten en voor prudentiële doeleinden om de kapitaalvereisten van kredietinstellingen en verzekeringsondernemingen te berekenen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Daarnaast kunnen AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen voor gezondheids- en levensverzekeringen ook aanzienlijke gevolgen hebben voor het levensonderhoud van personen en kunnen zij, indien zij niet naar behoren zijn ontworpen, ontwikkeld en gebruikt, inbreuk maken op hun grondrechten en ernstige gevolgen hebben voor het leven en de gezondheid van mensen, waaronder financiële uitsluiting en discriminatie. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten, met inbegrip van politiediensten, brandweer en medische hulp, uit te sturen of hierbij voorrang te bepalen, alsook systemen voor de triage van patiënten bij dringende medische zorg, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen in zeer kritieke situaties voor het leven en de gezondheid van personen en hun eigendom.
(59) Gezien hun rol en verantwoordelijkheid worden maatregelen van rechtshandhavings-instanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen deze leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende eisen wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Met het oog op de aard van de activiteiten en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties te worden gebruikt voor het beoordelen van het risico dat een natuurlijk persoon potentieel slachtoffer van strafbare feiten wordt, zoals leugendetectortests en vergelijkbare instrumenten, voor het beoordelen van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten en, voor zover niet verboden op grond van deze verordening, voor het beoordelen van het risico dat een natuurlijk persoon een inbreuk pleegt of recidive pleegt, niet uitsluitend op basis van de profilering van natuurlijke personen of de beoordeling van persoonlijkheidskenmerken of het criminele gedrag van natuurlijke personen of groepen in het verleden, voor profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten en door financiële-inlichtingeneenheden die administratieve taken uitvoeren en informatie analyseren overeenkomstig de antiwitwaswetgeving van de Unie, mogen niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavingsinstanties en andere relevante autoriteiten mag geen factor van ongelijkheid of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet worden genegeerd, met name het probleem om betekenisvolle informatie over de werking van die systemen te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door natuurlijke personen tegen wie een onderzoek loopt.
(60) AI-systemen die worden gebruikt op het gebied van migratie, asiel en grenstoezichtsbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van privéleven en persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht, als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of instellingen, organen of instanties van de Unie die taken op het gebied van migratie, asiel en grenstoezichtsbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om bevoegde overheidsinstanties bij te staan bij de behandeling, met inbegrip van een gerelateerde beoordeling van de betrouwbaarheid van bewijsmateriaal, van aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten teneinde vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen, met het oog op het opsporen, het herkennen of identificeren van natuurlijke personen in het kader van migratie, asiel en grenstoezichtsbeheer, met uitzondering van de verificatie van reisdocumenten. AI-systemen op het gebied van migratie, asiel en grenstoezichtsbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele eisen die zijn vastgelegd in Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad32, Richtlijn 2013/32/EU van het Europees Parlement en de Raad33 en ander toepasselijk Unierecht. Het gebruik van AI-systemen in het kader van migratie, asiel en grenstoezichtsbeheer mag in geen geval door de lidstaten of de instellingen, organen of instanties van de Unie worden gebruikt als middel om hun internationale verplichtingen uit hoofde van het VN-Verdrag betreffende de status van vluchtelingen, ondertekend te Genève op 28 juli 1951 en gewijzigd bij het Protocol van 31 januari 1967, te omzeilen. Evenmin mogen zij worden gebruikt om op enigerlei wijze inbreuk te maken op het beginsel van non-refoulement of om veilige en doeltreffende legale wegen naar het grondgebied van de Unie te ontzeggen, met inbegrip van het recht op internationale bescherming.
(61) Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen met een hoog risico die bedoeld zijn om door of namens een gerechtelijke instantie te worden gebruikt voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. AI-systemen die bedoeld zijn om door organen voor alternatieve geschillenbeslechting voor die doeleinden te worden gebruikt, moeten ook als systemen met een hoog risico worden beschouwd indien de resultaten van de alternatieve geschillenbeslechtingsprocedure rechtsgevolgen hebben voor de partijen. Het gebruik van AI-instrumenten kan de beslissingsbevoegdheid van rechters of de onafhankelijkheid van de rechterlijke macht ondersteunen, maar mag deze niet vervangen: de uiteindelijke besluitvorming moet een door de mens aangestuurde activiteit blijven. De classificatie van AI-systemen als AI-systemen met een hoog risico mag echter geen AI-systemen betreffen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden en administratieve taken.
(62) Onverminderd de regels van Verordening (EU) 2024/900 van het Europees Parlement en de Raad34, en om de risico’s van ongepaste externe inmenging van buitenaf in het in artikel 39 van het Handvest verankerde stemrecht en van onevenredige gevolgen voor democratische processen, democratie en de rechtsstaat aan te pakken, moeten AI-systemen die bedoeld zijn om de uitslag van een verkiezing of referendum of het stemgedrag van natuurlijke personen wanneer zij hun stem uitbrengen bij verkiezingen of referenda te beïnvloeden, worden geclassificeerd als AI-systemen met een hoog risico, met uitzondering van AI-systemen waarvan de output niet rechtstreeks is gericht op natuurlijke personen, zoals instrumenten voor het organiseren, optimaliseren en structureren van politieke campagnes vanuit administratief en logistiek oogpunt.
(63) Het feit dat een AI-systeem uit hoofde van deze verordening als een AI-systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem rechtmatig is op grond van andere handelingen van het Unierecht of op grond van nationaal recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens, het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke eisen die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en nationaal recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing, tenzij in deze verordening uitdrukkelijk anders is bepaald.
(64) Om de risico’s van AI-systemen met een hoog risico die in de handel zijn gebracht of in gebruik zijn gesteld te beperken en om te zorgen voor een hoog niveau van betrouwbaarheid, moeten op AI-systemen met een hoog risico bepaalde dwingende eisen van toepassing zijn, rekening houdend met het beoogde doel en de context van het gebruik van het AI-systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld. De maatregelen die de aanbieders met het oog op het voldoen aan de dwingende eisen van deze verordening hebben vastgesteld, moeten rekening gehouden met de algemeen erkende stand van de techniek op het gebied van AI, evenredig en doeltreffend zijn teneinde de doelstellingen van deze verordening te verwezenlijken. Op basis van het nieuwe wetgevingskader, zoals uiteengezet in de mededeling van de Commissie “De “Blauwe Gids” voor de uitvoering van de productvoorschriften van de EU 2022”, is de algemene regel dat meer dan een rechtshandeling van de harmonisatiewetgeving van de Unie van toepassing kan zijn op één product, aangezien een product alleen mag worden aangeboden of in gebruik worden gesteld wanneer het voldoet aan alle toepasselijke harmonisatiewetgeving van de Unie. De gevaren van AI-systemen die onder de eisen van deze verordening vallen, hebben betrekking op andere aspecten dan de bestaande harmonisatiewetgeving van de Unie en daarom zouden de eisen van deze verordening een aanvulling vormen op het bestaande corpus van de harmonisatiewetgeving van de Unie. Machines of medische hulpmiddelen die een AI-systeem bevatten, kunnen bijvoorbeeld risico’s inhouden die niet worden gedekt door de essentiële gezondheids- en veiligheidseisen van de toepasselijke geharmoniseerde wetgeving van de Unie, aangezien die sectorale wetgeving geen betrekking heeft op risico’s die specifiek zijn voor AI-systemen. Dit vereist een gezamenlijke en aanvullende toepassing van de verschillende wetgeving. Om consistentie te waarborgen en onnodige administratieve lasten en onnodige kosten te vermijden, moeten aanbieders van een product dat een of meer AI-systemen met een hoog risico bevat waarop de eisen van deze verordening en van de in een bijlage bij deze verordening vermelde harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader van toepassing zijn, flexibel zijn met betrekking tot operationele beslissingen over de wijze waarop ervoor kan worden gezorgd dat een product dat een of meer AI-systemen bevat, op optimale wijze voldoet aan alle toepasselijke eisen van die geharmoniseerde wetgeving van de Unie. Die flexibiliteit kan bijvoorbeeld inhouden dat de aanbieder besluit om een deel van de nodige test- en rapportageprocessen en de krachtens deze verordening te verstrekken informatie en documentatie op te nemen in de reeds bestaande documentatie en procedures die vereist zijn uit hoofde van bestaande harmonisatiewetgeving van de Unie die is gebaseerd is op het nieuwe wetgevingskader en in een bijlage bij deze verordening wordt vermeld. Dit mag op geen enkele wijze afbreuk doen aan de verplichting van de aanbieder om aan alle toepasselijke eisen te voldoen.
(65) Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, de veiligheid en de grondrechten. Het systeem voor risicobeheer moet periodiek worden geëvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van deze verordening zijn genomen. Dit proces moet ervoor zorgen dat de aanbieder de risico’s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten in het licht van het beoogde doel ervan en redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico’s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen in het licht van de stand van de techniek op het gebied van AI. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden erbij betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systemen met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, redelijkerwijs mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag in de context van de specifieke kenmerken en het gebruik van een bepaald AI-systeem. Eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten, moeten worden opgenomen in de gebruiksinstructies die de aanbieder ter beschikking heeft gesteld. Dit moet ervoor zorgen dat de gebruiksverantwoordelijke hiervan op de hoogte is en hiermee rekening houdt bij het gebruik van het AI-systeem met een hoog risico. Het vaststellen en uitvoeren van risicobeperkende maatregelen voor te voorzien misbruik uit hoofde van deze verordening mag van de aanbieder geen voor het AI-systeem met een hoog risico specifieke aanvullende training vergen om te voorzien misbruik aan te pakken. De aanbieders worden echter aangemoedigd dergelijke aanvullende trainingsmaatregelen te overwegen om redelijkerwijs te voorzien misbruik waar nodig en passend te beperken.
(66) Op AI-systemen met een hoog risico moeten eisen van toepassing zijn met betrekking tot risicobeheer, de kwaliteit en relevantie van de gebruikte datasets, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruiksverantwoordelijken, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze eisen zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten te verminderen. Aangezien er geen andere maatregelen die de handel in mindere mate beperken, redelijkerwijs beschikbaar zijn, vormen die eisen geen ongerechtvaardigde beperkingen van de handel.
(67) Kwalitatief hoogwaardige data en de toegang hiertoe is van wezenlijk belang voor het bieden van structuur en het waarborgen van de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datasets voor training, validatie en tests vereisen de uitvoering van passende praktijken voor datagovernance en -beheer. Datasets voor training, validatie en tests, met inbegrip van het labelen ervan, moeten relevant, voldoende representatief, en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel van het systeem zijn. Om de naleving van het Unierecht inzake gegevensbescherming, zoals Verordening (EU) 2016/679, te vergemakkelijken, moeten praktijken voor datagovernance en beheer, in het geval van persoonsgegevens, transparantie met betrekking tot het oorspronkelijke doel van de dataverzameling omvatten. De datasets moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen in verband met wie de AI-systemen met een hoog risico moeten worden gebruikt, met bijzondere aandacht voor het tegengaan van mogelijke vertekeningen in de datasets, die waarschijnlijk gevolgen hebben voor de gezondheid en de veiligheid van personen, nadelige effecten hebben op de grondrechten, of leiden tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties (“feedback loops”). Vertekeningen kunnen bijvoorbeeld inherent zijn aan de onderliggende datasets, met name wanneer historische gegevens worden gebruikt of gegenereerd wanneer de systemen onder reële omstandigheden worden toegepast. De resultaten die door AI-systemen worden aangeboden, kunnen worden beïnvloed door dergelijke inherente vertekeningen, die vaak geleidelijk groter worden en daarmee bestaande discriminatie bestendigen en verergeren, met name voor personen die tot bepaalde kwetsbare groepen behoren, waaronder raciale of etnische groepen. De eis dat de datasets zoveel mogelijk volledig en foutenvrij moeten zijn, mag geen invloed hebben op het gebruik van privacybeschermende technieken in het kader van de ontwikkeling en het testen van AI-systemen. Ten aanzien van datasets moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, gedragsgerelateerde of functionele omgeving waarin het AI-systeem moet worden gebruikt. Aan de eisen inzake databeheer kan worden voldaan door een beroep te doen op derden die gecertificeerde nalevingsdiensten aanbieden, waaronder verificatie van datagovernance, integriteit van datasets, en datatraining, -validatie en -tests, voor zover de naleving van de datavereisten van deze verordening wordt gewaarborgd.
(68) Voor de ontwikkeling en beoordeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals Europese digitale-innovatiehubs, test- en experimenteerfaciliteiten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datasets op de gebieden waarop deze actoren activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van AI-algoritmen aan de hand van deze datasets vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.
(69) Het recht op privacy en bescherming van persoonsgegevens moet gedurende de hele levenscyclus van het AI-systeem worden gewaarborgd. In dit verband zijn bij de verwerking van persoonsgegevens de beginselen van minimale gegevensverwerking en van gegevensbescherming door ontwerp en door standaardinstellingen, zoals vastgelegd in het Unierecht inzake gegevensbescherming, van toepassing. De maatregelen die aanbieders nemen om te zorgen voor de naleving van die beginselen, moeten niet alleen anonimisering en versleuteling omvatten, maar ook het gebruik van technologie die de toepassing van algoritmen op gegevens en de training van AI-systemen mogelijk maakt zonder de uitwisseling van de ruwe of gestructureerde gegevens zelf tussen partijen of het kopiëren daarvan, onverminderd de eisen inzake datagovernance waarin deze verordening voorziet.
(70) Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vooringenomenheid (bias) in AI-systemen, moeten aanbieders, bij wijze van uitzondering, voor zover dit strikt noodzakelijk is om de opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen en na toepassing van alle toepasselijke voorwaarden die in deze verordening, alsmede in de Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 zijn vastgelegd, ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang in de zin van artikel 9, lid 2, punt g), van Verordening (EU) 2016/679 en artikel 10, lid 2, punt g), van Verordening (EU) 2018/1725.
(71) Begrijpelijke informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de traceerbaarheid van die systemen mogelijk te maken, om de overeenstemming met de eisen van deze verordening te controleren, en om de monitoring van de werking en de monitoring na het in handel brengen mogelijk te maken. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende eisen te beoordelen en de monitoring na het in handel brengen te vergemakkelijken. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer, en moet op heldere en begrijpelijke wijze zijn gesteld. De technische documentatie moet gedurende de levensduur van het AI-systeem op gepaste wijze actueel worden gehouden. Voorts moeten AI-systemen met een hoog risico dusdanig technisch zijn vormgegeven dat gebeurtenissen gedurende de levensduur van het systeem, automatisch worden geregistreerd door middel van “logs”.
(72) Om problemen in verband met de ondoorzichtigheid en complexiteit van bepaalde AI-systemen aan te pakken en gebruiksverantwoordelijken te helpen hun verplichtingen uit hoofde van deze verordening na te komen, moet transparantie vereist zijn voor AI-systemen met een hoog risico voordat zij in de handel worden gebracht of in gebruik worden gesteld. AI-systemen met een hoog risico moeten zodanig zijn ontworpen dat gebruiksverantwoordelijken kunnen begrijpen hoe het AI-systeem werkt, de werking ervan kunnen evalueren en de sterke punten en beperkingen ervan kunnen begrijpen. AI-systemen met een hoog risico moeten vergezeld gaan van relevante documentatie in de vorm van gebruiksaanwijzingen. Deze informatie moet de kenmerken, mogelijkheden en beperkingen van de prestaties van het AI-systeem bevatten. Die elementen zouden informatie omvatten over mogelijke bekende en te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico, waaronder handelingen van de gebruiksverantwoordelijke die van invloed kunnen zijn op het gedrag en de prestaties van het systeem, op grond waarvan het AI-systeem risico’s kan veroorzaken voor de gezondheid, veiligheid en grondrechten, over de wijzigingen die vooraf zijn bepaald en beoordeeld met het oog op conformiteit door de aanbieder, en over de relevante maatregelen voor menselijk toezicht, waaronder de maatregelen om de interpretatie van de output van het AI-systeem door de gebruiksverantwoordelijken te vergemakkelijken. Transparantie, met inbegrip van de bijbehorende gebruiksaanwijzingen, moet gebruiksverantwoordelijken helpen bij het gebruik van het systeem, en hen helpen onderbouwde beslissingen te nemen. De gebruiksverantwoordelijken moeten onder meer beter in staat zijn om het juiste systeem te kiezen dat zij voornemens zijn te gebruiken in het licht van de verplichtingen die op hen van toepassing zijn, om te worden geïnformeerd over het beoogde en uitgesloten gebruik, en om het AI-systeem correct en op passende wijze te gebruiken. Om de leesbaarheid en toegankelijkheid van de informatie in de gebruiksaanwijzingen te verbeteren, moeten, waar passend, illustratieve voorbeelden worden opgenomen, bijvoorbeeld over de beperkingen en het beoogde en uitgesloten gebruik van het AI-systeem. De aanbieders moeten ervoor zorgen dat alle documentatie, met inbegrip van de gebruiksaanwijzingen, zinvolle, volledige, toegankelijke en begrijpelijke informatie bevat, die rekening houdt met de behoeften en de te verwachten kennis van de beoogde gebruiksverantwoordelijken. De gebruiksaanwijzingen moeten beschikbaar worden gesteld in een taal die de beoogde gebruiksverantwoordelijken gemakkelijk kunnen begrijpen, welke de betrokken lidstaat bepaalt.
(73) AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan en dat zij zoals beoogd worden gebruikt, en dat de gevolgen ervan gedurende de levenscyclus van het systeem worden aangepakt. Daartoe moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat het in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke operator en dat de natuurlijke personen aan wie de taak van het menselijk toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren. Het is in voorkomend geval ook van essentieel belang dat AI-systemen met een hoog risico mechanismen bevatten om een natuurlijke persoon aan wie de taak van het menselijk toezicht is toegewezen, te begeleiden en te informeren zodat deze persoon geïnformeerd kan beslissen of, wanneer en hoe moet worden ingegrepen om negatieve gevolgen of risico’s te voorkomen, of om het systeem stop te zetten als het niet naar behoren functioneert. Gezien de aanzienlijke gevolgen voor personen in geval van een onjuiste match door bepaalde systemen voor biometrische identificatie, is het passend te voorzien in een voorschrift voor verscherpt menselijk toezicht voor die systemen, zodat er door de gebruiksverantwoordelijke geen maatregelen of beslissingen kunnen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen afzonderlijk is geverifieerd en bevestigd. Deze personen kunnen afkomstig zijn van een of meer entiteiten en deze functie kan worden vervuld door de persoon die het systeem exploiteert of gebruikt. Deze eis mag geen onnodige lasten of vertragingen met zich meebrengen en het kan volstaan dat de afzonderlijke verificaties door de verschillende personen automatisch worden geregistreerd in de logbestanden die door het systeem worden gegenereerd. Gezien de specifieke kenmerken van rechtshandhaving, migratie, grenstoezicht en asiel, mag deze eis niet van toepassing zijn wanneer het Unierecht of het nationale recht de toepassing van dat vereiste onevenredig acht.
(74) AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in het licht van het beoogde doel ervan en overeenstemming met de algemeen erkende stand van de techniek. De Commissie en relevante organisaties en belanghebbenden worden aangemoedigd om terdege rekening te houden met de beperking van risico’s en de negatieve gevolgen van het AI-systeem. Het verwachte prestatieniveau moet in de bijbehorende gebruiksaanwijzingen worden vermeld. Aanbieders wordt verzocht die informatie aan de gebruiksverantwoordelijken mee te delen op een manier die duidelijk en gemakkelijk te begrijpen is en die geen misleidende opmerkingen bevat of ruimte biedt voor misverstanden. Het Unierecht inzake wettelijke metrologie, waaronder de Richtlijnen 2014/31/EU35 en 2014/32/EU36 van het Europees Parlement en de Raad, heeft tot doel de nauwkeurigheid van metingen te waarborgen en de transparantie en eerlijkheid van handelstransacties te bevorderen. In dat verband moet de Commissie, in samenwerking met relevante belanghebbenden en organisaties, zoals metrologie- en benchmarkingautoriteiten, waar passend, de ontwikkeling van benchmarks en meetmethoden voor AI-systemen aanmoedigen. Daarbij moet de Commissie nota nemen en samenwerken met internationale partners die werken rond metrologie en relevante meetindicatoren met betrekking tot AI.
(75) Technische robuustheid is een essentiële eis voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen schadelijk of anderszins ongewenst gedrag dat kan voortvloeien uit de beperkingen binnen de systemen of de omgeving waarin de systemen opereren (bv. fouten, onregelmatigheden, onverwachte situaties). Daarom moeten technische en organisatorische maatregelen worden getroffen om de robuustheid van AI-systemen met een hoog risico te waarborgen, bijvoorbeeld door passende technische oplossingen te ontwerpen en te ontwikkelen om schadelijk of anderszins ongewenst gedrag te voorkomen of tot een minimum te beperken. Deze technische oplossing kan bijvoorbeeld bestaan uit mechanismen die het systeem in staat stellen zijn werking veilig te onderbreken (storingsbeveiligingsplannen) wanneer zich bepaalde anomalieën voordoen of wanneer de werking buiten bepaalde vooraf bepaalde grenzen plaatsvindt. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.
(76) Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van kwaadwillige derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals trainingsdatasets (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of membership inference), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen zoals veiligheidscontroles nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.
(77) Onverminderd de bij deze verordening vastgestelde eisen met betrekking tot robuustheid en nauwkeurigheid kunnen AI-systemen met een hoog risico die onder het toepassingsgebied van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen vallen, overeenkomstig die verordening de naleving van de cyberbeveiligingseisen van onderhavige verordening aantonen door te voldoen aan de essentiële cyberbeveiligingseisen van die verordening. Wanneer AI-systemen met een hoog risico voldoen aan de essentiële eisen van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen, moeten zij worden geacht in overeenstemming te zijn met de cyberbeveiligingseisen van deze verordening, voor zover de naleving van die eisen wordt aangetoond in de EU-conformiteitsverklaring of delen daarvan die is afgegeven op grond van die verordening. Daartoe moet bij de beoordeling van de cyberbeveiligingsrisico’s die verbonden zijn aan een product met digitale elementen dat overeenkomstig deze verordening als AI-systeem met een hoog risico is geclassificeerd, welke wordt uitgevoerd uit hoofde van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen, rekening worden gehouden met risico’s voor de cyberweerbaarheid van een AI-systeem tegen pogingen van ongeautoriseerde derden om het gebruik, het gedrag of de prestaties ervan te wijzigen, en met AI-specifieke kwetsbaarheden zoals datavervuiling of vijandige aanvallen, alsook, voor zover relevant, risico’s voor de grondrechten zoals op grond van deze verordening is vereist.
(78) De conformiteitsbeoordelingsprocedure waarin deze verordening voorziet, moet van toepassing zijn op de essentiële cyberbeveiligingseisen van een product met digitale elementen dat onder een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen valt en op grond van deze verordening als AI-systeem met een hoog risico is geclassificeerd. Deze regel mag echter niet leiden tot een verlaging van het vereiste betrouwbaarheidsniveau voor kritieke producten met digitale elementen die onder een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen vallen. In afwijking van deze regel zijn AI-systemen met een hoog risico die onder het toepassingsgebied van deze verordening vallen en eveneens op grond van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen als belangrijke en kritieke producten met digitale elementen zijn geclassificeerd en waarop de in een bijlage bij deze verordening vastgelegde conformiteitsbeoordelingsprocedure op basis van interne controle van toepassing is, derhalve onderworpen aan de conformiteitsbeoordelingsbepalingen van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen voor zover het de essentiële cyberbeveiligingseisen van die verordening betreft. In dat geval moeten de in een bijlage bij deze verordening vastgelegde respectieve bepalingen inzake conformiteitsbeoordeling op basis van interne controle van toepassing zijn op alle andere aspecten die onder die verordening vallen. Voortbouwend op de kennis en deskundigheid van Enisa inzake het cyberbeveiligingsbeleid en de taken die krachtens Verordening (EU) 2019/881 van het Europees Parlement en de Raad37 aan Enisa zijn toegewezen, moet de Commissie op het gebied van kwesties in verband met de cyberbeveiliging van AI-systemen samenwerken met Enisa.
(79) Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.
(80) Als ondertekenaars van het Verdrag van de Verenigde Naties inzake de rechten van personen met een handicap zijn de Unie en de lidstaten wettelijk verplicht personen met een handicap te beschermen tegen discriminatie en hun gelijkheid te bevorderen, ervoor te zorgen dat personen met een handicap op voet van gelijkheid met anderen toegang hebben tot informatie- en communicatietechnologieën en -systemen, en de eerbiediging van de privacy van personen met een handicap te waarborgen. Gezien het toenemende belang en gebruik van AI-systemen moet de toepassing van universele ontwerpbeginselen op alle nieuwe technologieën en diensten zorgen voor volledige en gelijke toegang voor iedereen die mogelijk gevolgen ondervindt van of gebruikmaakt van AI-technologieën, met inbegrip van personen met een handicap, op een manier waarbij ten volle rekening wordt gehouden met hun inherente waardigheid en diversiteit. Het is daarom van essentieel belang dat aanbieders ervoor zorgen dat zij voldoen aan de toegankelijkheidseisen, alsook aan de Richtlijnen (EU) 2016/2102 van het Europees Parlement en de Raad38 en (EU) 2019/882. Aanbieders moeten ervoor zorgen dat door ontwerp aan deze eisen wordt voldaan. De nodige maatregelen moeten daarom zo goed mogelijk in het ontwerp van AI-systemen met een hoog risico worden geïntegreerd.
(81) De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Aanbieders van AI-systemen met een hoog risico die onderworpen zijn aan verplichtingen met betrekking tot kwaliteitsbeheersystemen uit hoofde van het desbetreffende sectorale Unierecht, moeten de mogelijkheid hebben om de elementen van het kwaliteitsbeheersysteem waarin deze verordening voorziet, op te nemen als onderdeel van het bestaande kwaliteitsbeheersysteem waarin dat andere sectorale Unierecht voorziet. Bij toekomstige normalisatieactiviteiten of in richtsnoeren van de Commissie moet ook rekening worden gehouden met de complementariteit tussen deze verordening en het bestaande sectorale Unierecht. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.
(82) Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor operatoren en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gesteld, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar stellen in de Unie, moeten aanbieders die in derde landen zijn gevestigd derhalve per schriftelijke machtiging een gemachtigde aanwijzen die is gevestigd in de Unie. Deze gemachtigde vervult een spilfunctie bij de waarborging van de conformiteit van de door niet in de Unie gevestigde aanbieders in de handel gebrachte of in gebruik gestelde AI-systemen met een hoog risico en in zijn hoedanigheid van hun in de Unie gevestigde contactpersoon.
(83) Gezien de aard en complexiteit van de waardeketen voor AI-systemen en in lijn met het nieuwe wetgevingskader is het van essentieel belang rechtszekerheid te waarborgen en de naleving van deze verordening te vergemakkelijken. Daarom is het van belang de rol en de specifieke verplichtingen van betrokken operatoren in die hele waardeketen, zoals importeurs en distributeurs die kunnen bijdragen tot de ontwikkeling van AI-systemen, te verduidelijken. In bepaalde situaties kunnen deze operatoren in meer dan één rol tegelijkertijd optreden en moeten zij derhalve alle relevante verplichtingen die aan die rollen zijn verbonden, samen vervullen. Een operator kan bijvoorbeeld tegelijkertijd als distributeur en als importeur optreden.
(84) Om rechtszekerheid te waarborgen, moet worden verduidelijkt dat, onder bepaalde specifieke voorwaarden, om het even welke distributeur, importeur, gebruiksverantwoordelijke of andere derde moet worden beschouwd als aanbieder van een AI-systeem met een hoog risico en deze derhalve alle relevante verplichtingen moet nakomen. Dit zou het geval zijn als die partij haar naam of merk op een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico zet, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Dit zou ook het geval zijn als die partij een substantiële wijziging aanbrengt aan een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico en dit op zodanige wijze doet dat het een AI-systeem met een hoog risico overeenkomstig deze verordening blijft, of als zij het beoogde doel van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een AI-systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze wijzigt dat het AI-systeem een AI-systeem met een hoog risico overeenkomstig deze verordening wordt. Die bepalingen moeten van toepassing zijn onverminderd specifiekere bepalingen in bepaalde harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader waarmee deze verordening gezamenlijk moet worden toegepast. Zo moet artikel 16, lid 2, van Verordening (EU) 2017/745, waarin is bepaald dat bepaalde wijzigingen niet mogen worden beschouwd als een wijziging van een hulpmiddel die gevolgen kan hebben voor de naleving van de toepasselijke eisen, van toepassing blijven op AI-systemen met een hoog risico die medische hulpmiddelen zijn in de zin van die verordening.
(85) AI-systemen voor algemene doeleinden kunnen worden gebruikt als standalone AI-systeem met een hoog risico of als component van AI-systemen met een hoog risico. Daarom moeten de aanbieders van deze systemen vanwege de specifieke aard ervan en om een eerlijke verdeling van verantwoordelijkheden in de AI-waardeketen te waarborgen, ongeacht of zij als AI-systemen met een hoog risico als zodanig door andere aanbieders of als componenten van AI-systemen met een hoog risico kunnen worden gebruikt en tenzij in deze verordening anders is bepaald, nauw samenwerken met de aanbieders van de betrokken AI-systemen met een hoog risico, om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken, en met de bevoegde autoriteiten zoals vastgelegd in deze verordening.
(86) Wanneer, onder de in deze verordening vastgelegde voorwaarden, de aanbieder die het AI-systeem oorspronkelijk in de handel heeft gebracht of in gebruik heeft gesteld, voor de toepassing van deze verordening niet langer als de aanbieder mag worden beschouwd, en indien die aanbieder de wijziging van het AI-systeem in een AI-systeem met een hoog risico niet uitdrukkelijk heeft uitgesloten, moet de eerstgenoemde aanbieder niettemin nauw samenwerken en de nodige informatie beschikbaar stellen, en de redelijkerwijs te verwachten technische toegang en andere bijstand verstrekken die nodig is voor de naleving van de bij deze verordening vastgestelde verplichtingen, met name wat betreft de naleving van de conformiteitsbeoordeling van AI-systemen met een hoog risico.
(87) Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder het toepassingsgebied van de harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader, niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de productfabrikant, zoals gedefinieerd in die wetgeving, voorts de verplichtingen van de aanbieder naleven, zoals vastgelegd in deze verordening, en moet hij er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de eisen van deze verordening.
(88) In de hele de AI-waardeketen worden vaak door meerdere partijen AI-systemen, instrumenten en diensten geleverd, alsook onderdelen of processen, die door de aanbieder in het AI-systeem worden geïntegreerd, een en ander met verscheidene doelstellingen, waaronder het (opnieuw) trainen, testen en evalueren van modellen, de integratie in software, of andere aspecten van modelontwikkeling. Die partijen hebben een belangrijke rol te spelen in de waardeketen ten aanzien van de aanbieder van het AI-systeem met een hoog risico waarin hun AI-systemen, instrumenten, diensten, componenten of processen zijn geïntegreerd, en moeten deze aanbieder bij schriftelijke overeenkomst de nodige informatie, capaciteiten, technische toegang en andere bijstand verstrekken op basis van de algemeen erkende stand van de techniek, teneinde de aanbieder in staat te stellen volledig te voldoen aan de verplichtingen van deze verordening, zonder afbreuk te doen aan hun eigen intellectuele-eigendomsrechten of bedrijfsgeheimen.
(89) Derden die andere instrumenten, diensten, processen of AI-componenten dan AI-modellen voor algemene doeleinden toegankelijk maken voor het publiek, mogen niet worden verplicht te voldoen aan eisen die gericht zijn op de verantwoordelijkheden in de AI-waardeketen, met name ten aanzien van de aanbieder die deze heeft gebruikt of geïntegreerd, wanneer die instrumenten, diensten, processen of AI-componenten onder een vrije en opensource licentie toegankelijk worden gemaakt. Ontwikkelaars van vrije en opensource-AI-componenten, diensten, processen of andere AI-componenten dan AI-modellen voor algemene doeleinden moeten echter worden aangemoedigd om algemeen aanvaarde documentatiepraktijken, zoals model- en gegevenskaarten, toe te passen als een manier om de uitwisseling van informatie in de hele AI-waardeketen te versnellen, in het kader van de bevordering van betrouwbare AI-systemen in de Unie.
(90) De Commissie kan vrijwillige modelcontractvoorwaarden ontwikkelen en aanbevelen tussen aanbieders van AI-systemen met een hoog risico en derden die instrumenten, diensten, componenten of processen leveren die worden gebruikt of geïntegreerd in AI-systemen met een hoog risico, teneinde de samenwerking in de hele waardeketen te vergemakkelijken. Bij de ontwikkeling van vrijwillige modelcontractvoorwaarden moet de Commissie tevens rekening houden met de contractuele eisen die kunnen gelden in specifieke sectoren of businesscases.
(91) Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten waarmee het gebruik ervan mogelijk gepaard gaat, onder meer wat betreft de noodzaak van een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk, is het passend om specifieke verantwoordelijkheden voor gebruiksverantwoordelijken vast te stellen. Met name moeten gebruiksverantwoordelijken passende technische en organisatorische maatregelen treffen om ervoor te zorgen dat hun gebruik van AI-systemen met een hoog risico in overeenstemming is met de gebruiksaanwijzingen en voorts moeten er, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie. Ook moeten gebruiksverantwoordelijken ervoor zorgen dat de personen die zijn aangewezen voor de uitvoering van de bij deze verordening vastgestelde gebruiksinstructies en menselijk toezicht, over de nodige bekwaamheid beschikken, met name over afdoende AI-geletterdheid, opleiding en autoriteit om die taken naar behoren uit te voeren. Die verplichtingen mogen geen afbreuk doen aan andere verplichtingen van gebruiksverantwoordelijken met betrekking tot AI-systemen met een hoog risico uit hoofde van het Unierecht of het nationale recht.
(92) Deze verordening doet geen afbreuk aan de verplichtingen van werkgevers op grond van het Unierecht of de nationale wetgeving en praktijk, met inbegrip van Richtlijn 2002/14/EG van het Europees Parlement en de Raad39, om werknemers of hun vertegenwoordigers te informeren, of te informeren en te raadplegen, over besluiten om AI-systemen in gebruik te stellen of aan te wenden. Ook indien de voorwaarden voor deze informerings- of deze informerings- en raadplegingsverplichtingen uit hoofde van andere rechtsinstrumenten niet vervuld zijn, blijft het noodzakelijk om werknemers en hun vertegenwoordigers over het geplande inzetten van AI-systemen met een hoog risico op de werkplek te informeren. Bovendien is het recht te worden geïnformeerd aanvullend en noodzakelijk voor de aan deze verordening ten grondslag liggende doelstelling van bescherming van de grondrechten. Om die reden moet deze verordening een informeringsvereiste bevatten, die evenwel geen afbreuk mag doen aan de bestaande rechten van werknemers.
(93) Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop deze systemen zijn vormgegeven, kunnen de risico’s ook het gevolg zijn van de manier waarop ze worden gebruikt. Gebruiksverantwoordelijken van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van aanbieders bij de ontwikkeling van het AI-systeem. Gebruiksverantwoordelijken zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële aanzienlijke risico’s identificeren die niet in de ontwikkelingsfase voorzien werden, want zij hebben preciezere kennis van de gebruikscontext, de personen of groepen personen die waarschijnlijk zullen worden geraakt, met inbegrip van kwetsbare groepen. De in een bijlage bij deze verordening opgenomen gebruiksverantwoordelijken van AI-systemen met een hoog risico zijn ook cruciaal voor de informering van natuurlijke personen en moeten, wanneer zij besluiten met betrekking tot natuurlijke personen nemen of helpen dergelijke besluiten te nemen, de natuurlijke personen in voorkomend geval te informeren dat zij aan het gebruik van het AI-systeem met een hoog risico zijn onderworpen. Deze informatie dient tevens het beoogde doel en het soort besluitvorming te omvatten waarvoor het systeem wordt gebruikt. De gebruiksverantwoordelijke dient de natuurlijke personen ook te informeren over hun recht op uitleg krachtens deze verordening. Als het om AI-systemen met een hoog risico gaat die voor rechtshandhavingsdoeleinden worden gebruikt, moet die verplichting worden uitgevoerd overeenkomstig artikel 13 van Richtlijn (EU) 2016/680.
(94) Elke vorm van verwerking van biometrische gegevens voor rechtshandhavingsdoeleinden door AI-systemen voor biometrische identificatie, moet in overeenstemming zijn met artikel 10 van Richtlijn (EU) 2016/680, op grond waarvan verwerking uitsluitend is toegestaan indien die strikt noodzakelijk is, in welk geval er passende waarborgen voor de rechten en vrijheden van de betrokkene moeten worden geboden, alsmede indien het Unierecht of het lidstatelijk recht in een dergelijke verwerking voorziet. Een dergelijk gebruik moet, indien toegestaan, tevens voldoen aan de beginselen van artikel 4, lid 1, van Richtlijn (EU) 2016/680, waaronder rechtmatigheid, billijkheid en transparantie, doelbinding, nauwkeurigheid en opslagbeperking.
(95) Het gebruik van systemen voor biometrische identificatie op afstand achteraf moet onverminderd het toepasselijke Unierecht en dan met name Verordening (EU) 2016/679 en Richtlijn (EU) 2016/680, gezien de indringende aard van deze systemen, worden onderworpen aan waarborgen. Systemen voor biometrische identificatie op afstand achteraf moeten te allen tijde worden gebruikt op een evenredige, legitieme en strikt noodzakelijke wijze, hetgeen betekent dat ze specifiek gericht moeten worden op de te identificeren personen en de locatie, binnen een beperkte tijdspanne, met gebruikmaking van een gesloten reeks wettelijk verkregen videobeelden. Systemen voor biometrische identificatie op afstand achteraf in het kader van rechtshandhaving mogen in geen geval gebruikt worden op een wijze die tot algemene surveillance leidt. De voorwaarden voor biometrische identificatie op afstand achteraf mogen onder geen enkel beding ruimte bieden voor omzeiling van de voorwaarden van het verbod, noch van de strikte uitzonderingen voor realtime biometrische identificatie op afstand.
(96) Om efficiënt te waarborgen dat de grondrechten worden beschermd, moeten gebruiksverantwoordelijken van AI-systemen met een hoog risico die een publiekrechtelijk orgaan, of openbare diensten verlenende particuliere entiteiten en gebruiksverantwoordelijken van bepaalde in een bijlage bij deze verordening vermelde AI-systemen met een hoog risico, zoals bank- of verzekeringsentiteiten, een effectbeoordeling op het gebied van de grondrechten uitvoeren alvorens deze systemen in gebruik te stellen. Voor personen belangrijke diensten die van openbare aard zijn, kunnen tevens door particuliere entiteiten worden verleend. Particuliere entiteiten die dergelijke openbare diensten aanbieden, houden verband met taken van algemeen belang op het gebied van onder meer onderwijs, gezondheidszorg, sociale diensten, huisvesting en rechtsbedeling. Doel van de effectbeoordeling op het gebied van de grondrechten is dat de gebruiksverantwoordelijke de specifieke risico’s voor de rechten van personen of groepen personen die waarschijnlijk zullen worden getroffen, in kaart brengt, en dat hij bepaalt welke maatregelen er nodig zijn in het geval die risico’s zich voordoen. De effectbeoordeling moet worden verricht voordat het AI-systeem met een hoog risico wordt ingezet en moet worden geactualiseerd in het geval de gebruiksverantwoordelijke van mening is dat een van de relevante factoren is veranderd. De effectbeoordeling moet in kaart brengen in welke relevante processen van de gebruiksverantwoordelijke het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan zal worden gebruikt, en moet voorts een beschrijving bevatten van de periode waarin en de frequentie waarmee het systeem zal worden gebruikt, alsmede van de specifieke categorieën natuurlijke personen en groepen die in de specifieke gebruikscontext waarschijnlijk gevolgen zullen ondervinden. In de beoordeling moet tevens worden geïnventariseerd welke specifieke risico’s op schade gevolgen kunnen hebben voor de grondrechten van die personen of groepen. De gebruiksverantwoordelijke moet bij de beoordeling informatie gebruiken die relevant is voor een behoorlijke effectbeoordeling, waaronder door de aanbieder van het AI-systeem met een hoog risico in de gebruiksaanwijzing verstrekte informatie. Gebruiksverantwoordelijken moeten aan de hand van de vastgestelde risico’s bepalen welke maatregelen er getroffen moeten worden in het geval die risico’s zich voordoen, zoals governanceregelingen in die specifieke gebruikscontext in de vorm van onder meer regelingen voor menselijk toezicht overeenkomstig de gebruiksaanwijzing of in de vorm van klachten- en beroepsprocedures, omdat deze een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in concrete gebruiksgevallen. Na uitvoering van die effectbeoordeling moet de gebruiksverantwoordelijke de relevante markttoezichtautoriteit daarvan in kennis stellen. Gebruiksverantwoordelijken van AI-systemen met een hoog risico kunnen bij de uitvoering van de effectbeoordeling en het ontwerpen van maatregelen voor het geval de risico’s werkelijkheid worden, met name bij gebruik van AI-systemen in de publieke sector, zich voor de inwinning van relevante informatie voor de effectbeoordeling in voorkomend geval tot relevante belanghebbenden wenden, zoals de vertegenwoordigers van groepen personen die waarschijnlijk gevolgen van het AI-systeem zullen ondervinden, alsmede tot onafhankelijke deskundigen en maatschappelijke organisaties. Het Europees Bureau voor artificiële intelligentie (“AI-bureau”) moet een model-vragenlijst ontwikkelen om naleving te vergemakkelijken en de administratieve lasten voor gebruiksverantwoordelijken te verminderen.
(97) Het begrip “AI-model voor algemene doeleinden” moet met het oog op de rechtszekerheid duidelijk worden gedefinieerd en worden gescheiden van het begrip “AI-systeem”. De definitie moet gebaseerd zijn op de belangrijkste eigenschappen en kenmerken van AI-modellen voor algemene doeleinden, met name het algemene karakter en het vermogen om op competente wijze een breed scala aan onderscheiden taken uit te voeren. Dit soort modellen wordt getraind met grote hoeveelheden gegevens, via uiteenlopende methoden als self-supervised, unsupervised of reinforcement learning. AI-modellen voor algemene doeleinden kunnen op verschillende manieren in de handel worden gebracht, onder meer via bibliotheken en applicatie-programma-interfaces (API’s), of als rechtstreekse download of fysieke kopie. Deze modellen kunnen nader worden gewijzigd of verfijnd tot nieuwe modellen. AI-modellen zijn weliswaar een essentieel onderdeel van AI-systemen, maar vormen geen AI-systemen op zich. Om een AI-systeem te worden, moeten er aan AI-modellen nog andere componenten worden toegevoegd, bijvoorbeeld een gebruikersinterface. AI-modellen worden doorgaans geïntegreerd in en vormen een onderdeel van AI-systemen. Deze verordening voorziet in specifieke regels voor AI-modellen voor algemene doeleinden en voor AI-modellen voor algemene doeleinden die systeemrisico’s inhouden, hetgeen ook van toepassing dient te zijn als deze modellen geïntegreerd zijn in of deel uitmaken van een AI-systeem. De verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden behoren van toepassing te zijn zodra een AI-model voor algemene doeleinden in de handel wordt gebracht. In het geval een aanbieder van een AI-model voor algemene doeleinden in een eigen AI-systeem dat op de markt wordt aangeboden of in gebruik wordt gesteld, een eigen model integreert, moet dat model worden geacht in de handel te zijn gebracht en dienen de verplichtingen krachtens deze verordening voor modellen derhalve van toepassing blijven naast die voor AI-systemen. De verplichtingen voor modellen behoren evenwel niet van toepassing te zijn indien een eigen model gebruikt wordt voor zuiver interne processen die niet essentieel zijn voor de levering van een product of een dienst aan derden en indien er geen rechten van natuurlijke personen in het geding zijn. AI-modellen voor algemene doeleinden met een systeemrisico moeten gezien hun in potentie aanzienlijk negatieve effecten altijd onderworpen zijn aan de relevante verplichtingen uit hoofde van deze verordening. De definitie mag geen betrekking hebben op AI-modellen die louter voor onderzoeks-, ontwikkelings- en prototypingdoeleinden worden gebruikt alvorens zij in de handel worden gebracht. Dit laat onverlet dat eenmaal een model na gebruik voor voornoemde doeleinden in de handel wordt gebracht, aan deze verordening moet worden voldaan.
(98) Hoewel het algemene karakter van een model, onder meer, ook aan de hand van het aantal parameters kan worden bepaald, moeten modellen met ten minste een miljard parameters die via grootschalig self-supervised leren getraind zijn met grote hoeveelheden gegevens, geacht worden een aanzienlijke algemeenheid te vertonen en op competente wijze een breed scala aan onderscheidende taken te kunnen uitvoeren.
(99) Grote generatieve AI-modellen zijn een typisch voorbeeld van AI-modellen voor algemene doeleinden, aangezien ze op flexibele wijze content kunnen genereren in de vorm van bijvoorbeeld tekst, audio, beelden of video, waarmee eenvoudig een breed scala aan onderscheiden taken kan worden uitgevoerd.
(100) Indien een AI-model voor algemene doeleinden is geïntegreerd in of deel uitmaakt van een AI-systeem, moet dit systeem als AI-systeem voor algemene doeleinden worden aangemerkt indien het dankzij deze integratie aangewend kan worden voor uiteenlopende doeleinden. Een AI-systeem voor algemene doeleinden kan rechtstreeks worden gebruikt of kan worden geïntegreerd in meerdere andere AI-systemen.
(101) Aanbieders van AI-modellen voor algemene doeleinden hebben een bijzondere rol en verantwoordelijkheid binnen de AI-waardeketen, aangezien de modellen die zij leveren de basis kunnen vormen voor een reeks systemen verder in de AI-waardeketen, veelal aangeboden door aanbieders verder in de AI-waardeketen, hetgeen om een goed inzicht in de modellen en hun capaciteiten vraagt, zowel qua integratie van de modellen in hun producten als qua naleving van hun verplichtingen uit hoofde van deze of andere verordeningen. Er zijn derhalve evenredige transparantiemaatregelen nodig, zoals opstelling en bijwerking van documentatie en verstrekking van informatie over het AI-model voor algemeen gebruik door de aanbieders verder in de AI-waardeketen. De aanbieder van het AI-model voor algemene doeleinden dient technische documentatie op te stellen en bij te werken om deze op verzoek te kunnen overleggen aan het AI-bureau en de nationale bevoegde autoriteiten. De minimaal in de documentatie op te nemen elementen moeten worden vastgelegd in specifieke bijlagen bij deze verordening. De Commissie moet de bevoegdheid krijgen om die bijlagen in het licht van de technologische ontwikkelingen bij gedelegeerde handelingen te wijzigen.
(102) Software en gegevens, met inbegrip van modellen, vrijgegeven in het kader van een vrije en opensource licentie op basis waarvan ze vrijelijk kunnen worden gedeeld en gebruikers ze in al dan niet gewijzigde vorm vrijelijk kunnen raadplegen, gebruiken, wijzigen en herdistribueren, kunnen bijdragen tot onderzoek en innovatie op de markt en aanzienlijke groeikansen bieden voor de economie van de Unie. In het kader van vrije en opensource licenties vrijgegeven AI-modellen voor algemene doeleinden moeten worden aangemerkt als hoge transparantie en openheid waarborgend, indien de parameters ervan, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt. Een licentie moet eveneens als vrij en open source worden aangemerkt ingeval gebruikers op basis ervan software en gegevens kunnen exploiteren, kopiëren, verspreiden, bestuderen, wijzigen en verbeteren, met inbegrip van modellen, mits de oorspronkelijke aanbieder van het model vermeld wordt en er identieke of vergelijkbare distributievoorwaarden in acht worden genomen.
(103) “Vrije en opensource-AI-componenten” staat voor de software en de gegevens, met inbegrip van de modellen en AI-modellen, -instrumenten, -diensten of -processen voor algemene doeleinden van een AI-systeem. Vrije en opensource-AI-componenten kunnen via verschillende kanalen worden aangeboden, inclusief via ontwikkeling op open dataopslagplaatsen. AI-componenten die worden verstrekt tegen betaling of anderszins te gelde worden gemaakt via onder meer verlening van technische ondersteuning of andere diensten met betrekking tot de AI-component, waaronder op een softwareplatform, of via het gebruik van persoonsgegevens om andere redenen dan uitsluitend ter verbetering van de beveiliging, compatibiliteit of interoperabiliteit van de software, met uitzondering van transacties tussen micro-ondernemingen, mogen voor de toepassing van deze verordening niet in aanmerking komen voor de uitzonderingen op vrije en opensource-AI-componenten. Het loutere beschikbaar stellen van AI-componenten via open registers mag niet als tegeldemaking worden aangemerkt.
(104) De aanbieders van AI-modellen voor algemene doeleinden die worden vrijgegeven in het kader van een vrije en opensource-licentie en waarvan de parameters, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt, moeten worden onderworpen aan uitzonderingen met betrekking tot de transparantievereisten voor AI-modellen voor algemene doeleinden, tenzij zij geacht kunnen worden een systeemrisico te vertegenwoordigen. In dat geval mag de omstandigheid dat het model transparant is en vergezeld gaat van een opensource-licentie niet als voldoende reden worden aangemerkt om de verplichtingen uit hoofde van deze verordening niet na te leven. Aangezien het geen vanzelfsprekendheid is dat er bij de beschikbaarstelling van AI-modellen voor algemene doeleinden middels vrije en opensource-licenties substantiële informatie beschikbaar komt over de voor de training of verfijning van het model gebruikte datasets of over de wijze waarop daarbij gezorgd is voor naleving van het auteursrecht, mag de uitzondering voor AI-modellen voor algemene doeleinden wat betreft de naleving van de transparantievereisten in elk geval geen betrekking hebben op de verplichting om een samenvatting op te stellen van de content die voor de training van het model is gebruikt en ook niet op de verplichting tot invoering van een beleid ter naleving van het Unierecht inzake auteursrechten en dan met name ter vaststelling en naleving van het voorbehoud van rechten op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 van het Europees Parlement en de Raad40.
(105) AI-modellen voor algemeen gebruik, met name grote generatieve AI-modellen, die tekst, beelden en andere content kunnen genereren, bieden unieke innovatiemogelijkheden, maar leiden ook tot uitdagingen voor kunstenaars, auteurs en andere makers en de manier waarop hun creatieve content wordt gecreëerd, verspreid, gebruikt en geconsumeerd. Voor de ontwikkeling en opleiding van dergelijke modellen is toegang nodig tot enorme hoeveelheden tekst, afbeeldingen, video’s en andere data. In dit verband kan voor het vergaren en analyseren van die mogelijkerwijs door het auteursrecht en naburige rechten beschermde content, op grote schaal tekst- en dataminingtechnieken worden gebruikt. Voor elk gebruik van auteursrechtelijk beschermde content is toestemming van de betrokken rechthebbende vereist, tenzij er relevante uitzonderingen en beperkingen op het auteursrecht gelden. Bij Richtlijn (EU) 2019/790 zijn uitzonderingen en beperkingen ingevoerd die onder bepaalde voorwaarden toestaan dat werken of andere materialen voor doeleinden van tekst- en datamining worden gereproduceerd of geëxtraheerd. Op grond van deze regels kunnen rechthebbenden ervoor kiezen hun rechten op hun werken of andere materialen voor te behouden teneinde tekst- en datamining te voorkomen, tenzij dit gebeurt voor doeleinden van wetenschappelijk onderzoek. Indien opt-outrechten uitdrukkelijk en op passende wijze zijn voorbehouden, dient een aanbieder van AI-modellen voor algemene doeleinden indien hij de werken voor tekst- en datamining wil gebruiken, toestemming aan de rechthebbenden te vragen.
(106) Aanbieders die AI-modellen voor algemene doeleinden in de Unie in de handel brengen, zijn gehouden de naleving van de desbetreffende verplichtingen in deze verordening te waarborgen. Zij moeten daartoe een beleid invoeren ter naleving van het Unierecht inzake auteursrechten en naburige rechten, met name om kennis te hebben van het door rechthebbenden geuite voorbehoud van rechten op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 en dit na te leven. Aanbieders die in de Unie een AI-model voor algemene doeleinden in de handel brengen, zijn hiertoe verplicht, ongeacht de jurisdictie waarin de auteursrechtelijke relevante handelingen plaatsvinden die helpen die AI-modellen voor algemene doeleinden te trainen. Alleen op deze manier kan gezorgd worden voor een gelijk speelveld voor aanbieders van AI-modellen voor algemene doeleinden, waar geen enkele aanbieder zich een concurrentievoordeel op de Uniemarkt mag kunnen verschaffen met lagere auteursrechtelijke normen dan de in de Unie toepasselijke normen.
(107) Voor een grotere transparantie ten aanzien van de bij de pre-training en training van AI-modellen voor algemene doeleinden gebruikte data, met inbegrip van door het auteursrecht beschermde tekst en data, is het passend dat aanbieders van dergelijke modellen een voldoende gedetailleerde samenvatting maken en publiceren van de voor de training van het AI-model voor algemene doeleinden gebruikte content. Terdege rekening houdend met de noodzaak tot bescherming van bedrijfsgeheimen en vertrouwelijke bedrijfsinformatie moet deze samenvatting breed van karakter zijn in plaats van technisch gedetailleerd, teneinde partijen met legitieme belangen, waaronder houders van auteursrechten, in staat te stellen hun rechten uit hoofde van het Unierecht uit te oefenen en te handhaven. Zo kan er bijvoorbeeld een opsomming worden gegeven van de belangrijkste gegevensverzamelingen of -reeksen waarmee het model is getraind, zoals grote particuliere of openbare databanken of gegevensarchieven, en kan een uitleg in de vorm van een relaas worden gegeven over andere gebruikte gegevensbronnen. Het is passend dat het AI-bureau een model voor die samenvatting verstrekt, dat een eenvoudig en doeltreffend model dient te zijn waarmee de aanbieder de vereiste samenvatting in de vorm van een relaas verstrekken kan.
(108) Wat betreft de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden om een beleid in te voeren om aan het recht van de Unie inzake auteursrecht te voldoen en om een samenvatting van de voor de training gebruikte content te publiceren, moet het AI-bureau controleren of de aanbieder aan die verplichtingen voldoet, zonder evenwel geval voor geval de trainingsdata te controleren of te beoordelen qua naleving van het auteursrecht. Deze verordening doet geen afbreuk aan de handhaving van de auteursrechtregels krachtens het Unierecht.
(109) De naleving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden moet evenredig zijn aan en in verhouding staan tot het soort modelaanbieder, waarbij personen die modellen ontwikkelen of gebruiken voor niet-professioneel of wetenschappelijk onderzoek, van de verplichtingen zijn uitgesloten maar wel moeten worden aangemoedigd deze verplichtingen vrijwillig te omarmen. Onverminderd het recht van de Unie inzake auteursrechten moet qua naleving van die verplichtingen terdege rekening worden gehouden met de omvang van de aanbieder en moeten er voor kmo’s, waaronder start-ups, vereenvoudigde wijzen van naleving mogelijk zijn die geen buitensporige kosten mogen meebrengen en het gebruik van dergelijke modellen niet mogen ontmoedigen. Bij wijziging of verfijning van een model moeten de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden beperkt blijven tot die wijziging of verfijning, bijvoorbeeld door voor te schrijven dat de reeds bestaande technische documentatie louter aangevuld wordt met informatie over de wijzigingen, met inbegrip van nieuwe trainingsdatabronnen, als middel om te voldoen aan de waardeketenverplichtingen krachtens deze verordening.
(110) AI-modellen voor algemene doeleinden kunnen systeemrisico’s met zich meebrengen, waaronder feitelijke of redelijkerwijs te voorziene negatieve effecten die verband houden met zware ongevallen, verstoringen van kritieke sectoren en ernstige gevolgen voor de volksgezondheid en de openbare veiligheid, allerhande feitelijke of redelijkerwijs voorzienbare negatieve effecten op democratische processen en de openbare en economische veiligheid, alsmede de verspreiding van illegale, valse of discriminerende content. Systeemrisico’s nemen logischerwijs toe naargelang de capaciteiten en het bereik van een model groter zijn, kunnen zich voordoen gedurende de gehele levenscyclus van het model en worden beïnvloed door elementen als misbruik van het model, de betrouwbaarheid, billijkheid, beveiliging en mate van autonomie ervan, alsmede door de toegang van het model tot instrumenten, nieuwe of gecombineerde modaliteiten, introductie- en distributiestrategieën, en door het potentieel om waarborgen te omzeilen en andere factoren. Internationaal is bij de aanpak van de problematiek tot dusver met name gebleken dat aandacht moet worden besteed aan de risico’s die voortvloeien uit mogelijk opzettelijk misbruik of uit onbedoelde problemen met de controle op de afstemming op wat de mens met het model beoogt; chemische, biologische, radiologische en nucleaire risico’s, zoals de manieren waarop belemmeringen op de toegang kunnen worden verlaagd, onder meer voor doeleinden van wapenontwikkeling, van verwerving van wapenontwerpen, en van wapengebruik, offensieve cybercapaciteiten, zoals manieren om kwetsbaarheden op te sporen, te exploiteren of operationeel te gebruiken; de effecten van interactie en het gebruik van instrumenten, waaronder bijvoorbeeld de capaciteit om fysieke systemen te controleren en kritieke infrastructuur te verstoren; het risico dat modellen kopieën van zichzelf maken, zichzelf repliceren, of andere modellen trainen; de manieren waarop modellen kunnen leiden tot schadelijke vooringenomenheid en discriminatie, met alle risico’s voor individuen, gemeenschappen of samenlevingen van dien; de facilitering van desinformatie of privacyschendingen die een bedreiging vormen voor de democratische rechtsorde en de mensenrechten; het risico dat een bepaalde gebeurtenis kan leiden tot een kettingreactie met aanzienlijke negatieve effecten op een hele stad, een heel vakgebied of een hele gemeenschap.
(111) Het strekt tot aanbeveling een methodiek te ontwikkelen voor de classificatie van AI-modellen voor algemene doeleinden als AI-model voor algemene doeleinden met een systeemrisico. Systeemrisico’s zijn het gevolg van bijzonder hoge capaciteiten, reden waarom een AI-model voor algemene doeleinden geacht moet worden systeemrisico’s te vertegenwoordigen indien het capaciteiten met een grote impact heeft, dewelke als zodanig wordt vastgesteld op basis van passende technische instrumenten en methodieken, of indien het vanwege zijn bereik aanzienlijke gevolgen heeft voor de interne markt. “Capaciteiten met een grote impact” in AI-modellen voor algemene doeleinden: capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden; het volledige scala aan mogelijkheden binnen een model wordt pas duidelijker eenmaal het in de handel is gebracht of gebruiksverantwoordelijken met het model werken. Volgens de stand van de techniek op het moment van inwerkingtreding van deze verordening is de voor de training van het AI-model voor algemene doeleinden gebruikte cumulatieve rekeninput, gemeten in zwevendekommabewerkingen, een van de relevante benaderingen voor modelcapaciteiten. De voor het trainen gebruikte cumulatieve rekeninput bevat het totaal aan voor de activiteiten en methoden ter verbetering van de capaciteiten van het model gebruikte rekeninput voorafgaand aan het inzetten ervan, zoals pre-training, het genereren van synthetische gegevens en verfijning. Er moet derhalve een initiële drempel voor zwevendekommabewerkingen worden vastgesteld, die, indien een AI-model voor algemene doeleinden daaraan voldoet, leidt tot de aanname dat het model een AI-model voor algemene doeleinden met systeemrisico’s is. Deze drempel moet in de loop van de tijd worden aangepast aan de technologische en industriële vooruitgang, zoals betere algoritmes of efficiëntere hardware, en moet worden aangevuld met modelcapaciteit-benchmarks en -indicatoren. Om deze vooruitgang te kennen, moet het AI-bureau samenwerken met de wetenschappelijke gemeenschap, het bedrijfsleven, het maatschappelijk middenveld en andere deskundigen. Drempelwaarden en ook instrumenten en benchmarks ter beoordeling van capaciteiten met een grote impact, moeten gedegen kunnen voorspellen in hoeverre een AI-model voor algemene doeleinden van algemene aard is, wat de capaciteiten ervan zijn en welk systeemrisico aan het model kleeft. Daarnaast zouden de drempelwaarden en de instrumenten en benchmarks ter beoordeling van capaciteiten met een grote impact, rekening kunnen houden met de wijze waarop het model in de handel zal worden gebracht of het aantal gebruikers waarvoor het gevolgen kan hebben. Ter aanvulling van dit systeem moet de Commissie de mogelijkheid hebben om individuele besluiten te nemen tot aanmerking van een dergelijk model als AI-model voor algemene doeleinden met een systeemrisico, in het geval wordt vastgesteld dat een AI-model voor algemene doeleinden mogelijkheden of een effect heeft dat gelijkwaardig is aan die welke onder de vastgestelde drempel vallen. Dat besluit moet worden genomen op basis van een algemene beoordeling van de in een bijlage bij deze verordening vastgestelde criteria voor de aanwijzing van een AI-model voor algemene doeleinden met een systeemrisico, zoals de kwaliteit of omvang van de trainingsdataset, het aantal zakelijke en eindgebruikers van het model, de input- en outputmodaliteiten ervan, de mate van autonomie en schaalbaarheid ervan, of de instrumenten waartoe het toegang heeft. Als een aanbieder wiens model is aangewezen als AI-model voor algemene doeleinden met een systeemrisico een met redenen omkleed verzoek indient, dient de Commissie daarmee rekening te houden en kan zij besluiten opnieuw te beoordelen of het AI-model voor algemene doeleinden nog steeds wordt beschouwd als een AI-model dat systeemrisico’s vertoont.
(112) Het is tevens noodzakelijk tot een procedure te komen voor de classificatie van AI-modellen voor algemene doeleinden met een systeemrisico. Een AI-model voor algemeen gebruik dat aan de toepasselijke drempel voor capaciteiten met een grote impact voldoet, dient als AI-model voor algemene doeleinden met een systeemrisico te worden aangemerkt. De aanbieder behoort uiterlijk twee weken nadat aan de vereisten is voldaan of nadat bekend is geworden dat een AI-model voor algemene doeleinden voldoet aan de vereisten die tot het vermoeden leiden, het AI-bureau daarvan in kennis te stellen. Dit is met name relevant met betrekking tot de drempel van zwevendekommabewerkingen, omdat de training van AI-modellen voor algemene doeleinden uitgebreide planning vergt met onder meer voorafgaande toewijzing van rekeninputmiddelen, waardoor aanbieders van AI-modellen voor algemene doeleinden reeds vóór voltooiing van de training weten kunnen of hun model aan de drempel zal voldoen. In het kader van die kennisgeving moet de aanbieder kunnen aantonen dat een AI-model voor algemene doeleinden dankzij zijn specifieke kenmerken bij wijze van uitzondering geen systeemrisico’s meebrengt en dat het dus niet als AI-model voor algemene doeleinden met systeemrisico’s mag worden aangemerkt. Het AI-bureau kan dankzij die informatie anticiperen op het in de handel brengen van AI-modellen voor algemene doeleinden met systeemrisico’s, en de aanbieders kunnen reeds in een vroeg stadium met het AI-bureau in contact treden. Die informatie is met name van belang met betrekking tot AI-modellen voor algemene doeleinden waarvan het de bedoeling is deze als open source vrij te geven, want eenmaal als het opensourcemodel is vrijgegeven, kan het moeilijker zijn de nodige maatregelen ter naleving van de verplichtingen uit hoofde van deze verordening te treffen.
(113) Indien de Commissie kennis krijgt van het feit dat een AI-model voor algemene doeleinden voldoet aan de vereisten om als AI-model voor algemene doeleinden met een systeemrisico te worden aangemerkt, terwijl dat eerder niet bekend was of de betrokken aanbieder de Commissie kennisgeving had gedaan, moet de Commissie de bevoegdheid hebben dit model alsnog als zodanig aan te merken. Naast de monitoringactiviteiten van het AI-bureau moet er een systeem van gekwalificeerde waarschuwingen komen dat ervoor zorgt dat het AI-bureau door het wetenschappelijk panel in kennis wordt gesteld van AI-modellen voor algemene doeleinden die mogelijk als AI-modellen voor algemene doeleinden met een systeemrisico moeten worden geclassificeerd.
(114) De aanbieders van AI-modellen voor algemene doeleinden die systeemrisico’s inhouden, moeten, naast de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden, onderworpen worden aan verplichtingen die gericht zijn op het identificeren en beperken van die risico’s en op waarborging van een passend niveau van cyberbeveiliging, ongeacht of het model een op zichzelf staand model is of ingebed in een AI-systeem of in een product. Aanbieders moeten met het oog op verwezenlijking van deze doelstellingen, bij deze verordening verplicht worden de nodige modelevaluaties uit te voeren, met name voordat een model voor het eerst in de handel wordt gebracht, in het kader waarvan onder meer tests gericht op het ontdekken van kwetsbaarheden in het model moeten worden uitgevoerd, alsmede, in voorkomend geval, uiteenlopende interne of onafhankelijke externe tests. Daarnaast moeten aanbieders van AI-modellen voor algemene doeleinden met systeemrisico’s die systeemrisico’s voortdurend analyseren en binnen de perken houden via onder meer beleid voor risicobeheer in de vorm van bijvoorbeeld verantwoordings- en governanceprocessen, monitoring na het in de handel brengen van het model, passende maatregelen gedurende de gehele levenscyclus, en samenwerking met relevante actoren in de AI-waardeketen.
(115) Aanbieders van AI-modellen voor algemene doeleinden met systeemrisico’s dienen mogelijke systeemrisico’s te beoordelen en te beperken. Indien er zich als gevolg van de ontwikkeling of het gebruik van een AI-model voor algemene doeleinden die systeemrisico’s kan inhouden een ernstig incident voordoet, ondanks inspanningen om met het model verband houdende risico’s te identificeren en te voorkomen, moet de aanbieder van het AI-model voor algemene doeleinden onverwijld het verdere verloop van het incident beginnen te volgen en de Commissie en de nationale bevoegde autoriteiten alle relevante informatie en mogelijke corrigerende maatregelen melden. Bovendien moeten aanbieders zorgen voor een passend niveau van cyberbeveiliging voor het model en de fysieke infrastructuur ervan, indien van toepassing, gedurende de gehele levenscyclus van het model. Bij de cyberbeveiliging in verband met systeemrisico’s als gevolg van kwaadwillig gebruik of aanvallen, moet terdege rekening worden gehouden met onopzettelijke modellekken, ongeoorloofde vrijgave, omzeiling van veiligheidsmaatregelen, alsmede met bescherming tegen cyberaanvallen, ongeoorloofde toegang, en modeldiefstal. Die bescherming kan worden geboden door modelwegingen, algoritmen, servers en datasets te beveiligen, bijvoorbeeld met operationele beveiligingsmaatregelen voor informatie, specifiek cyberbeveiligingsbeleid, passende technische en bewezen oplossingen, alsmede met controles op cyber- en fysieke toegang, afgestemd op de relevante omstandigheden en risico’s.
(116) Het AI-bureau moet de opstelling, evaluatie en aanpassing van praktijkcodes aanmoedigen en vergemakkelijken, rekening houdend met internationale manieren van aanpak. Alle aanbieders van AI-modellen voor algemene doeleinden kunnen worden uitgenodigd eraan deel te nemen. Om ervoor te zorgen dat de praktijkcodes aansluiten op de stand van de techniek en ze terdege rekening houden met een brede waaier aan perspectieven, moet het AI-bureau samenwerken met de relevante nationale bevoegde autoriteiten en kan het, in voorkomend geval, ter opstelling van de praktijkcodes overleg voeren met maatschappelijke organisaties en andere relevante belanghebbenden en deskundigen, waaronder het wetenschappelijk panel. De praktijkcodes moeten betrekking hebben op verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden en van AI-modellen voor algemene doeleinden die systeemrisico’s inhouden. Wat systeemrisico’s betreft, moeten praktijkcodes bovendien bijdragen tot de vaststelling van een taxonomie van de soorten systeemrisico’s op het niveau van de Unie, voorzien van de kenmerken en bronnen van deze risico’s. Voorts moeten praktijkcodes gericht zijn op specifieke risicobeoordelings- en risicobeperkende maatregelen.
(117) De praktijkcodes moeten een centraal instrument zijn voor de correcte naleving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden uit hoofde van deze verordening. Aanbieders moeten voor het staven van hun naleving van de verplichtingen kunnen vertrouwen op praktijkcodes. De Commissie kan bij uitvoeringshandelingen een gedragscode vaststellen en deze binnen de Unie een algemene geldigheid verlenen, of anderszins gemeenschappelijke regels vaststellen voor de uitvoering van de desbetreffende verplichtingen, indien er op het moment dat deze verordening van toepassing wordt nog geen gedragscode voorhanden is of het AI-bureau de wel reeds voorhanden zijnde gedragscode ontoereikend acht. Zodra een geharmoniseerde norm gepubliceerd is en het AI-bureau deze in het licht van de relevante verplichtingen geschikt heeft bevonden, moet naleving van een Europese geharmoniseerde norm aanbieders het vermoeden van conformiteit bieden. Aanbieders van AI-modellen voor algemene doeleinden moeten ook met alternatieve geschikte middelen kunnen aantonen dat zij aan de relevante verplichtingen voldoen in het geval er geen praktijkcodes of geharmoniseerde normen beschikbaar zijn, of wanneer zij ervoor kiezen geen beroep op die codes of normen te doen.
(118) Deze verordening reguleert AI-systemen en AI-modellen door relevante marktdeelnemers die deze in de Unie in de handel brengen, in gebruik stellen of in gebruik nemen bepaalde eisen en verplichtingen op te leggen, en vormt een aanvulling op de verplichtingen voor aanbieders van tussenhandelsdiensten die dit soort systemen of modellen in hun bij Verordening (EU) 2022/2065 gereguleerde diensten integreren. Voor zover dergelijke systemen of modellen zijn ingebed in als zeer groot aangemerkte onlineplatforms of onlinezoekmachines, vallen zij onder het kader voor risicobeheer krachtens Verordening (EU) 2022/2065. Bijgevolg moeten de overeenkomstige verplichtingen van deze verordening als vervuld worden beschouwd, tenzij er in dergelijke modellen aanzienlijke systeemrisico’s worden geconstateerd die niet onder Verordening (EU) 2022/2065 vallen. Binnen dit kader zijn aanbieders van zeer grote onlineplatforms en zeer grote onlinezoekmachines verplicht te beoordelen welke systeemrisico’s er potentieel uit het ontwerp, de werking en het gebruik van hun diensten voortvloeien, met inbegrip van de wijze waarop het ontwerp van de in de dienst gebruikte algoritmische systemen die tot dergelijke risico’s kunnen bijdragen, alsmede welke systeemrisico’s er kunnen optreden bij misbruik. Deze aanbieders zijn ook verplicht passende risicobeperkende maatregelen te treffen, met inachtneming van de grondrechten.
(119) Gezien het snelle innovatietempo en de technologische ontwikkeling van de digitale diensten die onder het toepassingsgebied van verschillende Unierechtelijke instrumenten vallen en met name rekening houdend met het gebruik en de perceptie van de afnemers van die diensten, kunnen de onder deze verordening vallende AI-systemen worden aangeboden als tussenhandelsdiensten of delen daarvan in de zin van Verordening (EU) 2022/2065, die op technologieneutrale wijze moet worden geïnterpreteerd. AI-systemen kunnen bijvoorbeeld worden gebruikt om onlinezoekmachines aan te bieden, en wel dusdanig dat een AI-systeem zoals een online-chatbot in beginsel alle websites doorzoekt, om de zoekresultaten vervolgens in zijn bestaande kennis op te nemen en dan de bijgewerkte kennis te gebruiken voor het genereren van één enkele output waarin informatie uit verschillende bronnen wordt gecombineerd.
(120) Voorts zijn de verplichtingen die in deze verordening aan aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen worden opgelegd om opsporing mogelijk te maken, evenals de bekendmaking dat de outputs van die systemen kunstmatig worden gegenereerd of gemanipuleerd, bijzonder relevant voor het vergemakkelijken van de doeltreffende uitvoering van Verordening (EU) 2022/2065. Dit geldt met name voor de verplichtingen van aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines om systeemrisico’s die kunnen voortvloeien uit de verspreiding van kunstmatig gegenereerde of gemanipuleerde content te identificeren en te beperken, en dan met name het risico op feitelijke of voorzienbare negatieve effecten op democratische processen, het maatschappelijk debat en verkiezingsprocessen, onder meer van desinformatie.
(121) Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen, in overeenstemming met de stand van de techniek, opdat de innovatie, het concurrentievermogen en ook de groei op de eengemaakte markt kunnen worden bevorderd. De naleving van geharmoniseerde normen, zoals gedefinieerd in artikel 2, lid 1, punt c), van Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad41, die normaal gesproken de stand van de techniek moet weerspiegelen, moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. Het is daarom zaak aan te sturen op evenwichtige belangenvertegenwoordiging door overeenkomstig de artikelen 5 en 6 van Verordening (EU) nr. 1025/2012 alle relevante belanghebbenden te betrekken bij de ontwikkeling van normen, met name kmo’s, consumentenorganisaties en belanghebbenden op sociaal gebied en dat van milieu. De Commissie moet voor een soepelere naleving de normalisatieverzoeken zonder onnodige vertraging afgeven. Bij het opstellen van normalisatieverzoeken moet de Commissie de nodige expertise inwinnen bij het adviesforum voor AI en de AI-board. Bij ontstentenis van relevante verwijzingen naar geharmoniseerde normen moet de Commissie evenwel gemeenschappelijke specificaties voor bepaalde eisen uit hoofde van deze verordening kunnen vaststellen, bij uitvoeringshandeling en na raadpleging van het adviesforum. De gemeenschappelijke specificaties moeten een uitzonderlijke achtervang zijn om de aanbieder te kunnen laten voldoen aan de eisen van deze verordening ingeval het normalisatieverzoek door geen van de Europese normalisatieorganisaties is aanvaard, ingeval de relevante geharmoniseerde normen onvoldoende tegemoetkomen aan problemen op het gebied van de grondrechten, ingeval de geharmoniseerde normen niet aan het verzoek voldoen, of ingeval er vertraging is ontstaan bij de vaststelling van een passende geharmoniseerde norm. Indien een dergelijke vertraging bij de vaststelling van een geharmoniseerde norm te wijten is aan de technische complexiteit van die norm, moet de Commissie hier rekening mee houden alvorens te overwegen gemeenschappelijke specificaties vast te stellen. De Commissie wordt aangemoedigd om bij de ontwikkeling van gemeenschappelijke specificaties samen te werken met internationale partners en internationale normalisatie-instellingen.
(122) Het is onverminderd het gebruik van geharmoniseerde normen en gemeenschappelijke specificaties passend dat aanbieders van een AI-systeem met een hoog risico dat getraind en getest is op data met betrekking tot de specifieke geografische, gedrags-, contextuele of functionele omgeving waarin het de bedoeling is het systeem te gebruiken, verondersteld worden aan de desbetreffende maatregel krachtens de bij deze verordening vastgestelde datagovernancevereiste te voldoen. Onverminderd de bij deze verordening vastgestelde vereisten met betrekking tot robuustheid en nauwkeurigheid, moeten overeenkomstig artikel 54, lid 3, van Verordening (EU) 2019/881, gecertificeerde AI-systemen met een hoog risico of AI-systemen met een hoog risico waarvoor in het kader van een cyberbeveiligingsregeling uit hoofde van die verordening een conformiteitsverklaring is afgegeven en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht aan het cyberbeveiligingsvereiste van deze verordening te voldoen, voor zover het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan het cyberbeveiligingsvereiste van deze verordening bestrijken. Dit doet geen afbreuk aan het vrijwillige karakter van die cyberbeveiligingsregeling.
(123) Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.
(124) Teneinde de lasten voor operatoren tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, moet de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens het nieuwe wetgevingskader met de voorschriften van deze verordening, worden beoordeeld als onderdeel van de conformiteitsbeoordeling waarin bij die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende harmonisatiewetgeving van de Unie.
(125) Gezien de complexiteit van AI-systemen met een hoog risico en de aan die systemen verbonden risico’s, is het belangrijk een adequate conformiteitsbeoordelingsprocedure voor AI-systemen met een hoog risico te ontwikkelen en daar aangemelde instanties bij te betrekken, de zogeheten conformiteitsbeoordeling door derden. Gezien de huidige ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van de risico’s waarmee dat gepaard gaat, is het echter passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen door derden van AI-systemen met een hoog risico die geen verband houden met producten, te beperken. Daarom moet de conformiteitsbeoordeling van dergelijke systemen in de regel onder eigen verantwoordelijkheid door de aanbieder worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om voor biometrie te worden gebruikt.
(126) Met het oog op de uitvoering van conformiteitsbeoordelingen door derden, wanneer deze vereist zijn, moeten de nationale bevoegde autoriteiten aangemelde instanties aanmelden op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties, afwezigheid van belangenconflicten en passende voorschriften inzake cyberbeveiliging. De aanmelding van die instanties moet door de nationale bevoegde autoriteiten aan de Commissie en de andere lidstaten worden gezonden via het op grond van artikel R23 van bijlage I bij Besluit 768/2008/EG door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.
(127) Het is in overeenstemming met de verbintenissen van de Unie in het kader van de WTO-overeenkomst inzake technische handelsbelemmeringen, passend om de wederzijdse erkenning van door bevoegde conformiteitsbeoordelingsinstanties voortgebrachte conformiteitsbeoordelingsresultaten te bevorderen, ongeacht het grondgebied waar deze instanties zijn gevestigd, met dien verstande dat die naar het recht van een derde land opgerichte instanties voldoen aan de toepasselijke eisen van deze verordening en de Unie daartoe een overeenkomst heeft gesloten. In dit verband moet de Commissie actief op zoek gaan naar mogelijke internationale instrumenten daartoe en zich met name inzetten voor de sluiting van overeenkomsten inzake wederzijdse erkenning met derde landen.
(128) In lijn met het algemeen erkende begrip van substantiële wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat, indien zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van een AI-systeem met een hoog risico met deze verordening (bijvoorbeeld een verandering van het besturingssysteem of de softwarearchitectuur) of indien het beoogde doel van het systeem verandert, dat AI-systeem wordt beschouwd als een nieuw AI-systeem dat aan een nieuwe conformiteitsbeoordeling moet worden onderworpen. Wijzigingen met betrekking tot het algoritme en de prestaties van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik gesteld, die met name automatisch aanpassen hoe taken worden uitgevoerd, mogen echter geen substantiële wijziging vormen, mits die wijzigingen vooraf door de aanbieder zijn bepaald en op het moment van de conformiteitsbeoordeling zijn beoordeeld.
(129) Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat het vrije verkeer ervan op de interne markt mogelijk is. Op AI-systemen met een hoog risico die in een product zijn geïntegreerd moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor AI-systemen met een hoog risico die alleen digitaal worden verstrekt, moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en het in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde eisen voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.
(130) In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen, de bescherming van het milieu en de klimaatverandering, en de samenleving in haar geheel. Het is derhalve passend dat de markttoezichtautoriteiten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen, de bescherming van het milieu en de bescherming van essentiële industriële en infrastructurele activa toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen. In naar behoren gemotiveerde situaties, zoals voorzien in deze verordening, kunnen rechtshandhavingsinstanties of civielebeschermingsautoriteiten zonder toestemming van de markttoezichtautoriteit een specifiek AI-systeem met een hoog risico in gebruik stellen, op voorwaarde dat tijdens of na het gebruik onverwijld om een dergelijke toestemming wordt verzocht.
(131) Om de werkzaamheden van de Commissie en de lidstaten op het gebied van AI te vergemakkelijken en om de transparantie voor het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, evenals aanbieders die van mening zijn dat een in de in een bijlage bij deze verordening opgenomen gebruiksgevallen met een hoog risico vermeld AI-systeem op basis van een afwijking geen hoog risico inhoudt, worden verplicht zichzelf en informatie over hun AI-systeem te registreren in een EU-databank, die door de Commissie moet worden opgericht en beheerd. Alvorens een in de in een bijlage bij deze verordening opgenomen gebruiksgevallen met een hoog risico vermeld AI-systeem te gebruiken, moeten gebruiksverantwoordelijken van AI-systemen met een hoog risico die overheidsinstanties, -agentschappen of -organen zijn, zich bij een dergelijke databank registreren en het systeem selecteren dat zij voornemens zijn te gebruiken. Andere gebruiksverantwoordelijken moeten het recht hebben dit vrijwillig te doen. Dit deel van de EU-databank moet voor het publiek toegankelijk en kosteloos zijn, en de informatie moet gemakkelijk te doorzoeken, begrijpelijk en machineleesbaar zijn. De EU-databank moet ook gebruiksvriendelijk zijn, bijvoorbeeld door zoekfuncties aan te bieden, onder meer door middel van trefwoorden, zodat het grote publiek relevante informatie kan vinden die moet worden ingediend bij de registratie van AI-systemen met een hoog risico, evenals informatie over de gebruikssituatie van AI-systemen met een hoog risico, zoals uiteengezet in een bijlage bij deze verordening, waarmee de AI-systemen met een hoog risico overeenstemmen. Ook alle substantiële wijzigingen van AI-systemen met een hoog risico moeten in de EU-databank worden geregistreerd. Voor AI-systemen met een hoog risico op het gebied van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer moeten de registratieverplichtingen worden verricht in een beveiligd niet-openbaar deel van de EU-databank. De toegang tot het beveiligde niet-openbare deel moet strikt worden beperkt tot de Commissie en, wat hun nationale deel van die databank betreft, tot markttoezichtautoriteiten. AI-systemen met een hoog risico op het gebied van kritieke infrastructuur mogen alleen op nationaal niveau worden geregistreerd. De Commissie moet de verwerkingsverantwoordelijke van de EU-databank zijn, overeenkomstig Verordening (EU) 2018/1725. Teneinde de volledige functionaliteit van de EU-databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten. De Commissie moet bij de uitvoering van haar taken als verwerkingsverantwoordelijke voor de EU-databank rekening houden met cyberbeveiligingsrisico’s. Om de beschikbaarheid en het gebruik van de EU-databank door het publiek te maximaliseren, moet de databank, met inbegrip van de via de EU-databank beschikbaar gestelde informatie, voldoen aan de eisen van Richtlijn (EU) 2019/882.
(132) Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om content te genereren, kunnen specifieke risico’s op imitatie of misleiding met zich meebrengen, ongeacht of zij als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de eisen en verplichtingen voor AI-systemen met een hoog risico, en moeten zij onderworpen zijn aan gerichte uitzonderingen om rekening te houden met de bijzondere behoeften van rechtshandhaving. Met name moeten natuurlijke personen ervan in kennis worden gesteld dat zij interageren met een AI-systeem, tenzij dit duidelijk is vanuit het oogpunt van een normaal geïnformeerde en redelijk opmerkzame en omzichtige natuurlijke persoon, rekening houdend met de omstandigheden en de gebruikscontext. Bij de toepassing van die verplichting moet rekening worden gehouden met de kenmerken van tot kwetsbare groepen horende natuurlijke personen die vanwege hun leeftijd of handicap kwetsbaar zijn, voor zover het AI-systeem bedoeld is om ook met die groepen te interageren. Bovendien moeten natuurlijke personen indien zij worden blootgesteld aan AI-systemen die, door hun biometrische gegevens te verwerken, de emoties of intenties van deze personen kunnen vaststellen of afleiden of hen in een specifieke categorie kunnen indelen, hiervan in kennis worden gesteld. Zulke specifieke categorieën kunnen betrekking hebben op aspecten zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, persoonlijke kenmerken, etnische afkomst, persoonlijke voorkeuren en interesses. Dergelijke informatie en kennisgevingen moeten worden verstrekt in een formaat dat toegankelijk is voor personen met een handicap.
(133) Bepaalde AI-systemen kunnen grote hoeveelheden synthetische content genereren waarbij het voor de mens steeds moeilijker wordt deze te onderscheiden van door de mens gegenereerde en authentieke content. De brede beschikbaarheid en de toenemende capaciteit van deze systemen hebben een aanzienlijke impact op de integriteit van en het vertrouwen in het informatie-ecosysteem, waardoor nieuwe risico’s op desinformatie en manipulatie op grote schaal, fraude, imitatie en consumentenbedrog ontstaan. In het licht van die effecten, het snelle technologische tempo en de behoefte aan nieuwe methoden en technieken om de oorsprong van informatie te traceren, is het passend aanbieders van die systemen voor te schrijven dat zij technische oplossingen inbouwen die markering in een machineleesbaar formaat mogelijk maken en aantonen dat de output is gegenereerd of gemanipuleerd door een AI-systeem en niet door een mens. Dergelijke technieken en methoden moeten voldoende betrouwbaar, interoperabel, doeltreffend en robuust zijn, voor zover dit technisch haalbaar is, rekening houdend met de beschikbare technieken of een combinatie van dergelijke technieken, zoals watermerken, metagegevens, cryptografische methoden voor het aantonen van de herkomst en authenticiteit van inhoud, loggingmethoden, vingerafdrukken of andere technieken, naargelang het geval. Bij de uitvoering van deze verplichting moeten aanbieders ook rekening houden met de specifieke kenmerken en beperkingen van de verschillende soorten content en de relevante technologische en marktontwikkelingen op dit gebied, zoals blijkt uit de algemeen erkende stand van de techniek. Dergelijke technieken en methoden kunnen worden toegepast op het niveau van het AI-systeem of op het niveau van het AI-model, met inbegrip van AI-modellen voor algemene doeleinden die content genereren, waardoor de aanbieder verder in de AI-waardeketen van het AI-systeem gemakkelijker aan deze verplichting kan voldoen. Met het oog op de evenredigheid, moet worden overwogen dat deze markeringsverplichting niet van toepassing mag zijn op AI-systemen die in de eerste plaats een ondersteunende functie hebben voor het uitvoeren van standaardbewerkingen of op AI-systemen die de door de gebruiksverantwoordelijke verstrekte inputdata, of de semantiek ervan, niet wezenlijk wijzigen.
(134) Naast de technische oplossingen die door de aanbieders van het AI-systeem worden gebruikt, moeten gebruiksverantwoordelijken die een AI-systeem gebruiken om beeld-, audio- of video-content te genereren of te manipuleren die aanzienlijk lijkt op bestaande personen, voorwerpen, plaatsen, entiteiten of gebeurtenissen en voor een persoon ten onrechte authentiek of waarachtig kunnen lijken (deepfakes), ook klaar en duidelijk kenbaar maken dat de content kunstmatig is gecreëerd of gemanipuleerd door de AI-output als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken. Naleving van deze transparantieverplichting mag niet aldus worden uitgelegd dat het gebruik van het AI-systeem of de output ervan afbreuk doet aan het in het Handvest gewaarborgde recht op vrijheid van meningsuiting en het recht op vrijheid van kunsten en wetenschappen belemmert, met name indien de content deel uitmaakt van een werk of programma dat duidelijk creatief, satirisch, artistiek, fictief of analoog van aard is, met inachtneming van passende waarborgen voor de rechten en vrijheden van derden. In die gevallen is de in deze verordening vastgestelde transparantieverplichting voor deepfakes beperkt tot de openbaarmaking van het bestaan van dergelijke gegenereerde of gemanipuleerde content, en dit op een passende wijze die geen belemmering vormt voor de weergave of het genot van het werk, met inbegrip van de normale exploitatie en het normale gebruik ervan, met behoud van het nut en de kwaliteit van het werk. Daarnaast is het ook passend te voorzien in een soortgelijke openbaarmakingsplicht met betrekking tot door AI gegenereerde of gemanipuleerde tekst, voor zover deze wordt gepubliceerd met als doel het publiek te informeren over aangelegenheden van algemeen belang, tenzij de door AI gegenereerde content een proces van menselijke toetsing of redactionele controle heeft ondergaan en een natuurlijke of rechtspersoon redactionele verantwoordelijkheid draagt voor de publicatie van de content.
(135) Onverminderd het verplichte karakter en de volledige toepasselijkheid van de transparantieverplichtingen, kan de Commissie ook het opstellen van praktijkcodes op het niveau van de Unie aanmoedigen en faciliteren om de doeltreffende uitvoering van de verplichtingen met betrekking tot het opsporen en het aanmerken van kunstmatig gegenereerde of gemanipuleerde content te vergemakkelijken, onder meer ter ondersteuning van praktische regelingen voor, in voorkomend geval, het toegankelijk maken van de detectiemechanismen en het faciliteren van samenwerking met andere actoren in de waardeketen, het verspreiden van content of het controleren van de authenticiteit en herkomst ervan, teneinde het publiek in staat te stellen door AI gegenereerde content doeltreffend te onderscheiden.
(136) De verplichtingen die in deze verordening aan aanbieders en gebruiksverantwoordelijken van bepaalde aI-systemen worden opgelegd om opsporing mogelijk te maken, evenals de bekendmaking dat de outputs van die systemen kunstmatig worden gegenereerd of gemanipuleerd, zijn bijzonder relevant om de doeltreffende uitvoering van Verordening (EU) 2022/2065 te vergemakkelijken. Dit geldt met name voor de verplichtingen van aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines om systeemrisico’s te identificeren en te beperken die kunnen voortvloeien uit de verspreiding van kunstmatig gegenereerde of gemanipuleerde content, met name het risico op feitelijke of voorzienbare negatieve effecten op democratische processen, het maatschappelijk debat en verkiezingsprocessen, onder meer door desinformatie. Het vereiste om uit hoofde van deze verordening content die door AI-systemen wordt gegenereerd, aan te merken, doet geen afbreuk aan de verplichting van artikel 16, lid 6, van Verordening (EU) 2022/2065 voor aanbieders van hostingdiensten om meldingen van illegale content te verwerken op grond van artikel 16, lid 1, van die verordening, en mag geen invloed hebben op de beoordeling van en het besluit over de onwettigheid van de specifieke content. Die beoordeling moet uitsluitend worden verricht aan de hand van de regels inzake de rechtmatigheid van de content.
(137) Naleving van de bovengenoemde transparantieverplichtingen voor AI-systemen die onder deze verordening vallen, mag niet aldus worden uitgelegd dat het gebruik van het systeem of de output ervan rechtmatig is op grond van deze verordening of andere wetgeving van de Unie en de lidstaten, en moet andere in het Unierecht of het nationale recht vastgelegde transparantieverplichtingen voor gebruiksverantwoordelijken van AI-systemen onverlet laten.
(138) AI is een snel ontwikkelende familie van technologieën die regelgevingstoezicht en een veilige en gecontroleerde plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en risicobeperkende maatregelen worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatie stimuleert, toekomstbestendig is en bestand is tegen verstoringen, moeten de lidstaten ervoor zorgen dat hun nationale bevoegde autoriteiten ten minste één AI-testomgeving voor regelgeving op nationaal niveau tot stand brengen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld. De lidstaten kunnen deze verplichting ook nakomen door deel te nemen aan reeds bestaande testomgevingen voor regelgeving of door samen met de bevoegde autoriteiten van een of meer lidstaten een testomgeving op te zetten, voor zover deze deelname de deelnemende lidstaten een gelijkwaardig niveau van nationale dekking biedt. AI-testomgevingen voor regelgeving kunnen in fysieke, digitale of hybride vorm worden opgezet en kunnen zowel fysieke als digitale producten bevatten. De autoriteiten die de AI-testomgeving hebben ontwikkeld, moeten er ook voor zorgen dat de AI-testomgevingen voor regelgeving over voldoende middelen beschikken, met inbegrip van financiële en personele middelen.
(139) De doelstellingen van AI-testomgevingen voor regelgeving moeten bestaan in het bevorderen van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten. Bovendien moeten de AI-testomgevingen voor regelgeving gericht zijn op het verbeteren van de rechtszekerheid voor innovatoren en het toezicht en begrip van de bevoegde autoriteiten ten aanzien van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI, het leren van regelgeving voor autoriteiten en ondernemingen te vergemakkelijken, onder meer met het oog op toekomstige aanpassingen van het rechtskader, de samenwerking en de uitwisseling van beste praktijken met de autoriteiten die betrokken zijn bij de AI-testomgeving voor regelgeving te ondersteunen, en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kmo’s, met inbegrip van start-ups, weg te nemen. AI-testomgevingen voor regelgeving moeten in de hele Unie op grote schaal beschikbaar zijn, en er moet bijzondere aandacht worden besteed aan de toegankelijkheid ervan voor kmo’s, met inbegrip van start-ups. Bij deelname aan een AI-testomgeving voor regelgeving moet de focus liggen op kwesties die leiden tot rechtsonzekerheid voor aanbieders en potentiële aanbieders met betrekking tot innovatie, experimenten met AI in de Unie en bijdragen aan het empirisch leren op het gebied van regelgeving. Toezicht op de AI-systemen in een AI-testomgeving voor regelgeving moet daarom gericht zijn op het ontwikkelen, trainen, testen en valideren van deze systemen, voordat ze in de handel worden gebracht of in gebruik worden gesteld, alsook op het begrip substantiële wijziging en het zich voordoen ervan, hetgeen een nieuwe conformiteitsbeoordelingsprocedure kan vereisen. Aanzienlijke risico’s die tijdens het ontwikkelen en testen van dergelijke AI-systemen worden vastgesteld, moeten op adequate wijze worden beperkt en bij gebreke daarvan leiden tot de opschorting van het ontwikkelings- en testproces. Waar passend moeten nationale bevoegde autoriteiten die AI-testomgevingen voor regelgeving opzetten, samenwerken met andere betrokken autoriteiten, waaronder autoriteiten die toezicht houden op de bescherming van de grondrechten, en kunnen zij toestaan dat andere actoren binnen het AI-ecosysteem hierbij betrokken worden, zoals nationale of Europese normalisatie-instellingen, aangemelde instanties, test- en experimenteerfaciliteiten, laboratoria voor onderzoek en experimenteren, Europese digitale-innnovatiehubs en relevante belanghebbenden en maatschappelijke organisaties. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van AI-testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Krachtens deze verordening opgezette AI-testomgevingen voor regelgeving mogen geen afbreuk doen aan andere wetgeving op grond waarvan andere testomgevingen kunnen worden opgezet om de naleving van ander recht dan deze verordening te waarborgen. Waar passend moeten de bevoegde autoriteiten die verantwoordelijk zijn voor die andere testomgevingen voor regelgeving nagaan welke voordelen het zou opleveren als die testomgevingen ook worden gebruikt om te waarborgen dat AI-systemen in overeenstemming zijn met deze verordening. Als de nationale bevoegde autoriteiten en de deelnemers aan de AI-testomgeving voor regelgeving het hierover eens zijn, kunnen in het kader van de AI-testomgeving voor regelgeving ook testen onder reële omstandigheden worden uitgevoerd en gecontroleerd.
(140) Deze verordening moet aanbieders en potentiële aanbieders van de AI-testomgeving voor regelgeving de rechtsgrond bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, echter alleen onder bepaalde omstandigheden, overeenkomstig artikel 6, lid 4, en artikel 9, lid 2, punt g), van Verordening (EU) 2016/679 en de artikelen 5, 6 en 10 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, en artikel 10 van Richtlijn (EU) 2016/680. Alle andere verplichtingen van verwerkingsverantwoordelijken en rechten van betrokkenen uit hoofde van Verordening (EU) 2016/679, Verordening (EU) 2018/1725 en Richtlijn (EU) 2016/680 blijven van toepassing. In het bijzonder mag deze verordening geen rechtsgrond bieden in de zin van artikel 22, lid 2, punt b), van Verordening (EU) 2016/679 en artikel 24, lid 2, punt b), van Verordening (EU) 2018/1725. Aanbieders en potentiële aanbieders van de AI-testomgeving voor regelgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en te goeder trouw te handelen om eventuele vastgestelde significante risico’s voor de veiligheid, de gezondheid en de grondrechten die zich tijdens de ontwikkeling en het experimenteren in die testomgeving kunnen voordoen, op adequate wijze te beperken.
(141) Om de ontwikkeling en het in de handel brengen van de in een bijlage bij deze verordening opgenomen AI-systemen met een hoog risico te versnellen is het belangrijk dat aanbieders of potentiële aanbieders van deze systemen ook zonder deel te nemen aan een AI-testomgeving voor regelgeving gebruik kunnen maken van een speciale regeling voor het testen van deze systemen onder reële omstandigheden. De verordening moet in dergelijke gevallen echter voorzien in passende en voldoende waarborgen en voorwaarden voor aanbieders en potentiële aanbieders, rekening houdend met de mogelijke gevolgen van die testen voor individuele natuurlijke personen. Deze waarborgen moeten onder meer inhouden dat natuurlijke personen om geïnformeerde toestemming wordt gevraagd voor deelname aan testen onder reële omstandigheden, behalve in het kader van rechtshandhaving waarbij het vragen van geïnformeerde toestemming zou verhinderen dat het AI-systeem wordt getest. Toestemming van proefpersonen voor deelname aan dergelijke tests in het kader van deze verordening staat los van de toestemming van betrokkenen voor de verwerking van hun persoonsgegevens uit hoofde van het relevante gegevensbeschermingsrecht en laat deze onverlet. Het is ook belangrijk om de risico’s tot een minimum te beperken en toezicht door bevoegde autoriteiten mogelijk te maken en daarom potentiële aanbieders voor te schrijven dat zij een plan voor testen onder reële omstandigheden indienen bij de bevoegde markttoezichtautoriteit, de testen registreren in specifieke rubrieken in de EU-databank, met uitzondering van enkele beperkte uitzonderingen, beperkingen stellen aan de periode gedurende welke de testen kunnen worden uitgevoerd en aanvullende waarborgen voor tot bepaalde kwetsbare groepen horende personen vereisen, evenals een schriftelijke overeenkomst waarin de rollen en verantwoordelijkheden van potentiële aanbieders en gebruiksverantwoordelijken worden omschreven en doeltreffend toezicht door bevoegd personeel dat betrokken is bij de testen onder reële omstandigheden. Voorts is het passend te voorzien in aanvullende waarborgen om ervoor te zorgen dat de voorspellingen, aanbevelingen of besluiten van het AI-systeem daadwerkelijk kunnen worden teruggedraaid en genegeerd en dat persoonsgegevens worden beschermd en gewist indien de proefpersonen hun toestemming om aan de testen deel te nemen hebben ingetrokken, onverminderd hun rechten als betrokkenen uit hoofde van het Unierecht inzake gegevensbescherming. Wat de doorgifte van gegevens betreft, is het ook passend te voorzien dat gegevens die zijn verzameld en verwerkt met het oog op testen in reële omstandigheden alleen aan derde landen mogen worden doorgegeven die passende en toepasselijke waarborgen uit hoofde van het Unierecht toepassen, met name in overeenstemming met de basisvoorwaarden voor de doorgifte van persoonsgegevens uit hoofde van het Unierecht inzake gegevensbescherming, terwijl voor niet-persoonsgebonden gegevens passende waarborgen worden voorzien in overeenstemming met het Unierecht, zoals Verordeningen (EU) 2022/86842 en (EU) 2023/285443 van het Europees Parlement en de Raad.
(142) Om ervoor te zorgen dat AI tot sociaal en ecologisch gunstige resultaten leidt, worden de lidstaten aangemoedigd onderzoek naar en ontwikkeling van AI-oplossingen ter ondersteuning van sociaal en ecologisch gunstige resultaten te steunen en te bevorderen, zoals op AI gebaseerde oplossingen om de toegankelijkheid voor personen met een handicap te vergroten, sociaal-economische ongelijkheden aan te pakken of milieudoelstellingen te halen, door voldoende middelen toe te wijzen, met inbegrip van overheidsfinanciering en financiering door de Unie, en met name, in voorkomend geval en op voorwaarde dat aan de subsidiabiliteits- en selectiecriteria is voldaan, vooral projecten in overweging te nemen waarmee dergelijke doelstellingen worden nagestreefd. Dergelijke projecten moeten gebaseerd zijn op het beginsel van interdisciplinaire samenwerking tussen AI-ontwikkelaars, deskundigen op het gebied van ongelijkheid en non-discriminatie, toegankelijkheid, consumentenrecht, milieurecht en digitale rechten, alsook academici.
(143) Om de innovatie te bevorderen en beschermen, is het belangrijk dat er in het bijzonder rekening wordt gehouden met de belangen van kmo’s, met inbegrip van start-ups, die aanbieders of gebruiksverantwoordelijken van AI-systemen zijn. Daartoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze operatoren, onder meer met het oog op bewustmaking en informatieverstrekking. De lidstaten moeten kmo’s, met inbegrip van start-ups, die een maatschappelijke zetel of een bijkantoor in de Unie hebben, prioritaire toegang bieden tot de AI-testomgevingen voor regelgeving, mits zij voldoen aan de subsidiabiliteitsvoorwaarden en selectiecriteria en zonder andere aanbieders en potentiële aanbieders uit te sluiten van de testomgevingen, mits aan dezelfde voorwaarden en criteria is voldaan. De lidstaten moeten hiervoor de bestaande kanalen gebruiken en waar nodig nieuwe specifieke kanalen voor de communicatie met kmo’s, met inbegrip van start-ups, gebruiksverantwoordelijken, andere innovatoren en, in voorkomend geval, lokale overheidsinstanties opzetten om kmo’s in hun ontwikkelingstraject te ondersteunen door begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden. Waar nodig moeten deze kanalen met elkaar samenwerken om synergieën te creëren en te zorgen voor een homogene aanpak bij hun adviezen aan kmo’s, met inbegrip van start-ups, en gebruiksverantwoordelijken. Daarnaast moeten de lidstaten de deelname van kmo’s en andere relevante belanghebbenden aan het proces voor de ontwikkeling van normen faciliteren. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van aanbieders die kmo’s zijn, met inbegrip van start-ups, wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. De Commissie moet de certificerings- en nalevingskosten voor kmo’s, met inbegrip van start-ups, regelmatig beoordelen via transparant overleg, en moet met de lidstaten samenwerken om die kosten te verlagen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen bijvoorbeeld een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere operatoren. De lidstaten moeten er indien mogelijk voor zorgen dat een van de door hen vastgestelde en aanvaarde talen voor de documentatie van betrokken aanbieders en voor de communicatie met operatoren in grote lijnen wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruiksverantwoordelijken. Om tegemoet te komen aan de specifieke behoeften van kmo’s, met inbegrip van start-ups, moet de Commissie op verzoek van de AI-board gestandaardiseerde sjablonen verstrekken voor de gebieden die onder deze verordening vallen. Daarnaast moet de Commissie de inspanningen van de lidstaten aanvullen door te voorzien in een centraal informatieplatform met gebruiksvriendelijke informatie over deze verordening voor alle aanbieders en gebruiksverantwoordelijken, door passende communicatiecampagnes te organiseren om het bewustzijn over de uit deze verordening voortvloeiende verplichtingen te vergroten, en door de convergentie van beste praktijken in openbare aanbestedingsprocedures met betrekking tot AI-systemen te evalueren en te bevorderen. Middelgrote ondernemingen die tot voor kort als kleine ondernemingen werden aangemerkt in de zin van de bijlage bij Aanbeveling 2003/361/EG van de Commissie44, moeten toegang hebben tot die steunmaatregelen, aangezien die nieuwe middelgrote ondernemingen soms niet over de nodige juridische middelen en opleiding beschikken om een goed begrip en een goede naleving van deze verordening te waarborgen.
(144) Om innovatie te bevorderen en te beschermen, moeten het platform voor AI on demand en alle relevante financieringsprogramma’s en projecten van de Unie, zoals het programma Digitaal Europa en Horizon Europa, die op Unie- of nationaal niveau worden uitgevoerd door de Commissie en de lidstaten, in voorkomend geval, bijdragen aan de verwezenlijking van de doelstellingen van deze verordening.
(145) Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders, met name kmo’s, met inbegrip van start-ups, en aangemelde instanties van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden met name het platform voor AI on demand, de Europese digitale-innovatiehubs en de test- en experimenteerfaciliteiten die door de Commissie en de lidstaten op Unie- of nationaal niveau zijn vastgesteld, moeten bijdragen tot de uitvoering van deze verordening. Binnen hun respectieve opdracht en bevoegdheidsgebieden kunnen het platform voor AI on demand, de Europese digitale-innovatiehubs en de test- en experimenteerfaciliteiten met name technische en wetenschappelijke ondersteuning bieden aan aanbieders en aangemelde instanties.
(146) Voorts is het, gezien de zeer kleine omvang van sommige operatoren en om de evenredigheid met betrekking tot de kosten van innovatie te waarborgen, passend dat micro-ondernemingen op vereenvoudigde wijze aan een van de duurste vereisten, namelijk het opzetten van een systeem voor kwaliteitsbeheer, voldoen, hetgeen de administratieve lasten en de kosten voor deze ondernemingen zou verminderen zonder afbreuk te doen aan het beschermingsniveau en de noodzaak om de vereisten voor AI-systemen met een hoog risico na te leven. De Commissie moet richtsnoeren ontwikkelen om de elementen te specificeren van het kwaliteitsbeheersysteem waaraan micro-ondernemingen op deze vereenvoudigde wijze moeten voldoen.
(147) Het is passend dat de Commissie voor zover mogelijk de toegang tot test- en experimenteerfaciliteiten vergemakkelijkt voor instanties, groepen of laboratoria die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.
(148) Bij deze verordening moet een governancekader worden vastgelegd dat het mogelijk maakt de toepassing van deze verordening op nationaal niveau te coördineren en te ondersteunen, evenals capaciteiten op het niveau van de Unie op te bouwen en belanghebbenden op het gebied van AI te integreren. De doeltreffende uitvoering en handhaving van deze verordening vereist een governancekader dat het mogelijk maakt centrale deskundigheid op het niveau van de Unie te coördineren en uit te bouwen. Het AI-bureau is opgericht bij besluit van de Commissie45 en heeft tot taak deskundigheid en capaciteiten van de Unie op het gebied van AI te ontwikkelen en bij te dragen aan de uitvoering van het recht van de Unie inzake AI. De lidstaten moeten de taken van het AI-bureau faciliteren om de ontwikkeling van deskundigheid en capaciteiten van de Unie op het niveau van de Unie te ondersteunen en de werking van de digitale eengemaakte markt te versterken. Voorts moeten een raad, bestaande uit vertegenwoordigers van de lidstaten, een wetenschappelijk panel om de wetenschappelijke gemeenschap te integreren en een adviesforum worden opgericht om te zorgen voor inbreng van belanghebbenden bij de uitvoering van deze verordening op Unie- en nationaal niveau. Bij de ontwikkeling van de deskundigheid en capaciteiten van de Unie moet ook gebruik worden gemaakt van bestaande middelen en deskundigheid, met name door middel van synergieën met structuren die zijn opgebouwd in het kader van de handhaving van andere wetgeving op Unieniveau en synergieën met gerelateerde initiatieven op Unieniveau, zoals de Gemeenschappelijke Onderneming EuroHPC en de test- en experimenteerfaciliteiten voor AI in het kader van het programma Digitaal Europa.
(149) Teneinde een soepele, doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken, moet een AI-board worden opgericht. De AI-board moet de verschillende belangen van het AI-ecosysteem belichamen en uit vertegenwoordigers van de lidstaten bestaan. De AI-board moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen en aanbevelingen of het bijdragen aan richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over handhaving, technische specificaties of bestaande normen met betrekking tot de eisen van deze verordening, en de adviesverlening aan de Commissie en de lidstaten en hun nationale bevoegde autoriteiten ten aanzien van specifieke vragen in verband met artificiële intelligentie. Om de lidstaten enige flexibiliteit te bieden bij de aanwijzing van hun vertegenwoordigers in de AI-board, mogen zij iedereen die tot een overheidsinstantie behoort en over relevante competenties en bevoegdheden beschikt om de coördinatie op nationaal niveau te vergemakkelijken en bij te dragen aan de vervulling van de taken van de AI-board aanwijzen als vertegenwoordiger. De AI-board moet twee permanente subgroepen oprichten om een platform te bieden voor samenwerking en uitwisseling tussen markttoezichtautoriteiten en aanmeldende autoriteiten over kwesties betreffende respectievelijk markttoezicht en aangemelde instanties. De permanente subgroep voor markttoezicht moet fungeren als de administratievesamenwerkingsgroep (ADCO) voor deze verordening in de zin van artikel 30 van Verordening (EU) 2019/1020. Overeenkomstig artikel 33 van die verordening moet de Commissie de activiteiten van de permanente subgroep voor markttoezicht ondersteunen door marktevaluaties of -studies uit te voeren, met name om in kaart te brengen voor welke aspecten van deze verordening specifiek en dringend coördinatie nodig is tussen markttoezichtautoriteiten. De AI-board kan in voorkomend geval andere permanente of tijdelijke subgroepen oprichten om specifieke kwesties te onderzoeken. De AI-board moet, in voorkomend geval, ook samenwerken met relevante Unie-organen, -deskundigengroepen en -netwerken die zich bezighouden met het relevante recht van de Unie, waaronder met name die welke actief zijn in het kader van het recht van de Unie inzake data, digitale producten en diensten.
(150) Om ervoor te zorgen dat belanghebbenden bij de uitvoering en toepassing van deze verordening worden betrokken, moet een adviesforum worden opgericht om de raad en de Commissie advies en technische expertise te verstrekken. Met het oog op een gevarieerde en evenwichtige vertegenwoordiging van belanghebbenden tussen commerciële en niet-commerciële belangen en, binnen de categorie commerciële belangen, wat kmo’s en andere ondernemingen betreft, moet het adviesforum onder meer bestaan uit vertegenwoordigers van de industrie, start-ups, kmo’s, de academische wereld, het maatschappelijk middenveld, met inbegrip van de sociale partners, het Bureau voor de grondrechten, Enisa, het Europees Comité voor normalisatie (CEN), het Europees Comité voor elektrotechnische normalisatie (Cenelec) en het Europees Instituut voor telecommunicatienormen (ETSI).
(151) Ter ondersteuning van de uitvoering en handhaving van deze verordening, met name de monitoringactiviteiten van het AI-bureau met betrekking tot AI-modellen voor algemene doeleinden, moet een wetenschappelijk panel van onafhankelijke deskundigen worden opgericht. De onafhankelijke deskundigen die het wetenschappelijk panel vormen, moeten worden geselecteerd op basis van actuele wetenschappelijke of technische deskundigheid op het gebied van AI en moeten hun taken onpartijdig en objectief uitvoeren en de vertrouwelijkheid van de bij de uitvoering van hun taken en activiteiten verkregen informatie en gegevens waarborgen. Om nationale capaciteit die nodig is voor de doeltreffende handhaving van deze verordening te kunnen versterken, moeten de lidstaten voor hun handhavingsactiviteiten steun kunnen vragen van de deskundigen die het wetenschappelijke panel vormen.
(152) Om een adequate handhaving van AI-systemen te ondersteunen en de capaciteiten van de lidstaten te versterken, moeten ondersteunende Uniestructuren voor AI-testen worden opgezet en ter beschikking van de lidstaten worden gesteld.
(153) De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat ten minste een aanmeldende autoriteit en ten minste een markttoezichtautoriteit als nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. De lidstaten kunnen besluiten om het even welke soort openbare entiteit aan te wijzen om de taken van de nationale bevoegde autoriteiten in de zin van deze verordening uit te voeren, in overeenstemming met hun specifieke nationale organisatorische kenmerken en behoeften. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een centraal contactpunt in te stellen voor het publiek en andere partijen op het niveau van de lidstaten en de Unie, moet elke lidstaat één markttoezichtautoriteit aanwijzen die als centraal contactpunt moet dienen.
(154) De nationale bevoegde autoriteiten moeten hun bevoegdheden onafhankelijk, onpartijdig en onbevooroordeeld uitoefenen, teneinde de beginselen van objectiviteit van hun activiteiten en taken te waarborgen en de toepassing en uitvoering van deze verordening te verzekeren. De leden van deze autoriteiten moeten zich onthouden van handelingen die onverenigbaar zijn met hun taken en moeten onderworpen zijn aan vertrouwelijkheidsregels uit hoofde van deze verordening.
(155) Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. In voorkomend geval moet de monitoring na het in de handel brengen een analyse van de interactie met andere AI-systemen, met inbegrip van andere apparaten en software, omvatten. Monitoring na het in de handel brengen mag niet gelden voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht over een systeem te beschikken om ernstige incidenten als gevolg van het gebruik van hun AI-systemen, d.w.z. incidenten of storingen die leiden tot de dood of ernstige schade aan de gezondheid, ernstige en onomkeerbare verstoring van het beheer en de exploitatie van kritieke infrastructuur, inbreuken op verplichtingen uit hoofde van het Unierecht ter bescherming van de grondrechten of ernstige schade aan eigendommen of het milieu, aan de relevante autoriteiten te melden.
(156) Teneinde een passende en doeltreffende handhaving te waarborgen van de eisen en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Krachtens deze verordening aangewezen markttoezichtautoriteiten moeten over alle handhavingsbevoegdheden beschikken die in deze verordening en in Verordening (EU) 2019/1020 zijn vastgelegd, en moeten hun bevoegdheden en taken onafhankelijk, onpartijdig en onbevooroordeeld uitoefenen. Hoewel voor de meeste AI-systemen geen specifieke eisen en verplichtingen gelden krachtens deze verordening, mogen markttoezichtautoriteiten maatregelen nemen ten aanzien van alle AI-systemen indien deze een risico vormen overeenkomstig deze verordening. Gezien de specifieke aard van de instellingen, agentschappen en organen van de Unie die binnen het toepassingsgebied van deze verordening vallen, is het wenselijk de Europese Toezichthouder voor gegevensbescherming aan te wijzen als de voor hen bevoegde markttoezichtautoriteit. Dit moet de aanwijzing van nationale bevoegde autoriteiten door de lidstaten onverlet laten. Markttoezichtactiviteiten mogen geen afbreuk doen aan het vermogen van de onder toezicht staande entiteiten om hun taken onafhankelijk uit te voeren, indien het Unierecht deze onafhankelijkheid vereist.
(157) Deze verordening doet geen afbreuk aan de bekwaamheid, taken, bevoegdheden en onafhankelijkheid van betrokken nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling en gegevensbeschermingsautoriteiten. Waar noodzakelijk met het oog op hun taken, moeten die nationale overheidsinstanties en -organen ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld. Er moet een specifieke vrijwaringsprocedure worden vastgesteld om te zorgen voor een adequate en tijdige handhaving ten aanzien van AI-systemen die een risico inhouden voor de gezondheid, veiligheid en de grondrechten. De procedure voor dergelijke AI-systemen die een risico inhouden moet worden toegepast op AI-systemen met een hoog risico die een risico inhouden, verboden systemen die in de handel zijn gebracht, in gebruik zijn gesteld of zijn gebruikt in strijd met de bepalingen van deze verordening inzake verboden praktijken en AI-systemen die beschikbaar zijn gemaakt in strijd met de transparantievereisten van deze verordening en een risico inhouden.
(158) Het Unierecht inzake financiële diensten omvat regels en eisen met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook indien zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en vereisten van de rechtshandelingen van de Unie inzake financiële diensten, moeten de bevoegde autoriteiten voor het toezicht op en de handhaving van die rechtshandelingen, met name bevoegde autoriteiten zoals gedefinieerd in Verordening (EU) nr. 575/2013 van het Europees Parlement en de Raad46 en de Richtlijnen 2008/48/EG47, 2009/138/EG48, 2013/36/EU49, 2014/17/EU50 en (EU) 2016/9751 van het Europees Parlement en de Raad, binnen hun respectieve bevoegdheden worden aangewezen als bevoegde autoriteiten voor het toezicht op de uitvoering van deze verordening, met inbegrip van markttoezichtactiviteiten, met betrekking tot AI-systemen die worden aangeboden of gebruikt door gereglementeerde en gecontroleerde financiële instellingen, tenzij de lidstaten besluiten een andere autoriteit aan te wijzen om deze markttoezichttaken uit te voeren. Die bevoegde autoriteiten moeten over alle bevoegdheden uit hoofde van deze verordening en Verordening (EU) 2019/1020 beschikken om de eisen en verplichtingen van deze verordening te handhaven, met inbegrip van bevoegdheden om ex-postmarkttoezichtactiviteiten uit te voeren die, in voorkomend geval, kunnen worden geïntegreerd in hun bestaande toezichtsmechanismen en -procedures uit hoofde van het desbetreffende Unierecht inzake financiële diensten. Het is wenselijk te bepalen dat de nationale autoriteiten die verantwoordelijk zijn voor het toezicht op onder Richtlijn 2013/36/EU vallende kredietinstellingen en deelnemen aan het bij Verordening (EU) nr. 1024/2013 van de Raad52 ingestelde gemeenschappelijk toezichtsmechanisme, indien zij optreden als markttoezichtautoriteiten in het kader van deze verordening, alle bij hun markttoezichtactiviteiten verkregen informatie die potentieel van belang kan zijn voor de in die verordening omschreven taken van de Europese Centrale Bank met betrekking tot prudentieel toezicht onverwijld melden bij de Europese Centrale Bank. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU verder te verbeteren, is het ook passend om enkele van de procedurele verplichtingen van aanbieders in verband met risicobeheer, monitoring na het in de handel brengen en documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitorings-verplichting voor gebruiksverantwoordelijken van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU. Om te zorgen voor consistentie en gelijke behandeling in de financiële sector moet dezelfde regeling gelden voor verzekerings- en herverzekeringsondernemingen en verzekeringsholdings die vallen onder Richtlijn 2009/138/EG en verzekeringstussenpersonen die vallen onder Richtlijn (EU) 2016/97 en andere soorten financiële instellingen die gebonden zijn aan eisen inzake interne governance, regelingen of procedures die zijn vastgelegd op grond van het desbetreffende Unierecht inzake financiële diensten.
(159) Elke markttoezichtautoriteit voor AI-systemen met een hoog risico op het gebied van biometrische gegevens, zoals vermeld in een bijlage bij deze verordening, voor zover die systemen worden gebruikt voor rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, of voor de rechtsbedeling en democratische processen, moet beschikken over doeltreffende onderzoeksbevoegdheden en corrigerende bevoegdheden, waaronder ten minste de bevoegdheid om toegang te verkrijgen tot alle persoonsgegevens die worden verwerkt en tot alle informatie die nodig is voor de uitvoering van haar taken. De markttoezicht-autoriteiten moeten hun bevoegdheden volledig onafhankelijk kunnen uitoefenen. Eventuele beperkingen van hun toegang tot gevoelige operationele gegevens uit hoofde van deze verordening mogen geen afbreuk doen aan de hun bij Richtlijn (EU) 2016/680 verleende bevoegdheden. Geen enkele uitsluiting betreffende de openbaarmaking van gegevens aan nationale gegevensbeschermingsautoriteiten uit hoofde van deze verordening mag afbreuk doen aan de huidige of toekomstige bevoegdheden van die autoriteiten die buiten het toepassingsgebied van deze verordening vallen.
(160) De markttoezichtautoriteiten en de Commissie moeten gezamenlijke activiteiten, waaronder gezamenlijke onderzoeken, kunnen voorstellen die door markttoezichtautoriteiten alleen of samen met de Commissie moeten worden uitgevoerd, met als doel de naleving te bevorderen, de niet-naleving vast te stellen, het bewustzijn te vergroten en richtsnoeren inzake deze verordening te verstrekken betreffende specifieke categorieën AI-systemen met een hoog risico die in twee of meer lidstaten een ernstig risico blijken te vormen. Gezamenlijke activiteiten ter bevordering van conformiteit moeten worden uitgevoerd overeenkomstig artikel 9 van Verordening (EU) 2019/1020. Het AI-bureau moet zorgen voor coördinerende ondersteuning van gezamenlijke onderzoeken.
(161) Het is noodzakelijk de verantwoordelijkheden en bevoegdheden op het niveau van de Unie en op nationaal niveau te verduidelijken wat betreft AI-systemen die gebaseerd zijn op AI-modellen voor algemene doeleinden. Om overlappende bevoegdheden te voorkomen, moet, indien een AI-systeem gebaseerd is op een AI-model voor algemene doeleinden en het model en systeem door dezelfde aanbieder worden aangeboden, het toezicht op het niveau van de Unie plaatsvinden via het AI-bureau, dat voor dit doel de bevoegdheden moet hebben van een markttoezichtautoriteit in de zin van Verordening (EU) 2019/1020. In alle andere gevallen blijven de nationale markttoezichtautoriteiten verantwoordelijk voor het toezicht op AI-systemen. Voor AI-systemen voor algemene doeleinden die rechtstreeks door gebruiksverantwoordelijken kunnen worden gebruikt voor ten minste één doel dat als hoog risico is geclassificeerd, moeten markttoezichtautoriteiten echter samenwerken met het AI-bureau om conformiteitsbeoordelingen uit te voeren en de AI-board en andere markttoezicht-autoriteiten daarvan in kennis te stellen. Voorts moeten markttoezichtautoriteiten het AI-bureau om bijstand kunnen verzoeken indien de markttoezichtautoriteit geen onderzoek naar een AI-systeem met een hoog risico kan afronden omdat zij geen toegang heeft tot bepaalde informatie met betrekking tot het AI-model voor algemene doeleinden waarop het AI-systeem met een hoog risico is gebaseerd. In dergelijke gevallen moet de procedure betreffende wederzijdse bijstand in grensoverschrijdende zaken van hoofdstuk VI van Verordening (EU) 2019/1020 op overeenkomstige wijze van toepassing zijn.
(162) Om optimaal gebruik te maken van de gecentraliseerde Unie-expertise en van de synergieën op het niveau van de Unie, moeten de bevoegdheden voor het toezicht op en de handhaving van de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden een bevoegdheid van de Commissie zijn. Het AI-bureau moet alle nodige maatregelen kunnen nemen om toezicht te houden op de doeltreffende uitvoering van deze verordening met betrekking tot AI-modellen voor algemene doeleinden. Het moet mogelijke inbreuken op de regels inzake aanbieders van AI-modellen voor algemene doeleinden kunnen onderzoeken, zowel op eigen initiatief, op basis van de resultaten van zijn monitoring-activiteiten, hetzij op verzoek van markttoezichtautoriteiten in overeenstemming met de in deze verordening vastgestelde voorwaarden. Om een doeltreffende monitoring van het AI-bureau te ondersteunen, moet het voorzien in de mogelijkheid dat aanbieders verder in de AI-waardeketen klachten indienen over mogelijke inbreuken op de regels inzake aanbieders van AI-modellen en -systemen voor algemene doeleinden.
(163) Als aanvulling op de governancesystemen voor AI-modellen voor algemene doeleinden moet het wetenschappelijk panel de monitoringactiviteiten van het AI-bureau ondersteunen en kan het in bepaalde gevallen gekwalificeerde waarschuwingen aan het AI-bureau verstrekken die eventueel aanleiding geven tot vervolgonderzoeken. Dit moet het geval zijn indien het wetenschappelijk panel redenen heeft om te vermoeden dat een AI-model voor algemene doeleinden een concreet en aanwijsbaar risico op het niveau van de Unie vormt. Voorts moet dit het geval zijn indien het wetenschappelijk panel redenen heeft om te vermoeden dat een AI-model voor algemene doeleinden voldoet aan de criteria om als AI-model voor algemene doeleinden met een systeemrisico te worden geclassificeerd. Om het wetenschappelijk panel uit te rusten met de informatie die nodig is voor de uitvoering van die taken, moet er een mechanisme zijn waarbij het wetenschappelijk panel de Commissie kan verzoeken documentatie of informatie van een Aanbieder te eisen.
(164) Het AI-bureau moet de nodige maatregelen kunnen nemen om de doeltreffende uitvoering en naleving van de in deze verordening vastgestelde verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden te monitoren. Het AI-bureau moet mogelijke inbreuken kunnen onderzoeken overeenkomstig de bevoegdheden waarin deze verordening voorziet, onder meer door documentatie en informatie op te vragen, evaluaties uit te voeren en door aanbieders van AI-modellen voor algemene doeleinden om maatregelen te verzoeken. Om gebruik te maken van onafhankelijke expertise moet het AI-bureau bij de uitvoering van evaluaties onafhankelijke deskundigen kunnen betrekken om namens het bureau de evaluaties uit te voeren. Naleving van de verplichtingen moet afdwingbaar zijn, onder meer door verzoeken om passende maatregelen te nemen, met inbegrip van risicobeperkende maatregelen in het geval van vastgestelde systeemrisico’s, alsook door het op de markt aanbieden van het model te beperken, het uit de handel te nemen of het terug te roepen. Als waarborg moeten aanbieders van AI-modellen voor algemene doeleinden, indien nodig naast de procedurele rechten waarin deze verordening voorziet, over de procedurele rechten beschikken waarin is voorzien in artikel 18 van Verordening (EU) 2019/1020, dat van overeenkomstige toepassing is, onverminderd specifiekere procedurele rechten waarin deze verordening voorziet.
(165) De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de eisen van deze verordening kan leiden tot een groter gebruik van ethische en betrouwbare AI in de Unie. Aanbieders van AI-systemen zonder hoog risico moeten worden aangemoedigd om gedragscodes op te stellen, met inbegrip van gerelateerde governancemechanismen, die bedoeld zijn ter bevordering van de vrijwillige toepassing van sommige of alle dwingende eisen die gelden voor AI-systemen met een hoog risico, aangepast in het licht van het beoogde doel van de systemen en het lagere risico ervan en rekening houdend met de beschikbare technische oplossingen en beste praktijken van de sector, zoals model- en gegevenskaarten. Aanbieders en, in voorkomend geval, gebruiksverantwoordelijken van alle AI-systemen, al dan niet met een hoog risico, en AI-modellen moeten ook worden aangemoedigd om op vrijwillige basis aanvullende eisen toe te passen, bijvoorbeeld met betrekking tot de elementen van de “ethische richtsnoeren van de Unie voor betrouwbare KI”, milieuduurzaamheid, maatregelen op het gebied van AI-geletterdheid, inclusief en divers ontwerp en ontwikkeling van AI-systemen, met inbegrip van aandacht voor kwetsbare personen en toegankelijkheid voor personen met een handicap, deelname van belanghebbenden, in voorkomend geval met betrokkenheid van relevante belanghebbenden zoals het bedrijfsleven en maatschappelijke organisaties, de academische wereld, onderzoeksorganisaties, vakbonden en consumentenorganisaties bij het ontwerp en de ontwikkeling van AI-systemen, en diversiteit van de ontwikkelingsteams, met inbegrip van genderevenwicht. Om ervoor te zorgen dat de vrijwillige gedragscodes doeltreffend zijn, moeten zij gebaseerd zijn op duidelijke doelstellingen en kernprestatie-indicatoren om de verwezenlijking van die doelstellingen te meten. Zij moeten in voorkomend geval ook op inclusieve wijze worden ontwikkeld, met betrokkenheid van relevante belanghebbenden zoals het bedrijfsleven en maatschappelijke organisaties, de academische wereld, onderzoeksorganisaties, vakbonden en consumentenorganisaties. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen voor grensoverschrijdende uitwisseling van data voor AI-ontwikkeling te helpen beperken, onder meer met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.
(166) Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de eisen voor AI-systemen met een hoog risico, desalniettemin veilig zijn indien zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Verordening (EU) 2023/988 van het Europees Parlement en de Raad53 als vangnet van toepassing zijn.
(167) Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen, overeenkomstig het Unierecht of het nationale recht. Zij moeten hun taken en activiteiten zodanig uitvoeren dat met name intellectuele-eigendomsrechten, vertrouwelijke bedrijfsinformatie en bedrijfsgeheimen, de doeltreffende uitvoering van deze verordening, openbare en nationale veiligheidsbelangen, de integriteit van strafrechtelijke en administratieve procedures en de integriteit van gerubriceerde informatie worden beschermd.
(168) Naleving van deze verordening moet afdwingbaar zijn door het opleggen van sancties en andere handhavingsmaatregelen. De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop, en opdat het beginsel non bis in idem in acht wordt genomen. Teneinde de administratieve sancties tegen inbreuken op deze verordening te versterken en te harmoniseren, moeten de maxima voor de vaststelling van de administratieve geldboeten voor bepaalde specifieke inbreuken worden vastgesteld. Bij de beoordeling van het bedrag van de boeten moeten de lidstaten per afzonderlijk geval rekening houden met alle relevante omstandigheden van de specifieke situatie, met inachtneming van met name de aard, de ernst en de duur van de inbreuk, de gevolgen ervan en de omvang van de aanbieder, met name indien de aanbieder een kmo is, met inbegrip van start-ups. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om boeten op te leggen aan instellingen, agentschappen en organen van de Unie die binnen het toepassingsgebied van deze verordening vallen.
(169) De naleving van de uit hoofde van deze verordening opgelegde verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden moet onder meer afdwingbaar zijn door middel van boeten. Daartoe moeten ook passende boeten worden vastgesteld voor inbreuken op die verplichtingen, met inbegrip van de niet-naleving van de door de Commissie overeenkomstig deze verordening gevraagde maatregelen, met inachtneming van passende verjaringstermijnen overeenkomstig het evenredigheidsbeginsel. Alle besluiten die de Commissie krachtens deze verordening neemt, zijn overeenkomstig het VWEU onderworpen aan toetsing door het Hof van Justitie van de Europese Unie, met inbegrip van de onbeperkte rechtsmacht van het Hof van Justitie wat betreft sancties op grond van artikel 261 VWEU.
(170) Het Unierecht en het nationale recht voorzien reeds in doeltreffende rechtsmiddelen voor natuurlijke personen en rechtspersonen van wie de rechten en vrijheden worden geschaad door het gebruik van AI-systemen. Onverminderd die rechtsmiddelen, kan elke natuurlijke of rechtspersoon die redenen heeft om aan te nemen dat er sprake is van een inbreuk op de bepalingen van deze verordening, een met redenen omklede klacht indienen bij de betrokken markttoezichtautoriteit.
(171) Getroffen personen moeten het recht hebben om uitleg te krijgen indien het besluit van een gebruiksverantwoordelijke voornamelijk is gebaseerd op de output van bepaalde AI-systemen met een hoog risico die binnen het toepassingsgebied van deze verordening vallen en indien dat besluit rechtsgevolgen of gelijkaardige aanzienlijke gevolgen heeft voor de gezondheid, veiligheid of grondrechten van die personen. Die uitleg moet duidelijk en zinvol zijn en moet de grondslag zijn waarop de getroffen personen zich kunnen baseren om hun rechten uit te oefenen. Het recht om uitleg te krijgen mag niet van toepassing zijn op het gebruik van AI-systemen waarvoor uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht en moet alleen van toepassing zijn voor zover het Unierecht niet reeds in dit recht voorziet.
(172) Personen die optreden als klokkenluiders bij inbreuken op deze verordening, moeten worden beschermd uit hoofde van het Unierecht. Richtlijn (EU) 2019/1937 van het Europees Parlement en de Raad54 moet daarom van toepassing zijn op de melding van inbreuken op deze verordening en op de bescherming van personen die dergelijke inbreuken melden.
(173) Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet aan de Commissie de bevoegdheid worden overgedragen om overeenkomstig artikel 290 VWEU handelingen vast te stellen tot wijziging van de voorwaarden waaronder een AI-systeem niet als een AI-systeem met een hoog risico wordt beschouwd, van de lijst van AI-systemen met een hoog risico, van de bepalingen inzake technische documentatie, van de inhoud van de EU-conformiteitsverklaring, van de bepalingen betreffende de conformiteitsbeoordelingsprocedures, van de bepalingen tot vaststelling van AI-systemen met een hoog risico waarop de conformiteitsbeoordelingsprocedure op basis van de beoordeling van het kwaliteitsbeheersysteem en de beoordeling van de technische documentatie moet gelden, van de drempel, benchmarks en indicatoren, onder meer door die benchmarks en indicatoren aan te vullen, van de regels voor de classificatie van AI-modellen voor algemene doeleinden met systeemrisico’s, van de criteria voor de aanwijzing van AI-modellen voor algemene doeleinden met een systeemrisico, van de technische documentatie voor aanbieders van AI-modellen voor algemene doeleinden en van de transparantie-informatie voor aanbieders van AI-modellen voor algemene doeleinden. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven55. Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.
(174) Gezien de snelle technologische ontwikkelingen en de technische deskundigheid die vereist is om deze verordening doeltreffende toe te passen, moet de Commissie deze verordening uiterlijk op 2 augustus 2029 en vervolgens om de vier jaar evalueren en toetsen en verslag uitbrengen aan het Europees Parlement en de Raad. Daarnaast moet de Commissie, rekening houdend met de gevolgen voor het toepassingsgebied van deze verordening, eenmaal per jaar een beoordeling uitvoeren van de noodzaak om de lijst van AI-systemen met een hoog risico en de lijst van verboden praktijken te wijzigen. Bovendien moet de Commissie uiterlijk op 2 augustus 2028 en vervolgens om de vier jaar een evaluatie maken van de noodzaak om de lijst van rubrieken van gebieden met een hoog risico in de bijlage bij deze verordening te wijzigen, van de AI-systemen die onder de transparantieverplichtingen vallen en van de doeltreffendheid van het toezicht- en governancesysteem en de vooruitgang bij de ontwikkeling van normalisatieproducten met betrekking tot de energie-efficiënte ontwikkeling van AI-modellen voor algemene doeleinden, met inbegrip van de behoefte aan verdere maatregelen of acties, en hierover verslag uitbrengen aan het Europees Parlement en de Raad. Tot slot moet de Commissie uiterlijk op 2 augustus 2028 en vervolgens om de drie jaar de impact en de doeltreffendheid evalueren van vrijwillige gedragscodes om de toepassing van de eisen voor AI-systemen met een hoog risico op andere AI-systemen dan AI-systemen met een hoog risico te bevorderen, en eventuele andere aanvullende eisen voor dergelijke AI-systemen.
(175) Om eenvormige voorwaarden te waarborgen voor de uitvoering van deze verordening, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad56.
(176) Aangezien de doelstelling van deze verordening, namelijk het verbeteren van de werking van de interne markt en het bevorderen van de invoering van mensgerichte en betrouwbare AI, waarbij tegelijkertijd een hoog niveau van bescherming van de gezondheid, de veiligheid en de in het Handvest verankerde grondrechten wordt gewaarborgd, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu tegen de schadelijke gevolgen van AI-systemen in de Unie en het ondersteunen van innovatie, niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.
(177) Om rechtszekerheid te waarborgen, ervoor te zorgen dat er een passende aanpassingsperiode is voor operatoren en verstoring van de markt te voorkomen, onder meer door de continuïteit van het gebruik van AI-systemen te waarborgen, is het wenselijk dat AI-systemen met een hoog risico die vóór de algemene datum van toepassing van deze verordening in de handel zijn gebracht of in gebruik zijn gesteld, enkel onderworpen zijn aan deze verordening indien hun ontwerp of beoogde doel na die datum aanzienlijk is gewijzigd. Er moet worden verduidelijkt dat een aanzienlijke wijziging in dit verband inhoudelijk overeenkomt met het begrip substantiële wijziging, dat enkel wordt gebruikt met betrekking tot AI-systemen met een hoog risico op grond van deze verordening. Bij wijze van uitzondering en in het licht van de publieke verantwoordingsplicht moeten operatoren van AI-systemen die componenten zijn van de grootschalige IT-systemen die zijn opgezet volgens de in een bijlage bij deze verordening vermelde rechtshandelingen, en operatoren van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, respectievelijk uiterlijk eind 2030 en uiterlijk op 2 augustus 2030 de nodige stappen nemen om aan de eisen ervan te voldoen.
(178) Aanbieders van AI-systemen met een hoog risico worden aangemoedigd de desbetreffende verplichtingen van deze verordening al tijdens de overgangsperiode op vrijwillige basis toe te passen.
(179) Deze verordening moet van toepassing zijn met ingang van 2 augustus 2026. Rekening houdend met het onaanvaardbare risico in verband met de manier waarop AI soms kan worden gebruikt, moeten de verbodsbepalingen alsmede de algemene bepalingen van deze verordening echter reeds van toepassing zijn met ingang van 2 februari 2025. Hoewel het volledige resultaat van die verbodsbepalingen pas zichtbaar wordt met de governance en de handhaving van deze verordening, is het van belang op de toepassing van deze verbodsbepalingen te anticiperen om rekening te houden met onaanvaardbare risico’s en om een weerslag te hebben op andere procedures, zoals in het burgerlijk recht. Voorts moet de infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling vóór 2 augustus 2026 operationeel zijn en moeten de bepalingen inzake aangemelde instanties en de governancestructuur derhalve van toepassing zijn vanaf 2 augustus 2025. Gezien het snelle tempo van de technologische vooruitgang en de invoering van AI-modellen voor algemene doeleinden, moeten de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden van toepassing zijn met ingang van 2 augustus 2025. Praktijkcodes moeten uiterlijk op 2 mei 2025 gereed zijn om aanbieders in staat te stellen de naleving ervan tijdig aan te tonen. Het AI-bureau moet ervoor zorgen dat de classificatieregels en -procedures actueel zijn in het licht van technologische ontwikkelingen. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten met ingang van 2 augustus 2025 van toepassing zijn.
(180) Overeenkomstig artikel 42, leden 1 en 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op 18 juni 2021 hebben zij hun gezamenlijk advies uitgebracht,
HEBBEN DE VOLGENDE VERORDENING VASTGESTELD:
Artikel 1 -
Onderwerp
Bij deze verordening worden vastgesteld:
- a) geharmoniseerde regels voor het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen in de Unie;
- b) een verbod op bepaalde AI-praktijken;
- c) specifieke eisen voor AI-systemen met een hoog risico en verplichtingen voor de operatoren van dergelijke systemen;
- d) geharmoniseerde transparantievoorschriften voor bepaalde AI-systemen;
- e) geharmoniseerde regels voor het in de handel brengen van AI-modellen voor algemene doeleinden;
- f) regels inzake marktmonitoring, markttoezicht, governance en handhaving van die regels;
- g) maatregelen ter ondersteuning van innovatie, met bijzondere nadruk op kmo’s, waaronder start-ups.
Artikel 2 -
Toepassingsgebied
Deze verordening is van toepassing op:
- a) aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, of AI-modellen voor algemene doeleinden in de handel brengen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd of er zich bevinden;
- b) gebruiksverantwoordelijken van AI-systemen die in de Unie zijn gevestigd of er zich bevinden;
- c) aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt;
- d) importeurs en distributeurs van AI-systemen;
- e) fabrikanten van producten die samen met hun product en onder hun eigen naam of merk een AI-systeem in de handel brengen of in gebruik stellen;
- f) gemachtigden van aanbieders die niet in de Unie gevestigd zijn;
- g) getroffen personen die zich in de Unie bevinden.
Artikel 3 -
Definities
Voor de toepassing van deze verordening wordt verstaan onder:
- 1) “AI-systeem”: een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen;
- 2) “risico”: de combinatie van de kans op schade en de ernst van die schade;
- 3) “aanbieder”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merk, al dan niet tegen betaling;
- 4) “gebruiksverantwoordelijke”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit;
- 5) “gemachtigde”: een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een schriftelijke machtiging heeft gekregen en aanvaard van een aanbieder van een AI-systeem of een AI-model voor algemene doeleinden om namens die aanbieder de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren;
- 6) “importeur”: een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een AI-systeem in de handel brengt dat de naam of het merk van een in een derde land gevestigde natuurlijke of rechtspersoon draagt;
- 7) “distributeur”: een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie op de markt aanbiedt;
- 8) “operator”: een aanbieder, productfabrikant, gebruiksverantwoordelijke, gemachtigde, importeur of distributeur;
- 9) “in de handel brengen”: het voor het eerst in de Unie op de markt aanbieden van een AI-systeem of een AI-model voor algemene doeleinden;
- 10) “op de markt aanbieden”: het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem of een AI-model voor algemene doeleinden met het oog op distributie of gebruik op de markt van de Unie;
- 11) “in gebruik stellen”: de directe levering van een AI-systeem aan de gebruiksverantwoordelijke voor het eerste gebruik of voor eigen gebruik in de Unie voor het beoogde doel;
- 12) “beoogd doel”: het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt;
- 13) “redelijkerwijs te voorzien misbruik”: het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of redelijkerwijs te voorziene interactie met andere systemen, waaronder andere AI-systemen;
- 14) “veiligheidscomponent”: een component van een product of van een AI-systeem die een veiligheids-functie voor dat product of AI-systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen of eigendom in gevaar brengt;
- 15) “gebruiksinstructies”: de door de aanbieder verstrekte informatie om de gebruiksverantwoordelijke te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem;
- 16) “terugroepen van een AI-systeem”: een maatregel gericht op het retourneren aan de aanbieder, het buiten gebruik stellen of het onbruikbaar maken van een AI-systeem dat aan gebruiksverantwoordelijken ter beschikking is gesteld;
- 17) “uit de handel nemen van een AI-systeem”: een maatregel waarmee wordt beoogd te voorkomen dat een AI-systeem dat zich in de toeleveringsketen bevindt, op de markt wordt aangeboden;
- 18) “prestaties van een AI-systeem”: het vermogen van een AI-systeem om het beoogde doel te verwezenlijken;
- 19) “aanmeldende autoriteit”: de nationale autoriteit die verantwoordelijk is voor het opzetten en uitvoeren van de noodzakelijke procedures voor de beoordeling, aanwijzing en kennisgeving van de conformiteitsbeoordelingsinstanties en de monitoring hiervan;
- 20) “conformiteitsbeoordeling”: het proces waarbij de naleving wordt aangetoond van de voorschriften van hoofdstuk III, afdeling 2, in verband met een AI-systeem met een hoog risico;
- 21) “conformiteitsbeoordelingsinstantie”: een instantie die als derde partij conformiteits-beoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren;
- 22) “aangemelde instantie”: een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie, is aangemeld;
- 23) “substantiële wijziging”: een verandering van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die door de aanbieder niet is voorzien of gepland in de initiële conformiteitsbeoordeling en als gevolg waarvan de overeenstemming van het AI-systeem met de voorschriften van hoofdstuk III, afdeling 2, wordt beïnvloed, of die leidt tot een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld;
- 24) “CE-markering”: een markering waarmee een aanbieder aangeeft dat een AI-systeem in overeenstemming is met de voorschriften van hoofdstuk III, afdeling 2, en andere toepasselijke harmonisatiewetgeving van de Unie, die in het aanbrengen ervan voorzien;
- 25) “systeem voor monitoring na het in de handel brengen”: alle door aanbieders van AI-systemen verrichte activiteiten voor het verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik gestelde AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn;
- 26) “markttoezichtautoriteit”: de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020;
- 27) “geharmoniseerde norm”: een geharmoniseerde norm zoals gedefinieerd in artikel 2, lid 1, punt c), van Verordening (EU) nr. 1025/2012;
- 28) “gemeenschappelijke specificatie”: een reeks technische specificaties zoals gedefinieerd in artikel 2, punt 4, van Verordening (EU) nr. 1025/2012, om te voldoen aan bepaalde voorschriften zoals vastgelegd in deze verordening;
- 29) “trainingsdata”: data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen;
- 30) “validatiedata”: data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om underfitting of overfitting te voorkomen;
- 31) “validatiedataset”: een afzonderlijke dataset of deel van de trainingsdataset, als vaste of variabele opdeling;
- 32) “testdata”: data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld;
- 33) “inputdata”: data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verworven en op basis waarvan het systeem een output genereert;
- 34) “biometrische gegevens”: persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevens;
- 35) “biometrische identificatie”: de geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde of psychologische menselijke kenmerken om de identiteit van een natuurlijk persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met in een databank opgeslagen biometrische gegevens van personen;
- 36) “biometrische verificatie”: de geautomatiseerde één-op-éénverificatie, met inbegrip van de authenticatie, van de identiteit van natuurlijke personen door hun biometrische gegevens te vergelijken met eerder verstrekte biometrische gegevens;
- 37) “bijzondere categorieën persoonsgegevens”: de categorieën persoonsgegevens als bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725;
- 38) “gevoelige operationele gegevens”: operationele gegevens met betrekking tot activiteiten op het gebied van preventie, opsporing, onderzoek of vervolging van strafbare feiten waarvan de openbaarmaking de integriteit van strafprocedures in het gedrang zou kunnen brengen;
- 39) “systeem voor het herkennen van emoties”: een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens;
- 40) “systeem voor biometrische categorisering” een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorieën op basis van hun biometrische gegevens, tenzij dit een aanvulling vormt op een andere commerciële dienst en om objectieve technische redenen strikt noodzakelijk is;
- 41) “systeem voor biometrische identificatie op afstand”: een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen, zonder dat zij daar actief bij betrokken zijn en doorgaans van een afstand, door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank;
- 42) “systeem voor biometrische identificatie op afstand in real time”: een systeem voor biometrische identificatie op afstand, waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie zonder significante vertraging plaatsvinden, zowel wanneer de identificatie niet enkel onmiddellijk plaatsvindt, maar ook wanneer de identificatie met beperkte korte vertragingen plaatsvindt, om omzeiling te voorkomen;
- 43) “systeem voor biometrische identificatie op afstand achteraf”: een ander biometrisch systeem voor de identificatie op afstand dan een systeem voor biometrische identificatie op afstand in real time;
- 44) “openbare ruimte”: een fysieke plek die in publieke of private handen is en toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn, en ongeacht eventuele capaciteitsbeperkingen;
-
45)
“rechtshandhavingsinstantie”:
- a) iedere overheidsinstantie die bevoegd is voor de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid, of
- b) ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;
- 46) “rechtshandhaving”: activiteiten die worden verricht door of namens rechtshandhavings-instanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;
- 47) “AI-bureau”: de taak van de Commissie waarbij zij bijdraagt aan de uitvoering van, de monitoring van en het toezicht op AI-systemen en AI-modellen voor algemene doeleinden, en AI-governance, als bepaald in het besluit van de Commissie van 24 januari 2024; verwijzingen in deze verordening naar het AI-bureau worden begrepen als verwijzingen naar de Commissie;
- 48) “nationale bevoegde autoriteit”: een aanmeldende autoriteit of een de markttoezichtautoriteit; wat betreft AI-systemen die door instellingen, organen en instanties van de EU in gebruik worden gesteld of worden gebruikt, worden verwijzingen naar nationale bevoegde autoriteiten of markttoezichtautoriteiten in deze verordening begrepen als verwijzingen naar de Europese Toezichthouder voor gegevensbescherming;
-
49)
“ernstig incident”: een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot:
- a) het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon;
- b) een ernstige en onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur;
- c) een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten;
- d) ernstige schade aan eigendommen of het milieu;
- 50) “persoonsgegevens”: persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679;
- 51) “niet-persoonsgebonden gegevens”: andere gegevens dan persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679;
- 52) “profilering”: profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679;
- 53) “plan voor testen onder reële omstandigheden”: een document waarin de doelstellingen, methode, geografische reikwijdte, betrokken personen, duur, monitoring, organisatie en wijze van uitvoering van een test onder reële omstandigheden worden omschreven;
- 54) “testomgevingsplan”: tussen de deelnemende aanbieder en de bevoegde autoriteit overeengekomen document waarin de doelstellingen, de voorwaarden, het tijdschema, de methode en de vereisten voor de in de testomgeving uitgevoerde activiteiten worden beschreven;
- 55) “AI-testomgeving voor regelgeving”: een door een bevoegde autoriteit opgezet gecontroleerd kader dat aanbieders of toekomstige aanbieders van AI-systemen de mogelijkheid biedt een innovatief AI-systeem te ontwikkelen, trainen, valideren en testen, zo nodig onder reële omstandigheden, volgens een testomgevingsplan, voor een beperkte periode en onder begeleiding van een toezichthouder;
- 56) “AI-geletterdheid”: vaardigheden, kennis en begrip die aanbieders, gebruiksverantwoordelijken en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen geïnformeerd AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken;
- 57) “testen onder reële omstandigheden”: het tijdelijk testen van een AI-systeem voor zijn beoogde doel onder reële omstandigheden buiten een laboratorium of anderszins gesimuleerde omgeving teneinde betrouwbare en robuuste gegevens te verkrijgen, en te beoordelen en te verifiëren of het AI-systeem overeenstemt met de voorschriften van deze verordening en het wordt niet aangemerkt als het in de handel brengen of in gebruik stellen van het AI-systeem in de zin van deze verordening, mits aan alle in artikel 57 of artikel 60 vastgestelde voorwaarden is voldaan;
- 58) “proefpersoon” in het kader van tests onder reële omstandigheden: een natuurlijk persoon die deelneemt aan een test onder reële omstandigheden;
- 59) “geïnformeerde toestemming”: de vrijelijk gegeven, specifieke, ondubbelzinnige en vrijwillige uiting door een proefpersoon van zijn of haar bereidheid deel te nemen aan een bepaalde test onder reële omstandigheden, na geïnformeerd te zijn over alle aspecten van de test die van belang zijn voor zijn of haar beslissing om deel te nemen;
- 60) “deepfake”: door AI gegenereerd of gemanipuleerd beeld-, audio- of videomateriaal dat een gelijkenis vertoont met bestaande personen, voorwerpen, plaatsen, entiteiten of gebeurtenissen, en door een persoon ten onrechte voor authentiek of waarheidsgetrouw zou worden aangezien;
-
61)
“wijdverbreide inbreuk”: alle handelingen of omissies die in strijd zijn met het Unierecht ter bescherming van de belangen van natuurlijke personen, waarbij:
-
a)
schade is veroorzaakt of waarschijnlijk zal worden veroorzaakt aan de collectieve belangen van natuurlijke personen met verblijfplaats in ten minste twee andere lidstaten dan de lidstaat waar:
- i) de handeling of omissie haar oorsprong vond of plaatshad;
- ii) de betrokken aanbieder of, waar van toepassing, diens gemachtigde zich bevindt of is gevestigd, of
- iii) de gebruiksverantwoordelijke is gevestigd, indien de inbreuk door de gebruiksverantwoordelijke is gepleegd;
- b) schade is veroorzaakt, wordt veroorzaakt of waarschijnlijk zal worden veroorzaakt aan de collectieve belangen van natuurlijke personen, en die gemeenschappelijke kenmerken hebben, waaronder dezelfde onrechtmatige praktijk of een inbreuk op hetzelfde belang, en die zich gelijktijdig voordoen en door dezelfde operator worden begaan in ten minste drie lidstaten;
-
a)
schade is veroorzaakt of waarschijnlijk zal worden veroorzaakt aan de collectieve belangen van natuurlijke personen met verblijfplaats in ten minste twee andere lidstaten dan de lidstaat waar:
- 62) “kritieke infrastructuur”: kritieke infrastructuur zoals gedefinieerd in artikel 2, punt 4, van Richtlijn (EU) 2022/2557;
- 63) “AI-model voor algemene doeleinden”: een AI-model, ook wanneer het is getraind met een grote hoeveelheid data met behulp van self-supervision op grote schaal, dat een aanzienlijk algemeen karakter vertoont en in staat is op competente wijze een breed scala aan verschillende taken uit te voeren, ongeacht de wijze waarop het model in de handel wordt gebracht, en dat kan worden geïntegreerd in een verscheidenheid aan systemen verder in de AI-waardeketen of toepassingen verder in de AI-waardeketen, met uitzondering van AI-modellen die worden gebruikt voor onderzoek, ontwikkeling of prototypingactiviteiten alvorens zij in de handel worden gebracht;
- 64) “capaciteiten met een grote impact”: capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden;
- 65) “systeemrisico”: een risico dat specifiek is voor de capaciteiten met een grote impact van AI-modellen voor algemene doeleinden, die aanzienlijke gevolgen hebben voor de markt van de Unie vanwege hun bereik, of vanwege feitelijke of redelijkerwijs te voorziene negatieve gevolgen voor de gezondheid, de veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel, en dat op grote schaal in de hele waardeketen kan worden verspreid;
- 66) “AI-systeem voor algemene doeleinden”: een AI-systeem dat is gebaseerd op een AI-model voor algemene doeleinden en dat verschillende doeleinden kan dienen, zowel voor direct gebruik als voor integratie in andere AI-systemen;
- 67) zwevendekommabewerking of “floating-point operation (FLOP)”: elke wiskundige bewerking of toewijzing met zwevendekommagetallen, die een subset vormen van de reële getallen die gewoonlijk op computers worden gerepresenteerd door een geheel getal met een vaste precisie, geschaald door een gehele exponent van een vaste basis;
- 68) “aanbieder verder in de AI-waardeketen”: een aanbieder van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, waarin een AI-model is geïntegreerd, ongeacht of het AI-model door hemzelf wordt verstrekt en verticaal geïntegreerd is of door een andere entiteit wordt aangeboden op basis van contractuele betrekkingen.
Artikel 4 -
AI-geletterdheid
Artikel 5 -
Verboden AI-praktijken
De volgende AI-praktijken zijn verboden:
- a) het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor zij een besluit nemen dat zij anders niet hadden genomen, op een wijze die ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen;
- b) het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een natuurlijke persoon of specifieke groep personen als gevolg van hun leeftijd, handicap of een specifieke sociale of economische omstandigheid, met als doel of met als gevolg het gedrag van die persoon of personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of waarvan redelijkerwijze te verwachten is dat deze ertoe zal leiden dat deze of andere personen aanzienlijke schade oplopen;
-
c)
het in de handel brengen, het in gebruik stellen of het gebruiken van AI-systemen voor de evaluatie of classificatie van natuurlijke personen of groepen personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:
- i) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;
- ii) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;
- d) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van een AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken; dit verbod geldt niet voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd;
- e) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen die databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden;
- f) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs uit af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht;
- g) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van systemen voor biometrische categorisering die natuurlijke personen individueel in categorieën indelen op basis van biometrische gegevens om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden; dit verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens of categorisering van biometrische gegevens op het gebied van rechtshandhaving;
-
h)
het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen:
- i) het gericht zoeken naar specifieke slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting van mensen, alsook het zoeken naar vermiste personen;
- ii) het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen of een reële en actuele of reële en voorspelbare dreiging van een terroristische aanslag;
- iii) de lokalisatie of identificatie van een persoon die ervan wordt verdacht een strafbaar feit te hebben gepleegd, ten behoeve van een strafrechtelijk onderzoek of vervolging of tenuitvoerlegging van een straf voor in bijlage II genoemde strafbare feiten waarop in de betrokken lidstaat een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel staat met een maximumduur van ten minste vier jaar.
Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), bedoelde doelstellingen wordt ingezet voor de in dat punt bedoelde doeleinden, uitsluitend om de identiteit van de specifiek beoogde persoon te bevestigen en daarbij wordt rekening gehouden met het volgende:
- a) de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt;
- b) de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen.
Classificatieregels voor AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 6 -
Classificatieregels voor AI-systemen met een hoog risico
Ongeacht of een AI-systeem los van in de punten a) en b) bedoelde producten in de handel wordt gebracht of in gebruik wordt gesteld, wordt een AI-systeem als AI-systeem met een hoog risico beschouwd wanneer aan beide van de volgende voorwaarden is voldaan:
- a) het AI-systeem is bedoeld om te worden gebruikt als veiligheidscomponent van een product of het AI-systeem is zelf een product dat valt onder de in bijlage I opgenomen harmonisatiewetgeving van de Unie;
- b) voor het product waarvan het AI-systeem de veiligheidscomponent op grond van punt a) vormt of voor het AI-systeem als product zelf moet een conformiteits-beoordeling door een derde partij worden uitgevoerd met het oog op het in de handel brengen of in gebruik stellen van dat product op grond van de in bijlage I opgenomen harmonisatiewetgeving van de Unie.
De eerste alinea is van toepassing wanneer aan een van de volgende voorwaarden is voldaan:
- a) het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren;
- b) het AI-systeem is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren;
- c) het AI-systeem is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden, of
- d) het AI-systeem is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen.
Artikel 7 -
Wijzigingen in bijlage III
De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen tot wijziging van bijlage III door hieraan gebruiksgevallen van AI-systemen met een hoog risico toe te voegen of te wijzigen wanneer aan beide van de volgende voorwaarden is voldaan:
- a) de AI-systemen zijn bedoeld om te worden gebruikt op een van de gebieden als bedoeld in bijlage III;
- b) de AI-systemen vormen een risico op schade voor de gezondheid en veiligheid, of nadelige effecten op de grondrechten, en dat risico is gelijk aan of groter dan het risico op schade of nadelige effecten dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III.
Bij de beoordeling van de voorwaarde van lid 1, punt b), houdt de Commissie rekening met de volgende criteria:
- a) het beoogde doel van het AI-systeem;
- b) de mate waarin een AI-systeem is gebruikt of waarschijnlijk zal worden gebruikt;
- c) de aard van en de hoeveelheid gegevens die het AI-systeem verwerkt en gebruikt, met name of bijzondere categorieën persoonsgegevens worden verwerkt;
- d) de mate waarin het AI-systeem autonoom handelt en de mogelijkheid voor een mens om beslissingen of aanbevelingen die tot schade kunnen leiden terzijde te schuiven;
- e) de mate waarin het gebruik van een AI-systeem reeds schade voor de gezondheid en veiligheid of nadelige effecten op de grondrechten heeft veroorzaakt of aanleiding heeft gegeven tot aanzienlijke zorgen in verband met de waarschijnlijkheid van dergelijke schade of nadelige effecten, zoals aangetoond bijvoorbeeld door verslagen of gedocumenteerde beweringen die zijn ingediend bij de nationale bevoegde autoriteiten of, in voorkomend geval, door andere verslagen;
- f) de potentiële omvang van dergelijke schade of dergelijke nadelige effecten, met name wat betreft de intensiteit ervan en de mogelijkheid dat meerdere personen worden getroffen of dat een bepaalde groep personen onevenredig wordt getroffen;
- g) de mate waarin potentieel geschade of nadelig getroffen personen afhankelijk zijn van de aan de hand van een AI-systeem geproduceerde uitkomst, met name omdat het om praktische of juridische redenen niet redelijkerwijs mogelijk is om van deze uitkomst af te zien;
- h) de mate waarin sprake is van een onevenwichtige machtsverhouding, of de potentieel geschade of nadelig getroffen personen zich in een kwetsbare positie bevinden ten opzichte van de gebruiksverantwoordelijke van een AI-systeem, met name als gevolg van status, autoriteit, kennis, economische of sociale omstandigheden of leeftijd;
- i) de mate waarin de geproduceerde uitkomst waarbij een AI-systeem betrokken is niet gemakkelijk kan worden rechtgezet of omgekeerd, rekening houdend met de beschikbare technische oplossingen om die uitkomst recht te zetten of om te keren, waarbij van uitkomsten die nadelige effecten hebben op de gezondheid, veiligheid of grondrechten, niet wordt beschouwd dat zij eenvoudig kunnen worden rechtgezet of omgekeerd;
- j) de omvang en waarschijnlijkheid van het voordeel dat het inzetten van het AI-systeem voor natuurlijke personen, groepen of de samenleving in het algemeen, met inbegrip van mogelijke verbeteringen op het gebied van productveiligheid, met zich meebrengt;
-
k)
de mate waarin in het bestaande Unierecht is voorzien in:
- i) doeltreffende maatregelen om beroep aan te tekenen in verband met de risico’s van een AI-systeem, met uitzondering van vorderingen tot schadevergoeding;
- ii) doeltreffende maatregelen om deze risico’s te voorkomen of aanzienlijk te beperken.
De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen tot wijziging van bijlage III door AI-systemen met een hoog risico te schrappen wanneer aan beide van de volgende voorwaarden is voldaan:
- a) het betrokken AI-systeem met een hoog risico vormt, rekening houdend met de in lid 2 vermelde criteria, geen significant risico voor de grondrechten, de gezondheid of de veiligheid;
- b) de schrapping leidt niet tot een lager algeheel beschermingsniveau wat betreft de gezondheid, de veiligheid en de grondrechten uit hoofde van het Unierecht.
Artikel 8 -
Naleving van de eisen
Artikel 9 -
Systeem voor risicobeheer
Onder het systeem voor risicobeheer wordt verstaan een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces, dat periodieke systematische toetsing en actualisering vereist. Het omvat de volgende stappen:
- a) het vaststellen en analyseren van de bekende en de redelijkerwijs te voorziene risico’s die het AI-systeem met een hoog risico kan inhouden voor de gezondheid, veiligheid of grondrechten indien het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan wordt gebruikt;
- b) het inschatten en evalueren van de risico’s die zich kunnen voordoen wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik;
- c) het evalueren van andere risico’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen, als bedoeld in artikel 72;
- d) het vaststellen van gepaste en gerichte risicobeheersmaatregelen om de op grond van punt a) vastgestelde risico’s aan te pakken.
Bij het vaststellen van de passendste risicobeheersmaatregelen wordt het volgende gewaarborgd:
- a) uitsluiting of beperking van op grond van lid 2 vastgestelde en geëvalueerde risico’s voor zover technisch haalbaar door middel van een adequaat ontwerp en ontwikkeling van het AI-systeem met een hoog risico;
- b) waar passend worden adequate maatregelen voor beperking en controle genomen voor het aanpakken van risico’s die niet kunnen worden uitgesloten;
- c) verstrekking van op grond van artikel 13 vereiste informatie en waar passend opleiding voor gebruiksverantwoordelijken.
Artikel 10 -
Data en datagovernance
Datasets voor training, validatie en tests worden onderworpen aan praktijken op het gebied van databeheer die stroken met het beoogde doel van het AI-systeem met een hoog risico. Deze praktijken hebben in het bijzonder betrekking op:
- a) de relevante ontwerpkeuzes;
- b) processen voor dataverzameling en de oorsprong van de data en, in het geval van persoonsgegevens, het oorspronkelijke doel van de dataverzameling;
- c) relevante verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, labelen, opschoning, actualisatie, verrijking en aggregatie;
- d) het opstellen van aannames, met name met betrekking tot de informatie die de data moeten meten en vertegenwoordigen;
- e) een beoordeling van de beschikbaarheid, kwantiteit en geschiktheid van de datasets die nodig zijn;
- f) een beoordeling met het oog op mogelijke vooringenomenheid die waarschijnlijk gevolgen heeft voor de gezondheid en de veiligheid van personen, nadelige effecten heeft op de grondrechten, of leidt tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties;
- g) en passende maatregelen om mogelijke overeenkomstig punt f) vastgestelde vertekeningen op te sporen, te voorkomen en te beperken;
- h) het identificeren van relevante leemten of tekortkomingen in de data die naleving van deze verordening in de weg staan, en de manier waarop deze leemten en tekortkomingen kunnen worden aangepakt.
Voor zover dit strikt noodzakelijk is om de opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico overeenkomstig lid 2, punten f) en g), van dit artikel, mogen de aanbieders van dergelijke systemen uitzonderlijk bijzondere categorieën persoonsgegevens verwerken, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen. Naast de bepalingen van Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 moeten voor een dergelijke verwerking alle volgende voorwaarden van toepassing zijn vervuld:
- a) de opsporing en correctie van vooringenomenheid kunnen niet doeltreffend worden vervuld door het verwerken van andere data, waaronder synthetische of geanonimiseerde data;
- b) de bijzondere categorieën persoonsgegevens zijn onderworpen aan technische beperkingen voor het hergebruik van persoonsgegevens, en geavanceerde beveiligings- en privacybeschermingsmaatregelen, waaronder pseudonimisering;
- c) de bijzondere categorieën persoonsgegevens zijn onderworpen aan maatregelen om ervoor te zorgen dat de verwerkte persoonsgegevens worden beveiligd, beschermd met passende waarborgen, waaronder strikte controles en documentatie van de toegang ertoe, om misbruik te voorkomen en ervoor te zorgen dat alleen personen die gemachtigd zijn toegang tot die persoonsgegevens hebben met passende vertrouwelijkheidsverplichtingen;
- d) de bijzondere categorieën persoonsgegevens worden niet verzonden, doorgegeven of anderszins geraadpleegd door andere partijen;
- e) de bijzondere categorieën persoonsgegevens worden verwijderd zodra de vertekening is gecorrigeerd of de periode van bewaring van de persoonsgegevens ten einde is gekomen, indien dit eerder is;
- f) het register op grond van Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 van verwerkingsactiviteiten bevat de redenen waarom de verwerking van bijzondere categorieën persoonsgegevens strikt noodzakelijk was om vertekeningen op te sporen en waarom die doelstelling niet kon worden bereikt door de verwerking van andere data.
Artikel 11 -
Technische documentatie
Artikel 12 -
Registratie
Teneinde ervoor te zorgen dat de werking van het AI-systeem met een hoog risico een niveau van traceerbaarheid heeft dat passend is voor het beoogde doel van het systeem, maken loggingfuncties het mogelijk om gebeurtenissen te registreren die relevant zijn ter:
- a) identificatie van situaties die ertoe kunnen leiden dat het AI-systeem met een hoog risico een risico vormt in de zin van artikel 79, lid 1, of dat er een substantiële wijziging optreedt;
- b) facilitering van de in artikel 72 bedoelde monitoring na het in de handel brengen, en
- c) monitoring van de werking van in artikel 26, lid 5, bedoelde AI-systemen met een hoog risico.
Voor AI-systemen met een hoog risico als bedoeld in punt 1, a), van bijlage III voorzien de loggingcapaciteiten ten minste in:
- a) de registratie van de duur van elk gebruik van het systeem (begindatum en -tijd en einddatum en -tijd van elk gebruik);
- b) de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;
- c) de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;
- d) de identificatie van de natuurlijke personen die betrokken zijn bij de verificatie van de resultaten, zoals bedoeld in artikel 14, lid 5.
Transparantie en informatieverstrekking aan gebruiksverantwoordelijken
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 13 -
Transparantie en informatieverstrekking aan gebruiksverantwoordelijken
De gebruiksinstructies bevatten ten minste de volgende gegevens:
- a) de identiteit en de contactgegevens van de aanbieder en, in voorkomend geval, van zijn gemachtigde;
-
b)
de kenmerken, capaciteiten en beperkingen van de prestaties van het AI-systeem met een hoog risico, waaronder:
- i) het beoogde doel;
- ii) de mate van nauwkeurigheid, waaronder de beoordelingsmaatstaven, robuustheid en cyberbeveiliging als bedoeld in artikel 15 waarop het AI-systeem met een hoog risico is getest en gevalideerd en die kan worden verwacht, en eventuele bekende en te voorziene omstandigheden die een effect kunnen hebben op die verwachte mate van nauwkeurigheid, robuustheid en cyberbeveiliging;
- iii) eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten als bedoeld in artikel 9, lid 2;
- iv) in voorkomend geval, de technische capaciteiten en kenmerken van het AI-systeem met een hoog risico om informatie te verstrekken die relevant is om de output ervan toe te lichten;
- v) in voorkomend geval, zijn prestaties met betrekking tot specifieke personen of groepen personen voor wie het systeem moet worden gebruikt;
- vi) in voorkomend geval, specificaties voor de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datasets voor training, validatie en tests, rekening houdend met het beoogde doel van het AI-systeem met een hoog risico;
- vii) in voorkomend geval, informatie om de gebruiksverantwoordelijken in staat te stellen de output van het AI-systeem met een hoog risico te interpreteren en op passende wijze te gebruiken;
- c) de wijzigingen van het AI-systeem met een hoog risico en de prestaties ervan die vooraf door de aanbieder zijn bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing;
- d) de in artikel 14 bedoelde maatregelen voor menselijk toezicht, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van de AI-systemen met een hoog risico door gebruiksverantwoordelijken te vergemakkelijken;
- e) de benodigde rekenkracht en hardware, de verwachte levensduur van het AI-systeem met een hoog risico en eventuele noodzakelijke maatregelen — en de frequentie daarvan — voor onderhoud en verzorging ter waarborging van de goede werking van dat AI-systeem, ook in verband met software-updates;
- f) in voorkomend geval, een beschrijving van de mechanismen in het AI-systeem met een hoog risico die gebruiksverantwoordelijken in staat stellen de logs naar behoren te verzamelen, op te slaan en te interpreteren overeenkomstig artikel 12.
Artikel 14 -
Menselijk toezicht
De toezichtmaatregelen staan in verhouding met de risico’s, de mate van autonomie en de gebruikscontext van het AI-systeem met een hoog risico en worden gewaarborgd door middel van een of alle van de volgende soorten maatregelen:
- a) door de aanbieder bepaalde maatregelen die waar technisch haalbaar in het AI-systeem met een hoog risico worden ingebouwd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;
- b) door de aanbieder bepaalde maatregelen voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiksverantwoordelijke te worden uitgevoerd.
Met het oog op de uitvoering van de leden 1, 2 en 3 wordt het AI-systeem met een hoog risico zodanig aan de gebruiksverantwoordelijke verstrekt dat natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, in staat worden gesteld om waar passend en evenredig:
- a) de relevante capaciteiten en beperkingen van het AI-systeem met een hoog risico goed te begrijpen en de werking ervan naar behoren te kunnen monitoren, onder meer met het oog op het opsporen en aanpakken van onregelmatigheden, storingen en onverwachte prestaties;
- b) zich bewust te blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;
- c) de output van het AI-systeem met een hoog risico juist te interpreteren, bijvoorbeeld de beschikbare instrumenten en methoden voor interpretatie;
- d) in alle specifieke situaties te kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, door een andere beslissing te vervangen of terug te draaien;
- e) in te grijpen in de werking van het AI-systeem met een hoog risico of het systeem te onderbreken door middel van een stopknop of een vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet.
Nauwkeurigheid, robuustheid en cyberbeveiliging
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 15 -
Nauwkeurigheid, robuustheid en cyberbeveiliging
Verplichtingen van aanbieders van AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 16 -
Verplichtingen van aanbieders van AI-systemen met een hoog risico
Aanbieders van AI-systemen met een hoog risico:
- a) zorgen ervoor dat hun AI-systemen met een hoog risico in overeenstemming zijn met de eisen van afdeling 2;
- b) vermelden op het AI-systeem met een hoog risico of, wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, naargelang het geval, hun naam, geregistreerde handelsnaam of geregistreerd merk en hun contactadres;
- c) beschikken over een systeem voor kwaliteitsbeheer dat in overeenstemming is met artikel 17;
- d) bewaren de in artikel 18 bedoelde documentatie;
- e) bewaren de in artikel 19 bedoelde logs die automatisch door hun AI-systemen met een hoog risico zijn gegenereerd, wanneer zij hierover de controle hebben;
- f) zorgen ervoor dat voor het AI-systeem met een hoog risico de desbetreffende in artikel 43 bedoelde conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;
- g) stellen een EU-conformiteitsverklaring op, in overeenstemming met artikel 47;
- h) brengen de CE-markering aan op het AI-systeem met een hoog risico of, wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, om aan te geven dat aan deze verordening is voldaan, overeenkomstig artikel 48;
- i) leven de registratieverplichtingen als bedoeld in artikel 49, lid 1, na;
- j) nemen de noodzakelijke corrigerende maatregelen en verstrekken de uit hoofde van artikel 20 vereiste informatie;
- k) tonen op een met redenen omkleed verzoek van een nationale bevoegde autoriteit de overeenstemming aan van het AI-systeem met een hoog risico met de eisen van afdeling 2;
- l) zorgen ervoor dat het AI-systeem met een hoog risico voldoet aan de toegankelijkheidseisen overeenkomstig de Richtlijnen (EU) 2016/2102 en (EU) 2019/882.
Systeem voor kwaliteitsbeheer
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 17 -
Systeem voor kwaliteitsbeheer
Aanbieders van AI-systemen met een hoog risico voorzien in een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijke beleidslijnen, procedures en instructies en omvat ten minste de volgende aspecten:
- a) een strategie voor de naleving van de regelgeving, inclusief de naleving van de conformiteitsbeoordelingsprocedures en de procedures voor het beheer van de wijzigingen van het AI-systeem met een hoog risico;
- b) technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;
- c) technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;
- d) procedures voor het inspecteren, testen en valideren die vóór, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;
- e) technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast of geen betrekking hebben op alle relevante eisen van afdeling 2, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met deze eisen;
- f) systemen en procedures voor databeheer, met inbegrip van dataverwerving, -verzameling, -analyse, -labeling, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;
- g) het systeem voor risicobeheer zoals bedoeld in artikel 9;
- h) het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 72;
- i) procedures in verband met het melden van een ernstig incident in overeenstemming met artikel 73;
- j) de communicatie met nationale bevoegde autoriteiten, andere relevante autoriteiten, met inbegrip van autoriteiten die de toegang tot data verlenen of ondersteunen, aangemelde instanties, andere operatoren, klanten of andere belanghebbenden;
- k) systemen en procedures voor de registratie van alle relevante documentatie en informatie;
- l) het beheer van hulpmiddelen, met inbegrip van maatregelen in verband met de voorzieningszekerheid;
- m) een kader voor de verantwoording, waarin de verantwoordelijkheden van het management en ander personeel uiteen worden gezet met betrekking tot alle aspecten van dit lid.
Artikel 18 -
Bewaring van documentatie
De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld de volgende elementen ter beschikking van de nationale bevoegde autoriteiten:
- a) de technische documentatie als bedoeld in artikel 11;
- b) de documentatie betreffende het in artikel 17 bedoelde systeem voor kwaliteitsbeheer;
- c) in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;
- d) in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;
- e) de EU-conformiteitsverklaring als bedoeld in artikel 47.
Automatisch gegenereerde logs
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 19 -
Automatisch gegenereerde logs
Corrigerende maatregelen en mededelingsverplichting
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 20 -
Corrigerende maatregelen en mededelingsverplichting
Samenwerking met bevoegde autoriteiten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 21 -
Samenwerking met bevoegde autoriteiten
Gemachtigden van aanbieders van AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 22 -
Gemachtigden van aanbieders van AI-systemen met een hoog risico
De gemachtigde voert de taken uit die gespecificeerd zijn in het mandaat dat hij van de aanbieder heeft ontvangen. Hij legt op verzoek een kopie van het mandaat over aan de markttoezichtautoriteiten, in een door de bevoegde autoriteit aangegeven officiële taal van de instellingen van de Unie. Voor de toepassing van deze verordening geeft het mandaat de gemachtigde de bevoegdheid om de volgende taken te verrichten:
- a) nagaan of de in artikel 47 bedoelde EU-conformiteitsverklaring en de in artikel 11 bedoelde technische documentatie zijn opgesteld en of de aanbieder een passende conformiteits-beoordelingsprocedure heeft uitgevoerd;
- b) gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld, de contactgegevens van de aanbieder die de gemachtigde heeft aangewezen alsmede een kopie van de in artikel 47 bedoelde EU-conformiteitsverklaring, de technische documentatie en, in voorkomend geval, het door de aangemelde instantie afgegeven certificaat, ter beschikking houden van de bevoegde autoriteiten en de in artikel 74, lid 10, bedoelde nationale autoriteiten of organen;
- c) een bevoegde autoriteit op met redenen omkleed verzoek alle informatie en documentatie verstrekken, met inbegrip van de in punt b) van deze alinea bedoelde documentatie, die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de eisen van afdeling 2 aan te tonen, met inbegrip van de in artikel 12, lid 1, bedoelde logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs onder de controle van de aanbieder vallen;
- d) op met redenen omkleed verzoek samenwerken met bevoegde autoriteiten met betrekking tot alle maatregelen die door deze autoriteiten worden getroffen in verband met het AI-systeem met een hoog risico, met name om de risico’s van dat systeem te verminderen en te beperken;
- e) waar toepasselijk, voldoen aan de in artikel 49, lid 1, bedoelde registratieverplichtingen of, indien de registratie door de aanbieder zelf wordt uitgevoerd, waarborgen dat de in bijlage VIII, afdeling A, punt 3, bedoelde informatie juist is.
Door het mandaat wordt de gemachtigde aangesteld als aanspreekpunt, naast of in plaats van de aanbieder, voor de bevoegde autoriteiten, met betrekking tot alle vraagstukken die verband houden met het waarborgen van de naleving van deze verordening.
Verplichtingen van importeurs
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 23 -
Verplichtingen van importeurs
Alvorens een AI-systeem met een hoog risico in de handel wordt gebracht, zorgen de importeurs ervoor dat het systeem in overeenstemming is met deze verordening door na te gaan of:
- a) de relevante conformiteitsbeoordelingsprocedure als bedoeld in artikel 43 is uitgevoerd door de aanbieder van het AI-systeem met een hoog risico;
- b) de aanbieder de technische documentatie heeft opgesteld in overeenstemming met artikel 11 en bijlage IV;
- c) de vereiste CE-markering op het systeem is aangebracht en het systeem vergezeld gaat van de in artikel 47 bedoelde EU-conformiteitsverklaring en gebruiksaanwijzingen;
- d) de aanbieder een gemachtigde heeft aangewezen, in overeenstemming met artikel 22, lid 1.
Verplichtingen van distributeurs
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 24 -
Verplichtingen van distributeurs
Verantwoordelijkheden in de AI-waardeketen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 25 -
Verantwoordelijkheden in de AI-waardeketen
In de volgende omstandigheden wordt een distributeur, importeur, gebruiksverantwoordelijke of derde voor de toepassing van deze verordening beschouwd als een aanbieder van een AI-systeem met een hoog risico en is hij onderworpen aan de verplichtingen van de aanbieder uit hoofde van artikel 16:
- a) hij zet zijn naam of merk op een AI-systeem met een hoog risico dat reeds in de handel is gebracht of in gebruik is gesteld, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen;
- b) hij brengt een substantiële wijziging aan in een AI-systeem met een hoog risico dat reeds in de handel is gebracht of reeds in gebruik is gesteld op zodanige wijze dat het systeem een AI-systeem met een hoog risico blijft op grond van artikel 6;
- c) hij wijzigt het beoogde doel van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze dat het betrokken AI-systeem een AI-systeem met een hoog risico overeenkomstig artikel 6 wordt.
Bij AI-systemen met een hoog risico die veiligheidscomponenten van producten zijn die vallen onder de in bijlage I, afdeling A, genoemde harmonisatiewetgeving van de Unie, wordt de productfabrikant beschouwd als de aanbieder van het AI-systeem met een hoog risico en is hij onderworpen aan de verplichtingen krachtens artikel 16 in een van de volgende situaties:
- a) het AI-systeem met een hoog risico wordt samen met het product onder de naam of het merk van de productfabrikant in de handel gebracht;
- b) het AI-systeem met een hoog risico wordt onder de naam of het merk van de productfabrikant in gebruik gesteld nadat het product in de handel is gebracht.
Verplichtingen van gebruiksverantwoordelijken van AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 26 -
Verplichtingen van gebruiksverantwoordelijken van AI-systemen met een hoog risico
Beoordeling van de gevolgen voor de grondrechten van AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 27 -
Beoordeling van de gevolgen voor de grondrechten van AI-systemen met een hoog risico
Voordat een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2, in gebruik wordt gesteld, met uitzondering van AI-systemen met een hoog risico die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied, voeren gebruiksverantwoordelijken die publiekrechtelijke organen zijn of particuliere entiteiten zijn die openbare diensten verlenen, en gebruiksverantwoordelijken van AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, b) en c), een beoordeling uit van de gevolgen voor de grondrechten die het gebruik van een dergelijk systeem kan opleveren. Daartoe voeren gebruiksverantwoordelijken een beoordeling uit die bestaat uit:
- a) een beschrijving van de processen van de gebruiksverantwoordelijke waarbij het AI-systeem met een hoog risico zal worden gebruikt in overeenstemming met het beoogde doel ervan;
- b) een beschrijving van de periode waarbinnen en de frequentie waarmee elk AI-systeem met een hoog risico zal worden gebruikt;
- c) categorieën van natuurlijke personen en groepen die naar verwachting gevolgen zullen ondervinden van het gebruik van het systeem in een specifieke context;
- d) de specifieke risico’s op schade die waarschijnlijk gevolgen zullen hebben voor de op grond van punt c) van dit lid geïdentificeerde categorieën natuurlijke personen of groepen personen, rekening houdend met de door de aanbieder op grond van artikel 13 verstrekte informatie;
- e) een beschrijving van de uitvoering van maatregelen voor menselijk toezicht, overeenkomstig de gebruiksaanwijzing;
- f) de maatregelen die moeten worden genomen wanneer die risico’s zich voordoen, met inbegrip van de regelingen voor interne governance en klachtenregelingen.
Artikel 28 -
Aanmeldende autoriteiten
Verzoek om aanmelding van een conformiteitsbeoordelingsinstantie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 29 -
Verzoek om aanmelding van een conformiteitsbeoordelingsinstantie
Artikel 30 -
Aanmeldingsprocedure
Voorschriften in verband met aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 31 -
Voorschriften in verband met aangemelde instanties
Vermoeden van conformiteit met voorschriften met betrekking tot aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 32 -
Vermoeden van conformiteit met voorschriften met betrekking tot aangemelde instanties
Dochterondernemingen van aangemelde instanties en onderaanneming
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 33 -
Dochterondernemingen van aangemelde instanties en onderaanneming
Operationele verplichtingen van aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 34 -
Operationele verplichtingen van aangemelde instanties
Identificatienummers en lijsten van aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 35 -
Identificatienummers en lijsten van aangemelde instanties
Wijzigingen in de aanmelding
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 36 -
Wijzigingen in de aanmelding
In geval van beperking, schorsing of intrekking van een aanwijzing:
- a) beoordeelt de aanmeldende autoriteit het gevolg voor de door de aangemelde instantie afgegeven certificaten;
- b) dient de aanmeldende autoriteit binnen drie maanden na mededeling van de wijzigingen in de aanwijzing een verslag over haar bevindingen in bij de Commissie en de overige lidstaten;
- c) schrijft de aanmeldende autoriteit voor dat de aangemelde instantie binnen een redelijke, door de autoriteit bepaalde termijn, onterecht afgegeven certificaten schorst of intrekt, zulks om de voortdurende conformiteit van de in de handel gebrachte AI-systemen met een hoog risico te waarborgen;
- d) stelt de aanmeldende autoriteit de Commissie en de lidstaten in kennis van certificaten die moeten worden geschorst of ingetrokken;
- e) verstrekt de aanmeldende autoriteit de nationale bevoegde autoriteiten van de lidstaat waar de aanbieder zijn geregistreerde vestigingsplaats heeft, alle relevante informatie over de certificaten waarvan zij de schorsing of intrekking heeft gelast; die autoriteit neemt de gepaste maatregelen die nodig zijn om een mogelijk risico voor de gezondheid, veiligheid of grondrechten af te wenden.
Met uitzondering van onterecht afgegeven certificaten en indien een aanwijzing is geschorst of beperkt, blijven de certificaten geldig in een van de volgende omstandigheden:
- a) de aanmeldende autoriteit heeft binnen één maand na de schorsing of beperking bevestigd dat er met betrekking tot de certificaten waarop de schorsing of beperking van toepassing is, geen risico’s voor de gezondheid, veiligheid of grondrechten bestaan, en de aanmeldende autoriteit heeft voorzien in een termijn voor maatregelen om de schorsing of beperking te ondervangen, of
- b) de aanmeldende autoriteit heeft bevestigd dat er geen certificaten in verband met de schorsing zullen worden afgegeven, gewijzigd, of opnieuw afgegeven gedurende de schorsing of beperking en geeft aan of de aangemelde instantie het vermogen heeft om de bestaande, voor de periode van schorsing of beperking afgegeven certificaten te blijven monitoren en daarvoor verantwoordelijk te blijven; indien de aanmeldende autoriteit vaststelt dat de aangemelde instantie niet in staat is bestaande afgegeven certificaten te ondersteunen, bevestigt de aanbieder van het systeem waarop het certificaat betrekking heeft binnen drie maanden na de schorsing of beperking aan de nationale bevoegde autoriteiten van de lidstaat waar hij zijn geregistreerde vestigingsplaats heeft via schriftelijke weg dat in plaats van de aangemelde instantie een andere gekwalificeerde aangemelde instantie tijdelijk de certificaten tijdens de periode van schorsing of beperking zal monitoren en er de verantwoordelijkheid voor zal dragen.
Met uitzondering van onterecht afgegeven certificaten en indien een aanwijzing is ingetrokken, blijven de certificaten in de volgende omstandigheden negen maanden geldig:
- a) de nationale bevoegde autoriteit van de lidstaat waar de aanbieder van het onder het certificaat vallende AI-systeem met een hoog risico zijn geregistreerde vestigingsplaats heeft, bevestigd heeft dat de betreffende AI-systemen met een hoog risico geen risico voor de gezondheid, veiligheid of grondrechten inhouden, en
- b) een andere aangemelde instantie schriftelijk heeft bevestigd dat zij de onmiddellijke verantwoordelijkheid voor deze AI-systemen op zich neemt en haar beoordeling binnen twaalf maanden na intrekking van de aanwijzing afrondt.
Betwisting van de bekwaamheid van aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 37 -
Betwisting van de bekwaamheid van aangemelde instanties
Coördinatie van aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 38 -
Coördinatie van aangemelde instanties
Conformiteitsbeoordelingsinstanties van derde landen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 39 -
Conformiteitsbeoordelingsinstanties van derde landen
Geharmoniseerde normen en normalisatieproducten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 40 -
Geharmoniseerde normen en normalisatieproducten
Gemeenschappelijke specificaties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 41 -
Gemeenschappelijke specificaties
De Commissie kan uitvoeringshandelingen vaststellen tot vaststelling van gemeenschappelijke specificaties voor de eisen van afdeling 2 van dit hoofdstuk of, in voorkomend geval, voor de verplichtingen van hoofdstuk V, afdelingen 2 en 3, indien aan de volgende voorwaarden is voldaan:
-
a)
de Commissie heeft op grond van artikel 10, lid 1, van Verordening (EU) nr. 1025/2012 een of meer Europese normalisatieorganisaties verzocht een geharmoniseerde norm op te stellen voor de in afdeling 2 van dit hoofdstuk beschreven eisen, of, in voorkomend geval, voor de verplichtingen van hoofdstuk V, afdelingen 2 en 3, en:
- i) het verzoek is door geen enkele van de Europese normalisatieorganisaties aanvaard, of
- ii) de geharmoniseerde normen waarop dat verzoek betrekking heeft, worden niet binnen de overeenkomstig artikel 10, lid 1, van Verordening (EU) nr. 1025/2012 vastgestelde termijn geleverd, of
- iii) in de relevante geharmoniseerde normen wordt onvoldoende rekening gehouden met problemen op het gebied van de grondrechten, of
- iv) de geharmoniseerde normen voldoen niet aan het verzoek, en
- b) er is geen referentie van geharmoniseerde normen overeenkomstig Verordening (EU) nr. 1025/2012 bekendgemaakt in het Publicatieblad van de Europese Unie voor de eisen van afdeling 2 van dit hoofdstuk of, in voorkomend geval, voor de verplichtingen van hoofdstuk V, afdelingen 2 en 3, en een dergelijke referentie zal naar verwachting niet binnen een redelijke termijn worden bekendgemaakt.
Vermoeden van conformiteit met bepaalde eisen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 42 -
Vermoeden van conformiteit met bepaalde eisen
Artikel 43 -
Conformiteitsbeoordeling
Voor in punt 1 van bijlage III opgesomde AI-systemen met een hoog risico kiest de aanbieder, wanneer de aanbieder bij het aantonen van de overeenstemming met de in afdeling 2 beschreven voorschriften van een AI-systeem met een hoog risico geharmoniseerde normen als bedoeld in artikel 40 of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, een van de volgende conformiteitsbeoordelingsprocedures op basis van:
- a) de in bijlage VI bedoelde interne controle, of
- b) de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie, met betrokkenheid van een aangemelde instantie, als bedoeld in bijlage VII.
Bij het aantonen van de overeenstemming met de in afdeling 2 beschreven voorschriften van een AI-systeem met een hoog risico volgt de aanbieder de conformiteitsbeoordelingsprocedure van bijlage VII indien:
- a) er geen geharmoniseerde normen als bedoeld in artikel 40 bestaan en er geen gemeenschappelijke specificaties als bedoeld in artikel 41 voorhanden zijn;
- b) de aanbieder de geharmoniseerde norm niet of slechts gedeeltelijk heeft toegepast;
- c) de in punt a) bedoelde gemeenschappelijke specificaties bestaan, maar de aanbieder deze niet heeft toegepast;
- d) een of meer van de in punt a) bedoelde geharmoniseerde normen met beperkingen zijn bekendgemaakt, en alleen met betrekking tot het deel van de norm waarvoor de beperkingen gelden.
Artikel 44 -
Certificaten
Informatieverplichtingen voor aangemelde instanties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 45 -
Informatieverplichtingen voor aangemelde instanties
Aangemelde instanties brengen de aanmeldende autoriteit op de hoogte van:
- a) beoordelingscertificaten van technische documentatie van de Unie, aanvullingen op die certificaten en goedkeuringen voor systemen voor kwaliteitsbeheer afgegeven overeenkomstig de eisen van bijlage VII;
- b) weigering, beperking, schorsing of intrekking van een beoordelingscertificaat technische documentatie van de Unie of een goedkeuring voor systemen voor kwaliteitsbeheer afgegeven overeenkomstig de eisen van bijlage VII;
- c) omstandigheden die van invloed zijn op het toepassingsgebied van of de voorwaarden voor de aanmelding;
- d) verzoeken om informatie over conformiteitsbeoordelingsactiviteiten die zij van markttoezichtautoriteiten ontvangen;
- e) op verzoek, de binnen het toepassingsgebied van hun aanmelding verrichte conformiteitsbeoordelingsactiviteiten en andere activiteiten, waaronder grensoverschrijdende activiteiten en onderaanneming.
Elke aangemelde instantie brengt de andere aangemelde instanties op de hoogte van:
- a) door haar geweigerde, opgeschorte of ingetrokken goedkeuringen voor kwaliteitsbeheersystemen alsmede, op verzoek, van de door haar verleende goedkeuringen voor systemen voor kwaliteitsbeheer;
- b) beoordelingscertificaten van technische documentatie van de Unie of aanvullingen daarop die zij heeft geweigerd, ingetrokken, opgeschort of anderszins beperkt alsmede, op verzoek, de certificaten en/of aanvullingen daarop die zij heeft uitgegeven.
Afwijking van de conformiteitsbeoordelingsprocedure
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 46 -
Afwijking van de conformiteitsbeoordelingsprocedure
Artikel 47 -
EU-conformiteitsverklaring
Artikel 48 -
CE-markering
Artikel 49 -
Registratie
Voor AI-systemen met een hoog risico als bedoeld in de punten 1, 6 en 7 van bijlage III, op het gebied van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, vindt de in de leden 1, 2 en 3 van dit artikel bedoelde registratie plaats in een beveiligd niet-openbaar gedeelte van de in artikel 71 bedoelde EU-databank en bevat deze alleen de volgende informatie, voor zover van toepassing, als bedoeld in:
- a) afdeling A, punten 1 tot en met 10, van bijlage VIII, met uitzondering van punten 6, 8 en 9;
- b) afdeling B, punten 1 tot en met 5, en punten 8 en 9 van bijlage VIII;
- c) afdeling C, punten 1, 2 en 3, van bijlage VIII;
- d) de punten 1, 2, 3 en 5 van bijlage IX.
Transparantieverplichtingen voor aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 50 -
Transparantieverplichtingen voor aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen
Classificatie van AI-modellen voor algemene doeleinden als AI-modellen voor algemene doeleinden met een systeemrisico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 51 -
Classificatie van AI-modellen voor algemene doeleinden als AI-modellen voor algemene doeleinden met een systeemrisico
Een AI-model voor algemene doeleinden wordt geclassificeerd als een AI-model voor algemene doeleinden met een systeemrisico als het aan één van de volgende voorwaarden voldoet:
- a) het beschikt over capaciteiten met een grote impact die worden geëvalueerd op basis van passende technische instrumenten en methoden, met inbegrip van indicatoren en benchmarks;
- b) op grond van een besluit van de Commissie, ambtshalve of naar aanleiding van een gekwalificeerde waarschuwing van het wetenschappelijk panel, heeft het AI-model vergelijkbare capaciteiten of een vergelijkbare impact als beschreven in punt a), met inachtneming van de criteria in bijlage XIII.
Artikel 52 -
Procedure
Verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 53 -
Verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden
Aanbieders van AI-modellen voor algemene doeleinden moeten:
- a) de technische documentatie van het model opstellen en up-to-date houden, inclusief het trainings- en testproces en de resultaten van de evaluatie ervan, die ten minste de in bijlage XI vermelde informatie moet bevatten, zodat deze op verzoek aan het AI-bureau en de nationale bevoegde autoriteiten kunnen worden verstrekt;
-
b)
informatie en documentatie opstellen, up-to-date houden en beschikbaar stellen voor aanbieders van AI-systemen die het AI-model voor algemene doeleinden in hun AI-systemen willen integreren. Onverminderd de noodzaak om intellectuele-eigendomsrechten en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen overeenkomstig het Unierecht en het nationale recht te eerbiedigen en te beschermen, moet de informatie en documentatie:
- i) aanbieders van AI-systemen inzicht geven in de capaciteiten en beperkingen van het AI-model voor algemene doeleinden en ze in staat te stellen aan hun verplichtingen uit hoofde van deze verordening te voldoen, en
- ii) ten minste de in bijlage XII uiteengezette elementen bevatten;
- c) beleid opstellen ter naleving van het Unierecht inzake auteursrechten en naburige rechten en dan met name ter vaststelling en naleving, onder meer door middel van geavanceerde technologieën, van een op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 tot uitdrukking gebracht voorbehoud van rechten.
- d) een voldoende gedetailleerde samenvatting opstellen en openbaar maken over de voor het trainen van het AI-model voor algemene doeleinden gebruikte content, volgens een door het AI-bureau verstrekt sjabloon.
Gemachtigden van aanbieders van AI-modellen voor algemene doeleinden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 54 -
Gemachtigden van aanbieders van AI-modellen voor algemene doeleinden
De gemachtigde voert de taken uit die staan gespecificeerd in het mandaat dat hij van de aanbieder heeft ontvangen. Hij legt op verzoek een kopie van het mandaat over aan het AI-bureau, in een van de officiële talen van de instellingen van de Unie. Voor de toepassing van deze verordening geeft het mandaat de gemachtigde de bevoegdheid om de volgende taken te verrichten:
- a) controleren of de aanbieder de in bijlage XI gespecificeerde technische documentatie heeft opgesteld en aan alle in artikel 53 en, indien van toepassing, artikel 55 bedoelde verplichtingen heeft voldaan;
- b) een kopie van de in bijlage XI gespecificeerde technische documentatie beschikbaar houden voor het AI-bureau en de nationale autoriteiten gedurende een periode van tien jaar nadat het AI-model voor algemene doeleinden in de handel is gebracht, en de contactgegevens van de aanbieder door wie de gemachtigde is aangewezen;
- c) het verstrekken aan het AI-bureau, na een met redenen omkleed verzoek, van alle informatie en documentatie, waaronder die in punt b), die nodig is om aan te tonen dat de verplichtingen van dit hoofdstuk worden nageleefd;
- d) samenwerken met het AI-bureau en de bevoegde autoriteiten, na een met redenen omkleed verzoek, bij alle maatregelen die de autoriteiten nemen in verband met het AI-model voor algemene doeleinden, ook indien het model wordt geïntegreerd in AI-systemen die in de Unie in de handel worden gebracht of in gebruik worden gesteld.
Verplichtingen van aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 55 -
Verplichtingen van aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico
Naast de in de artikelen 53 en 54 genoemde verplichtingen moeten aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico:
- a) een modelevaluatie uitvoeren overeenkomstig gestandaardiseerde protocollen en instrumenten die de stand van de techniek weerspiegelen, met inbegrip van het uitvoeren en documenteren van tests gericht op het ontdekken van kwetsbaarheden van het model met als doel om systeemrisico’s in kaart te brengen en te beperken;
- b) mogelijke systeemrisico’s op Unieniveau beoordelen en beperken, met inbegrip van de bronnen daarvan, die kunnen voortvloeien uit de ontwikkeling, het in de handel brengen of het gebruik van AI-modellen voor algemene doeleinden met een systeemrisico;
- c) relevante informatie over ernstige incidenten en mogelijke corrigerende maatregelen bijhouden, documenteren en onverwijld rapporteren aan het AI-bureau en, in voorkomend geval, aan de nationale bevoegde autoriteiten;
- d) zorgen voor een passend niveau van cyberbeveiligingsbescherming voor het AI-model voor algemene doeleinden met een systeemrisico en de fysieke infrastructuur van het model.
Artikel 56 -
Praktijkcodes
Het AI-bureau en de AI-board streven ernaar ervoor te zorgen dat de praktijkcodes ten minste de verplichtingen omvatten die zijn bepaald in de artikelen 53 en 55, waaronder de volgende zaken:
- a) de middelen om ervoor te zorgen dat de in artikel 53, lid 1, punten a) en b), bedoelde informatie up-to-date wordt gehouden in het licht van markt- en technologische ontwikkelingen;
- b) de mate van gedetailleerdheid van de samenvatting over de voor het trainen van het AI-model gebruikte content;
- c) het in kaart brengen van het type en de aard van de systeemrisico’s op Unieniveau, met inbegrip van de bronnen ervan, indien van toepassing;
- d) de maatregelen, procedures en modaliteiten voor de beoordeling en het beheer van de systeemrisico’s op Unieniveau, met inbegrip van de documentatie daarvan, die in verhouding moeten staan tot de risico’s, rekening houden met de ernst en waarschijnlijkheid ervan en met de specifieke uitdagingen om die risico’s aan te pakken in het licht van de mogelijke manieren waarop dergelijke risico’s in de AI-waardeketen kunnen ontstaan en zich voordoen.
AI-testomgevingen voor regelgeving
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 57 -
AI-testomgevingen voor regelgeving
Het opzetten van AI-testomgevingen voor regelgeving is erop gericht bij te dragen aan de volgende doelstellingen:
- a) het verbeteren van de rechtszekerheid met betrekking tot het bereiken van naleving van deze verordening of, in voorkomend geval, van ander toepasselijk Unie- en nationaal recht;
- b) ondersteunen van de uitwisseling van beste praktijken door middel van samenwerking met de autoriteiten die betrokken zijn bij de AI-testomgeving voor regelgeving;
- c) bevorderen van innovatie en concurrentievermogen en faciliteren van de ontwikkeling van een AI-ecosysteem;
- d) bijdragen aan empirisch onderbouwd leren op het gebied van regelgeving;
- e) vergemakkelijken en versnellen van de toegang tot de markt van de Unie voor AI-systemen, met name wanneer ze worden aangeboden door kmo's, met inbegrip van start-ups.
Gedetailleerde regelingen voor, en werking van, AI-testomgevingen voor regelgeving
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 58 -
Gedetailleerde regelingen voor, en werking van, AI-testomgevingen voor regelgeving
Om versnippering in de Unie te voorkomen, stelt de Commissie uitvoeringshandelingen vast waarin de gedetailleerde regelingen worden gespecificeerd voor de instelling, de ontwikkeling, de uitvoering en de werking van AI-testomgevingen voor regelgeving en voor het toezicht erop. De uitvoeringshandelingen bevatten gemeenschappelijke beginselen met betrekking tot de volgende punten:
- a) toelatings- en selectiecriteria voor deelname aan de AI-testomgeving voor regelgeving;
- b) procedures voor de toepassing, deelname, monitoring, uittreding uit en beëindiging van de AI-testomgeving voor regelgeving, met inbegrip van het testomgevingsplan en het eindverslag;
- c) de voor de deelnemers geldende voorwaarden.
De in lid 1 bedoelde uitvoeringshandelingen waarborgen dat:
- a) AI-testomgevingen voor regelgeving open staan voor elke aanbieder of potentiële aanbieder van een AI-systeem die voldoet aan de toelatings- en selectiecriteria, die transparant en eerlijk moeten zijn, en dat de nationale bevoegde autoriteiten aanvragers binnen drie maanden na de aanvraag in kennis stellen van hun besluit;
- b) AI-testomgevingen voor regelgeving brede en gelijke toegang bieden en de vraag om toestemming voor deelname aankunnen; aanbieders en potentiële aanbieders ook aanvragen kunnen indienen in samenwerking met gebruiksverantwoordelijken en andere relevante derden;
- c) de gedetailleerde regelingen en voorwaarden voor AI-testomgevingen voor regelgeving zo veel mogelijk flexibiliteit bieden voor nationale bevoegde autoriteiten om hun AI-testomgevingen voor regelgeving op te richten en te exploiteren;
- d) de toegang tot de AI-testomgevingen voor regelgeving voor kmo’s, waaronder start-ups, kosteloos is, onverminderd uitzonderlijke kosten die de nationale bevoegde autoriteiten op billijke en evenredige wijze mogen verhalen;
- e) zij het voor aanbieders en potentiële aanbieders, door middel van de leerresultaten van de AI-testomgevingen voor regelgeving, vergemakkelijken om de conformiteitsbeoordelingsverplichtingen uit hoofde van deze verordening na te komen en de in artikel 95 bedoelde gedragscodes vrijwillig toe te passen;
- f) AI-testomgevingen voor regelgeving de betrokkenheid vergemakkelijken van andere relevante actoren binnen het AI-ecosysteem, zoals aangemelde instanties en normalisatieorganisaties, kmo’s, met inbegrip van start-ups, ondernemingen, innovatoren, test- en experimenteerfaciliteiten, onderzoeks- en testlaboratoria en Europese digitale-innovatiehubs, kenniscentra en individuele onderzoekers, teneinde samenwerking met de publieke en particuliere sectoren mogelijk te maken en te vergemakkelijken;
- g) de procedures, processen en administratieve eisen voor de aanvraag, de selectie, de deelname en het vertrek uit de AI-testomgeving voor regelgeving eenvoudig en gemakkelijk te begrijpen zijn en duidelijk worden gecommuniceerd, om de deelname van kmo’s, waaronder start-ups, met beperkte juridische en administratieve capaciteiten te vergemakkelijken, en in de hele Unie worden gestroomlijnd, om versnippering te voorkomen, en dat de deelname aan een door een lidstaat of de Europese Toezichthouder voor gegevensbescherming opgerichte AI-testomgeving voor regelgeving wederzijds en uniform wordt erkend en in de hele Unie dezelfde rechtsgevolgen heeft;
- h) de deelname aan de AI-testomgeving voor regelgeving beperkt wordt tot een termijn die passend is gezien de complexiteit en de omvang van het project, en die door de nationale bevoegde autoriteit kan worden verlengd;
- i) AI-testomgevingen voor regelgeving de ontwikkeling bevorderen van instrumenten en infrastructuur voor het testen, benchmarken, beoordelen en verklaren van de voor leren op regelgevingsgebied relevante aspecten van AI-systemen, zoals nauwkeurigheid, robuustheid en cyberbeveiliging, alsook minimalisering van de risico’s voor de grondrechten, het milieu en de maatschappij in het algemeen.
Verdere verwerking van persoonsgegevens voor het ontwikkelen van bepaalde AI-systemen in het algemeen belang in de AI-testomgeving voor regelgeving
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 59 -
Verdere verwerking van persoonsgegevens voor het ontwikkelen van bepaalde AI-systemen in het algemeen belang in de AI-testomgeving voor regelgeving
In de aI-testomgeving voor regelgeving mogen rechtmatig voor andere doeleinden verzamelde persoonsgegevens uitsluitend worden verwerkt ten behoeve van het ontwikkelen, trainen en testen van bepaalde AI-systemen in de testomgeving indien aan alle volgende voorwaarden is voldaan:
-
a)
Er worden AI-systemen ontwikkeld zodat een overheidsinstantie of een andere natuurlijke of rechtspersoon een aanzienlijk openbaar belang kan waarborgen op een of meer van de volgende gebieden:
- i) openbare veiligheid en volksgezondheid, met inbegrip van opsporing, diagnosticering, preventie, bestrijding en behandeling van ziekten en verbetering van gezondheidszorgstelsels;
- ii) een hoog niveau van bescherming en verbetering van de kwaliteit van het milieu, bescherming van de biodiversiteit, bescherming tegen vervuiling, maatregelen voor de groene transitie en maatregelen ter beperking van en aanpassing aan klimaatverandering;
- iii) energieduurzaamheid;
- iv) de veiligheid en veerkracht van vervoerssystemen en mobiliteit, kritieke vervoersinfrastructuur en vervoersnetwerken;
- v) doeltreffendheid en kwaliteit van het openbaar bestuur en de openbare diensten;
- b) de verwerkte data zijn nodig om te voldoen aan een of meer van de in hoofdstuk III, afdeling 2, bedoelde eisen wanneer die eisen niet doeltreffend kunnen worden vervuld door het verwerken van geanonimiseerde, synthetische of andere niet persoonsgebonden data;
- c) er zijn doeltreffende monitoringmechanismen om vast te stellen of zich tijdens de experimenten in de testomgeving hoge risico’s voor de rechten en vrijheden van de betrokkenen als bedoeld in artikel 35 van Verordening (EU) 2016/679 en in artikel 39 van Verordening (EU) 2018/1725 kunnen voordoen evenals responsmechanismen om die risico’s onmiddellijk te beperken en indien nodig de verwerking stop te zetten;
- d) in het kader van de testomgeving te verwerken persoonsgegevens bevinden zich in een functioneel gescheiden, geïsoleerde en beschermde omgeving voor dataverwerking onder de controle van de potentiële aanbieder, waarbij alleen bevoegde personen toegang hebben tot deze data;
- e) aanbieders kunnen de oorspronkelijk verzamelde gegevens alleen verder delen in overeenstemming met het Unierecht inzake gegevensbescherming; persoonsgegevens die in de testomgeving worden aangemaakt mogen niet buiten de testomgeving worden gedeeld;
- f) de verwerking van persoonsgegevens in het kader van de testomgeving mag niet leiden tot maatregelen of besluiten die gevolgen hebben voor de betrokkenen, noch gevolgen hebben voor de toepassing van hun rechten die zijn vastgelegd in het Unierecht inzake de bescherming van persoonsgegevens;
- g) in het kader van de testomgeving verwerkte persoonsgegevens worden beschermd met passende technische en organisatorische maatregelen en worden gewist nadat de deelname aan de testomgeving is beëindigd of de periode van bewaring van de persoonsgegevens ten einde is gekomen;
- h) de logbestanden van de verwerking van persoonsgegevens in het kader van de testomgeving worden bijgehouden voor de duur van de deelname aan de testomgeving, tenzij anders is bepaald in het Unierecht of het nationale recht;
- i) een volledige en gedetailleerde beschrijving van het proces en de onderbouwing van het trainen, testen en valideren van het AI-systeem wordt samen met de testresultaten bewaard als onderdeel van de in bijlage IV bedoelde technische documentatie;
- j) een korte samenvatting van het in de testomgeving ontwikkelde AI-project en de doelstellingen en verwachte resultaten ervan worden op de website van de bevoegde autoriteiten gepubliceerd; deze verplichting heeft geen betrekking op gevoelige operationele gegevens in verband met de activiteiten van rechtshandhavingsinstanties en grenstoezichts-, immigratie- of asielautoriteiten.
Testen van AI-systemen met een hoog risico onder reële omstandigheden buiten AI-testomgevingen voor regelgeving
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 60 -
Testen van AI-systemen met een hoog risico onder reële omstandigheden buiten AI-testomgevingen voor regelgeving
Aanbieders of potentiële aanbieders mogen alleen testen onder reële omstandigheden als is voldaan aan alle volgende voorwaarden:
- a) de aanbieder of potentiële aanbieder heeft een plan voor tests onder reële omstandigheden opgesteld en ingediend bij de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest;
- b) de markttoezichtautoriteit in de lidstaat waar onder reële omstandigheden moet worden getest, heeft het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden goedgekeurd; indien de markttoezichtautoriteit binnen dertig dagen geen antwoord heeft gegeven, worden het testen onder reële omstandigheden en het plan voor tests onder reële omstandigheden geacht te zijn goedgekeurd; indien het nationale recht niet voorziet in een stilzwijgende goedkeuring, blijft het testen onder reële omstandigheden onderworpen aan een toestemming;
- c) de aanbieder of potentiële aanbieder, met uitzondering van aanbieders of potentiële aanbieders van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden rechtshandhaving, migratie, asiel en grenstoezichtsbeheer en AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III, heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 71, lid 4, met een Uniebreed uniek identificatienummer en de in bijlage IX gespecificeerde informatie; de aanbieder of potentiële aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico op de gebieden van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, heeft het testen onder reële omstandigheden geregistreerd in het beveiligde niet-openbare gedeelte van de EU-databank overeenkomstig artikel 49, lid 4, punt d), met een Uniebreed uniek identificatienummer en de daarin gespecificeerde informatie; de aanbieder of potentiële aanbieder van in punt 2 van bijlage III bedoelde AI-systemen met een hoog risico heeft het testen onder reële omstandigheden geregistreerd overeenkomstig artikel 49, lid 5;
- d) de aanbieder of potentiële aanbieder die onder reële omstandigheden test, is in de Unie gevestigd of heeft een in de Unie gevestigde wettelijke vertegenwoordiger aangewezen;
- e) gegevens die zijn verzameld en verwerkt met het oog op het testen onder reële omstandigheden mogen alleen aan derde landen worden doorgegeven mits er passende en toepasselijke waarborgen uit hoofde van het Unierecht worden toegepast;
- f) het testen onder reële omstandigheden duurt niet langer dan nodig is om de doelstellingen ervan te verwezenlijken en in geen geval langer dan zes maanden, met een mogelijke verlenging van nog eens zes maanden indien de aanbieder of potentiële aanbieder de markttoezichtautoriteit daar vooraf van in kennis stelt, met een uitleg waarom een dergelijke verlenging noodzakelijk is;
- g) proefpersonen die onder reële omstandigheden worden getest en die tot kwetsbare groepen behoren vanwege hun leeftijd of handicap, worden naar behoren beschermd;
- h) indien een aanbieder of potentiële aanbieder het testen onder reële omstandigheden organiseert in samenwerking met een of meer gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken, worden zij geïnformeerd over alle aspecten van het testen die relevant zijn voor hun beslissing om deel te nemen, en krijgen zij de relevante gebruiksinstructies van het AI-systeem als bedoeld in artikel 13; de aanbieder of potentiële aanbieder en de gebruiksverantwoordelijke of potentiële gebruiksverantwoordelijke sluiten een overeenkomst waarin hun taken en verantwoordelijkheden worden gespecificeerd teneinde te waarborgen dat de bepalingen voor het testen onder reële omstandigheden uit hoofde van deze verordening en ander toepasselijk Unie- en nationaal recht worden nageleefd;
- i) de proefpersonen die onder reële omstandigheden worden getest, hebben geïnformeerde toestemming gegeven overeenkomstig artikel 61, of, in het geval van rechtshandhaving, indien het vragen om geïnformeerde toestemming het testen van het AI-systeem onder reële omstandigheden onmogelijk zou maken, de test zelf en het resultaat van de test onder reële omstandigheden hebben geen negatieve gevolgen voor de proefpersonen en hun persoonsgegevens worden na de uitvoering van test gewist;
- j) op het testen onder reële omstandigheden wordt daadwerkelijk toezicht gehouden door de aanbieder of potentiële aanbieder, alsook door gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken via personen die voldoende zijn gekwalificeerd op het relevante gebied en beschikken over de nodige capaciteiten, opleiding en bevoegdheden om hun taken uit te voeren;
- k) de voorspellingen, aanbevelingen of beslissingen van het AI-systeem kunnen daadwerkelijk worden teruggedraaid en genegeerd.
Geïnformeerde toestemming om deel te nemen aan het testen onder reële omstandigheden buiten AI-testomgevingen voor regelgeving
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 61 -
Geïnformeerde toestemming om deel te nemen aan het testen onder reële omstandigheden buiten AI-testomgevingen voor regelgeving
Met het oog op het testen onder reële omstandigheden overeenkomstig artikel 60 moet van de proefpersonen vrijwillig gegeven geïnformeerde toestemming worden verkregen voorafgaand aan hun deelname aan het testen en nadat zij naar behoren zijn geïnformeerd en beknopte, duidelijke, relevante en begrijpelijke informatie hebben gekregen over:
- a) de aard en de doelstellingen van het testen onder reële omstandigheden en de mogelijke ongemakken die verband kunnen houden met hun deelname;
- b) de voorwaarden waaronder in reële omstandigheden moet worden getest, met inbegrip van de verwachte duur van de deelname van de proefpersoon of proefpersonen;
- c) hun rechten en de garanties met betrekking tot hun deelname, met name hun recht om te weigeren deel te nemen aan, en het recht om zich te allen tijde terug te trekken uit, het testen onder reële omstandigheden zonder daarvan enig nadeel te ondervinden en zonder zich te hoeven rechtvaardigen;
- d) de afspraken met betrekking tot het aanvragen van het terugdraaien of negeren van de voorspellingen, aanbevelingen of beslissingen van het AI-systeem;
- e) het Uniebrede unieke identificatienummer van het testen onder reële omstandigheden overeenkomstig artikel 60, lid 4, punt c), en de contactgegevens van de aanbieder of zijn wettelijke vertegenwoordiger bij wie nadere informatie kan worden verkregen.
Maatregelen voor aanbieders en gebruiksverantwoordelijken, met name kmo’s, met inbegrip van start-ups
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 62 -
Maatregelen voor aanbieders en gebruiksverantwoordelijken, met name kmo’s, met inbegrip van start-ups
De lidstaten ondernemen de volgende acties:
- a) kmo's, met inbegrip van start-ups, die een maatschappelijke zetel of een bijkantoor in de Unie hebben, prioritaire toegang verlenen tot de AI-testomgevingen voor regelgeving voor zover zij aan de toelatingsvoorwaarden en selectiecriteria voldoen; de prioritaire toegang sluit niet uit dat andere dan de in dit lid bedoelde kmo’s, met inbegrip van start-ups, toegang krijgen tot de AI-testomgeving voor regelgeving, mits zij ook aan de toelatingsvoorwaarden en selectiecriteria voldoen;
- b) specifieke bewustmakings- en opleidingsactiviteiten organiseren over de toepassing van deze verordening, afgestemd op de behoeften van kmo’s, met inbegrip van start-ups, gebruiksverantwoordelijken en, in voorkomend geval, lokale overheidsinstanties;
- c) bestaande specifieke communicatiekanalen benutten en, waar passend, nieuwe opzetten voor communicatie met kmo’s, met inbegrip van start-ups, gebruiksverantwoordelijken, andere innovatoren en, in voorkomend geval, lokale overheidsinstanties, om advies te verstrekken en te reageren op vragen over de uitvoering van deze verordening, onder meer met betrekking tot deelname aan AI-testomgevingen voor regelgeving;
- d) de deelname van kmo’s en andere relevante belanghebbenden aan het proces voor de ontwikkeling van normen faciliteren.
Het AI-bureau onderneemt de volgende acties:
- a) het verstrekken van gestandaardiseerde sjablonen voor de gebieden die onder deze verordening vallen, zoals gespecificeerd door de AI-board in zijn verzoek;
- b) het ontwikkelen en in stand houden van een centraal informatieplatform dat gemakkelijk te gebruiken informatie met betrekking tot deze verordening biedt aan alle operatoren in de hele Unie;
- c) het organiseren van passende voorlichtingscampagnes om meer bekendheid te geven aan de uit deze verordening voortvloeiende verplichtingen;
- d) het evalueren en bevorderen van de convergentie van beste praktijken bij openbare aanbestedingsprocedures met betrekking tot AI-systemen.
Afwijkingen voor specifieke operatoren
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 63 -
Afwijkingen voor specifieke operatoren
Artikel 64 -
AI-bureau
Oprichting en structuur van de Europese raad voor artificiële intelligentie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 65 -
Oprichting en structuur van de Europese raad voor artificiële intelligentie
De lidstaten zorgen ervoor dat hun vertegenwoordigers in de AI-board:
- a) in hun lidstaat over de toepasselijke bevoegdheden beschikken om actief bij te dragen tot de vervulling van de in artikel 66 genoemde taken van de AI-board;
- b) worden aangewezen als één contactpunt voor de AI-board en, in voorkomend geval, rekening houdend met de behoeften van de lidstaten, als één contactpunt voor belanghebbenden;
- c) bevoegd zijn om de samenhang en coördinatie tussen de nationale bevoegde autoriteiten in hun lidstaat met betrekking tot de uitvoering van deze verordening te vergemakkelijken, onder meer door het verzamelen van relevante gegevens en informatie met het oog op de vervulling van hun taken in de AI-board.
Artikel 66 -
Taken van de AI-board
De AI-board adviseert en assisteert de Commissie en de lidstaten teneinde de consistente en doeltreffende toepassing van deze verordening te vergemakkelijken. Daartoe kan de AI-board met name:
- a) bijdragen aan de coördinatie tussen de nationale bevoegde autoriteiten die verantwoordelijk zijn voor de toepassing van deze verordening en, in samenwerking met en met instemming van de betrokken markttoezichtautoriteiten, de in artikel 74, lid 11, bedoelde gezamenlijke activiteiten van de markttoezichtautoriteiten ondersteunen;
- b) technische en regelgevingsexpertise en beste praktijken onder de lidstaten verzamelen en delen;
- c) advies verstrekken over de uitvoering van deze verordening, met name wat betreft de handhaving van de regels inzake AI-modellen voor algemene doeleinden;
- d) bijdragen tot de harmonisatie van de administratieve praktijken in de lidstaten, onder meer met betrekking tot de in artikel 46 bedoelde afwijking van de conformiteits-beoordelingsprocedures, de werking van AI-testomgevingen voor regelgeving en het testen onder reële omstandigheden als bedoeld in de artikelen 57, 59 en 60;
-
e)
op verzoek van de Commissie of op eigen initiatief aanbevelingen en schriftelijke adviezen uitbrengen over alle relevante aangelegenheden in verband met de uitvoering van deze verordening en de consistente en doeltreffende toepassing ervan, waaronder:
- i) over de ontwikkeling en toepassing van praktijkcodes en praktijkcodes op grond van deze verordening, alsmede van de richtsnoeren van de Commissie;
- ii) over de evaluatie en toetsing van deze verordening op grond van artikel 112, onder meer met betrekking tot de in artikel 73 bedoelde meldingen van ernstige incidenten en de werking van de in artikel 71 bedoelde EU-databank, de voorbereiding van de gedelegeerde of uitvoeringshandelingen, en met betrekking tot mogelijke afstemming van deze verordening op de in bijlage I vermelde harmonisatiewetgeving van de Unie;
- iii) over technische specificaties of bestaande normen ten aanzien van de in hoofdstuk III, afdeling 2, beschreven eisen;
- iv) over het gebruik van geharmoniseerde normen of gemeenschappelijke specificaties als bedoeld in de artikelen 40 en 41;
- v) over trends, bijvoorbeeld met betrekking tot het Europese mondiale concurrentievermogen op het gebied van AI, de invoering van AI in de Unie en de ontwikkeling van digitale vaardigheden;
- vi) over trends met betrekking tot de steeds veranderende typologie van AI-waardeketens, met name wat de daaruit voortvloeiende gevolgen voor de verantwoordingsplicht betreft;
- vii) over de eventuele noodzaak van een wijziging van bijlage III overeenkomstig artikel 7, en over de eventuele noodzaak van een mogelijke herziening van artikel 5 op grond van artikel 112, rekening houdend met de op dat gebied beschikbare gegevens en de meest recente technologische ontwikkelingen;
- f) de Commissie ondersteunen bij het promoten van AI-geletterdheid en het brede publiek beter bekendmaken met en meer inzicht verschaffen in de voordelen, de risico’s, de waarborgen en de rechten en plichten in verband met het gebruik van AI-systemen;
- g) de ontwikkeling bevorderen van gemeenschappelijke criteria en een gedeeld begrip tussen marktdeelnemers en bevoegde autoriteiten met betrekking tot de relevante concepten waarin deze verordening voorziet, onder meer door bij te dragen aan de ontwikkeling van benchmarks;
- h) waar passend samenwerken met andere instellingen, organen en instanties van de Unie, alsook relevante deskundigengroepen en -netwerken van de Unie, met name op het gebied van productveiligheid, cyberbeveiliging, mededinging, digitale en mediadiensten, financiële diensten, consumentenbescherming, gegevensbescherming en bescherming van de grondrechten;
- i) bijdragen aan doeltreffende samenwerking met de bevoegde autoriteiten van derde landen en met internationale organisaties;
- j) de nationale bevoegde autoriteiten en de Commissie bijstaan bij de ontwikkeling van de organisatorische en technische deskundigheid die nodig zijn voor de uitvoering van deze verordening, onder meer door bij te dragen aan de beoordeling van de opleidingsbehoeften voor personeel van de lidstaten dat betrokken is bij de uitvoering van deze verordening;
- k) het AI-bureau bijstaan bij het ondersteunen van nationale bevoegde autoriteiten bij het opzetten en ontwikkelen van AI-testomgevingen voor regelgeving, en samenwerking en informatie-uitwisseling tussen AI-testomgevingen voor regelgeving vergemakkelijken;
- l) bijdragen aan of relevant advies verstrekken over de ontwikkeling van richtsnoeren;
- m) de Commissie adviseren over internationale aangelegenheden op het gebied van AI;
- n) adviezen verstrekken aan de Commissie over de gekwalificeerde waarschuwingen met betrekking tot AI-modellen voor algemene doeleinden;
- o) adviezen van de lidstaten ontvangen over gekwalificeerde waarschuwingen met betrekking tot AI-modellen voor algemene doeleinden, en over nationale ervaringen en praktijken met betrekking tot de monitoring en handhaving van AI-systemen, met name systemen waarin de AI-modellen voor algemene doeleinden zijn geïntegreerd.
Artikel 67 -
Adviesforum
Wetenschappelijk panel van onafhankelijke deskundigen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 68 -
Wetenschappelijk panel van onafhankelijke deskundigen
Het wetenschappelijk panel bestaat uit deskundigen die door de Commissie zijn geselecteerd op basis van de actuele wetenschappelijke of technische deskundigheid op het gebied van AI die nodig is voor de in lid 3 bedoelde taken. Het wetenschappelijk panel kan aantonen dat het voldoet aan alle volgende voorwaarden:
- a) beschikken over bijzondere deskundigheid en competenties en wetenschappelijke of technische deskundigheid op het gebied van AI;
- b) onafhankelijkheid van aanbieders van AI-systemen of AI-modellen voor algemene doeleinden;
- c) het vermogen om activiteiten zorgvuldig, nauwkeurig en objectief uit te voeren.
Het wetenschappelijk panel adviseert en ondersteunt het AI-bureau, met name op het gebied van de volgende taken:
-
a)
het ondersteunen van de uitvoering en handhaving van deze verordening met betrekking tot AI-modellen en -systemen voor algemene doeleinden, met name door:
- i) het AI-bureau te waarschuwen voor mogelijke systeemrisico’s op Unieniveau van AI-modellen voor algemene doeleinden, overeenkomstig artikel 90;
- ii) bij te dragen aan de ontwikkeling van instrumenten en methoden voor de evaluatie van de capaciteiten van AI-modellen en -systemen voor algemene doeleinden, onder meer door middel van benchmarks;
- iii) advies te verstrekken over de classificatie van AI-modellen voor algemene doeleinden met een systeemrisico;
- iv) advies te verstrekken over de classificatie van verschillende AI-modellen en -systemen voor algemene doeleinden;
- v) bij te dragen aan de ontwikkeling van instrumenten en sjablonen;
- b) het ondersteunen van de werkzaamheden van markttoezichtautoriteiten op hun verzoek;
- c) het ondersteunen van in artikel 74, lid 11, bedoelde grensoverschrijdende markttoezichtactiviteiten, onverminderd de bevoegdheden van de markttoezichtautoriteiten;
- d) het ondersteunen van het AI-bureau bij de uitvoering van haar taken in het kader van de vrijwaringsprocedure van de Unie uit hoofde van artikel 81.
Toegang tot de pool van deskundigen door de lidstaten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 69 -
Toegang tot de pool van deskundigen door de lidstaten
Aanwijzing van nationale bevoegde autoriteiten en centrale contactpunten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 70 -
Aanwijzing van nationale bevoegde autoriteiten en centrale contactpunten
EU-databank voor in bijlage III vermelde AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 71 -
EU-databank voor in bijlage III vermelde AI-systemen met een hoog risico
Monitoring door aanbieders na het in de handel brengen en plan voor monitoring na het in de handel brengen voor AI-systemen met een hoog risico
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 72 -
Monitoring door aanbieders na het in de handel brengen en plan voor monitoring na het in de handel brengen voor AI-systemen met een hoog risico
Melding van ernstige incidenten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 73 -
Melding van ernstige incidenten
Markttoezicht op en controle van AI-systemen op de markt van de Unie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 74 -
Markttoezicht op en controle van AI-systemen op de markt van de Unie
Verordening (EU) 2019/1020 is van toepassing op AI-systemen die onder deze verordening vallen. Ten behoeve van de doeltreffende handhaving van deze verordening geldt echter het volgende:
- a) verwijzingen naar een marktdeelnemer krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle in artikel 2, lid 1, van deze verordening geïdentificeerde operators;
- b) verwijzingen naar een product krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle AI-systemen die binnen het toepassingsgebied van deze verordening vallen.
Markttoezichtautoriteiten wordt toegang tot de broncode van het AI-systeem met een hoog risico verleend op een met redenen omkleed verzoek en uitsluitend als aan beide onderstaande voorwaarden wordt voldaan:
- a) toegang tot de broncode is noodzakelijk om te beoordelen of een AI-systeem met een hoog risico overeenstemt met de voorschriften van afdeling 2 van hoofdstuk III, en
- b) de test- of auditprocedures en verificaties op basis van de door de aanbieder verstrekte gegevens en documentatie zijn uitgeput of ontoereikend gebleken.
Wederzijdse bijstand, markttoezicht en controle van AI-systemen voor algemene doeleinden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 75 -
Wederzijdse bijstand, markttoezicht en controle van AI-systemen voor algemene doeleinden
Toezicht op tests onder reële omstandigheden door markttoezichtautoriteiten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 76 -
Toezicht op tests onder reële omstandigheden door markttoezichtautoriteiten
Een markttoezichtautoriteit die door de aanbieder, de potentiële aanbieder of een derde van een ernstig incident op de hoogte is gebracht of andere redenen heeft om aan te nemen dat niet aan de in de artikelen 60 en 61 bepaalde voorwaarden wordt voldaan, kan op haar grondgebied een van de volgende besluiten nemen, naargelang van het geval:
- a) de tests onder reële omstandigheden opschorten of beëindigen;
- b) aanbieders of potentiële aanbieders en gebruiksverantwoordelijken of potentiële gebruiksverantwoordelijken voorschrijven dat zij een aspect van de test onder reële omstandigheden wijzigen.
Bevoegdheden van de autoriteiten voor de bescherming van de grondrechten
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 77 -
Bevoegdheden van de autoriteiten voor de bescherming van de grondrechten
Artikel 78 -
Vertrouwelijkheid
De Commissie, de markttoezichtautoriteiten en de aangemelde instanties, en alle andere natuurlijke of rechtspersonen die bij de toepassing van deze verordening betrokken zijn, eerbiedigen overeenkomstig het Unierecht of het nationale recht de vertrouwelijke aard van informatie en gegevens die zij hebben verkregen tijdens het uitvoeren van hun taken en activiteiten, met name ter bescherming van:
- a) de intellectuele-eigendomsrechten, en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen van een natuurlijke of rechtspersoon, waaronder de broncode, uitgezonderd de gevallen bedoeld in artikel 5 van Richtlijn (EU) 2016/943 van het Europees Parlement en de Raad57;
- b) de doeltreffende uitvoering van deze verordening, met name in verband met inspecties, onderzoeken of audits;
- c) publieke en nationale veiligheidsbelangen;
- d) het voeren van strafrechtelijke of administratieve procedures;
- e) informatie die op grond van het Unierecht of het nationale recht gerubriceerd is.
Procedure op nationaal niveau voor de omgang met AI-systemen die een risico vormen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 79 -
Procedure op nationaal niveau voor de omgang met AI-systemen die een risico vormen
De in lid 5 bedoelde kennisgeving omvat alle bekende bijzonderheden, met name de informatie die nodig is om het non-conforme AI-systeem te identificeren en om de oorsprong van het AI-systeem en de toeleveringsketen, de aard van de beweerde non-conformiteit en van het risico, en de aard en de duur van de nationale maatregelen vast te stellen, evenals de argumenten die worden aangevoerd door de betrokken operator. De markttoezichtautoriteiten vermelden met name of de non-conformiteit een of meer van de volgende redenen heeft:
- a) niet-naleving van het verbod op de in artikel 5 bedoelde AI-praktijken;
- b) het AI-systeem met een hoog risico voldoet niet aan vereisten van hoofdstuk III, afdeling 2;
- c) tekortkomingen in de in de artikelen 40 en 41 bedoelde geharmoniseerde normen of gemeenschappelijke specificaties die een vermoeden van conformiteit rechtvaardigen;
- d) niet-naleving van artikel 50.
Procedure voor de omgang met AI-systemen die conform bijlage III door de aanbieder zijn ingedeeld als systemen die geen hoog risico met zich meebrengen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 80 -
Procedure voor de omgang met AI-systemen die conform bijlage III door de aanbieder zijn ingedeeld als systemen die geen hoog risico met zich meebrengen
Vrijwaringsprocedure van de Unie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 81 -
Vrijwaringsprocedure van de Unie
Conforme AI-systemen die een risico inhouden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 82 -
Conforme AI-systemen die een risico inhouden
Artikel 83 -
Formele non-conformiteit
Indien de markttoezichtautoriteit van een lidstaat een van de onderstaande feiten vaststelt, schrijft zij de betrokken aanbieder voor dat deze binnen een door haar vast te stellen termijn een einde maakt aan deze non-conformiteit:
- a) de CE-markering is in strijd met artikel 48 aangebracht;
- b) er is geen CE-markering aangebracht;
- c) er is geen in artikel 47 bedoelde EU-conformiteitsverklaring opgesteld;
- d) de in artikel 47 bedoelde EU-conformiteitsverklaring is niet correct opgesteld;
- e) er heeft geen registratie in de in artikel 71 bedoelde EU-databank plaatsgevonden;
- f) indien van toepassing, er is geen gemachtigde aangewezen;
- g) er is geen technische documentatie beschikbaar.
Ondersteunende AI-teststructuren van de Unie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 84 -
Ondersteunende AI-teststructuren van de Unie
Recht om een klacht in te dienen bij een markttoezichtautoriteit
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 85 -
Recht om een klacht in te dienen bij een markttoezichtautoriteit
Recht op uitleg bij individuele besluitvorming
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 86 -
Recht op uitleg bij individuele besluitvorming
Melding van inbreuken en bescherming van melders
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 87 -
Melding van inbreuken en bescherming van melders
Handhaving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 88 -
Handhaving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden
Artikel 89 -
Monitoringmaatregelen
Aanbieders verder in de AI-waardeketen hebben het recht een klacht in te dienen wegens inbreuk op deze verordening. Klachten moeten terdege worden gemotiveerd en moeten ten minste het volgende vermelden of bevatten:
- a) het contactpunt van de aanbieder van het betrokken AI-model voor algemene doeleinden;
- b) een beschrijving van de relevante feiten, de desbetreffende bepalingen van deze verordening en de reden waarom de aanbieder verder in de AI-waardeketen van mening is dat de aanbieder van het betrokken AI-model voor algemene doeleinden inbreuk op deze verordening heeft gemaakt;
- c) alle overige informatie die de aanbieder verder in de AI-waardeketen die het verzoek heeft ingediend, relevant acht, in voorkomend geval ook op eigen initiatief verzamelde informatie.
Waarschuwingen voor systeemrisico’s door het wetenschappelijk panel
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 90 -
Waarschuwingen voor systeemrisico’s door het wetenschappelijk panel
Het wetenschappelijk panel kan het AI-bureau een gekwalificeerde waarschuwing geven indien het redenen heeft om te vermoeden dat:
- a) een AI-model voor algemene doeleinden een concreet aanwijsbaar risico op Unieniveau vormt, of
- b) een AI-model voor algemene doeleinden aan de in artikel 51 bedoelde voorwaarden beantwoordt.
Gekwalificeerde waarschuwingen moeten terdege worden gemotiveerd en ten minste het volgende vermelden of bevatten:
- a) het contactpunt van de aanbieder van het betrokken AI-model voor algemene doeleinden dat een systeemrisico vormt;
- b) een beschrijving van de relevante feiten en de redenen voor de waarschuwing door het wetenschappelijk panel;
- c) alle overige informatie die het wetenschappelijk panel relevant acht, in voorkomend geval ook op eigen initiatief verzamelde informatie.
Bevoegdheid om documentatie en informatie op te vragen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 91 -
Bevoegdheid om documentatie en informatie op te vragen
Bevoegdheid voor het verrichten van evaluaties
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 92 -
Bevoegdheid voor het verrichten van evaluaties
Het AI-bureau kan na raadpleging van de AI-board evaluaties van het betrokken AI-model voor algemene doeleinden verrichten teneinde:
- a) te beoordelen of de aanbieder voldoet aan de verplichtingen van deze verordening indien de op grond van artikel 91 verzamelde informatie ontoereikend is, of
- b) onderzoek te doen naar systeemrisico’s op Unieniveau van AI-modellen voor algemene doeleinden met systeemrisico’s, met name naar aanleiding van een gekwalificeerde melding van het wetenschappelijk panel overeenkomstig artikel 90, lid 1, punt a).
Bevoegdheid voor het verzoeken om maatregelen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 93 -
Bevoegdheid voor het verzoeken om maatregelen
Indien nodig en passend kan de Commissie aanbieders erom verzoeken:
- a) passende maatregelen te nemen om te voldoen aan de verplichtingen van de artikelen 53 en 54;
- b) risicobeperkende maatregelen te nemen indien de overeenkomstig artikel 92 verrichte evaluatie aanleiding heeft gegeven tot ernstige en concrete aanwijzingen voor een systeemrisico op Unieniveau;
- c) het op de markt aanbieden van het model te beperken, dan wel het uit de handel te nemen of terug te roepen.
Procedurele rechten van marktdeelnemers die het AI-model voor algemene doeleinden aanbieden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 94 -
Procedurele rechten van marktdeelnemers die het AI-model voor algemene doeleinden aanbieden
Gedragscodes voor vrijwillige toepassing van specifieke voorschriften
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 95 -
Gedragscodes voor vrijwillige toepassing van specifieke voorschriften
Het AI-bureau en de lidstaten faciliteren de opstelling van gedragscodes met betrekking tot de vrijwillige toepassing, onder meer door gebruiksverantwoordelijken, van specifieke voorschriften voor alle AI-systemen, op basis van duidelijke doelstellingen en kernprestatie-indicatoren om de verwezenlijking van die doelstellingen te meten, met inbegrip van elementen zoals, maar niet beperkt tot:
- a) toepasselijke elementen waarin de ethische richtsnoeren van de Unie voor betrouwbare AI voorzien;
- b) het beoordelen en tot een minimum beperken van het effect van AI-systemen op de milieuduurzaamheid, onder meer wat betreft energie-efficiënte programmering en technieken voor het op efficiënte wijze ontwerpen, trainen en gebruiken van AI;
- c) het bevorderen van AI-geletterdheid, met name die van personen die te maken hebben met de ontwikkeling, de werking en het gebruik van AI;
- d) het faciliteren van een inclusief en divers ontwerp van AI-systemen, onder meer door de oprichting van inclusieve en diverse ontwikkelingsteams en de bevordering van de deelname van belanghebbenden aan dat proces;
- e) het beoordelen en voorkomen van de negatieve gevolgen van AI-systemen voor kwetsbare personen of groepen van kwetsbare personen, ook wat betreft de toegankelijkheid voor personen met een handicap, en voor gendergelijkheid.
Richtsnoeren van de Commissie over de uitvoering van deze verordening
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 96 -
Richtsnoeren van de Commissie over de uitvoering van deze verordening
De Commissie ontwikkelt richtsnoeren over de praktische uitvoering van deze verordening, en met name over:
- a) de toepassing van de in de artikelen 8 tot en met 15 en artikel 25 bedoelde vereisten en verplichtingen;
- b) de in artikel 5 bedoelde verboden praktijken;
- c) de praktische uitvoering van de bepalingen in verband met substantiële wijziging;
- d) de praktische uitvoering van de in artikel 50 vastgelegde transparantieverplichtingen;
- e) gedetailleerde informatie over het verband van deze verordening met de in bijlage I vermelde harmonisatiewetgeving van de Unie en met andere relevante onderdelen van het Unierecht, onder meer wat betreft de consistentie bij de handhaving ervan;
- f) de toepassing van de definitie van een AI-systeem als gedefinieerd in artikel 3, punt 1).
Uitoefening van de bevoegdheidsdelegatie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 97 -
Uitoefening van de bevoegdheidsdelegatie
Artikel 98 -
Comitéprocedure
Artikel 99 -
Sancties
Voor de niet-naleving van een van de volgende bepalingen in verband met operatoren of aangemelde instanties, uitgezonderd die welke zijn neergelegd in artikel 5, gelden administratieve geldboeten tot 15.000.000 EUR of, indien de overtreder een onderneming is, tot 3 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, indien dat hoger is:
- a) verplichtingen voor aanbieders op grond van artikel 16;
- b) verplichtingen voor gemachtigden op grond van artikel 22;
- c) verplichtingen voor importeurs op grond van artikel 23;
- d) verplichtingen voor distributeurs op grond van artikel 24;
- e) verplichtingen voor gebruiksverantwoordelijken op grond van artikel 26;
- f) eisen en verplichtingen voor aangemelde instanties op grond van artikel 31, artikel 33, lid 1, 3 of 4, of artikel 34;
- g) transparantieverplichtingen voor aanbieders en gebruiksverantwoordelijken op grond van artikel 50.
Bij het besluiten om al dan niet een administratieve geldboete op te leggen en bij het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt naargelang van het geval rekening gehouden met het volgende:
- a) de aard, ernst en duur van de inbreuk en de gevolgen ervan, rekening houdend met het doel van het AI-systeem en, indien passend, het aantal getroffen personen en de omvang van de door hen geleden schade;
- b) of administratieve geldboeten reeds door andere markttoezichtautoriteiten voor dezelfde inbreuk op dezelfde operator zijn toegepast;
- c) of administratieve geldboeten reeds door andere autoriteiten op dezelfde operator zijn toegepast voor inbreuken op andere bepalingen van het Unierecht of van nationaal recht, wanneer dergelijke inbreuken het resultaat zijn van hetzelfde handelen of nalaten dat een relevante inbreuk op deze verordening vormt;
- d) de omvang, de jaaromzet en het marktaandeel van de operator die de inbreuk pleegt;
- e) elke andere op de omstandigheden van de zaak toepasselijke verzwarende of verzachtende factor, zoals gemaakte financiële winsten, of vermeden verliezen, die al dan niet rechtstreeks uit de inbreuk voortvloeien;
- f) de mate waarin er met de nationale bevoegde autoriteiten is samengewerkt om de inbreuk te verhelpen en de mogelijke negatieve gevolgen daarvan te beperken;
- g) de mate waarin de operator verantwoordelijk is, rekening houdend met de technische en organisatorische maatregelen die hij heeft genomen;
- h) de wijze waarop de nationale bevoegde autoriteiten kennis hebben gekregen van de inbreuk, met name of, en zo ja in hoeverre, de operator de inbreuk heeft gemeld;
- i) de opzettelijke of nalatige aard van de inbreuk;
- j) door de operator genomen maatregelen om de door de getroffen personen geleden schade te beperken.
Administratieve geldboeten voor instellingen, organen en instanties van de Unie
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 100 -
Administratieve geldboeten voor instellingen, organen en instanties van de Unie
De Europese Toezichthouder voor gegevensbescherming kan administratieve geldboeten opleggen aan instellingen, organen en instanties van de Unie die binnen het toepassingsgebied van deze verordening vallen. Bij het besluiten om al dan niet een Administratieve geldboete op te leggen en het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:
- a) de aard, ernst en duur van de inbreuk en de gevolgen ervan, rekening houdend met het doel van het AI-systeem in kwestie, alsmede, waar dit passend is, het aantal getroffen personen en de omvang van de door hen geleden schade;
- b) de mate van verantwoordelijkheid van de instelling, het orgaan of de instantie van de Unie, rekening houdend met de technische en organisatorische maatregelen die zij hebben genomen;
- c) maatregelen die de instelling, het orgaan of de instantie van de Unie heeft genomen om de door de getroffen personen geleden schade te beperken;
- d) de mate van samenwerking met de Europese Toezichthouder voor gegevensbescherming om de inbreuk te verhelpen en de mogelijke nadelige gevolgen van de inbreuk te beperken, waaronder naleving van eventuele maatregelen die eerder door de Europese Toezichthouder voor gegevensbescherming ten aanzien van dezelfde kwestie aan de instelling, het orgaan of de instantie in kwestie van de Unie zijn opgelegd;
- e) soortgelijke eerdere inbreuken door de instelling, het orgaan of de instantie van de Unie;
- f) de wijze waarop de Europese Toezichthouder voor gegevensbescherming kennis heeft gekregen van de inbreuk, met name of, en zo ja in hoeverre, de instelling, het orgaan of de instantie van de Unie de inbreuk heeft gemeld;
- g) de jaarlijkse begroting van de instelling, het orgaan of de instantie van de Unie.
Geldboeten voor aanbieders van AI-systemen voor algemene doeleinden
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 101 -
Geldboeten voor aanbieders van AI-systemen voor algemene doeleinden
De Commissie kan aanbieders van AI-modellen voor algemene doeleinden geldboeten opleggen van ten hoogste 3 % van hun jaarlijkse totale wereldwijde omzet in het voorgaande boekjaar of 15.000.000 EUR, indien dat hoger is, wanneer de Commissie vaststelt dat de aanbieder opzettelijk of uit onachtzaamheid:
- a) inbreuk heeft gepleegd op de desbetreffende bepalingen van deze verordening;
- b) niet heeft voldaan aan een verzoek om een document of om informatie op grond van artikel 91, of onjuiste, onvolledige of misleidende informatie heeft verstrekt;
- c) een op grond van artikel 93 gevraagde maatregel niet heeft nageleefd;
- d) de Commissie geen toegang tot het AI-model voor algemene doeleinden of het AI-model voor algemene doeleinden met een systeemrisico heeft gegeven voor de doeleinden van de evaluatie op grond van artikel 92.
Wijziging van Verordening (EG) nr. 300/2008
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 102 -
Wijziging van Verordening (EG) nr. 300/2008
Aan artikel 4, lid 3, van Verordening (EG) nr. 300/2008 wordt de volgende alinea toegevoegd:
Wijziging van Verordening (EU) nr. 167/2013
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 103 -
Wijziging van Verordening (EU) nr. 167/2013
Aan artikel 17, lid 5, van Verordening (EU) nr. 167/2013 wordt de volgende alinea toegevoegd:
Wijziging van Verordening (EU) nr. 168/2013
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 104 -
Wijziging van Verordening (EU) nr. 168/2013
Aan artikel 22, lid 5, van Verordening (EU) nr. 168/2013 wordt de volgende alinea toegevoegd:
Wijziging van Richtlijn 2014/90/EU
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 105 -
Wijziging van Richtlijn 2014/90/EU
Aan artikel 8 van Richtlijn 2014/90/EU wordt het volgende lid toegevoegd:
Wijziging van Richtlijn (EU) 2016/797
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 106 -
Wijziging van Richtlijn (EU) 2016/797
Aan artikel 5 van Richtlijn (EU) 2016/797 wordt het volgende lid toegevoegd:
Wijziging van Verordening (EU) 2018/858
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 107 -
Wijziging van Verordening (EU) 2018/858
Aan artikel 5 van Verordening (EU) 2018/858 wordt het volgende lid toegevoegd:
Wijzigingen van Verordening (EU) 2018/1139
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 108 -
Wijzigingen van Verordening (EU) 2018/1139
Verordening (EU) 2018/1139 wordt als volgt gewijzigd:
-
1)
Aan artikel 17 wordt het volgende lid toegevoegd:
“”3.Onverminderd lid 2 worden bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) 2024/1689 van het Europees Parlement en de Raad*, de eisen van hoofdstuk III, afdeling 2, van die verordening in aanmerking genomen.
-
2)
Aan artikel 19 wordt het volgende lid toegevoegd:
“”4.Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) 2024/1689, worden de eisen van hoofdstuk III, afdeling 2, van die verordening in aanmerking genomen.”.
-
3)
Aan artikel 43 wordt het volgende lid toegevoegd:
“”4.Bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) 2024/1689, worden de eisen van hoofdstuk III, afdeling 2, van die verordening in aanmerking genomen.”.
-
4)
Aan artikel 47 wordt het volgende lid toegevoegd:
“”3.Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) 2024/1689, worden de eisen van hoofdstuk III, afdeling 2, van die verordening in aanmerking genomen.”.
-
5)
Aan artikel 57 wordt de volgende alinea toegevoegd:
“”“Bij het vaststellen van die uitvoeringshandelingen betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) 2024/1689, worden de eisen van hoofdstuk III, afdeling 2, van die verordening in aanmerking genomen.”.
-
6)
Aan artikel 58 wordt het volgende lid toegevoegd:
“”3.Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) 2024/1689, worden de eisen van hoofdstuk III, afdeling 2, van die verordening in aanmerking genomen.”.
Wijziging van Verordening (EU) 2019/2144
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 109 -
Wijziging van Verordening (EU) 2019/2144
Aan artikel 11 van Verordening (EU) 2019/2144 wordt het volgende lid toegevoegd:
Wijziging van Richtlijn (EU) 2020/1828
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 110 -
Wijziging van Richtlijn (EU) 2020/1828
In bijlage I bij Richtlijn (EU) 2020/1828 van het Europees Parlement en de Raad58 wordt het volgende punt toegevoegd:
- 68) Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
Reeds in de handel gebrachte of in gebruik gestelde AI-systemen
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 111 -
Reeds in de handel gebrachte of in gebruik gestelde AI-systemen
Artikel 112 -
Evaluatie en toetsing
Uiterlijk op 2 augustus 2028 en vervolgens om de vier jaar verricht de Commissie een evaluatie en brengt zij verslag uit bij het Europees Parlement en de Raad over het volgende:
- a) de noodzaak om bestaande gebiedsrubrieken uit te breiden of nieuwe gebiedsrubrieken toe te voegen aan bijlage III;
- b) wijzigingen van de lijst van AI-systemen die aanvullende transparantiemaatregelen vereisen krachtens artikel 50;
- c) wijzigingen ter verbetering van de doeltreffendheid van het toezicht- en governancesysteem.
In de in lid 2 bedoelde verslagen wordt specifieke aandacht besteed aan het volgende:
- a) de status van de financiële, technische en personele middelen van de nationale bevoegde autoriteiten teneinde de hun krachtens deze verordening toegewezen taken doeltreffend uit te voeren;
- b) de stand van zaken wat betreft sancties, met name administratieve geldboeten als bedoeld in artikel 99, lid 1, die door lidstaten zijn toegepast wegens inbreuken op deze verordening;
- c) ter ondersteuning van deze verordening aangenomen geharmoniseerde normen en ontwikkelde gemeenschappelijke specificaties;
- d) het aantal ondernemingen, met daarbij ook het aantal kmo’s, dat nadat deze verordening van toepassing is geworden, tot de markt toetreedt.
Om de evaluaties en toetsingen als bedoeld in de leden 1 tot en met 7 van dit artikel uit te voeren, ontwikkelt het AI-bureau een objectieve en participatieve methodologie voor de evaluatie van de risiconiveaus, op basis van de in de desbetreffende artikelen beschreven criteria en opname van nieuwe systemen in:
- a) de lijst in bijlage III, waaronder de uitbreiding van bestaande gebiedsrubrieken of de toevoeging van nieuwe rubrieken in die bijlage;
- b) de lijst van verboden praktijken als vastgelegd in artikel 5, en
- c) de lijst van AI-systemen die aanvullende transparantieverplichtingen met zich meebrengen op grond van artikel 50.
Inwerkingtreding en toepassing
Details tonen if( !empty($case_count) ) { ?> 0 arresten } ?>
Artikel 113 -
Inwerkingtreding en toepassing
Evenwel zijn:
- a) de hoofdstukken I en II van toepassing met ingang van 2 februari 2025;
- b) hoofdstuk III, afdeling 4, hoofdstuk V, hoofdstuk VII en hoofdstuk XII en artikel 78 van toepassing met ingang van 2 augustus 2025, met uitzondering van artikel 101;
- c) artikel 6, lid 1, en de overeenkomstige verplichtingen van deze verordening van toepassing met ingang van 2 augustus 2027.
-
PB C 517 van 22.12.2021, blz. 56.
(terug) -
PB C 115 van 11.3.2022, blz. 5.
(terug) -
PB C 97 van 28.2.2022, blz. 60.
(terug) -
Standpunt van het Europees Parlement van 13 maart 2024 (nog niet bekendgemaakt in het Publicatieblad) en besluit van de Raad van 21 mei 2024.
(terug) -
Europese Raad, buitengewone bijeenkomst van de Europese Raad (1 en 2 oktober 2020) — Conclusies, EUCO 13/20, 2020, blz. 6.
(terug) -
Resolutie van het Europees Parlement van 20 oktober 2020 met aanbevelingen aan de Commissie betreffende een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën, 2020/2012(INL).
(terug) -
Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad van 9 juli 2008 tot vaststelling van de eisen inzake accreditatie en tot intrekking van Verordening (EEG) nr. 339/93 (PB L 218 van 13.8.2008, blz. 30).
(terug) -
Besluit nr. 768/2008/EG van het Europees Parlement en de Raad van 9 juli 2008 betreffende een gemeenschappelijk kader voor het verhandelen van producten en tot intrekking van Besluit 93/465/EEG van de Raad (PB L 218 van 13.8.2008, blz. 82).
(terug) -
Verordening (EU) 2019/1020 van het Europees Parlement en de Raad van 20 juni 2019 betreffende markttoezicht en conformiteit van producten en tot wijziging van Richtlijn 2004/42/EG en de Verordeningen (EG) nr. 765/2008 en (EU) nr. 305/2011 (PB L 169 van 25.6.2019, blz. 1).
(terug) -
Richtlijn 85/374/EEG van de Raad van 25 juli 1985 betreffende de onderlinge aanpassing van de wettelijke en bestuursrechtelijke bepalingen der lidstaten inzake de aansprakelijkheid voor producten met gebreken (PB L 210 van 7.8.1985, blz. 29).
(terug) -
Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens en tot intrekking van Richtlijn 95/46/EG (algemene verordening gegevensbescherming) (PB L 119 van 4.5.2016, blz. 1).
(terug) -
Verordening (EU) 2018/1725 van het Europees Parlement en de Raad van 23 oktober 2018 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens door de instellingen, organen en instanties van de Unie en betreffende het vrije verkeer van die gegevens, en tot intrekking van Verordening (EG) nr. 45/2001 en Besluit nr. 1247/2002/EG (PB L 295 van 21.11.2018, blz. 39).
(terug) -
Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens door bevoegde autoriteiten met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, en betreffende het vrije verkeer van die gegevens en tot intrekking van KaderBesluit 2008/977/JBZ van de Raad (PB L 119 van 4.5.2016, blz. 89).
(terug) -
Richtlijn 2002/58/EG van het Europees Parlement en de Raad van 12 juli 2002 betreffende de verwerking van persoonsgegevens en de bescherming van de persoonlijke levenssfeer in de sector elektronische communicatie (richtlijn betreffende privacy en elektronische communicatie) (PB L 201 van 31.7.2002, blz. 37).
(terug) -
Verordening (EU) 2022/2065 van het Europees Parlement en de Raad van 19 oktober 2022 betreffende een eengemaakte markt voor digitale diensten en tot wijziging van Richtlijn 2000/31/EG (digitaledienstenverordening) (PB L 277 van 27.10.2022, blz. 1).
(terug) -
Richtlijn (EU) 2019/882 van het Europees Parlement en de Raad van 17 april 2019 betreffende de toegankelijkheidsvoorschriften voor producten en diensten (PB L 151 van 7.6.2019, blz. 70).
(terug) -
Richtlijn 2005/29/EG van het Europees Parlement en de Raad van 11 mei 2005 betreffende oneerlijke handelspraktijken van ondernemingen jegens consumenten op de interne markt en tot wijziging van Richtlijn 84/450/EEG van de Raad, Richtlijnen 97/7/EG, 98/27/EG en 2002/65/EG van het Europees Parlement en de Raad en van Verordening (EG) nr. 2006/2004 van het Europees Parlement en de Raad (“richtlijn oneerlijke handelspraktijken”) (PB L 149 van 11.6.2005, blz. 22).
(terug) -
KaderBesluit 2002/584/JBZ van de Raad van 13 juni 2002 betreffende het Europees aanhoudingsbevel en de procedures van overlevering tussen de lidstaten (PB L 190 van 18.7.2002, blz. 1).
(terug) -
Richtlijn (EU) 2022/2557 van het Europees Parlement en de Raad van 14 december 2022 betreffende de weerbaarheid van kritieke entiteiten en tot intrekking van Richtlijn 2008/114/EG van de Raad (PB L 333 van 27.12.2022, blz. 164).
(terug) -
PB C 247 van 29.6.2022, blz. 1.
(terug) -
Verordening (EU) 2017/745 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen, tot wijziging van Richtlijn 2001/83/EG, Verordening (EG) nr. 178/2002 en Verordening (EG) nr. 1223/2009, en tot intrekking van Richtlijnen 90/385/EEG en 93/42/EEG van de Raad (PB L 117 van 5.5.2017, blz. 1).
(terug) -
Verordening (EU) 2017/746 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen voor in-vitrodiagnostiek en tot intrekking van Richtlijn 98/79/EG en Besluit 2010/227/EU van de Commissie (PB L 117 van 5.5.2017, blz. 176).
(terug) -
Richtlijn 2006/42/EG van het Europees Parlement en de Raad van 17 mei 2006 betreffende machines en tot wijziging van Richtlijn 95/16/EG (PB L 157 van 9.6.2006, blz. 24).
(terug) -
Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad van 11 maart 2008 inzake gemeenschappelijke regels op het gebied van de beveiliging van de burgerluchtvaart en tot intrekking van Verordening (EG) nr. 2320/2002 (PB L 97 van 9.4.2008, blz. 72).
(terug) -
Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad van 5 februari 2013 inzake de goedkeuring van en het markttoezicht op landbouw- en bosbouwvoertuigen (PB L 60 van 2.3.2013, blz. 1).
(terug) -
Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad van 15 januari 2013 betreffende de goedkeuring van en het markttoezicht op twee- of driewielige voertuigen en vierwielers (PB L 60 van 2.3.2013, blz. 52).
(terug) -
Richtlijn 2014/90/EU van het Europees Parlement en de Raad van 23 juli 2014 inzake uitrusting van zeeschepen en tot intrekking van Richtlijn 96/98/EG van de Raad (PB L 257 van 28.8.2014, blz. 146).
(terug) -
Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad van 11 mei 2016 betreffende de interoperabiliteit van het spoorwegsysteem in de Europese Unie (PB L 138 van 26.5.2016, blz. 44).
(terug) -
Verordening (EU) 2018/858 van het Europees Parlement en de Raad van 30 mei 2018 betreffende de goedkeuring van en het markttoezicht op motorvoertuigen en aanhangwagens daarvan en systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd, tot wijziging van Verordeningen (EG) nr. 715/2007 en (EG) nr. 595/2009 en tot intrekking van Richtlijn 2007/46/EG (PB L 151 van 14.6.2018, blz. 1).
(terug) -
Verordening (EU) 2018/1139 van het Europees Parlement en de Raad van 4 juli 2018 inzake gemeenschappelijke regels op het gebied van burgerluchtvaart en tot oprichting van een Agentschap van de Europese Unie voor de veiligheid van de luchtvaart, en tot wijziging van de Verordeningen (EG) nr. 2111/2005, (EG) nr. 1008/2008, (EU) nr. 996/2010, (EU) nr. 376/2014 en de Richtlijnen 2014/30/EU en 2014/53/EU van het Europees Parlement en de Raad, en tot intrekking van de Verordeningen (EG) nr. 552/2004 en (EG) nr. 216/2008 van het Europees Parlement en de Raad en Verordening (EEG) nr. 3922/91 van de Raad (PB L 212 van 22.8.2018, blz. 1).
(terug) -
Verordening (EU) 2019/2144 van het Europees Parlement en de Raad van 27 november 2019 betreffende de voorschriften voor de typegoedkeuring van motorvoertuigen en aanhangwagens daarvan en van systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd wat de algemene veiligheid ervan en de bescherming van de inzittenden van voertuigen en kwetsbare weggebruikers betreft, tot wijziging van Verordening (EU) 2018/858 van het Europees Parlement en de Raad en tot intrekking van de Verordeningen (EG) nr. 78/2009, (EG) nr. 79/2009 en (EG) nr. 661/2009 van het Europees Parlement en de Raad en de Verordeningen (EG) nr. 631/2009, (EU) nr. 406/2010, (EU) nr. 672/2010, (EU) nr. 1003/2010, (EU) nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010, (EU) nr. 19/2011, (EU) nr. 109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr. 347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 en (EU) 2015/166 van de Commissie (PB L 325 van 16.12.2019, blz. 1).
(terug) -
Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad van 13 juli 2009 tot vaststelling van een gemeenschappelijke visumcode (Visumcode) (PB L 243 van 15.9.2009, blz. 1).
(terug) -
Richtlijn 2013/32/EU van het Europees Parlement en de Raad van 26 juni 2013 betreffende gemeenschappelijke procedures voor de toekenning en intrekking van de internationale bescherming (PB L 180 van 29.6.2013, blz. 60).
(terug) -
Verordening (EU) 2024/900 van het Europees Parlement en de Raad van 13 maart 2024 betreffende transparantie en gerichte politieke reclame (PB L, 2024/900, 20.3.2024, ELI: http://data.europa.eu/eli/reg/2024/900/oj).
(terug) -
Richtlijn 2014/31/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van niet-automatische weegwerktuigen (PB L 96 van 29.3.2014, blz. 107).
(terug) -
Richtlijn 2014/32/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van meetinstrumenten (PB L 96 van 29.3.2014, blz. 149).
(terug) -
Verordening (EU) 2019/881 van het Europees Parlement en de Raad van 17 april 2019 inzake Enisa (het Agentschap van de Europese Unie voor cyberbeveiliging), en inzake de certificering van de cyberbeveiliging van informatie- en communicatietechnologie en tot intrekking van Verordening (EU) nr. 526/2013 (cyberbeveiligingsverordening) (PB L 151 van 7.6.2019, blz. 15).
(terug) -
Richtlijn (EU) 2016/2102 van het Europees Parlement en de Raad van 26 oktober 2016 inzake de toegankelijkheid van de websites en mobiele applicaties van overheidsinstanties (PB L 327 van 2.12.2016, blz. 1).
(terug) -
Richtlijn 2002/14/EG van het Europees Parlement en de Raad van 11 maart 2002 tot vaststelling van een algemeen kader betreffende de informatie en de raadpleging van de werknemers in de Europese Gemeenschap (PB L 80 van 23.3.2002, blz. 29).
(terug) -
Richtlijn (EU) 2019/790 van het Europees Parlement en de Raad van 17 april 2019 inzake auteursrechten en naburige rechten in de digitale eengemaakte markt en tot wijziging van Richtlijnen 96/9/EG en 2001/29/EG (PB L 130 van 17.5.2019, blz. 92).
(terug) -
Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad van 25 oktober 2012 betreffende Europese normalisatie, tot wijziging van de Richtlijnen 89/686/EEG en 93/15/EEG van de Raad alsmede de Richtlijnen 94/9/EG, 94/25/EG, 95/16/EG, 97/23/EG, 98/34/EG, 2004/22/EG, 2007/23/EG, 2009/23/EG en 2009/105/EG van het Europees Parlement en de Raad en tot intrekking van Beschikking 87/95/EEG van de Raad en Besluit nr. 1673/2006/EG van het Europees Parlement en de Raad (PB L 316 van 14.11.2012, blz. 12).
(terug) -
Verordening (EU) 2022/868 van het Europees Parlement en de Raad van 30 mei 2022 betreffende Europese datagovernance en tot wijziging van Verordening (EU) 2018/1724 (datagovernanceverordening) (PB L 152 van 3.6.2022, blz. 1).
(terug) -
Verordening (EU) 2023/2854 van het Europees Parlement en de Raad van 13 december 2023 betreffende geharmoniseerde regels inzake eerlijke toegang tot en eerlijk gebruik van data en tot wijziging van Verordening (EU) 2017/2394 en Richtlijn (EU) 2020/1828 (dataverordening) (PB L, 2023/2854, 22.12.2023, ELI: http://data.europa.eu/eli/reg/2023/2854/oj).
(terug) -
Aanbeveling van de Commissie van 6 mei 2003 betreffende de definitie van kleine, middelgrote en micro-ondernemingen (PB L 124 van 20.5.2003, blz. 36).
(terug) -
Besluit van de Commissie van 24 januari 2024 tot oprichting van het Europees Bureau voor artificiële intelligentie (C/2024/390).
(terug) -
Verordening (EU) nr. 575/2013 van het Europees Parlement en de Raad van 26 juni 2013 betreffende prudentiële vereisten voor kredietinstellingen en beleggingsondernemingen en tot wijziging van Verordening (EU) nr. 648/2012 (PB L 176 van 27.6.2013, blz. 1).
(terug) -
Richtlijn 2008/48/EG van het Europees Parlement en de Raad van 23 april 2008 inzake kredietovereenkomsten voor consumenten en tot intrekking van Richtlijn 87/102/EEG van de Raad (PB L 133 van 22.5.2008, blz. 66).
(terug) -
Richtlijn 2009/138/EG van het Europees Parlement en de Raad van 25 november 2009 betreffende de toegang tot en uitoefening van het verzekerings- en het herverzekeringsbedrijf (Solvabiliteit II) (PB L 335 van 17.12.2009, blz. 1).
(terug) -
Richtlijn 2013/36/EU van het Europees Parlement en de Raad van 26 juni 2013 betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht op kredietinstellingen en beleggingsondernemingen, tot wijziging van Richtlijn 2002/87/EG en tot intrekking van de Richtlijnen 2006/48/EG en 2006/49/EG (PB L 176 van 27.6.2013, blz. 338).
(terug) -
Richtlijn 2014/17/EU van het Europees Parlement en de Raad van 4 februari 2014 inzake kredietovereenkomsten voor consumenten met betrekking tot voor bewoning bestemde onroerende goederen en tot wijziging van de Richtlijnen 2008/48/EG en 2013/36/EU en Verordening (EU) nr. 1093/2010 (PB L 60 van 28.2.2014, blz. 34).
(terug) -
Richtlijn (EU) 2016/97 van het Europees Parlement en de Raad van 20 januari 2016 betreffende verzekeringsdistributie (PB L 26 van 2.2.2016, blz. 19).
(terug) -
Verordening (EU) nr. 1024/2013 van de Raad van 15 oktober 2013 waarbij aan de Europese Centrale Bank specifieke taken worden opgedragen betreffende het beleid inzake het prudentieel toezicht op kredietinstellingen (PB L 287 van 29.10.2013, blz. 63).
(terug) -
Verordening (EU) 2023/988 van het Europees Parlement en de Raad van 10 mei 2023 inzake algemene productveiligheid, tot wijziging van Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad en Richtlijn (EU) 2020/1828 van het Europees Parlement en de Raad, en tot intrekking van Richtlijn 2001/95/EG van het Europees Parlement en de Raad en Richtlijn 87/357/EEG van de Raad (PB L 135 van 23.5.2023, blz. 1).
(terug) -
Richtlijn (EU) 2019/1937 van het Europees Parlement en de Raad van 23 oktober 2019 inzake de bescherming van personen die inbreuken op het Unierecht melden (PB L 305 van 26.11.2019, blz. 17).
(terug) -
PB L 123 van 12.5.2016, blz. 1.
(terug) -
Verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad van 16 februari 2011 tot vaststelling van de algemene voorschriften en beginselen die van toepassing zijn op de wijze waarop de lidstaten de uitoefening van de uitvoeringsbevoegdheden door de Commissie controleren (PB L 55 van 28.2.2011, blz. 13).
(terug) -
Richtlijn (EU) 2016/943 van het Europees Parlement en de Raad van 8 juni 2016 betreffende de bescherming van niet-openbaar gemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen het onrechtmatig verkrijgen, gebruiken en openbaar maken daarvan (PB L 157 van 15.6.2016, blz. 1).
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj).”.
(terug) -
Richtlijn (EU) 2020/1828 van het Europees Parlement en de Raad van 25 november 2020 betreffende representatieve vorderingen ter bescherming van de collectieve belangen van consumenten en tot intrekking van Richtlijn 2009/22/EG (PB L 409 van 4.12.2020, blz. 1).
(terug)