Privacytoezichthouders pleiten voor verbod op gezichtsherkenning en andere vormen van real time biometrie. De European Data Protection Board (EDPB) wil zo voorkomen dat mensen overal gevolgd kunnen worden. Ook wil men een verbod op AI-systemen die mensen indelen op basis van bijvoorbeeld etniciteit, geslacht of seksuele voorkeur.

De aanleiding is een wetsvoorstel van de Europese Commissie over artificiële intelligentie (AI). De EDPB, die bestaat uit de privacytoezichthouders van alle EU-landen, reageert hierop samen met de Europese toezichthouder European Data Protection Supervisor (EDPS). Beide organisaties vinden dat de risico’s van gezichtshesrkenning te groot zijn om deze techniek toe te staan in de openbare ruimte. Dit geldt ook voor vergelijkbare technieken, zoals stemherkenning en bewegingsherkenning. De huidige tekst van het wetsvoorstel maakt het mogelijk dat overheden dit soort technieken mogen inzetten om bijvoorbeeld criminaliteit te voorkomen en bestrijden. En ook dat gaat de privacy-organisaties te ver.

Surveillancemaatschappij
“Een camera met gezichtsherkenning ziet niet alleen wat je doet, maar identificeert jou meteen ook. Die ziet meteen wie je bént”, zegt Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens (AP) en vicevoorzitter van de EDPB. “Elke camera met gezichtsherkenning die we ophangen op straat, in het park, de trein of de bus, is een stap dichter bij een surveillancemaatschappij. Een maatschappij waarin je nooit meer ongedwongen over straat loopt. Waarin je niet kunt ontsnappen aan de priemende ogen van systemen die jou in de gaten houden en jou herkennen, dus jou de hele dag kunnen volgen. Je stapt de deur uit en weet: ik word constant in de gaten gehouden. Dat is beklemmend, zorgt dat mensen zich minder vrij voelen om zichzelf te zijn.”

Discriminatie
Wolfsen: “De beheerder van die systemen kan mij geautomatiseerd volgen: die kan precies zien wanneer ik de deur uit ga, waar ik mijn boodschappen doe, wanneer ik een afspraak bij de dokter heb, welke vrienden ik bezoek en waar ik uit eten ga. Willen we dat? Is de mogelijke hulp die deze systemen kunnen bieden bij het voorkomen en bestrijden van criminaliteit het waard de vrijheid van iedereen op te geven? Nee. We leven in een vrije, open samenleving. Dat is een groot goed, dat moeten we beschermen.”
Daarnaast pleiten de EDPB en de EDPS voor een verbod op AI-systemen die mensen indelen in groepen op basis van etniciteit, geslacht, seksualiteit of politieke voorkeur. Dit zou discriminatie in de hand werken. Wolfsen: “We moeten als maatschappij discriminatie tegengaan. Discriminatie door mensen, maar ook door systemen. Wij kiezen ervoor om te voorkomen dat systemen mensen kunnen discrimineren. Wij hebben in Nederland met de Toeslagenaffaire gezien hoe fout dat kan gaan.”

Emotieherkenning
De EDPB en de EDPS pleiten ook voor een verbod op AI die emoties herkent. Aan emotieherkenning kunnen volgens deze organisaties grote risico’s zitten voor de vrijheid van burgers. Denk aan werkgevers die werknemers een slechte beoordeling geven als zij te vaak ‘boos’ kijken terwijl ze achter hun computer zitten, werknemers die moeten glimlachen om toegang tot de werkplek te krijgen, of politie die uit voorzorg mensen staande houdt die volgens het systeem ‘boos’ of ‘ontevreden’ zijn terwijl zij op straat lopen.
De toezichthouders doen deze oproepen als reactie op het wetsvoorstel over AI van de Europese Commissie. Dit voorstel gaat over veel verschillende systemen, maar legt vooral extra regels op voor systemen met een hoog risico voor burgers. Zoals algoritmes die gaan over toeslagen of uitkeringen van de overheid voor burgers.

Geregistreerd en gecertificeerd
Volgens het voorstel moeten dit soort systemen verplicht geregistreerd worden. En moeten ze in de toekomst gecertificeerd worden, om aan te tonen dat ze de nieuwe wet naleven. Bovendien zijn bedrijven verplicht aan te geven hoe de systemen werken.
Maar in aanvulling op bovenstaande oproepen, vinden de EDPB en de EDPS dat de Europese Commissie nog meer aan het voorstel moet verbeteren. Zo zouden veel regels nog niet duidelijk genoeg zijn. Welke partij moet de wet gaan handhaven en hoe precies? En wat zijn exact de regels wanneer er met systemen data worden doorgegeven naar landen buiten de EU?
Daarnaast moet de wet goed aansluiten op de Algemene verordening gegevensbescherming (AVG), vinden de EDPB en de EDPS. In het huidige voorstel staan andere definities van sommige begrippen dan in de AVG. Daarnaast zijn de procedures die bedrijven moeten doorlopen anders dan in de AVG. Dit zorgt voor verwarring en maakt het erg ingewikkeld voor bedrijven en andere organisaties om aan de wet te voldoen.

De EDPB en de EDPS zijn deze reactie overeengekomen tijdens de EDPB-vergadering van 18 juni 2021. Het document met deze reactie erin wordt binnen enkele dagen op de site van de EDPB gepubliceerd.

De EDPB en de EDPS schreven dit advies op verzoek van de Europese Commissie. Later buigen ook de lidstaten van de EU zich nog over het voorstel, daarna nog het Europese Parlement.