Steeds meer gemeenten maken gebruik van kunstmatige intelligentie (AI) om hun dienstverlening te verbeteren, hun beleidskeuzes te ondersteunen, of hun efficiëntie te verhogen. Zo ontwikkelde de stad Roeselare een chatbot om burgers te helpen bij het vinden van de juiste informatie, en liep in Oostende een proefproject om met behulp van AI meeuwennesten te identificeren en te verwijderen. Aan het gebruik van AI zijn de nodige risico’s verbonden, die evenwel sterk kunnen verschillen naar gelang de precieze doelstellingen waarvoor en de manier waarop AI wordt ingezet door gemeenten.

Met als doel een uniform, toekomstbestendig en op risico gebaseerd regelgevend kader te creëren voor de ontwikkeling en het gebruik van AI in de EU trad op 1 augustus 2024 de zogenaamde ‘EU AI Act’ in werking. Deze nieuwe wetgeving bevat onder meer regels over de rechten en plichten van de verschillende actoren die betrokken zijn bij AI, de risicobeoordeling van AI-systemen en de bijhorende handhavingsmechanismen. Het brede toepassingsgebied van de AI Act maakt dat deze Europese regelgeving ook gevolgen zal hebben voor lokale besturen.

De EU AI Act definieert een AI-systeem als een ‘op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen’.

Daarbij maakt de nieuwe regelgeving een onderscheid tussen vier categorieën van AI-systemen, op basis van het risiconiveau dat zij met zich meebrengen voor de fundamentele rechten van de gebruikers en andere betrokkenen. Deze categorieën zijn:

• Verboden AI-modellen: vormen van AI die een onaanvaardbaar risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen en die daarom verboden zijn in de EU. Voorbeelden zijn modellen die sociale scores toekennen aan mensen op basis van hun gedrag of voorkeuren, of AI-systemen die mensen op een misleidende of bedrieglijke manier beïnvloeden.
• AI-modellen met een hoog risico: vormen van AI die een hoog risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen, en die daarom onderworpen zijn aan strenge eisen op het vlak van transparantie, kwaliteit, toezicht, en verantwoordelijkheid. Voorbeelden zijn modellen die gebruikt worden voor kritieke infrastructuur, onderwijs, werkgelegenheid, rechtshandhaving, migratie, of biometrische identificatie.
• AI-modellen met een beperkt risico: vormen van AI die een beperkt risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen, en die daarom onderworpen zijn aan enkele specifieke verplichtingen op het vlak van transparantie of informatie. Dit zijn bijvoorbeeld AI-systemen die gebruikt worden voor chatbots, online advertenties, of deepfakes.
• AI-modellen met een minimaal risico: dit zijn AI-systemen die een minimaal of geen risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen, en die daarom vrij zijn van enige regelgeving. Dit zijn bijvoorbeeld AI-systemen die gebruikt worden voor games, spamfilters, of aanbevelingssystemen.
• GPAI-modellen (General Purpose Artificial Intelligence): dit zijn AI-systemen zoals ChatGPT die erop gericht zijn zeer breed te kunnen worden toegepast. Voor GPAI-modellen gelden specifieke regels met extra aandacht voor de systemische risico’s die zij met zich meebrengen.

De EU AI Act bevat een lijst van AI-systemen die als hoog-risico worden beschouwd, en die zal worden bijgewerkt door de Europese Commissie.

WELKE RISICO’S OMVAT HET GEBRUIK VAN AI DOOR LOKALE BESTUREN?

Artificiële intelligentie kan door lokale besturen op sterk uiteenlopende manieren en voor zeer verschillende doeleinden worden ingezet. De specifieke risico’s zijn dan ook verbonden aan de precieze modaliteiten van het gebruikte AI-model, en de classificatie van de toepassing als ‘verboden’, ‘hoog risico’, ‘beperkt risico’ of ‘minimaal risico’ (alsook als GPAI-model) volgens de AI Act.

Hieronder worden enkele belangrijke risico’s weergegeven die verbonden zijn aan het gebruik van AI door lokale besturen, met daarnaast enkele mogelijke maatregelen om deze risico’s in te perken:

Risico	Maatregel
Privacy & gegevensbescherming: AI-modellen zijn vaak gebaseerd op grote hoeveelheden data, waaronder mogelijk persoonsgegevens. Het verwerken van deze data kan leiden tot schendingen van de privacy.	Zorg ervoor dat principes uit de GDPR-wetgeving zoals data-minimalisatie worden opgevolgd, en voer systematische controles uit op de persoonsgegevens waarover uw organisatie zich beschikt om te verzekeren dat deze actueel, correct en relevant zijn.
Menselijke verantwoordelijkheid: misplaatst vertrouwen in AI kan leiden tot verminderde menselijke verantwoordelijkheid, en daarmee schendingen van ethische en morele standaarden.	Voeg zelf waarde toe aan het gebruik van AI. Ook general purpose AI kan mensen niet vervangen: er is steeds een rol weggelegd voor de gebruiker om het resultaat van het algoritme te overzien en te verbeteren. Wees steeds transparant over het gebruik van AI, zeker wanneer (de resultaten van) het AI-model naar de burger toe worden gebruikt.
Bias en discriminatie: veel datasets bevatten ingebakken vooringenomenheden, wat kan leiden tot de ongelijke behandeling van burgers op basis van factoren als geslacht, ras, leeftijd of socio-economische achtergrond.	Dubbelcheck het resultaat van de AI-toepassing, en controleer of het algoritme zich niet baseerde op bevooroordeelde informatie. Kijk steeds kritisch naar de output van (generatieve) AI, en hou in het achterhoofd dat sommige algoritmen geprogrammeerd zijn om overtuigend over te komen (maar daarom niet foutloos zijn).
Ondoorzichtigheid: sommige AI-modellen, zoals bijvoorbeeld ChatGPT, zijn niet transparant waardoor het besluitvormingsproces voor mensen niet te begrijpen is. Hierdoor kan niet volledig op deze modellen worden vertrouwd.	Zorg ervoor dat AI-modellen transparanter zijn naarmate het gebruik ervan meer impact heeft op derden. Gebruik bijvoorbeeld nooit ondoorzichtige AI-modellen om beslissingen te nemen die een impact kunnen hebben op burgers.
Cyberveiligheid: wanneer AI-modellen gebruik maken van bedrijfsgevoelige informatie bestaat de kans dat deze informatie, al dan niet moedwillig, via de AI-toepassing kan worden bekomen. Daarnaast richten hackers hun pijlen steeds vaker tot kritieke infrastructuren, ook bij lokale besturen. Wanneer AI-systemen een integraal onderdeel gaan uitmaken van de dagelijkse werking van een gemeente kunnen zij worden blootgesteld aan cyberaanvallen en misbruik.	Werk een systeem uit van interne toegangsrechten, zodat niet iedereen binnen uw organisatie toegang heeft tot alle (bedrijfs-)gevoelige gegevens. Hanteer een op risico gebaseerde aanpak bij het beveiligen en verwerken van gegevens, waarbij (zeer) gevoelige gegevens worden afgeschermd van gebruik door AI-systemen, en beter worden beveiligd tegen mogelijke cyberaanvallen.

WAT ZIJN DE PLICHTEN VAN DE LOKALE BESTUREN VOLGENS DE EU AI ACT?

Lokale besturen kunnen verschillende rollen vervullen in verband met AI, afhankelijk van de mate waarin zij betrokken zijn bij de ontwikkeling en het gebruik van AI-toepassingen. De EU AI Act voorziet in een reeks rechten en plichten voor de verschillende actoren die betrokken zijn bij AI, zoals de ontwikkelaars, de gebruikers, de distributeurs, of de importeurs. Aangezien lokale besturen voornamelijk als gebruiker (en in bepaalde gevallen eventueel als ontwikkelaar) van AI-modellen zullen optreden zijn hun voornaamste plichten verbonden aan deze twee rollen:

• Als gebruiker van AI: wanneer lokale besturen AI-systemen louter gebruiken moeten ze ervoor zorgen dat dit op een correcte en verantwoorde manier gebruiken, in overeenstemming met de instructies van de aanbieder, de geldende wetgeving, en de ethische principes. Zij moeten ook de nodige maatregelen nemen om de risico's van de AI-systemen te beperken, de betrokkenen te informeren, en menselijk toezicht te waarborgen.
• Als ontwikkelaar van AI: in bepaalde gevallen is het mogelijk dat lokale besturen zelf, al dan niet in samenwerking met externe software-bedrijven, AI-modellen ontwikkelen en gebruiken. Zij moeten er in dat geval voor zorgen dat hun AI-systemen voldoen aan de eisen van de EU AI Act, zoals de kwaliteit van de gegevens, de technische documentatie, de conformiteitsbeoordeling, de registratie, of de monitoring. Ook moet een risicobeheersysteem worden opgezet, moet een contactpersoon worden aangewezen, en bestaat er een verplichting tot samenwerking met de Europese toezichthouders.

Eén van de belangrijkste verplichtingen die de EU AI Act invoert voor lokale besturen betreft de plicht om burgers op transparante wijze te informeren wanneer zij met AI-systemen communiceren of door AI gegenereerde informatie ontvangen. Slechts indien door AI-gegenereerde informatie nadien nog door mensen wordt gecontroleerd en bewerkt geld deze transparantieverplichting niet.

HOE KUNT U ZICH VOORBEREIDEN OP DE EU AI ACT?

Nu de AI Act op 1 augustus 2024 in werking is getreden begint een overgangsperiode die, afhankelijk van de specifieke bepaling, 6 tot 36 maanden zal duren. Hoewel de betrokken actoren dus de tijd krijgen om zich aan te passen aan de nieuwe regelgeving is het desalniettemin raadzaam om nu al te beginnen met de voorbereiding op de EU AI Act, om zo de kansen en de uitdagingen van AI optimaal te benutten, en om de risico's en de kosten van AI te vermijden of te beperken. Enkele concrete te ondernemen stappen zijn:

• Maak een inventaris van de bestaande of geplande AI-systemen in uw gemeente, en bepaal welke categorie van risico zij vertegenwoordigen volgens de EU AI Act. Indien een AI-model kan worden kan worden gekwalificeerd als verboden onder de AI Act moet het gebruik ervan tegen 1 februari 2025 worden stopgezet. Indien het gaat om een hoog-risico model moet binnen de zes jaar worden voldaan aan alle verplichtingen uit de AI Act (registratie in de openbare Europese databank, invullen van een Fundamental Rights Impact Assessment, …).
• Voer een risicobeoordeling uit voor de AI-systemen die een hoog of een beperkt risico vormen, en identificeer de mogelijke maatregelen om deze risico's te verminderen of te elimineren.
• Stel een AI-beleid op voor uw gemeente, waarin u de doelstellingen, de principes, de verantwoordelijkheden, en de procedures vastlegt voor de ontwikkeling, het gebruik, of de distributie van AI-systemen.
• Wijs een AI-coördinator aan voor uw gemeente, die zal instaan voor de implementatie, de opvolging, en de evaluatie van het AI-beleid, en die zal fungeren als aanspreekpunt voor de interne en externe belanghebbenden.
• Organiseer een AI-opleiding voor uw medewerkers, om hen bewust te maken van de mogelijkheden, de beperkingen, en de regels van AI, en om hen de nodige vaardigheden te geven om AI-systemen op een correcte en verantwoorde manier te gebruiken.

De precieze praktische modaliteiten van de EU AI Act zullen verder invulling krijgen via richtlijnen van de Europese toezichthouders, waaronder de Europese Commissie en het AI-bureau.

Ignorantia iuris nocet. GD&A Advocaten volgt verdere ontwikkelingen met betrekking tot de AI Act en de daaruit volgende verplichtingen nauwgezet op, en staat steeds klaar om uw bestuur bij te staan bij de naleving van deze nieuwe wetgeving!