Artificiell intelligens används idag inom allt fler områden där beslut fattas om människor, företag och samhällsfunktioner. AI-system används bland annat inom rekrytering, kreditbedömning, kundanalys, marknadsföring och offentlig verksamhet. Samtidigt aktualiseras omfattande juridiska frågor kring personuppgifter, transparens, ansvar och rättssäkerhet.
Utvecklingen av generativ AI och automatiserade beslutssystem har lett till ökad granskning från både tillsynsmyndigheter och lagstiftare inom EU. GDPR och AI Act har därmed fått en central betydelse för hur AI-system får utvecklas och användas i praktiken.
Denna juridiska analys behandlar de rättsliga riskerna kring automatiserat beslutsfattande och AI-system enligt GDPR och AI Act, med fokus på verkliga tillsynsärenden och regulatorisk utveckling inom EU.
Automatiserat beslutsfattande och artikel 22 GDPR
GDPR innehåller särskilda regler kring automatiserade beslut och profilering. Enligt artikel 22 GDPR har individer rätt att inte bli föremål för beslut som enbart grundas på automatiserad behandling om beslutet har rättsliga eller liknande betydande konsekvenser.
Bestämmelsen aktualiserar flera frågor kring:
- transparens,
- mänsklig kontroll,
- diskriminering,
- rättssäkerhet,
- och ansvarsfördelning.
Samtidigt bygger många moderna AI-system på avancerade språkmodeller och maskininlärning där det kan vara svårt att förstå hur beslut eller rekommendationer faktiskt genereras.
I materialet kring AI-juridik beskrivs problematiken på följande sätt:
”Det är ofta inte möjligt att ta reda på varför ett AI-system har fattat ett beslut eller en förutsägelse och vidtagit en viss åtgärd.”
Den så kallade “black box”-problematiken innebär att både företag och myndigheter riskerar att använda system vars beslutsprocesser är svåra att granska juridiskt.
Italiens tillfälliga förbud mot ChatGPT
Under 2023 blev Italien det första västerländska landet att tillfälligt begränsa användningen av ChatGPT genom beslut från den italienska dataskyddsmyndigheten Garante.
Garante per la protezione dei dati personali
Decision of 30 March 2023 against OpenAI / ChatGPT
Myndigheten riktade kritik mot:
- bristande transparens,
- otillräcklig information till användare,
- behandling av personuppgifter utan tydlig rättslig grund,
- samt avsaknad av tillräckligt skydd för minderåriga.
Fallet blev särskilt uppmärksammat eftersom det tydligt visade att GDPR även omfattar generativa AI-system och att tillsynsmyndigheter är beredda att ingripa mot AI-tjänster som inte uppfyller dataskyddskraven.
Det aktualiserade samtidigt frågor kring:
- träningsdata,
- ansvar för AI-genererat innehåll,
- tredjelandsöverföringar,
- och kontroll över personuppgifter i stora språkmodeller.
Meta och profilering av användardata
Även Meta har varit föremål för omfattande granskning inom EU avseende personuppgiftshantering och profilering.
Irish Data Protection Commission v Meta Platforms Ireland Ltd (2023)
Frågorna har bland annat handlat om:
- beteendebaserad annonsering,
- användning av personuppgifter,
- samtycke,
- transparens,
- och automatiserad profilering av användare.
EU:s tillsynsmyndigheter har vid flera tillfällen betonat att företag inte kan använda personuppgifter för omfattande profilering utan tydlig rättslig grund och tillräcklig information till användarna.
Meta-fallen illustrerar samtidigt hur dataskydd utvecklats från en teknisk fråga till en central del av modern affärsjuridik och regulatorisk compliance.
AI-system och risk för diskriminering
Automatiserade beslutssystem används idag inom flera områden där resultatet kan få stor påverkan på individers rättigheter och möjligheter.
Det gäller exempelvis:
- rekryteringsprocesser,
- kreditbedömningar,
- försäkringsärenden,
- riskklassificering,
- och offentliga beslutssystem.
Problemet är att AI-system tränas på stora mängder historisk data, vilket kan innebära att tidigare fördomar och skevheter reproduceras i systemen.
I AI-materialet lyfts detta fram som en central risk:
”Cementering av fördomar och skevheter i värderingar.”
Det innebär att automatiserade system riskerar att skapa indirekt diskriminering eller oproportionerliga konsekvenser om de inte granskas juridiskt och tekniskt.
Clearview AI och biometriska personuppgifter
Ett av de mest uppmärksammade AI-relaterade GDPR-ärendena i Sverige rör Clearview AI:s behandling av biometriska personuppgifter.
Integritetsskyddsmyndigheten (IMY)
Ärende DI-2021-5769
Clearview AI använde ansiktsigenkänningsteknik för att samla in och analysera bilder från internet utan individers samtycke. IMY konstaterade att behandlingen stred mot GDPR och riktade kritik mot användningen av biometriska personuppgifter utan rättslig grund.
Fallet aktualiserade frågor kring:
- massinsamling av personuppgifter,
- biometrisk övervakning,
- proportionalitet,
- och integritetsskydd vid AI-användning.
Clearview AI-fallet visar samtidigt hur AI-system kan skapa omfattande integritetsrisker när stora datamängder används för identifiering och profilering.
AI Act och högrisk-system
EU:s AI Act innebär en ny regulatorisk struktur för AI-system inom unionen.
Regelverket bygger på en riskbaserad modell där vissa AI-system klassificeras som:
- förbjudna,
- högrisk,
- begränsad risk,
- eller minimal risk.
Högrisk-system omfattar bland annat AI som används inom:
- rekrytering,
- utbildning,
- brottsbekämpning,
- migration,
- och kritisk infrastruktur.
För dessa system ställs omfattande krav på:
- dokumentation,
- transparens,
- riskhantering,
- mänsklig kontroll,
- och tillsyn.
AI Act innehåller även mycket höga sanktionsavgifter vid överträdelser.
I materialet framhålls att sanktionerna kan uppgå till:
”35 miljoner euro eller 7 % av global årsomsättning.”
Det visar att AI-reglering inte längre är en framtidsfråga utan ett område med betydande affärsjuridiska konsekvenser.
Transparens och ansvar
En central fråga inom både GDPR och AI Act är vem som bär ansvar när AI-system används i verksamheter.
I AI-materialet betonas att:
”Ansvar för felaktiga resultat från AI-systemet faller på parten som kontrollerar AI.”
Det innebär att verksamheter inte kan undgå ansvar genom att hänvisa till att ett AI-system fattat beslutet.
Organisationer som använder AI behöver därför:
- säkerställa mänsklig kontroll,
- genomföra riskbedömningar,
- dokumentera användningen,
- och ha tydliga interna riktlinjer för AI-användning.
Svensk rättsutveckling och AI-användning
AI-system har även aktualiserat frågor kring användning av generativ AI inom utbildning och forskning.
I en dom från Kammarrätten i Göteborg den 3 september 2024 behandlades användningen av ChatGPT i ett disciplinärende vid Göteborgs universitet. Domstolen diskuterade bland annat gränsdragningen mellan hjälpmedel och vilseledande användning av AI-genererat innehåll.
Utvecklingen visar att AI-frågor inte längre enbart berör tekniksektorn utan får allt större betydelse inom flera rättsområden, däribland utbildningsrätt, arbetsrätt och offentlig rätt.
Analys och slutsats
Utvecklingen av AI-system innebär betydande möjligheter för företag och organisationer, men aktualiserar samtidigt omfattande juridiska frågor kring personuppgifter, ansvar och rättssäkerhet.
GDPR och AI Act visar tydligt att:
- automatiserade beslut,
- profilering,
- och generativ AI
inte längre kan betraktas som enbart tekniska frågor, utan som centrala delar av modern regulatorisk och affärsjuridisk verksamhet.
Samtidigt visar utvecklingen inom EU att tillsynsmyndigheter i allt större utsträckning är beredda att ingripa mot AI-system som inte uppfyller kraven på transparens, dataskydd och mänsklig kontroll.
För verksamheter innebär detta att juridisk compliance behöver integreras redan vid utveckling och implementering av AI-system, särskilt inom områden där automatiserade beslut påverkar individers rättigheter och möjligheter.
