Juridiska risker, ansvar och transparens vid automatiserade beslut
Den tekniska utvecklingen inom artificiell intelligens (AI) har på mycket kort tid förändrat många delar av samhället. AI används idag inom bland annat sjukvård, rekrytering, kreditbedömning, försäkringsärenden, marknadsföring och offentlig förvaltning. Tekniken möjliggör effektivisering, automatisering och analys av mycket stora datamängder, men utvecklingen för samtidigt med sig omfattande juridiska och etiska frågor kring rättssäkerhet, ansvar och mänskliga rättigheter.
AI kan beskrivas som en icke biologisk intelligens där människan inte definierat logiken bakom programmet utan där programmet själv utvecklar logiken utifrån ett givet mål. Utvecklingen innebär stora möjligheter men också betydande risker. I min rättsutredning har jag kommit fram till att:
”Det finns också en risk att AI kan förstärka redan befintlig orättvisa och diskriminering inom rättssystemet.”
I takt med att AI-system används för allt mer komplexa beslut uppkommer också frågor om transparens, ansvarsfördelning och möjligheten att kontrollera hur besluten fattas. Detta gäller särskilt inom offentlig sektor där automatiserade beslut kan få långtgående konsekvenser för enskilda individer.
Automatiserat beslutsfattande
Automatiserat beslutsfattande innebär att beslut fattas helt eller delvis genom automatiserad behandling utan mänsklig inblandning. AI-system används idag inom flera områden där besluten kan få mycket stora betydelser för människors ekonomi, rättigheter eller sociala situation.
Exempel på användningsområden är:
- kreditbedömning,
- rekrytering,
- försäkringsärenden,
- sjukvård,
- socialtjänst,
- rättsväsende,
- polisarbete,
- och offentlig förvaltning.
AI-system används ofta för att analysera stora mängder data och identifiera mönster som ligger till grund för rekommendationer eller beslut. Samtidigt är många moderna AI-system så kallade ”black box”-system där det är svårt eller omöjligt att förstå hur systemet kommit fram till ett visst resultat.
I min rättsutredning har detta beskrivits enligt följande:
”Black box AI saknar transparens och tyvärr är det svårt att upptäcka riskfaktorer innan de redan har orsakat problem.”
Denna brist på transparens innebär betydande rättssäkerhetsproblem eftersom individer kan få svårt att förstå varför ett beslut fattats eller hur beslutet kan överklagas och granskas.
GDPR och automatiserade beslut
GDPR innehåller särskilda regler om automatiserat beslutsfattande och profilering. Enligt artikel 22 GDPR har individer rätt att inte bli föremål för beslut som grundas enbart på automatiserad behandling om beslutet har rättsliga eller liknande betydande konsekvenser för personen.
I tidigare analyser har detta sammanfattats på följande sätt:
”Enligt GDPR har individer rätt att inte bli föremål för beslut som grundas enbart på automatiserad behandling och profilering, om dessa beslut har rättsliga eller betydande effekter för personen.”
Det innebär att företag och myndigheter måste säkerställa att:
- individer informeras om att AI används,
- beslut kan förklaras och granskas,
- mänsklig intervention är möjlig,
- personuppgifter behandlas lagligt och proportionerligt,
- och att diskriminering motverkas.
GDPR bygger på principerna om transparens, proportionalitet och ansvarsskyldighet. Dessa principer blir särskilt viktiga när AI-system används för beslut som påverkar människors rättigheter eller livssituation.
AI Act och högrisk-AI
EU:s AI-förordning, AI Act, är världens första heltäckande AI-lagstiftning och syftar till att säkerställa att AI-system inom EU är säkra och förenliga med grundläggande rättigheter och europeiska värderingar.
AI Act bygger på ett riskbaserat system där vissa AI-system klassificeras som högrisk-AI. Det gäller bland annat system som används inom:
- offentlig förvaltning,
- rättsväsende,
- kreditbedömning,
- utbildning,
- biometrisk identifiering,
- och rekrytering.
För högrisk-AI ställs omfattande krav på bland annat dokumentation, transparens, riskhantering och mänsklig övervakning. Det innebär att företag och myndigheter måste kunna visa hur AI-system fungerar och säkerställa att systemen inte orsakar diskriminering eller rättsosäkerhet.
Diskriminering och rättssäkerhet
AI-system tränas på historiska data. Om datamaterialet innehåller diskriminerande eller partiska mönster finns en risk att systemen återskapar och förstärker dessa.
Ett uppmärksammat exempel är den nederländska bidragsskandalen där skattemyndigheten använde ett AI-baserat beslutsstöd som felaktigt identifierade tusentals personer som bidragsfuskare, vilket fick mycket allvarliga konsekvenser för de drabbade.
Fallet illustrerar de betydande risker som kan uppstå när automatiserade beslut används utan tillräcklig transparens och mänsklig kontroll. Liknande risker finns inom exempelvis rekrytering, kreditbedömning och försäkringsverksamhet där AI-system riskerar att förstärka redan existerande samhällsskillnader och diskriminering.
Upphovsrätt och AI-genererat material
Den tekniska utvecklingen har även aktualiserat omfattande immaterialrättsliga frågor. AI-system tränas på mycket stora mängder material, däribland texter, bilder och konstnärliga verk som ofta omfattas av upphovsrättsligt skydd.
I min rättsutredningar har jag konstaterat att:
”För att AI ska kunna skapa bilder behöver den tränas på väldigt många bilder.”
Detta har lett till flera internationella rättsprocesser där konstnärer och fotografer riktat krav mot AI-företag för användning av upphovsrättsskyddat material utan tillstånd.
Högsta domstolen behandlade i rättsfallet NJA 2015 s. 1097 frågor kring digital spridning av upphovsrättsskyddade verk genom den så kallade ”Freedom of Panorama”-principen. Även om målet inte direkt avsåg AI så visar det ändå på principiella frågor om hur upphovsrättsligt skyddat material får användas i digitala miljöer och i samband med teknisk utveckling.
Frågan om vem som äger rättigheterna till AI-genererat material har också aktualiserats i svenska rättsfall. I det så kallade Babblarna-fallet (A 69/18) uppstod en tvist om förfoganderätten till det välkända barnkonceptet. Fallet illustrerar vikten av tydliga avtalsregleringar kring immateriella rättigheter och aktualiserar samtidigt frågor om hur upphovsrätten ska bedömas när AI används som verktyg i skapandeprocessen.
I tidigare analyser har detta beskrivits enligt följande:
”Om AI-n hade skapat verken mer eller mindre självständigt, utan att någon människa varit med och bidragit med en kreativ insats så hade verken mest troligt inte fått upphovsrätt.”
Det rättsliga läget är fortfarande under utveckling men mycket talar för att upphovsrätt även fortsättningsvis kommer att förutsätta någon form av mänskligt skapande eller kreativ kontroll över resultatet.
Ansvarsfrågor
En central juridisk fråga är vem som bär ansvar när AI-system orsakar skada eller när systemet fattar felaktiga beslut. Ansvar kan aktualiseras för:
- utvecklare,
- leverantörer,
- användare,
- myndigheter,
- företag,
- konsulter,
- och systemägare.
I tidigare analyser har detta sammanfattats enligt följande:
”Ansvar kan omfatta utvecklare, användare, ägare och tredje parter involverade i utveckling, driftsättning eller användning.”
Enligt skadeståndsrättsliga principer krävs normalt vårdslöshet och adekvat kausalitet för att ansvar ska kunna utkrävas. Problemet är att AI-systemens komplexitet ofta gör det svårt att fastställa:
- vem som orsakat felet,
- om felet varit förutsebart,
- och hur beslutet faktiskt fattats.
Detta gör ansvarsfrågorna särskilt svåra inom AI-rätten.
AI som hjälpmedel eller vilseledande verktyg
AI kan användas både som hjälpmedel och som verktyg för vilseledande. Ett aktuellt exempel är Kammarrätten i Göteborgs dom den 3 september 2024 rörande användning av AI inom universitetsutbildning.
I domen uttalade domstolen bland annat följande:
”AI-verktyg kan användas på olika sätt. När ett AI-verktyg exempelvis används för att söka efter litteratur utgör det ett hjälpmedel i traditionell bemärkelse.”
Domstolen konstaterade samtidigt att användningen av AI-genererade falska citat och felaktiga källhänvisningar kunde utgöra vilseledande. Fallet illustrerar vikten av mänskligt ansvar även när AI används som hjälpmedel och visar att användaren fortfarande ansvarar för innehållets korrekthet och rättsenlighet.
Slutsats
AI-tekniken innebär stora möjligheter men också betydande juridiska och etiska risker. Automatiserat beslutsfattande kan effektivisera både offentlig och privat verksamhet, men riskerar samtidigt att skapa rättsosäkerhet, diskriminering och bristande transparens om systemen används utan tillräcklig kontroll.
GDPR och AI Act ställer därför omfattande krav på företag och myndigheter som använder AI-system. Det krävs tydliga ansvarsfördelningar, dokumentation, transparens och mänsklig kontroll för att säkerställa att AI används i enlighet med grundläggande rättigheter och rättsstatliga principer.
I takt med att AI-system får allt större inflytande över människors vardag kommer frågor om ansvar, etik och rättssäkerhet att bli allt viktigare. Utvecklingen visar att juridiken måste utvecklas i takt med med tekniken för att säkerställa att AI används på ett säkert, proportionerligt och rättssäkert sätt.
