23.10.2019
Det automatiserade beslutsfattandet är redan en realitet som få av oss känner till. Vad gäller de rättsliga problem som uppstår när det inte är en person utan ett system som fattat ett beslut har lagstiftningen ännu inte löst.
Markku Suksi, professor i offentlig rätt vid Åbo Akademi, säger att den lagstiftande makten alltid försvarat sin legitimitet genom att hänvisa till något yttre. Ändra fram till 1800-talet refererade kungar och regenter till Guds ordning. Gud var alltså den yttersta garanten för de regerandes rätt att regera. De styrande behövde inte redovisa sitt beslutsfattande för allmänheten, som heller inte hade någon insyn i argumentationen som låg bakom lagstiftning och andra myndighetsbeslut.
I kungadömet Sverige ändrades ordningen på 1700-talet, bland annat genom Karlebybördige Anders Chydenius modiga arbete, då befolkningen år 1766 fick tillgång till de dokument som utgjorde grunden för beslutsfattande. Det innebar början på ett paradigmskifte i Europa som fick sitt synligaste uttryck i den franska revolutionen 1789, varefter religiösa motiveringar och religiöst motiverad legitimitet började försvinna ur lagstiftningen och i våra dagar högst har en ceremoniell betydelse.
Lagstiftningen hittade istället sin legitimitet i språket. Dels så att språket var förankrat i en nationalistisk idé om ett folk och ett språk och därför hade ”landets lag” legitimitet, dels så att den myndighet som tolkar lagarna tolkar texter och ger genom texterna uttryck för offentlig makt över de medborgare som utgör folket. Men lagtexten har alltså själv också självständig auktoritet i och med att den har status som lagtext. Det finns ingen Gud som hänvisas till bakom texterna.
Det paradigmskifte som vi nu ser början till, eller som kanske redan hunnit längre in i än vad vi anar, är enligt Markku Suksi ett skifte från språk till algoritmer. Att algoritmer tagit över förekommer redan i stor utsträckning inom den privata sektorn, men även inom den offentliga sektorn vad gäller massbeslut som utbetalning av socialskydd, insamling av skatter, med mera. En viss form av beslutsfattande kan alltså vara automatiserad och görs inte i stunden av en särskild person, utan det automatiserade systemet tar ett visst ”beslut”, givet att det digitala systemet matats med viss information. Beslut inom citattecken eftersom det inte är helt uppenbart vad ett beslut är om det inte är fattat av en människa. För den som nås av ”beslutet” är det inte desto mindre ett beslut med alla konsekvenser som ett beslut fattat av en tjänsteinnehavare har.
– Det finns ju en föreställning att det här ger oss ett rationellt beslutsfattande, man tänker sig på många håll idag att ett automatiserat system ”vet” bäst, säger Suksi.
– Men vad systemet vet hänger förstås på dem som programmerat det, och det är klart att människors, det vill säga programmerarnas och beställarnas, egna föreställningar och begränsade perspektiv överförs på systemet. Samtidigt kan det vara oklart hur ändringar i lagstiftningen införs i sådana beslutssystem och hur domstolars beslut som påverkar besluten införs som ändringar i programmet.
Att föreställningar överförs gäller förstås också för lagtext, även att lagen kan innehålla blinda punkter. Men vad gäller automatiserade system finns många andra parametrar på plats än bara lagtext, till exempel ett system som ska tolka texten, eller en uppsättning inprogrammerade färdiga tolkningar. Hos en viss typ av optimistiska teknokrater härskar en föreställning om att man kommer att nå en opartisk och rationell rättvisa genom att få bort människan ur systemet. Men då glömmer man möjligen att det fortfarande är mänskliga avvägningar som ligger bakom allt som sätts in i systemet, och att även det mest entydiga språk, dit juridiska texter väl får räknas, behöver uttolkare (jurister) när samma juridiska texter ska möta verkligheten. Detta bland annat för att man ska kunna döma en situation efter ”andan i lagen”, vilket är ett luddigt begrepp som inte lätt låter sig formaliseras men nog anses vara avgörande för att rättvisa ska skipas.
– Det finns bias också i testdata som de automatiserade systemen grundar sig på, och en del andra problempunkter som inte är lätta att hantera smyger sig också in.
När man pratar om dessa automatiserade beslutssystem, pratar man om artificiell intelligens. Men vad är i det här sammanhanget skillnaden mellan artificiell intelligens och avancerad mjukvara?
– Jag är inte expert på den tekniska aspekten utan är främst intresserad av reglering av AI och automatiserat beslutsfattande. Men man pratar om AI i sammanhanget, och i förlängningen kanske om ett artificiellt ”medvetande”, även om detta i dagens läge är mera science fiction än en möjlighet eller realitet. I anslutning till automatiserat beslutsfattande handlar det om skillnaden mellan regelbaserade och självlärande system, som även kan vara modellerade efter mänskliga neurala nätverk. Enligt min uppfattning kan ett automatiserat beslutssystem inom den offentliga förvaltningen inte basera sig på maskininlärning, som är en mera avancerad form av AI. Inom den privata sektorn kan man säkerligen tillåta längre gående tillämpningar av AI.
– Själv ser jag på AI lite som på väder, det vill säga att det är ett fenomen. Man kan inte kontrollera det, det är en trend som kommer att svepa över oss. Men man kan påverka och reglera vissa delar av dess framfart och skydda vissa delar från dess framfart, även om allt inte går att reglera. Själva fenomenet och styrkan i framfarten ser jag som ohejdbar. I alla fall ser det så ut just nu.
Själv ser jag på AI lite som på väder, det vill säga att det är ett fenomen. Man kan inte kontrollera det, det är en trend som kommer att svepa över oss. Men man kan påverka och reglera vissa delar av dess framfart och skydda vissa delar från dess framfart, även om allt inte går att reglera. Själva fenomenet och styrkan i framfarten ser jag som ohejdbar. I alla fall ser det så ut just nu.
Suksi tror inte att allt beslutsfattande kommer att bli föremål för automatisering. Det är den typ av massbeslut som redan nu automatiserats som kommer att automatiseras i större utsträckning.
– Men de automatiska besluten kan svårligen fattas till exempel enligt proportionalitetsprincipen, för proportionalitetsprincipen känner inte ”lukten” av omständigheter, åtminstone inte ännu. Och givet systemets ramar kan vad som helst bli rationellt – vad som är rationellt beror på premisserna och om premisserna är inom systemet finns det inget yttre som kan säga att beslutet är dåligt.
Det som kallas artificiell intelligens har förstås en massa fördelar, bland annat förmågan att hitta strukturer i massiva datamängder, mängder som är helt ohanterliga och oöverskådliga för ett mänskligt intellekt.
– Vid Esbo stad lät man processa en stor mängd kunddata inom det sociala området från befolkningen som bodde där och fick då tag på tiotals hittills osedda omständigheter som indikerade socialt illamående. Ur analysen fick man idéer som var till nytta i åtgärdandet av problemen. Det var en intressant tillämpning för att utreda vissa omständigheter, men materialet användes inte till automatiserat beslutsfattande om sociala förmåner för enskilda individer.
– Förmågan att samla data är heller inte oproblematisk, det är ingen nyhet för den som följer medier. Men tänkandet är inte nytt – den teoretiska ansatsen till att massinsamla data och behandla det genom AI har funnits sedan 1960- eller 70-talet, men hittills har verktyg och processorkraft saknats. Nu finns de och därmed finns också förutsättningar för ibruktagande av automatiserat beslutsfattande. Lyckligtvis förstörde man i Esbo-experimentet alla data genast efteråt, för att skydda integriteten hos de människor vars data använts och för att inte möjliggöra användning av dessa data i individuella fall. Men i ett land som Kina förstörs inte den informationen.
Ingen insyn i systemet
Återgår man till de massbeslutande systemen har Suksi ett exempel på en utexaminerad person som fick den avdragsberättigade studietiden felaktigt beräknad av Folkpensionsanstalten. Studietiden, som skulle ha beaktat det avbrott som militärtjänstgöringen utgjorde, hade beräknats automatiskt av systemet utan att beakta militärtjänstgöringen och meddelats automatiskt till skatteförvaltningen. Det automatiska beskattningsförfarandet upptäckte ingen felaktighet, utan lät bli att bevilja avdraget.
– Efter studietids- och beskattningsbesluten kontaktade denna studerande FPA som var överens om att studietiden borde ha räknats ut på ett annat sätt, varpå beräkningen och beskattningen korrigerades. FPA lät experter analysera hur det kom sig att det felaktiga beslutet tagits men ingen av dem kunde ge någon bra förklaring. Dessvärre hade ett flertal andra utexaminerade också fått sina studietider felaktigt beräknade, vilket föranledde många rättelser.
Hos FPA finns enlig Suksi drygt tio olika processer där ingen människa är inblandad, och FPA är inte den enda myndigheten som automatiserat sina processer.
– En fördel med de automatiserade processerna är att de i princip utesluter jäv, då inga människor är inblandade i beslutsfattandet, men som sagt kan bias eller andra felaktigheter finnas färdigt inbyggda i systemen.
En fördel med de automatiserade processerna är att de i princip utesluter jäv, då inga människor är inblandade i beslutsfattandet, men som sagt kan bias eller andra felaktigheter finnas färdigt inbyggda i systemen.
– Men det preventiva rättskyddet kommer på undantag. Det preventiva rättskyddet är här till exempel en myndighets skyldighet att ta reda på och beakta aspekter som påverkar beslutet innan det fattas. Sådant som till exempel möjligheten att inlämna kompletterande handlingar. Och hur går det med myndighetens utredningsskyldighet – hur ska den iakttas? Det är inte det att något av det här är omöjligt, men den teknologiska utvecklingen och tillämpningen har gått snabbare än lagstiftningen och vi har inget bra regelverk som reglerar det automatiska beslutsfattandet. Till exempel borde det gå att kräva att det redogörs för exakt vilka register maskinen haft tillgång till i beslutsfattandet. Och att de registerbesök maskinen gjort bokförs och redovisas i beslutet som personen får.
– Det som kallas god förvaltning kan bortfalla med det automatiska, om det inte finns någon att resonera med.
Europeiska unionens dataskyddsförordning GDPR anser Suksi att är bra vad gäller dataskyddet men snävt när det gäller det automatiserade beslutsfattandet.
– Men där finns en uppmaning att inte använda automatiserat beslutsfattande i ärenden som gäller barn. Denna uppmaning har inte ännu införts i finsk lagstiftning.
Det är ju en intressant omständighet – det pekar ju på en viss tvekan vad gäller de automatiserade systemen. Motiveras det varför automatiska system inte ska användas när det gäller barn?
– I själva verket vet jag inte, den här uppmaningen finns bara som en punkt i ingressen till EU-förordningen, det är alltså inte fråga om en bindande regel. Om jag spekulerar så kanske det handlar om att personuppgifter som gäller barn anses vara känsligare än uppgifter som gäller vuxna, och att ett automatiserat system lämnar spår, till exempel om det har tillgång till känsliga register, som ett barn inte kan påverka.
FPA:s oförmåga att redogöra för hur det felaktiga beslutet tagits är släkt med hur helt andra branscher håller på att hamna mer och mer i de digitala händerna hos avancerad programvara och enorm processorkraft: ju bättre och mer avancerade systemen är desto mindre överblick har användarna av systemet över hur det fungerar, och att alls kunna begripa sig på processerna kan kräva en mycket stor specialisering i området.
– Det fattas lagstiftning som skulle identifiera en specifik person som ansvarig för ett automatiserat beslutssystem, så att varje beslut som fattas av systemet skulle falla under en viss persons tjänsteansvar. Det finns allmänna tjänstebestämmelser för myndigheter, men ingen individ som går att peka på för varje individuellt beslut. Och det betyder att ett individuellt straffansvar och även individuellt skadeståndsansvar saknas.
– Samtidigt bör det påpekas att det alltid går att överklaga dessa beslut, efterhandsrättskyddet fungerar fortfarande. Men det är enormt resurskrävande och om det börjar ske i en större utsträckning kommer domstolarna att belastas enormt. Det är dock kanske mera sannolikt att man helt enkelt inte orkar eller bryr sig om att överklaga om man får ett beslut emot sig, som kanske gått emot en på fel grunder.
Andra områden
Frågor om det automatiska beslutsfattandet kommer enligt Suksi att visa sig på en mängd områden, bland annat ifråga om självstyrande bilar. Vems är ansvaret i en kollision – vem är den specifika personen som står till svars? Finns det en sådan, till exempel passageraren som trycker på startknappen, eller är det ett företag, såsom tillverkaren, försäljaren, mjukvarudesignern? Hur går det med straffansvaret?
Ett område där automatiserade processer redan regerar inom den privata sektorn är i de stora börsbolagens köp- och säljsystem. De reagerar på trender på bråkdelen av en sekund och aktier byter ägare i en fart som ingen människa kan följa med, annat än just genom att betrakta trenderna, som i det väsentliga styrs och formas av samma automatiserade system.
Ett annat område för användning av automatiserade processer finns i varje mobiltelefon som använder applikationer av olika slag: algoritmen föreslår reklam om produkter som telefonanvändaren tycker om, Spotify föreslår individuellt passad musik, nyhetssajterna redigerar det man läser enligt tidigare beteende och ett allt större antal sportnyheter är skrivna av automatiserade nyhetsrobotar.
Vad är artificiell intelligens?
För lekmannen är det inte uppenbart vad som skiljer artificiell intelligens från avancerad mjukvara kombinerad med stor processorkraft – vari består det nya? Ett svar är i det självlärande, att processen anpassar sig själv för att bättre motsvara de resultat man angett som önskvärda. Ett annat svar består av att mänskligt ingripande plockas bort och processen förverkligas helt på basis av algoritm och kod.
Vill man slänga sig filosofisk kan man fråga sig i vilken grad det digitala behövs för att kalla något en artificiell intelligens. Är inte stora byråkratiska system med komplicerade regelverk redan i sig en slags artificiell intelligens där det mänskliga omdömet är satt på undantag i förmån till att följa ett protokoll? Är det nya främst att besluten fattas blixtsnabbt?
Det finns förstås många goda skäl till att följa protokoll – det här är inte en invändning, men att människor som arbetar i dessa system tenderar att känna sig alienerade och utbytbara är ingen nyhet. Det är ett av de centrala dragen i det moderna samhällets berättelse, att det inte finns någon person att referera till – vilket är en av de viktiga poängerna i Markku Suksis bekymmer vad gäller den allt större automatiseringen.