Kammeradvokaten har udarbejdet en omfattende DPIA af Microsoft Copilot på vegne af Statens IT for at afklare, om og hvordan løsningen kan bruges lovligt af offentlige myndigheder.
Når AI tages i brug i stor skala, særligt i en offentlig kontekst, opstår der risici, som ikke kan håndteres med en simpel risikovurdering. Det kræver udarbejdelse af en konsekvensanalyse for at sikre en systematisk vurdering af de risici der opstår ved behandling af personoplysninger og hvilke foranstaltninger, der skal på plads.
DPIA’en for Copilot redegør for, hvordan teknologien vil blive anvendt i praksis, hvilke risici, der er forbundet med brugen, og hvordan de kan håndteres. Resultatet er en form for ”model-konsekvensanalyse”, som myndigheder og private organisationer kan tage udgangspunkt i, når de selv skal vurdere brugen af AI.
Hvad er en DPIA – og hvorfor er den relevant her?
En DPIA (Data Protection Impact Assessment) eller på dansk ”konsekvensanalyse” er en analyse, der bruges til at vurdere, hvordan en behandling af personoplysninger påvirker de registreredes rettigheder og frihedsrettigheder.
Efter GDPR er det et krav at udarbejde en DPIA, når en behandling sandsynligvis vil medføre høj risiko for de registreredes rettigheder. Det gælder typisk ved brug af ny teknologi, behandling af følsomme oplysninger eller situationer, hvor data behandles i stor skala.
Copilot er en generativ AI og kan anvendes bredt på tværs af organisationen, bl.a. i arbejdsgange hvor der indgår personoplysninger. Det gør det nødvendigt at vurdere, hvordan personoplysninger behandles i de forskellige situationer såsom informationssøgning, opslag i e-mails og beslutningsstøtte, og hvilke risici der følger med. DPIA'en er i den forbindelse et værktøj til at skabe overblik over behandlingens karakter, dokumentere vurderinger og sikre, at brugen af teknologien sker inden for rammerne af GDPR.
Tre cases for Copilot
I DPIA’en er brugen af Copilot opdelt i tre overordnede ”use cases”. Formålet er at skabe en klar afgrænsning af, hvordan løsningen anvendes i praksis, og hvordan risikoniveauet varierer afhængigt af konteksten.
1. Generel sagsbehandling (intern brug)
Den første use case dækker almindelig sagsbehandling, hvor Copilot bruges til at udarbejde kontraktmateriale, PowerPoint og referat af interne møder.
Her er der typisk tale om behandling af almindelige personoplysninger, og risikoniveauet vurderes derfor som lavt, da Copilot primært fungerer som et produktivitetsværktøj, og anvendelsen ligger tæt op ad eksisterende arbejdsprocesser.
I praksis betyder det, at en medarbejder fx kan bruge Copilot til at opsummere en længere sag, formulere et udkast til et notat eller forbedre sproget i en eksisterende tekst. Copilot understøtter arbejdet, men træffer ikke selv beslutninger og ændrer ikke på sagens indhold.
2. Administrativ støtte (intern supportchat)
Den anden use case omfatter brugen af Copilot til faglig sparring for inden for arbejdsområderne HR, IT og økonomi.
Der vil alene blive behandlet almindelige personoplysninger, medmindre medarbejderen indsætter følsomme personoplysninger om sig selv.
I praksis kan det fx være en HR-medarbejder, der bruger Copilot til at undersøge reglerne om optjening af feriepenge eller får hjælp til at forklare en procedure. Opgaverne er interne, og Copilot bruges som sparringspartner – ikke som beslutningstager.
3. Borgerrettet sagsbehandling
Den tredje case adskiller sig væsentligt fra de to øvrige. Her anvendes Copilot i forbindelse med borgerrettet sagsbehandling, hvor der kan indgå følsomme oplysninger (fx helbredsoplysninger efter art. 9) og andre fortrolige oplysninger. Det øger både kompleksiteten og konsekvensen ved fejl, og risikoniveauet vurderes derfor som højt.
I praksis kan det være, at Copilot bruges til at opsummere en borgers sag eller give input til en afgørelse. Fordi der indgår følsomme personoplysninger, og fordi Copilots output kan påvirke sagsbehandlerens beslutninger, stiller det langt større krav til kontrol, kvalitetssikring og menneskelig vurdering.
På tværs af de tre cases er pointen, at risikoen afhænger af, hvordan Copilot bruges. Det afgørende er især, hvilke personoplysninger der behandles, hvor tæt anvendelsen er på beslutninger og hvor stor vægt, der tillægges outputtet. Jo tættere anvendelsen er på opgaver med borgeroplysninger og afgørelser, desto højere bliver kravene til kontrol, dokumentation og governance.
De væsentligste risici ved brug af Copilot
En central del af DPIA’en er at identificere de risici, der opstår ved brugen af Copilot i relation til behandling af personoplysninger.
På tværs af risici er pointen, at udfordringerne ikke kun er tekniske. De opstår i samspillet mellem teknologi, data og menneskelig anvendelse, og det er derfor, DPIA’en har stort fokus på governance og korrekt brug af Copilot. Vi vil nu fremhæve nogle af de mest centrale risici ved brugen af Copilot som blev vurderet i Kammeradvokatens DPIA.
Bias og diskrimination
Copilot genererer svar, der bygger på mønstre i data, som kan være skæve eller ufuldstændige. Det kan føre til bias i output – særligt hvis værktøjet bruges som støtte i vurderinger eller beslutninger. I en offentlig kontekst kan det medvirke til diskrimination og forkert sagsbehandling.
Hallucinationer og fejlagtigt indhold
Generativ AI kan producere svar, der fremstår overbevisende, men som ikke er korrekte. Hvis output anvendes ukritisk, kan det føre til fejl i sagsbehandling. Risikoen øges i takt med, hvor meget man læner sig op ad systemets svar.
Forkert eller ukritisk brug af systemet
En væsentlig risiko er, hvordan medarbejdere anvender Copilot i praksis. Hvis værktøjet bruges uden forståelse for begrænsningerne, kan det føre til, at der deles for mange oplysninger, eller at output tillægges for stor vægt.
Uautoriseret adgang til personoplysninger
Afhængigt af konfiguration og adgangsstyring kan der være risiko for, at Copilot giver adgang til information, som brugeren ikke burde have indsigt i. Det stiller krav til styring af rettigheder og datatilgængelighed.
Uklar ansvarsfordeling
Når AI indgår i arbejdsprocesser, kan det blive uklart, hvem der har ansvaret det overordnede ansvar for implementeringen af AI i organisationen. Det kan indebære ansvaret for at sikre foranstaltninger som test af AI, træning af medarbejder, revurdering af AI mm. Dette gør man typisk ved at udpege en AI-ansvarl (også kaldet AI Compliance Officer). Dette er særligt vigtigt for at sikre, at governancedelen ikke tabes mellem to stole.
Sådan vurderes og reduceres risici
I DPIA’en bliver risici ikke bare identificeret – de bliver også vurderet og håndteret. Det sker ved at man vurderer sandsynligheden for, at en risiko opstår, og konsekvensen, hvis den gør.
Konkret vurderes hver risiko ud fra:
- Hvad kan gå galt?
- Hvor sandsynligt er det, at det sker?
- Hvilken betydning (konsekvens) vil det have for de registrerede?
På den baggrund fastlægges et risikoniveau, som efterfølgende reduceres gennem konkrete foranstaltninger. Det er vigtigt at være opmærksom på, at målet ikke skal være at fjerne al risiko. Det handler om at reducere det til et niveau, der vurderes som acceptabelt i forhold til behandlingen.
Flere centrale foranstaltninger går igen på tværs af de tre cases:
Adgangsstyring: Begrænser hvilke personoplysninger Copilot har adgang til, og hvem der kan bruge løsningen. Det reducerer risikoen for, at følsomme oplysninger bliver eksponeret til de forkerte personer.
Medarbejdertræning: Brugen af Copilot afhænger i høj grad af den enkelte medarbejder. Derfor er det afgørende, at brugerne forstår både muligheder og begrænsninger, herunder hvad de må og ikke må dele med systemet.
Human review: Output fra Copilot må ikke stå alene. Der skal altid være en menneskelig vurdering, særligt i ved behandling af borgersager. Det er en central kontrolmekanisme i forhold til fejl og bias.
Dataminimering: Der bør kun anvendes de oplysninger, der er nødvendige for opgaven. Det gælder både i forhold til, hvilke personpolysninger der er tilgængelige for Copilot, og hvad brugeren aktivt indtaster.
Logging og dokumentation: For at kunne leve op til GDPR’s krav om ansvarlighed er det nødvendigt at kunne dokumentere brugen af Copilot. Det indebærer bl.a. logging af prompts og output, mulighed for audit og dokumentation af, hvordan AI-baseret input indgår i beslutningsgrundlaget.
Roller og ansvar: Hvem har ansvaret for hvad?
Ved brug af Copilot er organisationen som udgangspunkt dataansvarlig, mens Microsoft typisk fungerer som databehandler. Det forudsætter, at der er indgået en gyldig databehandleraftale, og at løsningen er konfigureret korrekt.
Organisationen, der bruger Copilot har således ansvaret for:
-
hvilke personoplysninger der behandles
-
hvilke formål Copilot anvendes til
-
hvordan output indgår i arbejdsgange og beslutninger
Microsofts rolle er derimod begrænset til at levere infrastrukturen og behandle data efter instruks. Det betyder, at fejl, uhensigtsmæssig brug eller for bred adgang til data ikke kan placeres hos leverandøren, men ligger hos organisationen selv.
I praksis gør det konfiguration og governance til et centralt compliance-spørgsmål. Hvis Copilot får adgang til for mange data, eller bruges uden klare rammer, er det ikke et teknisk problem, men et brud på organisationens ansvar som dataansvarlig.
Hvad siger DPIA’en om lovligheden af Copilot?
En central konklusion i DPIA’en er, at Copilot kan anvendes lovligt inden for de definerede cases, forudsat at en række betingelser er opfyldt. Først og fremmest, at løsningen er korrekt konfigureret, så adgangen til personpolysninger er begrænset, og at brugen sker inden for de use cases som vi beskrev ovenfor. Derudover er det afgørende, at organisationen har et gyldigt behandlingsgrundlag, og at medarbejdere i praksis anvender systemet korrekt.
Brugen af Copilot i ovenstående use cases vurderes ikke til at udgøre high-risk system i henhold til AI Act. Det betyder dog ikke, at alle anvendelser af Copilot falder uden for high-risk kategorier. Klassificeringen afhænger således af den konkrete brug og skal vurderes konkret hver gang.
Den vigtigste læring fra kammeradvokatens DPIA
Kammeradvokatens DPIA af Copilot er interessant, fordi den viser, hvordan man arbejder struktureret med en teknologi, der er kompleks og svær at kontrollere.
Den vigtigste læring er, at AI ikke er plug and play. Lovligheden afhænger ikke af værktøjet alene, men af hvordan det implementeres, hvilke data der anvendes og hvordan medarbejdere bruger det i praksis. Det stiller krav til governance og løbende vurderinger.
For offentlige myndigheder fungerer DPIA’en som et fælles udgangspunkt, hvor andre offentlige myndigheder skal tilpasse DPIA’en til deres konkrete brug. Private organisationer kan i højere grad bruge den som reference til at forstå:
-
hvilke risici der skal adresseres
-
hvilke foranstaltninger der forventes
-
hvordan en DPIA kan struktureres i praksis
Som organisation bør I som minimum:
-
sikre klare retningslinjer for brugen af Copilot
-
vurdere, om anvendelsen af Copilot kræver en DPIA
-
implementere tekniske og organisatoriske foranstaltninger
-
forankre ansvar og governance tydeligt i organisationen
Det er vigtigt at huske på, at kammeradvokatens DPIA af Copilot ikke er en facitliste. Den kan ikke genbruges direkte, men skal oversættes, tilpasses og forankres i den enkelte organisation.
