Når algoritmen laver referatet: Hvad sker der med borgerens egen stemme?

Dette er et debatindlæg: Indlægget er udtryk for skribentens holdning. Alle holdninger om dit lokalsamfund, som kan udtrykkes inden for straffelovens og presseetikkens rammer, er velkomne. Du kan sende os din mening her.

Jeg har netop modtaget et brev fra JobSyddjurs om kommunens brug af kunstig intelligens.

AI kan blandt andet anvendes til udkast til referater af samtaler og svar til borgere.

Det er ikke brugen af AI i sig selv, der bekymrer mig. Teknologien kan være et både effektivt og nyttigt arbejdsredskab. Men når AI bliver en del af dokumentationen om mennesker i offentlig sagsbehandling, bør vi interessere os for mere end effektivisering.

For hvem bestemmer egentlig, hvad AI skal se efter?

AI leverer sit resultat på baggrund af de instruktioner, den får. Der er eksempelvis stor forskel på:

»Lav et neutralt referat af samtalen og medtag alle væsentlige oplysninger.«

og:

»Opsummer de oplysninger, der er relevante for borgerens muligheder for at vende tilbage til arbejdsmarkedet.«

Begge referater kan være faktuelt korrekte, men give meget forskellige billeder af den samme samtale.

Derfor er det ikke nok at vide, at AI anvendes. Vi bør også vide, hvordan.

Hvilke instruktioner og skabeloner arbejder systemet efter? Hvem har formuleret dem? Hvem bestemmer, hvad AI skal betragte som væsentligt, og hvad risikerer dermed at blive sorteret fra?

Spørgsmålene bliver ekstra relevante, fordi Syddjurs ikke blot anvender AI.

KL oplyser, at 64 kommuner deltager i et landsdækkende projekt om AI-understøttet dokumentation på beskæftigelsesområdet. Syddjurs er udpeget som skaleringsleder for klynge 3: »Skalering og Open Source«.

Kommunen skal altså ikke alene implementere teknologien, men også være med til at facilitere samarbejde og erfaringsudveksling med andre kommuner.

Det giver et særligt ansvar for gennemsigtighed.

JobSyddjurs understreger i brevet, at AI ikke træffer afgørelser, og at medarbejderen fortsat har ansvaret.

Det er vigtigt. Men menneskelig kontrol er ikke nødvendigvis det samme som fagligt kvalificeret kontrol.

Hvis AI sammenfatter en kompleks samtale om eksempelvis arbejdsevne, helbred, sociale forhold, ressourcer og begrænsninger, kræver det faglig indsigt at opdage, hvis væsentlige nuancer forsvinder, eller oplysninger får en anden betydning.

Hvis medarbejderen ikke selv har den relevante socialfaglige kompetence, hvem sikrer så kvaliteten?

Hvem kvalitetssikrer egentlig hvem?

Og hvad sker der med borgerens egen stemme?

Når en længere samtale reduceres til et AI-genereret referat, foretages der en udvælgelse: Hvad kommer med? Hvad bliver hovedpointen? Og hvad udelades?

Referatet kan bagefter blive en del af sagen og den forståelse af borgeren, som andre medarbejdere arbejder videre med.

AI behøver derfor ikke træffe en afgørelse for at få betydning for den.

Det er positivt, at JobSyddjurs oplyser om brugen af AI. Men åbenheden bør gå længere.

Kan borgeren se, når AI har været anvendt? Kan man få oplyst, hvilke instruktioner systemet arbejdede efter? Hvordan dokumenteres den menneskelige kontrol? Og hvilke faglige krav stilles til den medarbejder, der godkender resultatet?

Når Syddjurs skal være med til at skalere teknologien, bør kommunen også gå forrest med gennemsigtigheden.

For spørgsmålet er ikke kun, om AI kan træffe afgørelser om mennesker. Spørgsmålet er, hvor meget AI kan nå at påvirke forståelsen af et menneske, før et menneske træffer afgørelsen.

Kilde til projektoplysningerne: KL – AI-understøttet dokumentation på beskæftigelsesområdet