Når en AI-algoritme bestemmer at du er frisk nok

Nøkkelinnsikt

• Algoritmen traff bare 20-25 prosent av gangene, men ansatte ble straffet for å avvike fra den. Når selskapet måler lydighet mot AI i stedet for pasientutfall, blir algoritmen den reelle beslutningstakeren uavhengig av treffsikkerheten
• Feilmarginen ble strammet fra 3 til 1 prosent over tid. Det viser at systemet optimerte for kostnadseffektivitet, ikke for bedre forutsigelser
• Ifølge et gruppesøksmål ble 90 prosent av påklagede avslag omgjort, men bare 0,2 prosent av pasientene klager. Algoritmens virkelige makt ligger ikke i nøyaktigheten, men i at de fleste pasientene ikke vet at de kan kjempe imot

Kort fortalt

I BBCs dokumentarserie AI Confidential møter matematikeren Hannah Fry Amber, en ergoterapeut med 20 års klinisk erfaring. Amber forteller hvordan hun ble satt til å mate pasientdata inn i en AI-algoritme kalt Predict, som bestemte når pasienter skulle skrives ut. Ifølge Amber traff algoritmen bare 20-25 prosent av gangene og foreslo typisk tre til fire dager for kort liggetid. Likevel ble hun målt på hvor nært hun holdt seg til algoritmens dato. Til slutt mistet hun jobben fordi hun ikke innfridde kravene. Ekstern journalistikk fra STAT News har senere knyttet denne typen algoritme til selskapet naviHealth, nå eid av UnitedHealth Group, som er gjenstand for et gruppesøksmål og en granskning i det amerikanske senatet.

---

Hva Predict-algoritmen gjør

Amber jobbet som ergoterapeut (en fagperson som hjelper pasienter å mestre daglige aktiviteter etter skade eller sykdom) i 20 år. Sykehus, klinikker, hjemmebesøk. Så gikk hun over i en rolle som omsorgskoordinator, altså en som styrer overgangen mellom sykehus og hjem.

Hver gang hun fikk en ny pasient, samlet hun inn legejournaler, innleggelsesnotater og terapivurderinger. Alt dette la hun inn i et program kalt Predict, som genererte en anbefalt utskrivningsdato. Selskapet bak algoritmen hevdet at den lærte av 6 millioner tidligere pasientforløp. Tanken var enkel: med nok historiske data kan systemet anslå når en pasient ikke lenger trenger spesialisert pleie.

I teorien er det ingenting galt med det. Pasienter har det som regel bedre hjemme. Men det forutsetter at de faktisk er friske nok til å reise hjem. Og her sviktet algoritmen.

Tre av fire ganger feil

Når Fry spør hvor ofte Predict traff riktig, nøler ikke Amber. «Sannsynligvis 20 prosent av gangene», sier hun. «20, 25 prosent.»

Det betyr at algoritmen bommet på omtrent tre av fire pasienter. Og feilene gikk konsekvent i én retning. Predict gjettet ikke tilfeldig for høyt og for lavt. Den foreslo nesten alltid tre til fire dager for kort liggetid. Det er en vesentlig forskjell: et system som bommer tilfeldig begge veier er upresist, men nøytralt. Et system som konsekvent kutter rehabiliteringstiden har en innebygd slagside mot raskere utskrivning.

Fry stiller det åpenbare oppfølgingsspørsmålet: med all sin erfaring, kunne Amber bruke sitt faglige skjønn til å overprøve algoritmen?

«Hadde ikke det vært fint?», svarer Amber med en latter som sier alt. Svaret var nei.

---

Fra verktøy til sjef

Selskapet satte et krav: Ambers faktiske utskrivningsdatoer måtte holde seg innenfor 3 prosent av det algoritmen foreslo. Over tid ble marginen strammet til bare 1 prosent.

Her skifter systemet karakter. 3 prosent ga allerede lite rom for faglig vurdering. Ved 1 prosent var algoritmens svar i praksis den endelige beslutningen. For en pasient med 30 dagers opphold betyr 1 prosent at Amber knapt kunne avvike en halv dag. Overskred du marginen, ble du fortalt at du «kostet selskapet for mye penger.»

Konsekvensene var reelle. «Denne pasienten som er veldig syk og ikke kan komme seg ut av sengen, gjett hva? 10 dager, og du er ute herfra. Det er ikke greit», forteller Amber. Hun nådde aldri kravet på 1 prosent. Det var en del av grunnen til at hun mistet jobben.

Legg merke til hva selskapet valgte å forbedre. De investerte ikke i å gjøre algoritmen mer treffsikker. De investerte i å tvinge ansatte til å følge den tettere. Når forbedringsstrategien er «adlyd maskinen hardere» i stedet for «gjør maskinen bedre», har du avslørt hva du faktisk bryr deg om.

---

Den menneskelige kostnaden

Det mest slående i Ambers fortelling handler ikke om algoritmen. Det handler om hva den gjorde med menneskene som ble fanget mellom den og pasientene.

Amber sa alltid til familiene at hun bare var budbringeren. At hun ikke tok avgjørelsene. Familiene skrek til henne likevel. For dem var Amber ansiktet på en beslutning de opplevde som urettferdig. Algoritmen var usynlig. Den som leverte beskjeden tok imot sinnet.

«Jeg ville bare si: 'Nei, jeg er hundre prosent enig med deg. Moren din burde ikke skrives ut nå.'» Men det fikk hun ikke lov til.

Dette er et mønster verdt å gjenkjenne. Når selskaper bruker algoritmer til å ta upopulære avgjørelser, skjermer systemet beslutningstakerne fra konsekvensene mens det eksponerer de ansatte i førstelinjen for alle sammen.

---

Det videoen ikke forteller

BBC-klippet navngir verken selskapet bak algoritmen eller organisasjonen Amber jobbet for. Amber sier bare «the Predict» og «et program.» Men ekstern journalistikk fyller inn hullene.

Undersøkende journalistikk fra STAT News (en Pulitzer-nominert serie kalt «Denied by AI») identifiserte algoritmen som nH Predict, bygget av selskapet naviHealth. naviHealth eies nå av Optum, et datterselskap av UnitedHealth Group. Ifølge et gruppesøksmål ble 90 prosent av påklagede nH Predict-avslag til slutt omgjort. Det høres ut som en knusende dom over algoritmens treffsikkerhet. Men det er et avgjørende forbehold: bare 0,2 prosent av pasientene klager noensinne.

Den statistikken er nøkkelen til å forstå hvordan systemet fungerer i praksis. Algoritmen trenger ikke å ha rett. Den trenger bare å være vanskelig å utfordre. De fleste pasientene som forlater sykehus eller rehabilitering er eldre, syke og overveldet. De er ikke i posisjon til å navigere en klageprosess. Algoritmens virkelige makt ligger ikke i forutsigelsene. Den ligger i friksjonen den skaper mellom pasienten og behandlingen de trenger.

---

Hvordan tolke disse påstandene

Verktøy eller beslutningstaker?

Selskaper som bruker algoritmer som Predict, beskriver dem gjerne som «beslutningsstøtteverktøy» som informerer menneskelig vurdering. Ambers fortelling viser det motsatte. Når lydighet håndheves på 1 prosent og ansatte mister jobben for å avvike, er algoritmen ikke et støtteverktøy. Den tar beslutningen og bruker et menneske til å formidle den.

Hva videoen ikke viser

Klippet er tre minutter langt, hentet fra en lengre dokumentarserie. Vi hører bare Ambers versjon. Vi hører ikke selskapets svar, ser ikke algoritmens interne valideringsdata, og vet ikke hvor typisk opplevelsen hennes var. Ambers vitnesbyrd er spesifikt og detaljert, men det er ett perspektiv i en større historie. STAT News' etterforskning gir tilleggsbevis og kontekst.

Det underliggende insentivproblemet

Ambers fortelling avdekker noe som går langt utover én algoritme. Når et selskap måler ansatte på lydighet mot en modell i stedet for pasientutfall, har systemet i praksis flyttet beslutningsmyndigheten fra fagfolk til programvare. Algoritmen trenger ikke å være treffsikker for å ha makt. Den trenger bare å være det de ansatte måles mot.

Spørsmålet er ikke om AI kan brukes i helsevesenet. Det kan den. Spørsmålet er hvem som holdes ansvarlig når forutsigelsen er feil. Hvis svaret er «den ansatte som ikke fulgte algoritmen», har systemet et alvorlig ansvarsproblem.

---

Ordliste

---

Kilder og ressurser