Generativ AI kan virke sikker, men likevel ta grundig feil

Språkbaserte AI verktøy som ChatGPT, Claude og Copilot fremstår ofte selvsikre og velformulerte. Nettopp derfor er de også risikable. De kan servere påstander forkledd som fakta, og gjøre det uten å nøle. Fenomenet omtales som hallusinering og er en årsak til at mennesker ikke blir overflødige, men desto mer nødvendige.

Når AI finner på ting

Disse modellene er i stand til å produsere hele forskningsartikler med tilsynelatende troverdige forfattere, titler og referanser. Problemet er at mye av dette kan være fiksjon. Resultatet er innhold som ser seriøst ut, men mangler forankring i virkeligheten. Et kjent eksempel kom i 2023 da en advokat i New York benyttet ChatGPT til juridisk forarbeid. Dokumentene inneholdt rettsavgjørelser som aldri hadde funnet sted. Feilen ble raskt avslørt i retten og saken fikk internasjonal oppmerksomhet. Hendelsen illustrerer et poeng mange overser, nemlig at AI ikke vet når den tar feil.

Bilde fra artikkel i The New York Times som omtaler rettsaken rundt advokaten Steven A. Schwartz bruk av AI.

Hvorfor det skjer

Årsaken ligger i hvordan språkmodeller er bygget. De har ingen forståelse av verden slik mennesker har. De evaluerer ikke sannhet men sannsynlighet. Ifølge Martin Jensen, leder for AI og transformasjon i TRY, er språkmodellen bare kjernen i et større system. Den genererer tekst basert på mønstre i enorme datamengder uten å vurdere om innholdet faktisk stemmer.

En moderne språkmodell kan levere overbevisende svar, men er optimalisert for det mest sannsynlige, ikke det mest korrekte. Når treningsgrunnlaget består av hele internett, med en blanding av kvalitet propaganda feil og rene påfunn, blir også resultatet uforutsigbart.

Dette er grunnen til at AI kan presentere fullstendig oppdiktede forskningsreferanser med samme autoritet som ekte kilder. Det samme gjelder analyser vurderinger og anbefalinger. Formen er solid, men fundamentet kan være svakt.

Skepsisen merkes også blant brukere. Mange opplever det som krevende å verifisere informasjon fra AI, og tilliten til AI-generert innhold er lavere enn før. Når rapporter også viser skjevheter og bias i hvordan AI vurderer mennesker, handler det ikke bare om faktafeil, men om konsekvenser i praksis.

Derfor blir mennesker viktigere

Det er viktig å skille mellom ulike typer kunstig intelligens. Regelbaserte systemer leverer forutsigbare resultater. Hallusinering er i hovedsak knyttet til åpne språkmodeller som brukes til tekst og dialog.

Selv avanserte AI agenter trenger menneskelig kontroll. Å be AI kvalitetssikre seg selv fungerer bare delvis. Ansvaret kan ikke automatiseres bort.

Hallusinering er ikke noe man kan fikse med en enkel oppdatering. Det er en del av hvordan språkmodeller fungerer. Nettopp derfor er menneskelig vurdering en forutsetning.

 

Artikkelen bygger på innsikter fra TRYs rapport «AI anno 2025 – Et dypdykk i kreativitet, ringvirkninger og lønnsomhet»