Åpen KI gjør oss mer sårbare

I et betimelig innlegg her i avisen 3. august skriver Michael Riegler og Klas Pettersen at de støtter et åpent brev som tar til orde for åpne KI-modeller.

En KI-modell er ansett som åpen hvis vektene er tilgjengelige for alle. Det er vektene som avgjør hva modellen svarer, og de er resultatet av treningen som har skapt modellen. Med åpne vekter kan hvem som helst gjenskape, endre og teste modellen.

Fordelene med åpen KI er blant annet at forskere og små selskaper får tilgang til modeller de aldri kunne trent selv, brukerne får mer kontroll over egne data og prosjekter ved å kunne kjøre dem på egne servere, og makten fordeles på flere enn en håndfull teknologiselskaper i Silicon Valley.

Problemet er bare at åpne modeller også gjør oss mer utrygge.

For når vektene publiseres åpent, forsvinner de sikkerhetsmekanismene lukkede modeller er avhengige av. Lukkede modeller er trent til å avslå forespørsler på områder der skadepotensialet er stort, som avansert biologi, kjemi og verktøy for dataangrep. I tillegg leser egne kontrollmodeller både spørsmål og svar mens samtalen pågår, og stopper utvekslingen hvis innholdet krysser grensen.

Disse sikkerhetsmekanismene kan helt enkelt fjernes fra åpne modeller. Og som Riegler og Pettersen skriver, kan åpne modeller hverken rettes eller trekkes tilbake når vektene først er ute. Dette er spesielt foruroligende ettersom kunstig intelligens reduserer barrierene for utvikling av smittsomme sykdommer og biologiske våpen.

Biologiske våpen har en lang historikk i krigføring, blant annet da Japan angrep Kina med pest under annen verdenskrig, eller da Sovjetunionen gjorde kopper til et biologisk våpen og utviklet antibiotikaresistent pestunder den kalde krigen.

I dag har land som Russland og Nord-Korea aktive, offensive biologiske våpenprogrammer. Terroristgrupper gjorde på 1980- og 1990-tallet flere forsøk på å utvikle biologiske våpen basert på ebola, salmonella og miltbrann. Og Al Qaida og Isis har tidligere vist interesse for biologiske våpen, men ga opp grunnet tekniske utfordringer. De hadde både vilje, penger og tilgang på informasjon, men manglet ekspertise.

KI-modeller kan hjelpe ondsinnede aktører med å identifisere nye virus med potensial til å starte pandemier hvor eksisterende vaksiner ikke er effektive. KI-selskapet Anthropic sier nå at deres nyeste modeller kan gi meningsfull hjelp til personer med grunnleggende teknisk bakgrunn med å lage eller skaffe kjente biologiske våpen. Kombinert med automatiserte biolaboratorier kan KI forenkle prosessen med å designe og ta i bruk biologiske våpen betydelig.

Forrige uke presenterte forskere ved Stanford og Arc Institute de første komplette virusgenomene designet av KI. Modellen de brukte, Evo, er sluppet med åpne vekter. Virusene angriper bare bakterier, blant annet fordi Evo er trent uten virus som smitter mennesker, men forskere har allerede vist at den sperren kan svekkes ved å trene modellen videre.

Åpne modeller gjør oss altså mer sårbare for cyberangrep og farlig biologi.

I Langsikt er vi genuint usikre på hva som er riktig svar i debatten om åpne og lukkede modeller. Spørsmålet er blant de vanskeligste i KI-debatten, fordi usikkerheten er stor og tunge hensyn står mot hverandre.

Det vi derimot er helt sikre på, er at vi trenger mer tid til å finne ut av problemstillinger relatert til alt fra åpne modeller til militær KI-bruk. Men det er lettere sagt enn gjort når KI-utviklingen raser av gårde i eksponentielt tempo.

I Langsikt støtter vi derfor et annet opprop som også ble publisert forrige uke: «Pacing the Frontier», som er underskrevet av mer enn 1000 ledende KI-forskere. Oppropet er adressert til amerikanske beslutningstagere og tar til orde for å «pace» eller styre tempoet på utviklingen til vi bedre er i stand til å finne ut av disse spørsmålene.

Vanskelige spørsmål blir ikke lettere av å besvares raskt. Å styre tempoet kan gi oss tid til å oppdage og forstå problemer mens det ennå er mulig å gjøre noe med dem. Etter hvert som modeller blir enda mer kapable, må de åpne modellene være trygge fra første dag – og foreløpig er det ingen som kan garantere at de er det.