Drapsroboter og operasjonell risiko

En ny rapport fra forskningsgruppen Center for New American Security, Autonomy and Operational Risk, framhever problematiske aspekter ved autonome våpensystemer fra et militært operasjonelt perspektiv. Rapporten definerer disse systemene som våpen som har evne til å ta en avgjørelse om å drepe uten at en menneskelig operatør er involvert i avgjørelsen. Rapportforfatteren, Paul Scharre, er tidligere Army Ranger, og har operert i Irak og Afghanistan, før han arbeidet for Forsvarsministeren, blant annet med utarbeiding av USAs politikk i forhold til autonome systemer.

I motsetning til mennesker mangler autonome systemer evnen til å operere fleksibelt, bruke sunn fornuft, og tilpasse seg effektivt til nye situasjoner. Dersom slike systemer presses inn i en situasjon som ligger utenfor det de er programmert til kan de feile, med store konsekvenser.

Kompleksitet og upålitelighet
Et systems kompleksitet innvirker på en operatørs mulighet til å forutsi dets adferd. Et våpensystem med høy grad av autonomi, utviklet for å kunne operere i en rekke ulike kontekster og utføre kompliserte oppgaver, vil nødvendigvis være svært sofistikert, og derfor også komplekst. Slike systemer kan benyttes i et stort antall ulike situasjoner, utføre et stort antall ulike oppgaver, og ta avgjørelser basert på et stort antall variabler. Men denne kompleksiteten gjør det samtidig vanskelig å forutse hvordan systemet vil operere i et sammensatt, ustrukturert miljø med mange ukjente faktorer. Med økende kompleksitet både i systemet og miljøet det skal operere i, blir det praktisk umulig å teste systemet for alle de potensielle situasjonene som kan oppstå. Menneskelige operatører vil kunne ha problemer med å forstå hvor grensene for systemets adferd går, og under hvilke forhold feil kan oppstå. Selv om systemer kan testes grundig, og faren for feil reduseres betraktelig, er feil i komplekse systemer likevel uunngåelig over tid.

Det kan være mange årsaker til feil i slike våpensystemer. I et system sammensatt av veldig mange ulike deler, kan det oppstå feil på enkeltdeler som påvirker hele systemet, det kan oppstå feil i systemets programkode, interaksjonen mellom ulike elementer av systemet kan medføre systemsvikt, og fiendtlige styresmakter eller grupper kan hacke systemet og misbruke det. Samtidig kan interaksjon mellom ulike komplekse autonome systemer være ikke-lineær og uventet. Det kan tenkes situasjoner hvor store mengder våpen vender seg mot styrkene som bruker dem, eller sivilbefolkningen de skal beskytte, som et resultat av feil, hacking, manipulering eller uventede interaksjoner mellom våpen og omgivelser.

Kunstig intelligens basert på nevrale nettverk lærer gjennom eksponering for store datasett. Slike systemer har i mange tilfeller vist seg å feilidentifisere objekter, uten at forskere klarer å forstå hvorfor. Det er, som sagt, uunngåelig at det oppstår feil i slike systemer, men disse feilklassifiseringene er helt fremmede for mennesker, og viser at systemenes indre kognitive prosesser fungere helt annerledes enn menneskers.

Et våpensystem med full autonomi vil velge ut og angripe mål på egen hånd, på grunnlag av pre-programmerte kriterier. Våpen programmert til å angripe ikke-menneskelige mål vil ha vanskeligheter med å avgjøre om målet befinner seg i et bebygget område, eller et område med mange sivile, og om et angrep dermed kan medføre sivile tap. Muligheten til å avgjøre om hvert enkelt angrep er i henhold til internasjonal rett vil ikke være til stede.

Økt spenningsnivå
Autonome droner kan benyttes i konfliktområder, eller områder med høyt spenningsnivå, for å ikke risikere menneskeliv. Det er da en risiko for at systemet konfronterer et fiendtlig mål, selv om operatøren i utgangspunktet ikke ønsker dette, og dermed bidrar til eskalering av spenningsnivået eller konflikten. I en krisesituasjon kan dette ha svært alvorlige konsekvenser.

Skulle et autonomt våpensystem brukt i en slik kontekst feile kan dette medføre flere uintenderte konfrontasjoner over store områder. Uten et menneske involvert som kan justere adferd, er det høye skadepotensialet iboende i systemet. En feil i et våpen kan bety at den samme feilen oppstår i tusenvis av de samme våpnene, med de konsekvenser dette måtte ha. Det kan tenkes tilfeller hvor et autonomt våpensystem vil fortsette ulovlige uintenderte angrep helt til all ammunisjon er brukt opp.

Autonome systemer vil i mange tilfeller også ta så raske avgjørelser at det vil være vanskelig for et menneske å gripe inn før skaden allerede er skjedd, og en eskalerende situasjon er ute av kontroll. I slike tilfeller er det lite meningsfullt å ha menneskelig overoppsyn.

Militære hensyn kan presse fram bruk av autonome systemer i områder hvor kommunikasjon er utfordrende. Denne typen våpensystemer vil under slike forhold kunne operere og på egen hånd velge ut mål, uten behov for kommunikasjon med operatører. En militær utvikling med økte trusler om såkalt sverming og angrep med et stort antall taktiske enheter, som kan overvelde en menneskelig operatør, kan gjøre det stadig mer relevant å benytte defensive autonome våpen mot missiler. Denne utviklingen mot større hastighet innen krigføring, kan presse fram militære krav om større grad av autonomisering, som vil fortsette å presse hastigheten opp og øke faren for ustabilitet.

Behov for menneskelig kontroll
Rapporten konkluderer med at det er behov for større innsyn i hvordan stater håndterer spørsmålet om autonomi i våpen, og at det er knyttet stor usikkerhet til hvorvidt autonome våpen vil ha avgjørende operasjonell verdi. Med tanke på den potensielt farlige interaksjonen mellom ulike staters autonome systemer er det behov for åpenhet og en felles ide om hva som kan forventes. Spørsmålet om strategisk stabilitet føyer seg dermed inn i rekken av ande viktige spørsmål rundt disse våpentypene, inkludert moralske og juridiske.

Militæret trenger våpensystemer som opererer i henhold til deres intensjoner. Da må de enten kunne forutse, på en pålitelig måte, hvordan systemet vil oppføre seg i den konteksten det settes inn i, eller involvere et menneske som kan justere systemets adferd eller stenge systemet fullstendig. Selv i et autonomt system under menneskelig overoppsyn, vil responstiden fra den menneskelige overvåkeren oppdager at systemet ikke oppfører seg som det skal til adferden kan justeres, åpne for fatale feil. Men en overvåker kan i alle fall bidra til å redusere skadens omfang. Den beste, og kanskje eneste, måten å forhindre, eller redusere risikoen for feil til et minimum, vil være å bevare en form for menneskelig kontroll over et våpensystem, helst til den grad at systemets handlinger ikke kan igangsettes uten menneskelig godkjenning. Det er ikke nok å ha passivt menneskelig overoppsyn. For effektiv kontroll må et menneske være aktivt involvert i våpensystemets avgjørelser.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s