Hoe moet je omgaan met killer robots?
Hoe moet je omgaan met killer robots?
Laatste update: 22-04-2024
De killer robots komen eraan. Nobelprijswinnaars, NGO’s en landen komen in verzet tegen het gebruik van deze slimme wapensystemen, al dan niet in de vorm van drones. Ze kunnen op eigen houtje doelen – en dus ook mensen - vernietigen. Hoe gevaarlijk zijn zulke wapens? Kun je ze verbieden? En hoe voorkom je dat ze fatale fouten maken?
Programma: De Kennis van Nu (NTR)
Wat zijn killer robots?
Autonome wapens, vaak killer robots genoemd, zijn wapensystemen die geheel zelfstandig doelwitten kunnen selecteren en uitschakelen. Veel mensen zullen aan drones denken, maar zolang die op afstand bestuurd worden zijn het geen autonome wapens. Een echte killer robot handelt op eigen houtje.
Zo’n systeem moet het dus zonder het menselijke vernuft en beoordelingsvermogen stellen. Daarom hebben killer robots hun eigen brein: slimme software, oftewel kunstmatige intelligentie. Die vaak zelflerende software beoordeelt op basis van alle beschikbare informatie of iets een doel is – en of het uitgeschakeld moet worden.
Dat klinkt misschien als een toekomstscenario, maar bestaat nu al. In Noorwegen bijvoorbeeld, op het militaire vliegveld bij Trondheim. De Noren bewaken daar hun splinternieuwe JSF-vliegtuigen met de in Nederland ontwikkelde radar die volautomatisch drones herkent. De Noren hebben genoeg vertrouwen in de radar om hem te verbinden met een kanon dat automatisch gaat schieten als er een drone wordt gedetecteerd.
En dat is nog maar het begin van de robotisering van het slagveld. Bedrijven en landen zetten op grote schaal in op autonome wapens. De onderzoekstak van het Amerikaanse leger (DARPA) laat in september 2018 weten 2 miljard dollar te gaan investeren in onderzoek naar killer robots. Wapenleveranciers presenteren in de zomer van 2018 raketsystemen die zelfstandig voorgeprogrammeerde doelen uitzoeken en vernietigen. ‘And bang, the bad guy goes to bed’, zoals één van de verkopers op de Parijse wapenbeurs Eurosatory het uitdrukt:
Bekijk de hele aflevering op NPO Start.
Het is ook mogelijk om ‘domme’ raketten uit te rusten met een upgrade die live-beelden van een cameraatje vergelijkt met een vooraf ingeladen foto van het doel. Zelf de trekker overhalen is een extra optie, die het systeem duurder maakt. Net als een knop die de raket op het laatste moment kan laten afzwaaien. Voor menselijke controle moet er immers een communicatiesysteem worden ingebouwd.
Wat zijn de gevaren van killer robots?
Door de stormachtige ontwikkeling van killer robots dreigt een wapenwedloop van systemen die zonder menselijke tussenkomst kunnen schieten. Human Rights Watch lanceert in 2013 samen met een aantal NGO’s de Campaign to Stop Killer Robots. Beroemdheden als natuurkundige Stephen Hawking, Teslatopman Elon Musk, mede-oprichter van Apple Steve Wozniak en filosoof Daniel Dennett scharen zich achter de campagne.
De campagne publiceert een angstwekkend filmpje waarin duizenden mini-drones - uitgerust met gezichtsherkenningssoftware en een springlading - een universiteit binnendringen om heel nauwkeurig politiek actieve studenten te vermoorden.
Een fictief, maar realistisch scenario van waar killer robots toe in staat zijn.
Niet alleen mensenrechtenorganisaties, maar ook militairen zelf onderkennen de risico’s van killer robots. De Koninklijke Landmacht onderzoekt in het net opgerichte Commando Robots en Autonome Systemen de consequenties van de autonome wapenwedloop. Daar kijken ze ook naar autonome voertuigen, die voor een deel met dezelfde ethische dilemma’s te maken krijgen als killer robots. Hoe leer je voertuigen of wapens met die dilemma’s om te gaan? Hoe programmeer je dat?
Als het gaat om de regels waaraan robots zich moeten houden, vallen we tot op de dag van vandaag vaak terug op de de regels van de science fictionauteur Isaac Asimov, die in 1942 zijn drie beroemde robotwetten opstelde.
Welke landen zijn tegen killer robots?
België verbiedt in de zomer van 2018 als eerste land ter wereld het gebruik van autonome wapens. Cuba, Egypte en Costa Rica staan ook afkeurend tegenover killer robots. Landen als de VS, Rusland, Frankrijk en Groot-Brittannië lijken eerder mogelijkheden te zien voor het gebruik van killer robots.
Die houden onder meer in dat robots een mens geen letsel toe mag brengen en dat hij altijd bevelen van een mens moet opvolgen - tenzij hij daarmee letsel toebrengt aan een mens:
Science fiction-auteur Isaac Asimov legt zijn drie robotwetten uit.
Maar als je nadenkt over robotwapens heb je weinig aan die wetten. Wapens zullen mensen immers bijna per definitie letsel toebrengen. Ze zullen op z’n minst onderscheid moeten kunnen maken tussen de vijand en de eigen manschappen, maar ook tussen burgers en soldaten. Zolang ze dat niet vlekkeloos doen, zullen autonome wapens waarschijnlijk zeer omstreden blijven. En zelfs als ze het wel vlekkeloos doen, is het de vraag of we een moordmachine accepteren die geheel op eigen houtje opereert, zoals de drone uit het filmpje 'Slaughterbots'.
Hoe hou je de mens ‘in the loop’?
Op de TU Delft probeert hoogleraar ethiek en filosofie Jeroen van den Hoven de robotbouwers van de toekomst te voorzien van een nieuwe moraal voor autonome systemen. "Sommige mensen denken dat het intrinsiek fout is om beslissingen over leven of dood aan een machine over te laten. Dit is bijvoorbeeld het standpunt van het Vaticaan, maar het is meer dan theologische haarkloverij als je bedenkt dat mensen het gewoon een naar idee vinden om door een machine te worden gedood. Net zo goed als dat ze niet in een Boeing 747 durven plaatsnemen als er niemand achter de stuurknuppel zit."
Is het intrinsiek fout om beslissingen over leven en dood over te laten aan machines?
Als je robotwapens wilt gebruiken, moet je volgens Van den Hoven aan twee voorwaarden voldoen.
Voorwaarde 1: Mens moet kunnen ingrijpen
Allereerst moet een systeem reageren op wat zijn gebruiker wil. "Dat kan praktisch gesproken alleen maar als er een mens in het systeem zit die een adequaat beeld heeft van wat er aan de hand is en op basis daarvan een morele en juridische afweging maakt. En als hij dan weer nieuwe informatie krijgt moet hij terug kunnen komen op eerdere besluiten. Als het jongetje toch een adolescent met een vuurwapen is, bijvoorbeeld. We zeggen dat het systeem een morele redenering kan bijhouden. Net zoals een beurstracker de prijs van aandelen trackt."
Van den Hoven wil dus dat de mens en de robot als een team samenwerken, waarin de robot de rol van deskundige overneemt. "Nu gebeurt dat eigenlijk ook al met machines. Als een piloot op zijn dashboard ziet dat de benzine op is, moet hij ervan uitgaan dat dit klopt, tenzij er bijvoorbeeld iets in brand staat, maar dan moet hij ook zo snel mogelijk landen."
Presentator Diederik Jekel ontdekt dat je sommige beslissingen bijna niet aan een machine kunt overlaten.
Voorwaarde 2: Je moet de beslissing van de computer kunnen begrijpen
De tweede voorwaarde is, gezien de stand van de huidige AI nog lastiger: de software zo transparant maken dat je achteraf altijd kunt nagaan hoe een beslissing tot stand is gekomen. Van den Hoven: "Het vervelende is dat de meest krachtige AI-systemen ook de meest ondoorzichtige zijn. Ze werken met netwerken die net zo complex zijn als onze hersenen en de verbindingen en knoopjes en het gewicht daarvan bepaalt de configuratie van het systeem."
Moderne AI is inderdaad een black box. De mensen van Google Deepmind, die het programma AlphaGo ontwikkelden dat de wereldkampioen Go versloeg, konden niet bij benadering achterhalen hoe hun systeem tot bepaalde zetten kwam. "Nu is dat bij een spelletje zoals Go niet zo erg", zegt Van den Hoven. "Maar voor systemen waarbij gewonden en slachtoffers vallen willen we wel heel precies weten hoe het zit en ons niet beperken tot een statistische waarschijnlijkheid dat een bepaalde uitkomst goed zal zijn."
Hoe makkelijk kan een killer robot in de fout gaan?
Een recent, maar nu al klassiek voorbeeld is het zogenaamde wolven-husky-probleem. Je kunt een computer leren wolven van husky’s te onderscheiden door honderden plaatjes van beide diersoorten aan te bieden en daarbij te vertellen wat een husky is en wat een wolf. Een AI-systeem zal na enige tijd met een grote statistische waarschijnlijkheid het verschil kunnen zien. Maar als het systeem eenmaal ingezet wordt blijken er toch veel fouten gemaakt te worden.
Slimme software kan zomaar de mist in gaan - op manieren die je niet verwacht.
De fouten die het systeem maakt, ontstaan in dit geval doordat de computer naar andere dingen dan de kenmerken van de dieren heeft gekeken. Als de meeste wolven in de trainingsset bijvoorbeeld in de sneeuw waren gefotografeerd is er een behoorlijke kans dat de computer husky’s in de sneeuw voor een wolf zal aanzien. Als een AI-systeem niet kijkt volgens de criteria die wij belangrijk vinden zal dit probleem blijven bestaan.
Van den Hoven: "We moeten in een militaire context altijd kunnen uitleggen waarom we bepaalde keuzes maken. Data en intelligente systemen kunnen ons op een idee brengen, maar er moet uiteindelijk een mens zijn die snapt waarom die keuze gemaakt wordt. Dit geldt ook in andere situaties, zoals een medische context. Als je mensen onderwerpt aan een pijnlijke ingreep doe je dat niet alleen vanwege de statistische correlatie, maar ook omdat die correlatie jou het idee gegeven heeft dat de ingreep nuttig zou kunnen zijn."
Kun je killer robots verbieden?
"De nachtmerrie is natuurlijk dat dit soort wapens in verkeerde handen valt en dat ze dan in duizenden over een stad verspreid worden", zegt humanitair juriste Merel Ekelhof. Ze formuleert als oorlogsrechtdeskundige het Nederlandse standpunt op VN-conferenties over conventionele wapens in Genève. "Maar vanuit humanitair oorlogsrecht bekeken: als je zoveel mogelijk nevenschade wilt voorkomen, is dit natuurlijk wel vrij precies. Ik kan er naast zitten en geen schrammetje oplopen als een terrorist wordt uitgeschakeld."
Een verbod op wapensystemen is erg lastig, legt Ekelhof uit. "Welke technologie ga je dan verbieden? De meeste onderdelen van robotwapens kan je gewoon kopen. Drones bestaan, gezichtsherkenning bestaat en springladingen bestaan. Je moet dan heel specifiek afspreken in welke configuratie de techniek verboden is en daar dan ook nog eens met 70 of 80 landen consensus over bereiken." In Nederland wordt in plaats van een verbod dan ook eerder gedacht aan het opstellen van duidelijke regels voor het gebruik van AI in wapensystemen.
Hoe goed slimme wapens ook worden, je moet als mens altijd kunnen ingrijpen. De hele aflevering bekijk je op NPO Start.
Maar wat is nu het standpunt van Nederland? Thales in Hengelo produceert de intelligente radar, waar de Noren vijandige drones volautomatisch mee uit de lucht willen schieten. Merel Ekelhof bepleit namens Nederland bij de VN dat er ‘menselijke controle’ moet kunnen zijn over wapensystemen. Dat wordt niet zo ver uitgewerkt als de ethicus Van den Hoven dat doet, al was het maar om tot een begin van consensus onder de deelnemende staten te komen. Jeroen van den Hoven zegt onomwonden dat "autonomie in wapens, zonder menselijke tussenkomst iets is waar we niet aan moeten beginnen."
Duidelijk is dat Nederland het verbod op autonome wapensystemen niet officieel ondersteunt. Mogelijk zijn de eerste onrechtmatige slachtoffers van autonome wapens al gevallen en wacht hun –als ze het kunnen navertellen- een lange juridische zoektocht naar de vraag wie of wat ze op hun hoofd gekregen hebben.
In het kort
Killer robots zijn wapens die autonoom, zonder menselijke tussenkomst, een doel kunnen uitschakelen. Ze worden nu al gebruikt.
Er dreigt een wapenwedloop in killer robots. Dat roept veel angst, weerstand en vragen op.
Menselijke controle over killer robots moet altijd mogelijk blijven. Dat kan door ze goed te ontwerpen en met de juiste software uit te rusten.
Verkeerde 'training' van een killer robot maakt fouten mogelijk. Dat is vooraf niet altijd te voorspellen.
Een verbod op killer robots is erg lastig. Vele landen moeten het met elkaar eens zijn. Bovendien zijn de verschillende onderdelen van een killer robot gewoon legaal.
En je weet het!
Anderen het laten weten?