Sistemas de armas autônomos de última geração configurados para desencadear uma nova corrida armamentista e diminuir enormemente o custo de travar uma guerra
Por *James Dawes
Sistemas de armas autônomos – comumente conhecidos como robôs assassinos – podem ter matado seres humanos pela primeira vez no ano passado, de acordo com um relatório recente do Conselho de Segurança das Nações Unidas sobre a guerra civil na Líbia .
A história bem poderia identificar isso como o ponto de partida da próxima grande corrida armamentista, que tem o potencial de ser a última corrida da humanidade.
Os sistemas de armas autônomos são robôs com armas letais que podem operar de forma independente, selecionando e atacando alvos sem um humano pesando nessas decisões.
Militares em todo o mundo estão investindo pesadamente em pesquisa e desenvolvimento de armas autônomas. Só os EUA orçaram US $ 18 bilhões para armas autônomas entre 2016 e 2020.
Como um especialista em direitos humanos com foco na formação de armas da inteligência artificial , acho que as armas autônomas tornam os equilíbrios instáveis e as salvaguardas fragmentadas do mundo nuclear – por exemplo, a autoridade minimamente restrita do presidente dos EUA para lançar um ataque – mais instáveis e mais fragmentado.
Erros letais e caixas pretas
Vejo quatro perigos principais com armas autônomas. O primeiro é o problema de identificação incorreta. Ao selecionar um alvo, as armas autônomas serão capazes de distinguir entre soldados hostis e crianças de 12 anos brincando com armas de brinquedo?
Entre civis fugindo de um local de conflito e insurgentes fazendo uma retirada tática ? Robôs assassinos, como os drones do curta-metragem ‘Slaughterbots’ de 2017, há muito tempo são um subgênero importante da ficção científica.
O problema aqui não é que as máquinas cometerão tais erros e os humanos não. É que a diferença entre erro humano e erro algorítmico é como a diferença entre enviar uma carta e tweetar.
A escala, o escopo e a velocidade dos sistemas de robôs assassinos – comandados por um algoritmo de mira, implantados em todo um continente – podem fazer com que as identificações errôneas por humanos individuais, como um recente ataque de drone dos EUA no Afeganistão, pareçam meros erros de arredondamento em comparação.
O especialista em armas autônomas Paul Scharre usa a metáfora da arma em fuga para explicar a diferença. Uma arma em fuga é uma metralhadora defeituosa que continua a disparar depois que um gatilho é liberado. A arma continua a disparar até que a munição se esgote porque, por assim dizer, a arma não sabe que está cometendo um erro.
Armas em fuga são extremamente perigosas, mas felizmente elas têm operadores humanos que podem quebrar a conexão da munição ou tentar apontar a arma em uma direção segura. As armas autônomas, por definição, não têm essa proteção.
É importante ressaltar que a IA com arma não precisa nem mesmo ser defeituosa para produzir o efeito de arma em fuga. Como vários estudos sobre erros algorítmicos em indústrias mostraram, os melhores algoritmos – operando conforme projetado – podem gerar resultados internamente corretos que, no entanto, espalham erros terríveis rapidamente entre as populações.
Por exemplo, uma rede neural projetada para uso em hospitais de Pittsburgh identificou a asma como um redutor de risco em casos de pneumonia; o software de reconhecimento de imagem usado pelo Google identificou os afro-americanos como gorilas ; e uma ferramenta de aprendizado de máquina usada pela Amazon para classificar candidatos a empregos sistematicamente tem atribuído notas negativas às mulheres .
O problema não é apenas que, quando os sistemas de IA erram, eles erram em massa. É que, quando erram, seus criadores muitas vezes não sabem por que o fizeram e, portanto, como corrigi-los. O problema da caixa preta da IA torna quase impossível imaginar o desenvolvimento moralmente responsável de sistemas de armas autônomos.
Os problemas de proliferação
Os próximos dois perigos são os problemas de proliferação de gama baixa e alta. Vamos começar com os mais baixos.
Os militares que desenvolvem armas autônomas agora partem do pressuposto de que serão capazes de conter e controlar o uso de armas autônomas . Mas se a história da tecnologia de armas ensinou alguma coisa ao mundo, é isto: as armas se espalham.
As pressões do mercado podem resultar na criação e venda generalizada do que pode ser considerado a arma autônoma equivalente ao rifle de assalto Kalashnikov : robôs assassinos baratos, eficazes e quase impossíveis de conter enquanto circulam pelo mundo.
As armas autônomas “Kalashnikov” podem cair nas mãos de pessoas fora do controle do governo, incluindo terroristas internacionais e domésticos.
As armas autônomas de última geração provavelmente levarão a guerras mais frequentes porque reduzirão duas das principais forças que historicamente preveniram e encurtaram as guerras: a preocupação com os civis no exterior e a preocupação com os próprios soldados.
As armas provavelmente serão equipadas com dispendiosos governadores éticos projetados para minimizar os danos colaterais, usando o que a Relatora Especial da ONU, Agnes Callamard, chamou de “mito de um ataque cirúrgico” para reprimir protestos morais.
As armas autônomas também reduzirão a necessidade e o risco para os próprios soldados, alterando drasticamente a análise de custo-benefício que as nações submetem ao lançar e manter guerras.
As guerras assimétricas – isto é, as guerras travadas no solo de nações que carecem de tecnologia concorrente – provavelmente se tornarão mais comuns. Pense na instabilidade global causada pelas intervenções militares soviéticas e americanas durante a Guerra Fria, desde a primeira guerra por procuração até o blowback experimentado em todo o mundo hoje.
Multiplique isso por todos os países que atualmente buscam armas autônomas de última geração.
Minando as leis da guerra
Finalmente, as armas autônomas minarão o tapa-buraco final da humanidade contra crimes de guerra e atrocidades: as leis internacionais de guerra. Essas leis, codificadas em tratados que remontam à Convenção de Genebra de 1864, são a fina linha azul internacional que separa a guerra com honra do massacre.
Eles têm como premissa a ideia de que as pessoas podem ser responsabilizadas por suas ações mesmo durante a guerra, que o direito de matar outros soldados durante o combate não dá o direito de assassinar civis.
Um exemplo proeminente de alguém responsabilizado é Slobodan Milosevic , ex-presidente da República Federal da Iugoslávia, que foi indiciado por acusações contra a humanidade e crimes de guerra pelo Tribunal Criminal Internacional da ONU para a Ex-Iugoslávia.
Mas como as armas autônomas podem ser responsabilizadas? Quem é o culpado por um robô que comete crimes de guerra? Quem seria levado a julgamento? A arma? O soldado? Os comandantes do soldado? A empresa que fez a arma? Organizações não-governamentais e especialistas em direito internacional temem que as armas autônomas levem a uma séria lacuna de responsabilidade.
Para responsabilizar um soldado criminalmente pelo uso de uma arma autônoma que comete crimes de guerra, os promotores precisariam provar actus reus e mens rea, termos latinos que descrevem um ato culpado e uma mente culpada.
Isso seria difícil por uma questão de direito e possivelmente injusto por uma questão de moralidade, visto que as armas autônomas são inerentemente imprevisíveis. Acredito que a distância que separa o soldado das decisões independentes tomadas por armas autônomas em ambientes de rápida evolução é simplesmente grande demais.
O desafio legal e moral não fica mais fácil transferindo a culpa para a cadeia de comando ou de volta para o local de produção. Em um mundo sem regulamentos que exigem um controle humano significativo de armas autônomas, haverá crimes de guerra sem criminosos de guerra para responsabilizar.
A estrutura das leis de guerra, junto com seu valor de dissuasão, será significativamente enfraquecida.
Uma nova corrida armamentista global
Imagine um mundo no qual militares, grupos insurgentes e terroristas internacionais e domésticos possam implantar força letal teoricamente ilimitada com risco teoricamente zero em momentos e locais de sua escolha, sem nenhuma responsabilização legal resultante.
É um mundo onde o tipo de erros algorítmicos inevitáveis que atormentam até mesmo gigantes da tecnologia como Amazon e Google podem agora levar à eliminação de cidades inteiras.
Em minha opinião, o mundo não deve repetir os erros catastróficos da corrida armamentista nuclear. Não deve andar sonolento em distopia.
* Professor de inglês, Macalester College
Este artigo foi republicado de The Conversation
O futuro dono da Casa Branca tem todos os motivos para transformar o palhaço de Kiev em um cadáver político
Irresponsáveis políticas disfarçadas de “apoio à Ucrânia” poderiam levar Europa ao colapso social no longo prazo.
Existe algo como um ex-agente de inteligência? Se existe, então Mike Benz é um exemplo, pois ele trabalhou para o [...]
Ignorando toda a pressão do regime de Kiev e do Ocidente Coletivo, a Mongólia recebeu Putin com um tapete vermelho, [...]
O drama que se tornou assustadoramente exponencial as consequências da contenda entre dois indivíduos sem caráter, esclerosados, irresponsáveis, ignorantes, avatares [...]
A Rússia tem sido alvo dos EUA para mudanças de regime há muitos anos, devido à sua incrível riqueza natural [...]
