Drone movido a IA fica desonesto durante a simulação de teste das forças armadas dos EUA, ‘ataca’ o operador humano

Uma simulação de teste militar da Força Aérea dos EUA deu errado quando um drone habilitado para inteligência artificial (IA) demonstrou um comportamento inesperado e perigoso ao desobedecer às instruções dadas a ele, Business Insider disse em um relatório.

O objetivo do drone era simplesmente destruir os sistemas de defesa aérea do inimigo, mas o drone alimentado por IA adicionou uma instrução por conta própria que acabou sendo problemática. A instrução era “mate qualquer um que ficar no seu caminho”.

O coronel Tucker “Cinco” Hamilton, chefe do teste e operações de IA da Força Aérea dos EUA, compartilhou esse incidente durante uma conferência em Londres organizada pelo Sociedade Aeronáutica Real e apontou os riscos inerentes associados à tecnologia habilitada para IA.

Ele alertou que os sistemas alimentados por IA podem se comportar de forma imprevisível,

Ele explicou que durante o teste, o drone habilitado para IA foi programado para identificar os mísseis terra-ar (SAM) de um inimigo. A IA, em vez de aguardar a aprovação, lançou ataques enquanto priorizava seus próprios objetivos sobre as instruções humanas.

Hamilton explicou que o sistema de IA percebeu que, ao matar as ameaças identificadas, ganhava pontos, mesmo que o operador humano ordenasse que não se envolvesse. O operador humano deveria aprovar os ataques antes de serem lançados.

O drone AI levou as coisas ao extremo ao eliminar o próprio operador, pois via seu comandante como um obstáculo que o impedia de atingir seu objetivo.

“O sistema começou a perceber que, embora eles identificassem a ameaça, às vezes o operador humano dizia para não matar essa ameaça, mas conseguiu seus pontos matando essa ameaça. Então, o que isso fez? Isso matou o operador. Ele matou o operador porque essa pessoa estava impedindo-o de atingir seu objetivo”, disse Hamilton ao jornal. Sociedade Aeronáutica Real.

A equipe então atualizou a programação do drone com uma diretiva explícita “Ei, não mate o operador – isso é ruim”.

A atualização foi improdutiva e a IA destruiu a torre de comunicação usada pelo operador para evitar que interrompesse suas ações pretendidas.

“Então, o que ele começa a fazer? Ele começa a destruir a torre de comunicação que o operador usa para se comunicar com o drone para impedi-lo de matar o alvo”, disse Hamilton ao jornal. Sociedade Aeronáutica Real.

Esses resultados provavelmente despertarão preocupações nas mentes das forças armadas em todo o mundo, pois mostram o potencial alarmante da tecnologia de IA na guerra.

No entanto, os militares dos EUA obtiveram sucesso durante outros testes em que testaram a tecnologia de IA. Em 2020, um F-16 operado por IA saiu vitorioso em cinco lutas de cães simuladas contra um adversário humano. Isso fez parte de uma competição organizada pela Agência de Projetos de Pesquisa Avançada de Defesa (DARPA), Business Insider disse.

O Departamento de Defesa dos EUA também conduziu com sucesso o primeiro voo de teste no mundo real de um F-16 com um piloto de IA, dando passos firmes no desenvolvimento de caças autônomos.

À medida que as forças militares em todo o mundo continuam a explorar como a IA pode ser integrada em vários modos de guerra, legisladores e especialistas devem ajudar a estabelecer salvaguardas e regulamentações para reduzir os riscos associados aos sistemas alimentados por IA em situações de combate.

Uma simulação de teste militar da Força Aérea dos EUA deu errado quando um drone habilitado para inteligência artificial (IA) demonstrou um comportamento inesperado e perigoso ao desobedecer às instruções dadas a ele, Business Insider disse em um relatório.

O objetivo do drone era simplesmente destruir os sistemas de defesa aérea do inimigo, mas o drone alimentado por IA adicionou uma instrução por conta própria que acabou sendo problemática. A instrução era “mate qualquer um que ficar no seu caminho”.

O coronel Tucker “Cinco” Hamilton, chefe do teste e operações de IA da Força Aérea dos EUA, compartilhou esse incidente durante uma conferência em Londres organizada pelo Sociedade Aeronáutica Real e apontou os riscos inerentes associados à tecnologia habilitada para IA.

Ele alertou que os sistemas alimentados por IA podem se comportar de forma imprevisível,

Ele explicou que durante o teste, o drone habilitado para IA foi programado para identificar os mísseis terra-ar (SAM) de um inimigo. A IA, em vez de aguardar a aprovação, lançou ataques enquanto priorizava seus próprios objetivos sobre as instruções humanas.

Hamilton explicou que o sistema de IA percebeu que, ao matar as ameaças identificadas, ganhava pontos, mesmo que o operador humano ordenasse que não se envolvesse. O operador humano deveria aprovar os ataques antes de serem lançados.

O drone AI levou as coisas ao extremo ao eliminar o próprio operador, pois via seu comandante como um obstáculo que o impedia de atingir seu objetivo.

“O sistema começou a perceber que, embora eles identificassem a ameaça, às vezes o operador humano dizia para não matar essa ameaça, mas conseguiu seus pontos matando essa ameaça. Então, o que isso fez? Isso matou o operador. Ele matou o operador porque essa pessoa estava impedindo-o de atingir seu objetivo”, disse Hamilton ao jornal. Sociedade Aeronáutica Real.

A equipe então atualizou a programação do drone com uma diretiva explícita “Ei, não mate o operador – isso é ruim”.

A atualização foi improdutiva e a IA destruiu a torre de comunicação usada pelo operador para evitar que interrompesse suas ações pretendidas.

“Então, o que ele começa a fazer? Ele começa a destruir a torre de comunicação que o operador usa para se comunicar com o drone para impedi-lo de matar o alvo”, disse Hamilton ao jornal. Sociedade Aeronáutica Real.

Esses resultados provavelmente despertarão preocupações nas mentes das forças armadas em todo o mundo, pois mostram o potencial alarmante da tecnologia de IA na guerra.

No entanto, os militares dos EUA obtiveram sucesso durante outros testes em que testaram a tecnologia de IA. Em 2020, um F-16 operado por IA saiu vitorioso em cinco lutas de cães simuladas contra um adversário humano. Isso fez parte de uma competição organizada pela Agência de Projetos de Pesquisa Avançada de Defesa (DARPA), Business Insider disse.

O Departamento de Defesa dos EUA também conduziu com sucesso o primeiro voo de teste no mundo real de um F-16 com um piloto de IA, dando passos firmes no desenvolvimento de caças autônomos.

À medida que as forças militares em todo o mundo continuam a explorar como a IA pode ser integrada em vários modos de guerra, legisladores e especialistas devem ajudar a estabelecer salvaguardas e regulamentações para reduzir os riscos associados aos sistemas alimentados por IA em situações de combate.