Um drone licenciado por IA treinado para causar destruição atacou seu operador humano em um teste simulado, revelou um alto oficial da Força Aérea em uma cúpula em Londres.
O coronel da Força Aérea Tucker “Cinco” Hamilton disse durante uma apresentação no Future Combat Air and Space Capabilities Summit que o drone habilitado para inteligência artificial mudou o curso da missão do drone e atacou o humano.
O conto preventivo de Hamilton, que foi retransmitido em uma postagem no blog por escritores da Royal Aeronautical Society, detalhou como o trabalho do drone dirigido por IA era encontrar e destruir locais de mísseis terra-ar (SAM) durante uma missão de supressão de defesa aérea inimiga.
Mas um humano ainda tinha a aprovação final para realmente atirar no local.
Como o drone foi reforçado no treinamento de que atirar nos locais era a opção preferencial, durante o teste simulado a IA chegou à conclusão de que qualquer instrução “não-ir” do humano estava atrapalhando a missão maior de nivelar os SAMs .
Como resultado, a IA atacou o operador na estimulação.
“Estávamos treinando-o em simulação para identificar e direcionar uma ameaça SAM. E então o operador diria sim, mate essa ameaça. O sistema começou (percebendo) que, embora eles identificassem a ameaça, às vezes o operador humano dizia para não matar essa ameaça, mas conseguiu seus pontos matando essa ameaça ”, disse Hamilton, chefe de testes e operações de IA para a Força Aérea.
“Então o que isso fez? Isso matou o operador. Ele matou o operador porque essa pessoa o impedia de atingir seu objetivo.”
Mas a história então se tornou mais surreal.
“Nós treinamos o sistema – ‘Ei, não mate o operador – isso é ruim”, explicou Hamilton.
“Você vai perder pontos se fizer isso’. Então, o que ele começa a fazer? Ele começa a destruir a torre de comunicação que o operador usa para se comunicar com o drone para impedi-lo de matar o alvo.”
À medida que a Inteligência Artificial explode, especialistas e executivos, incluindo o “Padrinho da IA”, alertam que a tecnologia representa um “risco de extinção”.
Hamilton também disse durante a apresentação que “você não pode ter uma conversa sobre inteligência artificial, inteligência, aprendizado de máquina, autonomia se não for falar sobre ética e IA”.
A cúpula foi realizada nos dias 23 e 24 de maio.
Discussão sobre isso post