Oito anos depois de uma controvérsia sobre os negros serem erroneamente rotulados como gorilas por um software de análise de imagem – e apesar dos grandes avanços na visão computacional – os gigantes da tecnologia ainda temem repetir o erro.
Quando o Google lançou seu aplicativo independente de fotos em maio de 2015, as pessoas ficaram impressionadas com o que ele podia fazer: analisar imagens para rotular pessoas, lugares e coisas nelas, uma oferta surpreendente para o consumidor na época. Mas alguns meses após o lançamento, um desenvolvedor de software, Jacky Alciné, descobriu que o Google havia rotulado fotos dele e de um amigo, ambos negros, como “gorilas”, um termo particularmente ofensivo porque ecoa séculos de racismo tropos.
Na controvérsia que se seguiu, o Google impediu seu software de categorizar qualquer coisa nas fotos como gorilas e prometeu corrigir o problema. Oito anos depois, com avanços significativos em inteligência artificial, testamos se o Google havia resolvido o problema e analisamos ferramentas comparáveis de seus concorrentes: Apple, Amazon e Microsoft.
Houve um membro da família dos primatas que o Google e a Apple foram capazes de reconhecer – os lêmures, os animais de cauda longa e aparência permanentemente assustada que compartilham polegares opositores com os humanos, mas são parentes mais distantes do que os macacos.
As ferramentas do Google e da Apple eram claramente as mais sofisticadas quando se tratava de análise de imagens.
No entanto, o Google, cujo software Android sustenta a maioria dos smartphones do mundo, tomou a decisão de desativar a capacidade de procurar primatas visualmente por medo de cometer um erro ofensivo e rotular uma pessoa como um animal. E a Apple, com tecnologia que teve desempenho semelhante ao do Google em nosso teste, pareceu desabilitar a capacidade de procurar macacos e símios também.
Os consumidores podem não precisar realizar essa pesquisa com frequência – embora em 2019 um usuário do iPhone tenha reclamado no fórum de suporte ao cliente da Apple que o software “não consigo encontrar macacos em fotos no meu dispositivo.” Mas a questão levanta questões mais amplas sobre outras falhas não corrigidas, ou não corrigidas, ocultas em serviços que dependem da visão computacional – uma tecnologia que interpreta imagens visuais –, bem como outros produtos alimentados por IA.
Alciné ficou consternado ao saber que o Google ainda não resolveu totalmente o problema e disse que a sociedade confia demais na tecnologia.
“Vou nunca ter fé nesta IA”, disse ele.
Os produtos de visão computacional agora são usados para tarefas tão mundanas quanto enviar um alerta quando há um pacote na porta e tão importantes quanto navegar em carros e encontrar criminosos em investigações policiais.
Erros podem refletir atitudes racistas entre aqueles que codificam os dados. No incidente do gorila, dois ex-funcionários do Google que trabalharam nessa tecnologia disseram que o problema era que a empresa não havia colocado fotos suficientes de negros na coleção de imagens que usou para treinar seu sistema de IA. Como resultado, a tecnologia não era familiar o suficiente com pessoas de pele mais escura e as confundia com gorilas.
À medida que a inteligência artificial se torna mais incorporada em nossas vidas, ela provoca medo de consequências não intencionais. Embora os produtos de visão computacional e os chatbots de IA como o ChatGPT sejam diferentes, ambos dependem de resmas subjacentes de dados que treinam o software e ambos podem falhar devido a falhas nos dados ou vieses incorporados em seu código.
A Microsoft limitou recentemente a capacidade dos usuários de interagir com um chatbot embutido em seu mecanismo de busca, o Bing, depois que ele instigou conversas inapropriadas.
A decisão da Microsoft, assim como a escolha do Google de evitar que seu algoritmo identifique gorilas completamente, ilustra uma abordagem comum da indústria – isolar recursos de tecnologia que funcionam mal em vez de consertá-los.
“Resolver essas questões é importante”, disse Vicente Ordóñez, professor da Rice University que estuda visão computacional. “Como podemos confiar neste software para outros cenários?”
Michael Marconi, porta-voz do Google, disse que o Google evitou que seu aplicativo de fotos rotulasse qualquer coisa como macaco ou macaco porque decidiu que o benefício “não supera o risco de danos”.
A Apple se recusou a comentar sobre a incapacidade dos usuários de procurar a maioria dos primatas em seu aplicativo.
Representantes da Amazon e da Microsoft disseram que as empresas estão sempre buscando melhorar seus produtos.
visão ruim
Quando o Google estava desenvolvendo seu aplicativo de fotos, lançado há oito anos, ele coletou uma grande quantidade de imagens para treinar o sistema de IA a identificar pessoas, animais e objetos.
Seu descuido significativo – de que não havia fotos suficientes de negros em seus dados de treinamento – causou o mau funcionamento do aplicativo posteriormente, disseram dois ex-funcionários do Google. A empresa não conseguiu descobrir o problema do “gorila” na época porque não pediu a funcionários suficientes para testar o recurso antes de sua estreia pública, disseram os ex-funcionários.
O Google se desculpou profusamente pelo incidente dos gorilas, mas foi um dos vários episódios na indústria de tecnologia mais ampla que levaram a acusações de parcialidade.
Outros produtos que foram criticados incluem Webcams de rastreamento facial da HPque não conseguiu detectar algumas pessoas com pele escura, e o AppleWatch, que, segundo para um processo, falhou em ler com precisão os níveis de oxigênio no sangue nas cores da pele. Os lapsos sugeriram que os produtos tecnológicos não estavam sendo projetados para pessoas com pele mais escura. (maçã apontada para um papel de 2022 que detalhou seus esforços para testar seu aplicativo de oxigênio no sangue em uma “ampla gama de tipos e tons de pele”.)
Anos após o erro do Google Fotos, a empresa encontrou um problema semelhante com sua câmera de segurança doméstica Nest durante testes internos, de acordo com uma pessoa familiarizada com o incidente que trabalhava no Google na época. A câmera Nest, que usava IA para determinar se alguém em uma propriedade era familiar ou desconhecido, confundiu alguns negros com animais. O Google correu para corrigir o problema antes que os usuários tivessem acesso ao produto, disse a pessoa.
No entanto, os clientes da Nest continuam reclamando nos fóruns da empresa sobre outras falhas. Em 2021, um cliente recebeu alertas de que sua mãe estava tocando a campainha, mas encontrou sua sogra do outro lado da porta. Quando os usuários reclamaram que o sistema estava misturando rostos que eles marcaram como “familiares”, um representante do suporte ao cliente no fórum os aconselhou a deletar todos os seus rótulos e começar de novo.
O Sr. Marconi, o porta-voz do Google, disse que “nosso objetivo é evitar que esses tipos de erros aconteçam”. Ele acrescentou que a empresa melhorou sua tecnologia “fazendo parceria com especialistas e diversificando nossos conjuntos de dados de imagem”.
Em 2019, o Google tentou melhorar um recurso de reconhecimento facial para smartphones Android, aumentando o número de pessoas com pele escura em seu conjunto de dados. Mas os empreiteiros que o Google contratou para coletar varreduras faciais supostamente recorreram a uma tática problemática para compensar a escassez de dados diversos: eles tinham como alvo pessoas sem-teto e estudantes. Os executivos do Google chamaram o incidente de “muito perturbador” na época.
O conserto?
Embora o Google tenha trabalhado nos bastidores para melhorar a tecnologia, nunca permitiu que os usuários julgassem esses esforços.
Margaret Mitchell, pesquisadora e cofundadora do grupo Ethical AI do Google, juntou-se à empresa após o incidente do gorila e colaborou com a equipe de fotos. Ela disse em uma entrevista recente que era uma defensora da decisão do Google de remover “o rótulo de gorilas, pelo menos por um tempo”.
“Você precisa pensar na frequência com que alguém precisa rotular um gorila em vez de perpetuar estereótipos nocivos”, disse Mitchell. “Os benefícios não superam os danos potenciais de fazer errado.”
Dr. Ordóñez, o professor, especulou que o Google e a Apple agora poderiam ser capazes de distinguir primatas de humanos, mas que não queriam ativar o recurso devido ao possível risco à reputação se ele falhasse novamente.
Desde então, o Google lançou um produto de análise de imagem mais poderoso, o Google Lens, uma ferramenta para pesquisar na web com fotos em vez de texto. Com fio descobriu em 2018 que a ferramenta também não conseguia identificar um gorila.
Esses sistemas nunca são infalíveis, disse o Dr. Mitchell, que não está mais trabalhando no Google. Como bilhões de pessoas usam os serviços do Google, até mesmo falhas raras que acontecem com apenas uma pessoa em um bilhão de usuários virão à tona.
“Basta um erro para ter grandes ramificações sociais”, disse ela, referindo-se a isso como “a agulha envenenada no palheiro”.
Discussão sobre isso post