Durante anos, ativistas e acadêmicos levantaram preocupações de que um software de análise facial que afirma ser capaz de identificar a idade, sexo e estado emocional de uma pessoa possa ser enviesadonão confiável ou invasivo – e não deve ser vendido.
Reconhecendo algumas dessas críticas, a Microsoft disse na terça-feira que planeja remover esses recursos de seus serviço de inteligência artificial para detectar, analisar e reconhecer rostos. Eles deixarão de estar disponíveis para novos usuários esta semana e serão eliminados gradualmente para usuários existentes dentro do ano.
As mudanças fazem parte de um esforço da Microsoft para controles mais rígidos de seus produtos de inteligência artificial. Após uma revisão de dois anos, uma equipe da Microsoft desenvolveu um “Responsible AI Standard”, um documento de 27 páginas que estabelece requisitos para sistemas de IA para garantir que eles não tenham um impacto prejudicial na sociedade.
Os requisitos incluem garantir que os sistemas forneçam “soluções válidas para os problemas que foram projetados para resolver” e “uma qualidade de serviço semelhante para grupos demográficos identificados, incluindo grupos marginalizados”.
Antes de serem lançadas, as tecnologias que seriam usadas para tomar decisões importantes sobre o acesso de uma pessoa a emprego, educação, assistência médica, serviços financeiros ou uma oportunidade de vida estão sujeitas a uma revisão por uma equipe liderada por Natasha Crampton, diretora de IA responsável pela Microsoft. .
Houve preocupações crescentes na Microsoft em torno da ferramenta de reconhecimento de emoções, que rotulou a expressão de alguém como raiva, desprezo, nojo, medo, felicidade, neutro, tristeza ou surpresa.
“Há uma enorme variação cultural, geográfica e individual na maneira como nos expressamos”, disse Crampton. Isso levou a preocupações de confiabilidade, juntamente com as questões maiores sobre se “a expressão facial é um indicador confiável de seu estado emocional interno”, disse ela.
Leia mais sobre Inteligência Artificial
As ferramentas de análise de idade e gênero que estão sendo eliminadas – juntamente com outras ferramentas para detectar atributos faciais, como cabelo e sorriso – podem ser úteis para interpretar imagens visuais para pessoas cegas ou com baixa visão, por exemplo, mas a empresa decidiu que era problemático fazer as ferramentas de perfil geralmente disponíveis ao público, disse Crampton.
Em particular, ela acrescentou, o chamado classificador de gênero do sistema era binário, “e isso não é consistente com nossos valores”.
A Microsoft também colocará novos controles em seu recurso de reconhecimento facial, que pode ser usado para realizar verificações de identidade ou pesquisar uma pessoa em particular. Uber, por exemplo, usa o software em seu aplicativo para verificar se o rosto de um motorista corresponde ao ID registrado para a conta desse motorista. Os desenvolvedores de software que desejam usar a ferramenta de reconhecimento facial da Microsoft precisarão solicitar acesso e explicar como planejam implantá-la.
Os usuários também deverão se inscrever e explicar como usarão outros sistemas de IA potencialmente abusivos, como Voz neural personalizada. O serviço pode gerar uma impressão de voz humana, com base em uma amostra da fala de alguém, para que os autores, por exemplo, possam criar versões sintéticas de sua voz para ler seus audiolivros em idiomas que não falam.
Devido ao possível uso indevido da ferramenta – para criar a impressão de que as pessoas disseram coisas que não disseram – os falantes devem passar por uma série de etapas para confirmar que o uso de sua voz está autorizado, e as gravações incluem marcas d’água detectáveis pela Microsoft .
“Estamos tomando medidas concretas para cumprir nossos princípios de IA”, disse Crampton, que trabalha como advogada na Microsoft há 11 anos e ingressou no grupo ético de IA em 2018. “Será uma grande jornada. ”
A Microsoft, como outras empresas de tecnologia, teve tropeços com seus produtos de inteligência artificial. Em 2016, lançou um chatbot no Twitter, chamado Tay, que foi projetado para aprender “entendimento conversacional” dos usuários com quem interagia. O bot rapidamente começou a divulgar tweets racistas e ofensivos, e a Microsoft teve que derrubá-lo.
Em 2020, os pesquisadores descobriram que as ferramentas de conversão de fala em texto desenvolvidas pela Microsoft, Apple, Google, IBM e Amazon funcionavam menos bem para os negros. O sistema da Microsoft foi o melhor do grupo, mas identificou erroneamente 15% das palavras para pessoas brancas, em comparação com 27% para pessoas negras.
A empresa havia coletado diversos dados de fala para treinar seu sistema de IA, mas não entendia o quão diversa a linguagem poderia ser. Por isso, contratou um especialista em sociolinguística da Universidade de Washington para explicar as variedades de idiomas que a Microsoft precisava conhecer. Ele foi além da demografia e da variedade regional em como as pessoas falam em ambientes formais e informais.
“Pensar na raça como um fator determinante de como alguém fala é realmente um pouco enganador”, disse Crampton. “O que aprendemos em consulta com o especialista é que, na verdade, uma enorme variedade de fatores afeta a variedade linguística.”
A Sra. Crampton disse que a jornada para corrigir essa disparidade de fala para texto ajudou a informar a orientação estabelecida nos novos padrões da empresa.
“Este é um período crítico de definição de normas para a IA”, disse ela, apontando para os regulamentos propostos pela Europa que estabelecem regras e limites para o uso de inteligência artificial. “Esperamos poder usar nosso padrão para tentar contribuir para a discussão brilhante e necessária que precisa ser feita sobre os padrões que as empresas de tecnologia devem seguir.”
Um debate vibrante sobre os possíveis danos da IA está em andamento há anos na comunidade de tecnologia, alimentado por erros e erros que têm consequências reais na vida das pessoas, como algoritmos que determinam se as pessoas recebem ou não benefícios de bem-estar. As autoridades fiscais holandesas, por engano, retiraram os benefícios de cuidados infantis de famílias necessitadas quando um algoritmo falho penalizou as pessoas com dupla nacionalidade.
O software automatizado para reconhecer e analisar rostos tem sido particularmente controverso. No ano passado, o Facebook encerrou seu sistema de uma década para identificar pessoas em fotos. O vice-presidente de inteligência artificial da empresa citou as “muitas preocupações sobre o lugar da tecnologia de reconhecimento facial na sociedade”.
Vários homens negros foram presos injustamente após correspondências falhas de reconhecimento facial. E em 2020, ao mesmo tempo que os protestos Black Lives Matter após o assassinato policial de George Floyd em Minneapolis, Amazon e Microsoft emitiram moratórias sobre o uso de seus produtos de reconhecimento facial pela polícia nos Estados Unidos, dizendo leis mais claras sobre o seu uso eram necessários.
Desde então, Washington e Massachusetts aprovaram regulamentação exigindo, entre outras coisas, supervisão judicial sobre o uso de ferramentas de reconhecimento facial pela polícia.
Crampton disse que a Microsoft considerou se começaria a disponibilizar seu software para a polícia em estados com leis nos livros, mas decidiu, por enquanto, não fazê-lo. Ela disse que isso pode mudar à medida que o cenário legal muda.
Arvind Narayanan, professor de ciência da computação de Princeton e especialista em IA proeminentedisse que as empresas podem estar se afastando das tecnologias que analisam o rosto porque eram “mais viscerais, em oposição a vários outros tipos de IA que podem ser duvidosos, mas que não necessariamente sentimos em nossos ossos”.
As empresas também podem perceber que, pelo menos no momento, alguns desses sistemas não são tão valiosos comercialmente, disse ele. A Microsoft não pode dizer quantos usuários tinha para os recursos de análise facial dos quais está se livrando. Narayanan previu que as empresas seriam menos propensas a abandonar outras tecnologias invasivas, como publicidade direcionada, que traça o perfil das pessoas para escolher os melhores anúncios para mostrá-las, porque elas são uma “vaca leiteira”.
Discussão sobre isso post