FOTO DO ARQUIVO: uma tela com o logotipo do Google Cloud é retratada durante a apresentação do Google de um plano de investimento detalhado para a Alemanha fora do escritório do Google em Berlim, Alemanha, 31 de agosto de 2021. REUTERS / Annegret Hilse / Foto de arquivo
8 de setembro de 2021
Por Paresh Dave e Jeffrey Dastin
SÃO FRANCISCO (Reuters) – Em setembro do ano passado, a unidade de nuvem do Google estudou o uso de inteligência artificial para ajudar uma empresa financeira a decidir a quem emprestar dinheiro.
Ele rejeitou a ideia do cliente após semanas de discussões internas, considerando o projeto muito arriscado do ponto de vista ético, porque a tecnologia de IA poderia perpetuar preconceitos como os que envolvem raça e gênero.
Desde o início do ano passado, o Google também bloqueou novos recursos de IA que analisam emoções, temendo insensibilidade cultural, enquanto a Microsoft restringiu o software que imita vozes e a IBM rejeitou um pedido do cliente para um sistema avançado de reconhecimento facial.
Todas essas tecnologias foram restringidas por painéis de executivos ou outros líderes, de acordo com entrevistas com chefes de ética em IA dos três gigantes da tecnologia dos Estados Unidos.
Relatados aqui pela primeira vez, seus vetos e as deliberações que os levaram a refletem um impulso nascente de toda a indústria para equilibrar a busca de lucrativos sistemas de IA com uma consideração maior da responsabilidade social.
“Existem oportunidades e danos, e nosso trabalho é maximizar oportunidades e minimizar danos”, disse Tracy Pizzo Frey, que participa de dois comitês de ética no Google Cloud como diretora-gerente de AI responsável.
Os julgamentos podem ser difíceis.
A Microsoft, por exemplo, teve que equilibrar o benefício de usar sua tecnologia de imitação de voz para restaurar a fala de pessoas com deficiência com os riscos, como permitir falsificações políticas, disse Natasha Crampton, diretora responsável de IA da empresa.
Ativistas de direitos humanos dizem que decisões com consequências potencialmente amplas para a sociedade não devem ser tomadas sozinhas. Eles argumentam que os comitês de ética não podem ser verdadeiramente independentes e sua transparência pública é limitada por pressões competitivas.
Jascha Galaski, oficial de defesa da Civil Liberties Union for Europe, vê a supervisão externa como o caminho a seguir, e as autoridades dos EUA e da Europa estão de fato estabelecendo regras para a área incipiente.
Se os comitês de ética de IA das empresas “realmente se tornassem transparentes e independentes – e isso tudo é muito utópico – então isso poderia ser ainda melhor do que qualquer outra solução, mas não acho que seja realista”, disse Galaski.
As empresas disseram que receberiam uma regulamentação clara sobre o uso de IA, e que isso era essencial para a confiança do cliente e do público, semelhante às regras de segurança do carro. Eles disseram que também era do seu interesse financeiro agir com responsabilidade.
Eles desejam, porém, que quaisquer regras sejam flexíveis o suficiente para acompanhar a inovação e os novos dilemas que ela cria.
Entre as complexas considerações que virão, a IBM disse à Reuters que seu AI Ethics Board começou a discutir como policiar uma fronteira emergente: implantes e vestíveis que conectam computadores a cérebros.
Essas neurotecnologias podem ajudar pessoas com deficiência a controlar o movimento, mas levantam preocupações como a possibilidade de hackers manipularem os pensamentos, disse a diretora de privacidade da IBM, Christina Montgomery.
EU POSSO VER SUA SORROW
As empresas de tecnologia reconhecem que há apenas cinco anos estavam lançando serviços de IA, como chatbots e marcação de fotos, com poucas salvaguardas éticas, e combatendo o uso indevido ou resultados tendenciosos com atualizações subsequentes.
Mas à medida que o escrutínio público e político das falhas de IA cresceu, a Microsoft em 2017 e o Google e a IBM em 2018 estabeleceram comitês de ética para revisar novos serviços desde o início.
O Google disse que foi confrontado com seu dilema de empréstimo de dinheiro em setembro passado, quando uma empresa de serviços financeiros percebeu que a IA poderia avaliar a credibilidade das pessoas melhor do que outros métodos.
O projeto parecia adequado para o Google Cloud, cuja experiência no desenvolvimento de ferramentas de IA que ajudam em áreas como a detecção de transações anormais atraiu clientes como Deutsche Bank, HSBC e BNY Mellon.
A unidade do Google previa que a pontuação de crédito baseada em IA poderia se tornar um mercado de bilhões de dólares por ano e queria um ponto de apoio.
No entanto, seu comitê de ética de cerca de 20 gerentes, cientistas sociais e engenheiros que analisam acordos em potencial votaram unanimemente contra o projeto em uma reunião de outubro, disse Pizzo Frey.
O sistema de IA precisaria aprender com os dados e padrões anteriores, concluiu o comitê, e, portanto, corre o risco de repetir práticas discriminatórias em todo o mundo contra pessoas de cor e outros grupos marginalizados.
Além do mais, o comitê, internamente conhecido como “Lemonaid”, promulgou uma política para pular todos os negócios de serviços financeiros relacionados à qualidade de crédito até que tais preocupações pudessem ser resolvidas.
Lemonaid rejeitou três propostas semelhantes no ano anterior, incluindo de uma empresa de cartão de crédito e um credor empresarial, e Pizzo Frey e sua contraparte em vendas estavam ansiosas por uma decisão mais ampla sobre a questão.
O Google também disse que seu segundo comitê de ética na nuvem, conhecido como Iced Tea, este ano analisou um serviço lançado em 2015 para categorizar fotos de pessoas por quatro expressões: alegria, tristeza, raiva e surpresa.
A mudança seguiu uma decisão do ano passado pelo painel de ética de toda a empresa do Google, o Advanced Technology Review Council (ATRC), impedindo novos serviços relacionados à leitura de emoções.
O ATRC – mais de uma dúzia de executivos e engenheiros de alto escalão – determinou que inferir emoções pode ser insensível porque pistas faciais estão associadas de forma diferente a sentimentos entre culturas, entre outros motivos, disse Jen Gennai, fundador e líder da equipe de Inovação Responsável do Google.
O Iced Tea bloqueou 13 emoções planejadas para a ferramenta Cloud, incluindo constrangimento e contentamento, e pode em breve abandonar o serviço em favor de um novo sistema que descreveria movimentos como franzir a testa e sorrir, sem procurar interpretá-los, Gennai e Pizzo Frey disse.
VOZES E FACES
Enquanto isso, a Microsoft desenvolveu um software que pode reproduzir a voz de alguém a partir de uma pequena amostra, mas o painel de Usos Sensíveis da empresa passou mais de dois anos debatendo a ética em torno de seu uso e consultou o presidente da empresa, Brad Smith, e o oficial sênior de IA Crampton disse à Reuters.
Ela disse que o painel – especialistas em áreas como direitos humanos, ciência de dados e engenharia – acabou dando luz verde para o Custom Neural Voice ser totalmente lançado em fevereiro deste ano. Mas colocou restrições ao seu uso, incluindo que o consentimento dos sujeitos seja verificado e uma equipe com “Responsible AI Champs” treinados na política corporativa aprova as compras.
O conselho de IA da IBM, composto por cerca de 20 líderes de departamento, lutou com seu próprio dilema quando, no início da pandemia COVID-19, examinou uma solicitação de cliente para personalizar a tecnologia de reconhecimento facial para detectar febres e coberturas faciais.
Montgomery disse que o conselho, do qual ela é copresidente, recusou o convite, concluindo que as verificações manuais seriam suficientes com menos intrusão na privacidade, porque as fotos não seriam mantidas em nenhum banco de dados de IA.
Seis meses depois, a IBM anunciou que estava descontinuando seu serviço de reconhecimento facial.
AMBIÇÕES UNMET
Em uma tentativa de proteger a privacidade e outras liberdades, legisladores na União Europeia e nos Estados Unidos estão buscando controles de longo alcance sobre os sistemas de IA.
A Lei de Inteligência Artificial da UE, a ser aprovada no próximo ano, impediria o reconhecimento facial em tempo real em espaços públicos e exigiria que as empresas de tecnologia examinassem aplicações de alto risco, como aquelas usadas em contratações, pontuação de crédito e aplicação da lei.
O congressista norte-americano Bill Foster, que realizou audiências sobre como os algoritmos levam adiante a discriminação em serviços financeiros e habitação, disse que as novas leis para governar a IA garantiriam um campo equilibrado para os fornecedores.
“Quando você pede a uma empresa que dê um golpe nos lucros para cumprir as metas sociais, eles dizem: ‘E quanto aos nossos acionistas e concorrentes?’ É por isso que você precisa de regulamentação sofisticada ”, disse o democrata de Illinois.
“Pode haver áreas que são tão sensíveis que você verá empresas de tecnologia permanecendo deliberadamente de fora até que existam regras de trânsito claras.”
Na verdade, alguns avanços da IA podem simplesmente ficar em espera até que as empresas possam enfrentar os riscos éticos sem dedicar enormes recursos de engenharia.
Depois que o Google Cloud recusou a solicitação de IA financeira personalizada em outubro passado, o comitê Lemonaid disse à equipe de vendas que a unidade pretende começar a desenvolver aplicativos relacionados a crédito algum dia.
Em primeiro lugar, a pesquisa sobre o combate a preconceitos injustos deve acompanhar as ambições do Google Cloud de aumentar a inclusão financeira por meio da tecnologia “altamente sensível”, disse a política distribuída aos funcionários.
“Até lá, não estamos em posição de implantar soluções.”
(Reportagem de Paresh Dave e Jeffrey Dastin; Edição de Kenneth Li e Pravin Char)
.
FOTO DO ARQUIVO: uma tela com o logotipo do Google Cloud é retratada durante a apresentação do Google de um plano de investimento detalhado para a Alemanha fora do escritório do Google em Berlim, Alemanha, 31 de agosto de 2021. REUTERS / Annegret Hilse / Foto de arquivo
8 de setembro de 2021
Por Paresh Dave e Jeffrey Dastin
SÃO FRANCISCO (Reuters) – Em setembro do ano passado, a unidade de nuvem do Google estudou o uso de inteligência artificial para ajudar uma empresa financeira a decidir a quem emprestar dinheiro.
Ele rejeitou a ideia do cliente após semanas de discussões internas, considerando o projeto muito arriscado do ponto de vista ético, porque a tecnologia de IA poderia perpetuar preconceitos como os que envolvem raça e gênero.
Desde o início do ano passado, o Google também bloqueou novos recursos de IA que analisam emoções, temendo insensibilidade cultural, enquanto a Microsoft restringiu o software que imita vozes e a IBM rejeitou um pedido do cliente para um sistema avançado de reconhecimento facial.
Todas essas tecnologias foram restringidas por painéis de executivos ou outros líderes, de acordo com entrevistas com chefes de ética em IA dos três gigantes da tecnologia dos Estados Unidos.
Relatados aqui pela primeira vez, seus vetos e as deliberações que os levaram a refletem um impulso nascente de toda a indústria para equilibrar a busca de lucrativos sistemas de IA com uma consideração maior da responsabilidade social.
“Existem oportunidades e danos, e nosso trabalho é maximizar oportunidades e minimizar danos”, disse Tracy Pizzo Frey, que participa de dois comitês de ética no Google Cloud como diretora-gerente de AI responsável.
Os julgamentos podem ser difíceis.
A Microsoft, por exemplo, teve que equilibrar o benefício de usar sua tecnologia de imitação de voz para restaurar a fala de pessoas com deficiência com os riscos, como permitir falsificações políticas, disse Natasha Crampton, diretora responsável de IA da empresa.
Ativistas de direitos humanos dizem que decisões com consequências potencialmente amplas para a sociedade não devem ser tomadas sozinhas. Eles argumentam que os comitês de ética não podem ser verdadeiramente independentes e sua transparência pública é limitada por pressões competitivas.
Jascha Galaski, oficial de defesa da Civil Liberties Union for Europe, vê a supervisão externa como o caminho a seguir, e as autoridades dos EUA e da Europa estão de fato estabelecendo regras para a área incipiente.
Se os comitês de ética de IA das empresas “realmente se tornassem transparentes e independentes – e isso tudo é muito utópico – então isso poderia ser ainda melhor do que qualquer outra solução, mas não acho que seja realista”, disse Galaski.
As empresas disseram que receberiam uma regulamentação clara sobre o uso de IA, e que isso era essencial para a confiança do cliente e do público, semelhante às regras de segurança do carro. Eles disseram que também era do seu interesse financeiro agir com responsabilidade.
Eles desejam, porém, que quaisquer regras sejam flexíveis o suficiente para acompanhar a inovação e os novos dilemas que ela cria.
Entre as complexas considerações que virão, a IBM disse à Reuters que seu AI Ethics Board começou a discutir como policiar uma fronteira emergente: implantes e vestíveis que conectam computadores a cérebros.
Essas neurotecnologias podem ajudar pessoas com deficiência a controlar o movimento, mas levantam preocupações como a possibilidade de hackers manipularem os pensamentos, disse a diretora de privacidade da IBM, Christina Montgomery.
EU POSSO VER SUA SORROW
As empresas de tecnologia reconhecem que há apenas cinco anos estavam lançando serviços de IA, como chatbots e marcação de fotos, com poucas salvaguardas éticas, e combatendo o uso indevido ou resultados tendenciosos com atualizações subsequentes.
Mas à medida que o escrutínio público e político das falhas de IA cresceu, a Microsoft em 2017 e o Google e a IBM em 2018 estabeleceram comitês de ética para revisar novos serviços desde o início.
O Google disse que foi confrontado com seu dilema de empréstimo de dinheiro em setembro passado, quando uma empresa de serviços financeiros percebeu que a IA poderia avaliar a credibilidade das pessoas melhor do que outros métodos.
O projeto parecia adequado para o Google Cloud, cuja experiência no desenvolvimento de ferramentas de IA que ajudam em áreas como a detecção de transações anormais atraiu clientes como Deutsche Bank, HSBC e BNY Mellon.
A unidade do Google previa que a pontuação de crédito baseada em IA poderia se tornar um mercado de bilhões de dólares por ano e queria um ponto de apoio.
No entanto, seu comitê de ética de cerca de 20 gerentes, cientistas sociais e engenheiros que analisam acordos em potencial votaram unanimemente contra o projeto em uma reunião de outubro, disse Pizzo Frey.
O sistema de IA precisaria aprender com os dados e padrões anteriores, concluiu o comitê, e, portanto, corre o risco de repetir práticas discriminatórias em todo o mundo contra pessoas de cor e outros grupos marginalizados.
Além do mais, o comitê, internamente conhecido como “Lemonaid”, promulgou uma política para pular todos os negócios de serviços financeiros relacionados à qualidade de crédito até que tais preocupações pudessem ser resolvidas.
Lemonaid rejeitou três propostas semelhantes no ano anterior, incluindo de uma empresa de cartão de crédito e um credor empresarial, e Pizzo Frey e sua contraparte em vendas estavam ansiosas por uma decisão mais ampla sobre a questão.
O Google também disse que seu segundo comitê de ética na nuvem, conhecido como Iced Tea, este ano analisou um serviço lançado em 2015 para categorizar fotos de pessoas por quatro expressões: alegria, tristeza, raiva e surpresa.
A mudança seguiu uma decisão do ano passado pelo painel de ética de toda a empresa do Google, o Advanced Technology Review Council (ATRC), impedindo novos serviços relacionados à leitura de emoções.
O ATRC – mais de uma dúzia de executivos e engenheiros de alto escalão – determinou que inferir emoções pode ser insensível porque pistas faciais estão associadas de forma diferente a sentimentos entre culturas, entre outros motivos, disse Jen Gennai, fundador e líder da equipe de Inovação Responsável do Google.
O Iced Tea bloqueou 13 emoções planejadas para a ferramenta Cloud, incluindo constrangimento e contentamento, e pode em breve abandonar o serviço em favor de um novo sistema que descreveria movimentos como franzir a testa e sorrir, sem procurar interpretá-los, Gennai e Pizzo Frey disse.
VOZES E FACES
Enquanto isso, a Microsoft desenvolveu um software que pode reproduzir a voz de alguém a partir de uma pequena amostra, mas o painel de Usos Sensíveis da empresa passou mais de dois anos debatendo a ética em torno de seu uso e consultou o presidente da empresa, Brad Smith, e o oficial sênior de IA Crampton disse à Reuters.
Ela disse que o painel – especialistas em áreas como direitos humanos, ciência de dados e engenharia – acabou dando luz verde para o Custom Neural Voice ser totalmente lançado em fevereiro deste ano. Mas colocou restrições ao seu uso, incluindo que o consentimento dos sujeitos seja verificado e uma equipe com “Responsible AI Champs” treinados na política corporativa aprova as compras.
O conselho de IA da IBM, composto por cerca de 20 líderes de departamento, lutou com seu próprio dilema quando, no início da pandemia COVID-19, examinou uma solicitação de cliente para personalizar a tecnologia de reconhecimento facial para detectar febres e coberturas faciais.
Montgomery disse que o conselho, do qual ela é copresidente, recusou o convite, concluindo que as verificações manuais seriam suficientes com menos intrusão na privacidade, porque as fotos não seriam mantidas em nenhum banco de dados de IA.
Seis meses depois, a IBM anunciou que estava descontinuando seu serviço de reconhecimento facial.
AMBIÇÕES UNMET
Em uma tentativa de proteger a privacidade e outras liberdades, legisladores na União Europeia e nos Estados Unidos estão buscando controles de longo alcance sobre os sistemas de IA.
A Lei de Inteligência Artificial da UE, a ser aprovada no próximo ano, impediria o reconhecimento facial em tempo real em espaços públicos e exigiria que as empresas de tecnologia examinassem aplicações de alto risco, como aquelas usadas em contratações, pontuação de crédito e aplicação da lei.
O congressista norte-americano Bill Foster, que realizou audiências sobre como os algoritmos levam adiante a discriminação em serviços financeiros e habitação, disse que as novas leis para governar a IA garantiriam um campo equilibrado para os fornecedores.
“Quando você pede a uma empresa que dê um golpe nos lucros para cumprir as metas sociais, eles dizem: ‘E quanto aos nossos acionistas e concorrentes?’ É por isso que você precisa de regulamentação sofisticada ”, disse o democrata de Illinois.
“Pode haver áreas que são tão sensíveis que você verá empresas de tecnologia permanecendo deliberadamente de fora até que existam regras de trânsito claras.”
Na verdade, alguns avanços da IA podem simplesmente ficar em espera até que as empresas possam enfrentar os riscos éticos sem dedicar enormes recursos de engenharia.
Depois que o Google Cloud recusou a solicitação de IA financeira personalizada em outubro passado, o comitê Lemonaid disse à equipe de vendas que a unidade pretende começar a desenvolver aplicativos relacionados a crédito algum dia.
Em primeiro lugar, a pesquisa sobre o combate a preconceitos injustos deve acompanhar as ambições do Google Cloud de aumentar a inclusão financeira por meio da tecnologia “altamente sensível”, disse a política distribuída aos funcionários.
“Até lá, não estamos em posição de implantar soluções.”
(Reportagem de Paresh Dave e Jeffrey Dastin; Edição de Kenneth Li e Pravin Char)
.
Discussão sobre isso post