Na recepção de casamento de Ann Johnson, há 20 anos, seu dom para falar ficou claramente evidente. Em um brinde entusiasmado de 15 minutos, ela brincou dizendo que havia corrido até o altar, se perguntou se o programa da cerimônia deveria ter dito “flautista” ou “flautista” e reconheceu que estava “monopolizando o microfone”.
Apenas dois anos depois, a Sra. Johnson – então uma professora de 30 anos, treinadora de vôlei e mãe de uma criança – teve um derrame cataclísmico que a paralisou e a deixou incapaz de falar.
Na quarta-feira, os cientistas relataram um avanço notável no sentido de ajudar ela e outros pacientes a falar novamente. Em um marco da neurociência e da inteligência artificial, eletrodos implantados decodificaram os sinais cerebrais da Sra. Johnson enquanto ela tentava dizer frases silenciosamente. A tecnologia converteu os sinais cerebrais em linguagem escrita e vocalizada e permitiu que um avatar na tela do computador falasse as palavras e exibisse sorrisos, lábios franzidos e outras expressões.
A pesquisa, publicado na revista Nature, demonstra a primeira vez que palavras faladas e expressões faciais foram sintetizadas diretamente a partir de sinais cerebrais, dizem os especialistas. A Sra. Johnson escolheu o avatar, um rosto parecido com o dela, e os pesquisadores usaram seu brinde de casamento para desenvolver a voz do avatar.
“Estamos apenas tentando restaurar quem as pessoas são”, disse o líder da equipe, Dr. Edward Chang, presidente do departamento de cirurgia neurológica da Universidade da Califórnia, em São Francisco.
“Isso me fez sentir como se fosse uma pessoa completa novamente”, escreveu-me a Sra. Johnson, agora com 48 anos.
O objetivo é ajudar pessoas que não conseguem falar devido a derrames ou doenças como paralisia cerebral e esclerose lateral amiotrófica. Para funcionar, o implante da Sra. Johnson deve ser conectado por cabo da cabeça dela a um computador, mas sua equipe e outros estão desenvolvendo versões sem fio. Eventualmente, esperam os pesquisadores, as pessoas que perderam a fala poderão conversar em tempo real por meio de imagens computadorizadas de si mesmas que transmitem tom, inflexão e emoções como alegria e raiva.
“O que é bastante emocionante é que apenas a partir da superfície do cérebro, os investigadores conseguiram obter informações muito boas sobre estas diferentes características da comunicação”, disse o Dr. Parag Patil, neurocirurgião e engenheiro biomédico da Universidade de Michigan, que foi solicitado pela Nature para revisar o estudo antes da publicação.
A experiência da Sra. Johnson reflete o rápido progresso da área. Há apenas dois anos, a mesma equipe publicou pesquisar em que um homem paralisado, apelidado de Pancho, usou um implante e um algoritmo mais simples para produzir 50 palavras básicas como “olá” e “com fome”, que foram exibidas como texto em um computador depois que ele tentou dizê-las.
O implante da Sra. Johnson tem quase o dobro de eletrodos, aumentando sua capacidade de detectar sinais cerebrais de processos sensoriais e motores relacionados à fala, ligados à boca, lábios, mandíbula, língua e laringe. Os pesquisadores treinaram a sofisticada inteligência artificial para reconhecer não palavras individuais, mas fonemas, ou unidades sonoras como “ow” e “ah”, que podem formar qualquer palavra.
“É como um alfabeto de sons de fala”, disse David Moses, gerente do projeto.
Enquanto o sistema de Pancho produzia de 15 a 18 palavras por minuto, a taxa da Sra. Johnson era de 78, usando uma lista de vocabulário muito maior. A fala coloquial típica tem cerca de 160 palavras por minuto.
Quando os pesquisadores começaram a trabalhar com ela, não esperavam experimentar o avatar ou o áudio. Mas os resultados promissores foram “um enorme sinal verde para dizer: ‘OK, vamos tentar as coisas mais difíceis, vamos em frente’”, disse o Dr. Moses.
Eles programaram um algoritmo para decodificar a atividade cerebral em formas de onda de áudio, produzindo fala vocalizada, disse Kaylo Littlejohn, estudante de graduação da Universidade da Califórnia, Berkeley, e um dos principais autores do estudo, junto com o Dr. e Margaret Seaton.
“A fala contém muitas informações que não são bem preservadas apenas pelo texto, como entonação, tom e expressão”, disse Littlejohn.
Trabalhando com uma empresa que produz animação facial, os pesquisadores programaram o avatar com dados de movimentos musculares. A Sra. Johnson então tentou fazer expressões faciais de feliz, triste e surpreso, cada uma em alta, média e baixa intensidade. Ela também tentou fazer vários movimentos de mandíbula, língua e lábios. Seus sinais cerebrais decodificados foram transmitidos no rosto do avatar.
Através do avatar, ela disse: “Eu acho você maravilhoso” e “O que você acha da minha voz artificial?”
“Ouvir uma voz semelhante à sua é emocionante”, disse a Sra. Johnson aos pesquisadores.
Ela e o marido, William, funcionário dos correios, até envolvido em conversa. Ela disse através do avatar: “Não me faça rir”. Ele perguntou como ela se sentia em relação às chances do Toronto Blue Jays. “Tudo é possível”, ela respondeu.
O campo está avançando tão rapidamente que os especialistas acreditam que versões sem fio aprovadas pelo governo federal poderão estar disponíveis na próxima década. Diferentes métodos podem ser ideais para determinados pacientes.
Na quarta-feira, A Nature também publicou o estudo de outra equipe envolvendo eletrodos implantados mais profundamente no cérebro, detectando a atividade de neurônios individuais, disse o Dr. Jaimie Henderson, professor de neurocirurgia em Stanford e líder da equipe, que foi motivado por sua experiência de infância ao ver seu pai perder a fala após um acidente. Ele disse que o método deles pode ser mais preciso, mas menos estável, porque os padrões de disparo de neurônios específicos podem mudar.
Seu sistema decodificou frases a 62 palavras por minuto que o participante, Pat Bennett, 68 anos, que tem ELA, tentou dizer a partir de um amplo vocabulário. Esse estudo não incluiu avatar ou decodificação de som.
Ambos os estudos usaram modelos de linguagem preditiva para ajudar a adivinhar palavras em frases. Os sistemas não apenas combinam palavras, mas estão “descobrindo novos padrões de linguagem” à medida que melhoram o reconhecimento da atividade neural dos participantes, disse Melanie Fried-Oken, especialista em tecnologia assistiva de fala na Oregon Health & Science University, que consultado no estudo de Stanford.
Nenhuma das abordagens foi completamente precisa. Ao usar grandes conjuntos de vocabulário, eles decodificaram palavras individuais incorretamente cerca de um quarto das vezes.
Por exemplo, quando a Sra. Johnson tentou dizer: “Talvez os tenhamos perdido”, o sistema decodificou: “Talvez tenhamos esse nome”. Mas em quase metade de suas frases, ele decifrou corretamente cada palavra.
Os pesquisadores descobriram que as pessoas em uma plataforma de crowdsourcing conseguiam interpretar corretamente as expressões faciais do avatar na maioria das vezes. Interpretar o que a voz dizia foi mais difícil, por isso a equipe está desenvolvendo um algoritmo de previsão para melhorar isso. “Nosso avatar falante está apenas no ponto de partida”, disse Chang.
Os especialistas enfatizam que esses sistemas não leem as mentes ou os pensamentos das pessoas. Em vez disso, disse Patil, eles se assemelham a batedores de beisebol que “não leem a mente do arremessador, mas interpretam o que veem o arremessador fazer” para prever os arremessos.
Ainda assim, a leitura de mentes pode, em última análise, ser possível, levantando questões éticas e de privacidade, disse Fried-Oken.
A senhora Johnson contatou o Dr. Chang em 2021, um dia depois de seu marido lhe mostrar meu artigo sobre Pancho, o homem paralítico que os pesquisadores ajudaram. Chang disse que inicialmente a desencorajou porque ela morava em Saskatchewan, Canadá, longe de seu laboratório em São Francisco, mas “ela foi persistente”.
Johnson, 48 anos, conseguiu trabalhar meio período. “Ann sempre me apoiou para fazer o que eu queria”, inclusive liderando seu sindicato postal local, disse ele. “Então, pensei que era importante poder apoiá-la nisso.”
Ela começou a participar em setembro passado. A viagem para a Califórnia levou três dias em uma van repleta de equipamentos, incluindo um elevador para transferi-la entre a cadeira de rodas e a cama. Eles alugam um apartamento lá, onde os pesquisadores realizam seus experimentos para facilitar a vida dela. Os Johnsons, que angariam dinheiro online e na sua comunidade para pagar as viagens e o aluguer do estudo plurianual, passam semanas na Califórnia, regressando a casa entre as fases da investigação.
“Se ela pudesse fazer isso 10 horas por dia, sete dias por semana, ela o teria feito”, disse Johnson.
A determinação sempre fez parte de sua natureza. Quando eles começaram a namorar, a Sra. Johnson deu ao Sr. Johnson 18 meses para propor casamento, o que ele disse ter feito “no dia exato do 18º mês”, depois que ela “já tinha ido e escolhido seu anel de noivado”.
A Sra. Johnson se comunicou comigo por e-mails compostos com o sistema de assistência mais rudimentar que ela usa em casa. Ela usa óculos com um ponto reflexivo que aponta para letras e palavras na tela do computador.
É lento, permitindo que ela gere apenas 14 palavras por minuto. Mas é mais rápido do que a única outra maneira que ela consegue se comunicar em casa: usando um quadro de plástico, um método que o Sr. Johnson descreveu como “ela apenas tentando me mostrar qual letra ela está tentando ver e então eu tentando descobrir”. o que ela está tentando dizer.”
A incapacidade de ter conversas fluidas os frustra. Ao discutir assuntos detalhados, o Sr. Johnson às vezes diz algo e recebe a resposta dela por e-mail no dia seguinte.
“Ann sempre foi uma pessoa muito faladora na vida, uma pessoa sociável e extrovertida que adora conversar, e eu não”, disse ele, mas o derrame dela “inverteu os papéis, e agora devo ser eu quem fala”.
A Sra. Johnson estava ensinando matemática, saúde e educação física no ensino médio, e treinando vôlei e basquete quando sofreu um acidente vascular cerebral enquanto se preparava para jogar vôlei. Depois de um ano internada em um hospital e em um centro de reabilitação, ela voltou para casa com seu enteado de 10 anos e sua filha de 23 meses, que agora cresceu sem nenhuma lembrança de ter ouvido sua mãe falar, disse Johnson.
“Não poder abraçar e beijar meus filhos doeu muito, mas era a minha realidade”, escreveu a Sra. “O verdadeiro prego no caixão foi dizer que eu não poderia ter mais filhos.”
Durante cinco anos após o derrame, ela ficou apavorada. “Achei que morreria a qualquer momento”, escreveu ela, acrescentando: “A parte do meu cérebro que não estava congelada sabia que eu precisava de ajuda, mas como poderia me comunicar?”
Gradualmente, sua obstinação ressurgiu. Inicialmente, “os músculos do meu rosto não funcionavam”, escreveu ela, mas depois de cerca de cinco anos, ela conseguia sorrir à vontade.
Ela foi alimentada inteiramente por sonda por cerca de uma década, mas decidiu que queria provar alimentos sólidos. “Se eu morrer, que assim seja”, ela disse a si mesma. “Comecei a chupar chocolate.” Ela fez terapia de deglutição e agora come alimentos picados ou macios. “Minha filha e eu adoramos cupcakes”, escreveu ela.
Quando a Sra. Johnson soube que eram necessários conselheiros para traumas após um acidente fatal de ônibus em Saskatchewan em 2018, ela decidiu fazer um curso universitário de aconselhamento online.
“Eu tinha conhecimentos mínimos de informática e, sendo uma pessoa de matemática e ciências, a ideia de escrever trabalhos me assustava”, escreveu ela em um relatório de aula. “Ao mesmo tempo, minha filha estava no 9º ano e foi diagnosticada com deficiência de processamento. Decidi superar meus medos e mostrar a ela que as deficiências não precisam nos impedir ou nos atrasar.”
Ajudar os sobreviventes de traumas continua sendo seu objetivo. “Minha chance de chegar à Lua foi me tornar conselheira e usar essa tecnologia para conversar com meus clientes”, disse ela à equipe do Dr. Chang.
No início, quando ela começou a fazer expressões emocionais com o avatar, “me senti boba, mas gosto de sentir que tenho um rosto expressivo novamente”, escreveu ela, acrescentando que os exercícios também lhe permitiram mover o lado esquerdo da testa para o primeira vez.
Ela ganhou outra coisa também. Após o derrame, “doeu muito quando perdi tudo”, escreveu ela. “Eu disse a mim mesmo que nunca mais me colocaria na linha daquela decepção.”
Agora, “sinto que tenho um emprego de novo”, escreveu ela.
Além disso, a tecnologia a faz imaginar estar em “Star Wars”: “Eu meio que me acostumei a ficar louca”.
Discussão sobre isso post