Foi esse desejo de modelar a tomada de decisões econômicas que os levou ao jogo. Von Neumann rejeitou a maioria dos jogos como inadequados para a tarefa, especialmente aqueles como damas ou xadrez em que ambos os jogadores podem ver todas as peças do tabuleiro e compartilhar as mesmas informações. “A vida real não é assim”, explicou ele a Jacob Bronowski, um colega matemático. “A vida real consiste em blefar, em pequenas táticas de engano, em se perguntar o que o outro homem vai pensar que eu pretendo fazer. E é disso que os jogos tratam na minha teoria.” A vida real, pensou von Neumann, era como o pôquer.
Usando sua própria versão simplificada do jogo, na qual dois jogadores recebiam aleatoriamente números secretos e depois solicitados a fazer apostas de um tamanho predeterminado em cujo número era maior, von Neumann derivou a base para uma estratégia ideal. Os jogadores devem apostar alto tanto com suas melhores mãos quanto, como blefes, com alguma porcentagem definida de suas piores mãos. (A porcentagem mudava dependendo do tamanho da aposta em relação ao tamanho do pote.) Von Neumann foi capaz de demonstrar que blefando e pagando em frequências matematicamente precisas, os jogadores não fariam nada pior do que empatar no longo prazo, mesmo se eles fornecessem a seus oponentes uma descrição exata de sua estratégia. E, se seus oponentes empregassem qualquer estratégia contra eles além da perfeita que von Neumann havia descrito, esses oponentes certamente perderiam, dada uma amostra grande o suficiente.
“Há muitas jogadas realmente estranhas agora que esses caras estão fazendo que são eficazes – mas se as pessoas as vissem de volta ao dia, acho que seriam convidadas para o jogo todas as noites.”
A “Teoria dos Jogos” apontou o caminho para um futuro no qual todos os tipos de interações competitivas poderiam ser modelados matematicamente: leilões, guerra submarina, até mesmo a forma como as espécies competem para passar seus genes para as gerações futuras. Mas em termos estratégicos, o próprio pôquer mal avançou em resposta à prova de von Neumann até ser adotado por membros do Departamento de Ciência da Computação da Universidade de Alberta mais de cinco décadas depois. A estrela inicial da pesquisa de jogos do departamento foi um professor chamado Jonathan Schaeffer, que, após 18 anos de trabalho, descobriu a solução para as damas. Os professores e alunos de Alberta também fizeram progressos significativos em jogos tão diversos quanto go, Othello, StarCraft e o passatempo canadense de curling. O pôquer, no entanto, permaneceu um problema particularmente espinhoso, precisamente pela razão pela qual von Neumann foi atraído por ele em primeiro lugar: a maneira como as informações ocultas no jogo atuam como um impedimento para uma boa tomada de decisão.
Ao contrário do xadrez ou gamão, em que os movimentos de ambos os jogadores são claramente legíveis no tabuleiro, no pôquer um computador tem que interpretar as apostas de seus oponentes apesar de nunca ter certeza de quais cartas eles possuem. Neil Burch, um cientista da computação que passou quase duas décadas trabalhando no poker como estudante de pós-graduação e pesquisador em Alberta antes de ingressar em uma empresa de inteligência artificial chamada DeepMind, caracteriza as primeiras tentativas da equipe como bastante malsucedidas. “O que descobrimos foi que, se você colocasse um jogador de pôquer experiente na frente do computador e deixasse que ele o cutucasse”, diz ele, o programa foi “esmagado, absolutamente esmagado”.
Em parte, isso era apenas uma função da dificuldade de modelar todas as decisões envolvidas em jogar uma mão de pôquer. Os teóricos dos jogos usam um diagrama de uma árvore ramificada para representar as diferentes maneiras pelas quais um jogo pode se desenrolar. Em um simples como pedra-papel-tesoura, a árvore é pequena: três galhos para a pedra, papel e tesoura que você pode jogar, cada um com três galhos subsequentes para a pedra, papel e tesoura que seu oponente pode jogar. Quanto mais complicado o jogo, maior a árvore se torna. Mesmo para uma versão simplificada do Texas Hold ‘em, jogada “heads up” (ou seja, entre apenas dois jogadores) e com apostas fixadas em um tamanho predeterminado, uma árvore de jogo completa contém 316.000.000.000.000.000 ramos. A árvore para no-limit hold’em, na qual os jogadores podem apostar qualquer quantia, tem ainda mais do que isso. “Realmente fica realmente enorme”, diz Burch. “Tipo, maior que o número de átomos no universo.”
No início, a abordagem do grupo de Alberta era tentar reduzir o jogo para uma escala mais manejável – grosseiramente agrupando mãos que eram mais ou menos parecidas, tratando um par de noves e um par de dez, digamos, como se fossem idênticos. Mas à medida que o campo da inteligência artificial se tornava mais robusto e os algoritmos da equipe se ajustavam melhor às complexidades do pôquer, seus programas começaram a melhorar. Crucial para esse desenvolvimento foi um algoritmo chamado minimização de arrependimento contrafactual. Cientistas da computação encarregaram suas máquinas de identificar a estratégia ideal do pôquer fazendo com que os programas jogassem contra si mesmos bilhões de vezes e anotando quais decisões na árvore do jogo foram menos lucrativas (os “arrependimentos”, que a IA aprenderia a minimizar em iterações futuras fazendo outras escolhas melhores). Em 2015, a equipe de Alberta anunciou seu sucesso publicando um artigo na Science intitulado “O poker Heads-Up Limit Hold’em foi resolvido.”
Foi esse desejo de modelar a tomada de decisões econômicas que os levou ao jogo. Von Neumann rejeitou a maioria dos jogos como inadequados para a tarefa, especialmente aqueles como damas ou xadrez em que ambos os jogadores podem ver todas as peças do tabuleiro e compartilhar as mesmas informações. “A vida real não é assim”, explicou ele a Jacob Bronowski, um colega matemático. “A vida real consiste em blefar, em pequenas táticas de engano, em se perguntar o que o outro homem vai pensar que eu pretendo fazer. E é disso que os jogos tratam na minha teoria.” A vida real, pensou von Neumann, era como o pôquer.
Usando sua própria versão simplificada do jogo, na qual dois jogadores recebiam aleatoriamente números secretos e depois solicitados a fazer apostas de um tamanho predeterminado em cujo número era maior, von Neumann derivou a base para uma estratégia ideal. Os jogadores devem apostar alto tanto com suas melhores mãos quanto, como blefes, com alguma porcentagem definida de suas piores mãos. (A porcentagem mudava dependendo do tamanho da aposta em relação ao tamanho do pote.) Von Neumann foi capaz de demonstrar que blefando e pagando em frequências matematicamente precisas, os jogadores não fariam nada pior do que empatar no longo prazo, mesmo se eles fornecessem a seus oponentes uma descrição exata de sua estratégia. E, se seus oponentes empregassem qualquer estratégia contra eles além da perfeita que von Neumann havia descrito, esses oponentes certamente perderiam, dada uma amostra grande o suficiente.
“Há muitas jogadas realmente estranhas agora que esses caras estão fazendo que são eficazes – mas se as pessoas as vissem de volta ao dia, acho que seriam convidadas para o jogo todas as noites.”
A “Teoria dos Jogos” apontou o caminho para um futuro no qual todos os tipos de interações competitivas poderiam ser modelados matematicamente: leilões, guerra submarina, até mesmo a forma como as espécies competem para passar seus genes para as gerações futuras. Mas em termos estratégicos, o próprio pôquer mal avançou em resposta à prova de von Neumann até ser adotado por membros do Departamento de Ciência da Computação da Universidade de Alberta mais de cinco décadas depois. A estrela inicial da pesquisa de jogos do departamento foi um professor chamado Jonathan Schaeffer, que, após 18 anos de trabalho, descobriu a solução para as damas. Os professores e alunos de Alberta também fizeram progressos significativos em jogos tão diversos quanto go, Othello, StarCraft e o passatempo canadense de curling. O pôquer, no entanto, permaneceu um problema particularmente espinhoso, precisamente pela razão pela qual von Neumann foi atraído por ele em primeiro lugar: a maneira como as informações ocultas no jogo atuam como um impedimento para uma boa tomada de decisão.
Ao contrário do xadrez ou gamão, em que os movimentos de ambos os jogadores são claramente legíveis no tabuleiro, no pôquer um computador tem que interpretar as apostas de seus oponentes apesar de nunca ter certeza de quais cartas eles possuem. Neil Burch, um cientista da computação que passou quase duas décadas trabalhando no poker como estudante de pós-graduação e pesquisador em Alberta antes de ingressar em uma empresa de inteligência artificial chamada DeepMind, caracteriza as primeiras tentativas da equipe como bastante malsucedidas. “O que descobrimos foi que, se você colocasse um jogador de pôquer experiente na frente do computador e deixasse que ele o cutucasse”, diz ele, o programa foi “esmagado, absolutamente esmagado”.
Em parte, isso era apenas uma função da dificuldade de modelar todas as decisões envolvidas em jogar uma mão de pôquer. Os teóricos dos jogos usam um diagrama de uma árvore ramificada para representar as diferentes maneiras pelas quais um jogo pode se desenrolar. Em um simples como pedra-papel-tesoura, a árvore é pequena: três galhos para a pedra, papel e tesoura que você pode jogar, cada um com três galhos subsequentes para a pedra, papel e tesoura que seu oponente pode jogar. Quanto mais complicado o jogo, maior a árvore se torna. Mesmo para uma versão simplificada do Texas Hold ‘em, jogada “heads up” (ou seja, entre apenas dois jogadores) e com apostas fixadas em um tamanho predeterminado, uma árvore de jogo completa contém 316.000.000.000.000.000 ramos. A árvore para no-limit hold’em, na qual os jogadores podem apostar qualquer quantia, tem ainda mais do que isso. “Realmente fica realmente enorme”, diz Burch. “Tipo, maior que o número de átomos no universo.”
No início, a abordagem do grupo de Alberta era tentar reduzir o jogo para uma escala mais manejável – grosseiramente agrupando mãos que eram mais ou menos parecidas, tratando um par de noves e um par de dez, digamos, como se fossem idênticos. Mas à medida que o campo da inteligência artificial se tornava mais robusto e os algoritmos da equipe se ajustavam melhor às complexidades do pôquer, seus programas começaram a melhorar. Crucial para esse desenvolvimento foi um algoritmo chamado minimização de arrependimento contrafactual. Cientistas da computação encarregaram suas máquinas de identificar a estratégia ideal do pôquer fazendo com que os programas jogassem contra si mesmos bilhões de vezes e anotando quais decisões na árvore do jogo foram menos lucrativas (os “arrependimentos”, que a IA aprenderia a minimizar em iterações futuras fazendo outras escolhas melhores). Em 2015, a equipe de Alberta anunciou seu sucesso publicando um artigo na Science intitulado “O poker Heads-Up Limit Hold’em foi resolvido.”
Discussão sobre isso post