I.A. x humanidade

Henry Kissinger, secretário de Estado americano entre 1973 e 1977 nos governos de Nixon e Ford e ganhador do Nobel da paz em 1973, escreveu um artigo bastante profundo numa edição especial de Veja em comemoração dos 50 anos da revista. O artigo analisa a sociedade humana frente à realidade de inteligência artificial cada vez mais presente entre nós.

O texto é longo, mas vale cada palavra de sua transcrição e leitura. Vamos à sua reflexão.

Adeus ao Iluminismo

Filosoficamente, intelectualmente - sob todos os aspectos -, a sociedade humana não está preparada para a ascensão da inteligência artificial.

Henry Kissinger

Há três anos, eu participava de uma conferência sobre assuntos internacionais quando a questão da inteligência artificial (IA) surgiu na agenda. Quase fui embora, por se tratar de um tema alheio aos meus interesses usuais, mas o início da apresentação me segurou na cadeira. O palestrante descreveu o funcionamento de um programa de computador que estava sendo preparado para desafiar campeões mundiais do jogo de tabuleiro go.

Impressionou-me saber que um computador seria capaz de dominar o go, um jogo mais complexo que o xadrez. Nele, cada jogador distribui 180 ou 181 peças (dependendo da cor que escolhe), alternadamente, em um tabuleiro que começa vazio; vence o lado que, através de decisões estratégicas mais eficientes, consegue controlar território e imobilizar o adversário.

Segundo o orador, essa habilidade não pode ser programada. A máquina dele aprenderia a jogar go na prática, treinando. O computador receberia as regras básicas e jogaria inúmeras partidas contra si mesmo, aprendendo com seus erros e refinando os algoritmos conforme a necessidade. No processo, adquiriria habilidade maior do que a dos campeões humanos. De fato, nos meses que se seguiram à palestra, um programa de IA chamado AlphaGo derrotou os maiores do mundo no jogo.

Enquanto eu ouvia aquela celebração do progresso da técnica, minha experiência de historiador e estadista eventual me fez pensar. Que impacto terão na história as máquinas que aprendem sozinhas, que adquirem conhecimento por meio de processos que lhes são inerentes e depois o aplicam em finalidades que não se encaixam em nenhuma categoria do entendimento humano? Será que aprenderão a se comunicar umas com as outras? Que escolhas farão diante das opções apresentadas? Seguirá a história da humanidade o mesmo caminho dos incas diante da cultura espanhola, para eles incompreensível e atemorizante? Ou estamos entrando em uma nova fase da história?

Consciente de que não tenho competência técnica nesse campo, organizei algumas conversas informais sobre o tema, com a ajuda e a cooperação de pessoas das áreas de humanas e tecnologia. Essas discussões só aumentaram minha preocupação.

O avanço tecnológico que mais alterou o curso da história moderna até hoje foi a invenção da prensa, no século XV, instrumento que permitiu que a busca do conhecimento empírico fosse além da doutrina religiosa e que a Idade da Razão suplantasse a Idade da Religião. A visão individual e o saber científico tomaram o lugar da fé como critério mais relevante na consciência das pessoas. A informação foi armazenada e sistematizada em bibliotecas cada vez maiores. Foi na Idade da Razão que tiveram origem os pensamentos e as ações que moldaram a ordem mundial contemporânea.

Essa mesma ordem está agora aturdida diante do surgimento de uma nova e ainda mais abrangente revolução tecnológica, cujas consequências ainda não paramos para avaliar e cuja culminação pode ser um mundo dependente de máquinas movidas a informação e algoritmos e desaparelhada de regras éticas e filosóficas.

A Idade da Internet em que já vivemos suscita algumas questões que a IA tornará ainda mais prementes. O Iluminismo pretendeu submeter verdades tradicionais a uma razão humana liberada e analítica. O propósito da internet é ratificar o conhecimento através da acumulação e manipulação de dados em constante expansão. A percepção humana perde o caráter pessoal. Indivíduos se tornam dados e dados passam a imperar. 

Os usuários da internet preferem recuperar e manipular informação a contextualizar e conceitualizar seu significado. Eles dificilmente atentam para a história e a filosofia; em geral, querem informação relevante para suas necessidades práticas imediatas. Nesse processo, os algoritmos dos mecanismos de busca adquirem a capacidade de antecipar as preferências de cada cliente, personalizar resultados e disponibilizá-los a terceiros para uso político e comercial. A verdade se torna relativa. A informação ameaça ofuscar a sabedoria. (grifos acrescidos)

Submetidos, via redes sociais, a um enorme volume de opiniões, os usuários se distanciam da introspecção; aliás, muitos usam a internet justamente para evitar a temida solidão. Essas pressões solapam a força de vontade necessária para desenvolver e sustentar convicções alcançadas apenas por quem percorre a trilha solitária que é a essência da criatividade.

O impacto da tecnologia da internet na política é especialmente potente. A capacidade de identificar microgrupos anulou qualquer consenso sobre prioridades, ao permitir que se foquem objetivos e ressentimentos específicos. Os políticos, assoberbados pela pressão de nichos, deixam de refletir sobre o contexto geral, o que os impede de desenvolver uma visão mais ampla.

A ênfase do mundo digital na velocidade inibe a reflexão. Os incentivos que ele oferece fazem com que o radical fique mais poderoso que o moderado. Os valores são moldados pelo consenso de subgrupos, e não pela introspecção. Em que pesem suas realizações, o universo digital corre o risco de voltar-se para si mesmo, à medida que suas imposições superem suas conveniências.

A acumulação e a análise de vastas quantidades de dados, facilitadas pela internet e pela crescente potência dos computadores, fizeram emergir aspectos inéditos do entendimento humano. O mais significativo deles talvez seja o projeto de produção de inteligência artificial - uma tecnologia capaz de inventar e resolver problemas complexos, aparentemente abstratos, utilizando processos que dão a impressão de replicar os da mente humana.

Isso vai muito além da automação tal qual a conhecemos. A automação lida com meios - ela alcança objetivos predeterminados racionalizando e mecanizando os instrumentos para chegar a eles. A IA, ao contrário, lida com fins - ela estabelece os próprios objetivos. Sendo suas realizações em parte formuladas por ela mesma, a IA se torna inerentemente instável. Os sistemas de IA, pela natureza de seus mecanismos de operação, estão em movimento constante, adquirindo e analisando instantaneamente novos dados e tentando se aperfeiçoar com base nessas análises. Ao agir dessa forma, a inteligência artificial desenvolve uma habilidade que se julgava exclusiva dos seres humanos: a de tomar decisões estratégicas sobre o futuro, baseadas às vezes em dados gerados por ela mesma (ao executar, por exemplo, 1 milhão de interações de um jogo).

O carro que anda sem motorista ilustra bem a diferença entre as ações de computadores movidos a software e controlados por pessoas e o universo em que a IA navega. Dirigir um carro requer que se tomem decisões em situações impossíveis de antecipar e, portanto, programar com antecedência. O que acontecerá, para usar um exemplo batido, se o carro sem motorista for obrigado pelas circunstâncias a optar por atropelar um idoso ou uma criança? Quem ele vai escolher?Por quê? Que fatores, entre as suas opções, ele vai priorizar? Como ele explica seu raciocinio? Sua resposta sincera, se pudesse se comunicar, seria: "Não sei" ou "Você não vai entender (porque fui treinado para agir de certa maneira, mas não para explicar motivos)". E, no entanto, carros sem motorista devem estar tomando conta das estradas daqui a dez anos.

Confinadas até agora a campos de atividade restritos, as pesquisas de IA empenham-se neste momento em montar uma "inteligência generalista" capaz de executar tarefas em diversas áreas. Uma parcela crescente da atividade humana será, em um futuro não muito distante, controlada por algoritmos de IA. Entretanto, esses algoritmos, por serem interpretações matemáticas de dados observados, não detêm explicações para a realidade que os produziu.

Encontra-se aí um paradoxo: o mesmo mundo que se torna mais transparente vai ficando cada vez mais misterioso. O que distinguirá o mundo novo deste que conhecemos? Como viveremos nele? Como conseguiremos gerir a IA, melhorá-la, ou pelo menos impedir que cause danos? São dúvidas que remetem à preocupação mais tenebrosa: a de que a IA, tendo dominado certas competências com mais rapidez e eficiência que nós, possa com o tempo diminuir a capacidade e a própria condição humana, que terá transformado em dados.

Prevê-se que a inteligência artificial trará enormes benefícios para a ciência médica, o fornecimento de energia limpa, as questões ambientais e muitos outros setores. Contudo, justamente porque a IA toma decisões com vista a um futuro ainda indeterminado, em evolução, os resultados carregam incertezas e ambiguidades.

Três áreas são particularmente preocupantes. 

Primeira preocupação: que a IA chegue a resultados inesperados. A ficção científica já desenhou cenários em que a IA se volta contra seus criadores. Mais provável, porém, é o perigo de que interprete errado as instruções dos humanos por lhe faltar contexto. Um exemplo recente que ficou famoso é o da robô Tay, projetada para conduzir conversas agradáveis nos padrões de linguagem de uma garota de 19 anos. Todavia, a máquina não captou os parâmetros de vocabulário "amigável" e "razoável" instalados por seus criadores, e o resultado foram respostas racistas, sexistas e exaltadas. Muitos cientistas consideraram a experiência mal projetada e mal executada, mas ela serve para ilustrar uma ambiguidade inescapável: até que ponto é possível capacitar a IA a compreender o contexto que dá forma a suas instruções? Que método ajudaria Tay a definir o significado da palavra "ofensivo", que não é consenso nem entre os humanos? Será que conseguiremos corrigir a tempo um programa de IA que não responda conforme o esperado? Ou será que a IA, estimulada a agir de forma independente, vai inevitavelmente desenvolver pequenos desvios que, com o tempo, podem evoluir para anomalias catastróficas?

Segunda preocupação: que, depois de alcançar os objetivos pretendidos, a IA mude os processos de pensamento e os valores humanos. O AlphaGo derrotou os campeões mundiais de go executando manobras estratégicas que os seres humanos ainda não haviam concebido e, portanto, não sabiam como desarticular. Estariam essas manobras além da capacidade do cérebro humano? Será que conseguiremos aprendê-las agora que foram demonstradas por um novo mestre?

Antes de a IA dominar o go, o jogo tinha objetivos variados e inter-relacionados: o jogador ambicionava não apenas ganhar, como também aprender novas estratégias que pudesse aplicar em situações diversas. A IA, ao contrário, só tem uma meta: ganhar. Ela não aprende conceitualmente, e sim matematicamente, fazendo pequenos ajustes em seus algoritmos. Ao aprender a ganhar no go jogando de maneira diferente da dos seres humanos, a IA mudou tanto a natureza do jogo quanto seu impacto. Será que essa insistência obsessiva em vencer caracteriza a inteligência artificial como um todo?

Outros projetos de IA pretendem modificar a forma de pensar desenvolvendo mecanismos capazes de gerar uma gama de respostas a questões humanas. Deixando de lado as perguntas factuais ("Qual a temperatura hoje?"), aquelas que envolvem a natureza da realidade ou o significado da vida levantam dúvidas mais profundas. Queremos que nossos filhos aprendam valores através do diálogo com algoritmos sem rédeas? Devemos proteger a privacidade restringindo as informações da IA sobre as pessoas que a questionam? Como faremos isso?

Se a IA aprende de modo exponencialmente mais rápido do que os seres humanos, é de esperar que acelere, também exponencialmente, o processo de tentativa e erro que leva a grande parte das decisões das pessoas - o que quer dizer que ela cometerá mais erros, e de maior magnitude, do que os humanos. E talvez seja impossível amenizar esses erros adicionando ao programa, como muitos pesquisadores sugerem, salvaguardas que exijam resultados "éticos" e "razoáveis". Disciplinas acadêmicas inteiras surgiram a partir da incapacidade de definir esses termos de maneira cabal. Devemos dar a palavra final à IA?

Terceira preocupação: que a IA, ao atingir os objetivos predeterminados, não saiba definir o raciocínio por trás de suas conclusões. Em alguns campos - reconhecimento de padrões, análise de big data, jogos -, a capacidade da IA pode já ter excedido a das pessoas. Se a sua potência computacional continuar a se acumular rapidamente, ela conseguirá dentro em breve otimizar situações de maneiras ao menos um pouco, mas provavelmente muito, diferentes das usadas pelos seres humanos. Será, no entanto, que nesse ponto a IA conseguirá explicar, de modo que as pessoas entendam, por que agiu como agiu? Ou seu processo decisório vai ultrapassar a capacidade de explicação da linguagem e da razão humanas?

Ao longo da história da humanidade, as civilizações encontraram um jeito de explicar o mundo à sua volta - a religião, na Idade Média; a razão, no Iluminismo; a história, no século XIX; a ideologia, no século XX. A questão mais difícil e ao mesmo tempo mais importante sobre o mundo para o qual nos dirigimos é: o que será da consciência humana se seu poder de fornecer explicações for suplantado pelo da IA e as sociedades não souberem mais interpretar o universo que habitam de uma forma que contenha algum significado? (grifos acrescidos)

Como a consciência será definida em um ambiente em que máquinas reduzem a experiência humana a dados matemáticos interpretados pelas memórias delas? Quem será responsável pelos seus erros? Um sistema legal projetado por pessoas conseguirá acompanhar atividades produzidas por uma IA capaz de pensar mais rápido e eventualmente enganá-lo?

A expressão "inteligência artificial" pode ser equivocada. É fato que essas máquinas resolvem problemas complexos, aparentemente abstratos, que só o conhecimento humano era capaz de solucionar. Contudo, o que elas fazem de diferente de todos nós não é pensar, tal qual o pensamento foi concebido e é praticado. Suas habilidades ímpares são a memorização e a computação. É por causa de sua inquestionável superioridade nessas duas áreas que a IA consegue ganhar qualquer jogo. Só que nós, humanos, não jogamos apenas para ganhar, jogamos para pensar. Tratar um processo matemático como se fosse um processo de pensamento, e tentar imitá-lo ou simplesmente aceitá-lo sem discutir, é correr o risco de perder uma capacidade que está na essência do saber dos seres humanos. 

As implicações dessa evolução ficam evidentes em um programa desenhado recentemente, o AlphaZero, que joga xadrez em nível superior ao dos mestres enxadristas e de uma forma nunca vista na história. Jogando sozinho contra si mesmo, ele dominou em poucas horas um nível de habilidade que os seres humanos levara, 1.500 anos para alcançar. O AlphaZero só recebeu as regras básicas do jogo. Nem pessoas nem dados gerados por pessoas fizeram parte de seu processo de autoaprendizagem. Se o AlphaZero adquiriu tamanho domínio rapidamente, onde estará a IA daqui a cinco anos? Qual será seu impacto na capacidade dos seres humanos de adquirir conhecimento? Qual o papel da ética nesse processo, que consiste essencialmente na aceleração de escolhas?

Questões como essas costumam ficar restritas aos meios tecnológicos e científicos. Filósofos e humanistas em geral, que sempre ajudaram a formatar os conceitos da ordem mundial, estão em desvantagem, por não entenderem claramente os mecanismos da IA e até por se sentirem diminuídos diante de habilidades tão avançadas. Enquanto isso, o mundo das ciências é impelido a explorar as possibilidades técnicas, e o tecnológico compõe cenários comerciais em escala extraordinária. A esses dois universos interessa esticar os limites das descobertas, em vez de tentar compreendê-las. E os órgãos de controle, quando se voltam para o assunto, estão mais dispostos a investigar as aplicações de IA em segurança e inteligência do que a explorar as transformações da condição humana que ela começa a produzir.

O Iluminismo nasceu a partir de conjecturas essencialmente filosóficas possibilitadas por uma nova tecnologia. Nossa época caminha em direção oposta. Ela criou uma tecnologia potencialmente dominadora que busca uma filosofia que lhe sirva de guia. Há países que fizeram da IA um projeto nacional. Os Estados Unidos, como nação, ainda não exploraram sistematicamente todos os seus aspectos, não estudaram suas implicações e não se debruçaram sobre a maneira como se desenvolve. Essa, porém, deveria ser uma prioridade nacional, sobretudo do ponto de vista da relação da IA com as tradições humanísticas.

Os pesquisadores de IA, tão inexperientes em política e filosofia quanto eu em tecnologia, deveriam fazer-se algumas das perguntas que apresentei aqui e começar a introduzir respostas no arcabouço da sua engenharia. O governo americano precisa analisar a possibilidade de criar uma comissão de pensadores que se dedique ao assunto. Uma coisa é certa: se não começarmos logo, vamos descobrir rapidamente que começamos tarde demais.