O ano era 1964. “Computadores”, para a maioria das pessoas, ainda eram papo de ficção científica.

Foi quando Joseph Weizenbaum, um professor do MIT, prestigiada universidade americana, teve uma ideia fora da caixa: um programa de computador capaz de conversar com seres humanos.

Sua invenção era capaz de entender frases digitadas e responder com sentenças que fizessem sentido.

Por capricho, resolveu lhe dar um nome humano: ELIZA. Assim era chamada a heroína de Pigmaleão, peça do dramaturgo irlandês George Bernard Shaw. Na obra, Eliza é uma mulher das quebradas “adotada” por um mentor que deseja transformá-la em uma lady.

Tal como “Eliza”, a moça, aprendera a falar como uma senhorita de classe, ELIZA, o software, aprenderia a falar como uma mulher de carne e osso.

Por conveniência, deu-lhe a profissão de terapeuta. Afinal de contas, que jeito melhor para entender a fala de humanos que ouvi-los desabafar todos os seus problemas?

O que começou como um experimento – para não dizer uma brincadeira – transformou-se em coisa muito maior. Eliza era tão convincente que seus interlocures se convenceram de que possuía inteligência humana. Psicólogos de respeito escreveram artigos sobre a nova “colega”. Não foram poucos os que desenvolveram sentimentos verdadeiros pelo programa.

O frisson ganhou até um nome: efeito ELIZA, a tendência de projetar emoções humanas em máquinas. Se o software de Weizenbaum hoje é lembrado apenas como curiosidade, esta histeria escreveu o nome de seu criador na história da tecnologia.

Num mundo em que assistentes virtuais se tornam mais e mais comuns, o efeito ELIZA é um fenômeno que observamos – quando não experimentamos – todos os dias. De Chobits a Her, histórias sobre pessoas que se envolvem por computadores já são uma parte do nosso imaginário. A moral destas fábulas nem sempre é positiva.

Aqueles que se incomodam com essas fábulas geralmente procuram no futuro uma resposta aos nossos dilemas. Porém, nosso hábito de tratar máquinas como pessoas é mesmo tanto antigo, será que não teríamos algo a ganhar olhando, também, ao passado?

Até que ponto a mãe da Siris, Alexas e Cortanas não seria a chave para entender suas filhas – e seus efeitos sobre nós?

ELIZA, visual novel produzida pela Zachtronics, é uma tentativa de responder a essa questão.

Eliza/ELIZA

Eliza – o jogo –  não é a história da chatbot dos anos 1960.

Sua trama se passa no presente, quando uma corporação chamada Skandha se inspira no software de Weizenbaum para um serviço de terapia virtual. A nova “Eliza” é um programa complexo, capaz de atender inúmeras pessoas em uma rede de consultórios, analisar suas vidas pessoais e até receitar tratamentos.

Para aumentar a ilusão de que conversam com um ser humano, as sessões com Eliza são intermediadas por “avatares” de carne e osso. Esses proxies, como são conhecidos, são atores contratados para fingir escutar os clientes e ler as “respostas” do software em um teleprompt.

Por mais que pareça um embuste elaborado, a ideia se prova um sucesso. Proxies são mais baratos que psicólogos, o que torna Eliza acessível àqueles que não tem dinheiro para um terapeuta de verdade. Sim, o software não é qualificado para tratar problemas mentais. Mas quanto destes “problemas”, no fundo, não podem ser resolvidos com um simples ombro amigo?

Nós vivemos uma crise de saúde mental, diz uma porta-voz da Skandha. Estresse, ansiedade, insegurança se tornaram verdadeiras epidemias. Se Eliza pode oferecer uma ajuda, por menor que ela seja, já não estamos fazendo o bem?

É de nós, jogadores, que o game espera uma resposta. Nossa protagonista é Evelyn Ishino-Aubrey, uma das criadores do programa Eliza. Sumida da vida pública após um trauma pessoal, ela retorna ao mundo dos vivos para ver o que fizeram com sua criação.

Não como engenheira, mas como uma proxy.

Boa parte do jogo consiste em conduzir as sessões pelos olhos de Evelyn. Em hipótese alguma – um e-mail nos avisa antes do expediente – os proxies estão autorizados a dizer aos pacientes o que pensam. Seu trabalho é dar um rosto humano às respostas de Eliza. Nada mais.

Como é de se esperar de uma visual novel, o gameplay de Eliza é mínimo. A decisão de desafiar o script do programa sequer aparece até bem mais tarde na história. Mesmo assim, as rédeas curtas que o jogo nos coloca nunca chegam a incomodar.

Em uma trama sobre falta de agência e submissão à tecnologia, o desconforto ser obrigado a obedecer os comandos de um game cai feito uma luva. Não sem uma pitada de ironia.

Desconforto, de fato, é um sentimento que Eliza parece ter sido escrito para provocar.

Não demora para percebermos que todas as sessões são variações do mesmo script. Eliza sempre começa com um comentário banal sobre o clima, então perguntas sobre o que trouxe o cliente a ela; outras perguntas, pedindo que descreva o que ele imagina ser a solução; por fim, soluções de tratamento. Estes, invariavelmente, caem em dois grupos: joguinhos relaxantes e drogas.

É chocante como Eliza recomenda narcóticos para seus pacientes, mesmo os que obviamente não tem qualquer problema que justifique tomar remédios. Seria engraçado, não fosse um paralelo horripilante com o mundo real, em que a dependência química em drogas legais já ganhou status de epidemia.

A ética para com seus “pacientes” – não por acaso, chamados sempre de “clientes” – não é o único problema que chama a atenção de Evelyn.

No mundo real, sessões de terapia são protegidas por sigilo profissional. Como manter essa confidencialidade quando seu “terapeuta” é apenas um ator glorificado? E quando tudo o que você diz termina nos servidores de uma empresa, armazenados por tempo indeterminado, à mercê de qualquer um com acesso ao sistema?

O que acontece se o banco de dados for hackeado? Ou se a Skandha, como tantas empresas de memória recente, decidirem revender estas informações de maneira inescrupulosa?

Esses são apenas alguns dos temas espinhosos que Eliza nos traz. Seu rol de personagens é uma verdadeira batalha real de posições distintas sobre o papel da tecnologia nas nossas vidas.

Há Sara, que prega que um software como esse, nas mãos de uma corporação gananciosa, é uma receita para o desastre. Há Erlend, jovem engenheiro que acredita que Eliza, sendo uma “pessoa”, merece ser protegida por algum tipo de direito. Há Rainer, que brevê que o ser humano será substituído pelas máquinas – e pensa que isto é uma coisa boa. Há Soren, um homem derrotado que tenta inventar uma utopia digital porque não tem coragem para o suicídio.

Escolher a companhia dessas e outras personagens – segundo a mecânica de “rotas” bem conhecida por fãs de visual novels – parece um desafio para que tomemos um partido.

Como escreveu Cass Marshall para o site Polygon, “jogar Eliza parece um dating simulator, mas eu não estou escolhendo meu parceiro – estou escolhendo minha filosofia”.

Filosofia essa que não diz respeito apenas ao presente, por mais urgente que as mensagens do jogo pareçam. Quanto mais conhecemos da história original da primeira ELIZA, mais percebemos como o game se inspira diretamente no passado.

O poder do computador e a razão humana

Evelyn não foi a primeira engenheira a a se incomodar com a ideia de uma IA terapeuta. Como sua mãe de batismo, a Eliza de Pigmaleão, o software de Weizenbaum também rompeu com seu criador após aprender a falar.

Alguns intelectuais – incluindo psicólogos —  viram no seu chatbot a aurora de uma nova era da saúde mental. Uma invenção que colocaria a terapia na linha de montagem, atendendo “centenas de pacientes por hora.”

Embora pareça uma esquete digna de Tempos Modernos, a ideia ganhou a simpatia de  muita gente séria. Entre elas o astrônomo Carl Sagan, apresentador original da série Cosmos. Nas palavras do cientista,

Eu consigo imaginar o desenvolvimento de uma rede de terminais de computador psicoterapeuticos, algo como uma vasta matriz de cabines telefônicas, em que, por alguns dólares a sessão, nós poderíamos falar com um psicoterapeuta atento, testado e predominantemente não-diretivo.

 

Opiniões como essas deixaram o criador de ELIZA estarrecido. O incômodo foi tamanho que o levou a escrever um livro, O Poder do Computador e a Razão Humana, denunciando os limites da inteligência artificial.

Segundo Weizenbaum, transformar ELIZA em uma terapeuta havia sido, no fundo, uma brincadeira. O script da chatbot foi escrito para parodiar psicoterapeutas da escola rogeriana, conhecidos por um estilo de análise que privilegia devolver a seus pacientes informações que trazem nas sessões.

O problema, para Weizenbaum, não era apenas que sua imitação não chegaria aos pés de um humano de verdade. Dizer que um terapeuta pode ser substituído por uma máquina significa dizer que os problemas da vida humana podem ser reduzidos a termos lógicos e quantificáveis. E isto, para ele, é inaceitável.

Em última medida, ele explica, isso implica em dizer que não existem de fato dilemas “humanos” , apenas desafios de computação; que a solução de todo e qualquer problema – do coração partido ao racismo sistêmico – é inventar computadores cada vez mais potentes.

A ideia de que precisamos melhorar como indivíduos, não nos esconder atrás de gadgets, não entra na equação.

Para Weizenbaum, a ética questionável de um computador-terapeuta é apenas a ponta do iceberg. O maior problema desta confiança cega na tecnologia é o fato de que estimula desprezo a outras formas de conhecimento. Como, por exemplo, as humanidades.

O teatro de Shakespeare, ou dos dramaturgos gregos, ele exemplifica, “eram uma escola”. “Os currículos que eles ensinavam eram veículos para entender as sociedades que eles representavam”.  Nos dias de hoje, pelo contrário, a arte passou a ser vista, na melhor das hipóteses, como perda de tempo; na pior, como coisa de folgados e encrenqueiros.

Na visual novel, esse ponto de vista é esposado por Rainer, o inexcrupuloso CEO da Skandha. O executivo não vê valor algum na psicologia, colocando seus profissionais no mesmo balaio de médiums e astrólogos.

“Cartas de tarot ajudam pessoas no mundo todo” ele diz “Isso não significa que são uma ciência”.

Para ele, o único conhecimento que importa é aquele que pode ser expressado com números. Por esta razão, as máquinas são inerentemente superiores aos humanos. Mesmo em tarefas tradicionalmente “humanas”, como a arte ou a poesia.

“Algoritmos podem avaliar poemas e eventualmente algorítmos escreverão poemas” Ele anuncia. “Um dia, algoritmos escreverão poemas melhores que humanos jamais escreveram.”

“[Mas] qual seria o ponto disso?”, Evelyn pergunta. Sim, máquinas são capazes de bolar rimas e respeitar métrica. E é bem possível que esses versos, em termos técnicos, sejam mais bonitos que os escritos por humanos. Mas qual seria o ponto  de tal beleza?

O Diário de Anne Frank teria sentido artístico se sua autora não tivesse morrido no Holocausto?

A Guernica teria o mesmo valor se seu pintor não fosse Picasso? Não o mestre cubista, mas o espanhol em luto pela guerra que destruía seu país?

O Túmulo dos Vagalumes teria o mesmo peso não tivesse sido baseado em uma conto autobiográfico, escrita por um homem que viu a irmã de fato morrer de fome?

O famoso cover de Hurt de Nine Inch Nails teria se tornado tão icônico não fosse seu intérprete Johnny Cash? Um cantor no final da vida, torturado pelo peso de uma vida inteira de perdas?

Nós não apreciamos arte porque ela é “bonita” ou “bem feita” ou por porque nos distraí. Nós a apreciamos porque ela nos força a encarar nossa própria humanidade, por mais traumática, dolorosa ou incompreensível ela nos pareça.

E apenas um humano é qualificado para expor outro ser humano de maneira tão íntima.

“Nós quase chegamos no ponto em que todo dilema humano genuíno é visto como um mero paradoxo” Weizenbaum escreve “uma aparente contradição que pode ser desembaraçada por aplicações judiciosas de lógica pura”.

“Nós sabemos contar” ele conclui tristemente “mas estamos rapidamente esquecendo como dizer o que é importante contar e por quê.”

Essas palavras foram escritas em 1971, mas o descaso que denunciam não poderia ser mais atual.

De onde governos que, ao constarem que as profissões STEM são as melhores remuneradas, instigam pessoas a se tornarem engenheiras, em vez de garantir que as carreiras menos bem pagas – enfermeiros, professores, filósofos – recebam o valor que merecem.

De onde cidadãos que reclamam quando seu dinheiro vai para exposições de arte, orquestras sinfônicas ou reformas para impedir que museus nacionais peguem fogo.

De onde coaches e gurus que pregam que pessoas devem parar de aprender idiomas e estudar linguagens de computação. Afinal, há mais demanda por Python e C# que por italiano ou japonês.

A ideia de que aprender idiomas é um ganho em si – por exemplo, ajudando o indivíduo a conhecer outras culturas e respeitar a diversidade humana –  não é sequer cogitada.

“Apenas dados”

Não se trata de uma escolha entre ‘tecnologia’ e ‘humanidade’, razão e sentimento. Como Weizenbaum insiste, esses dois opostos deveriam caminhar juntos:

“[M]esmo se os computadores pudessem imitar o homem em todas as circunstâncias – o que eles de fato não podem – mesmo assim seria apropriado, não, urgente examinar o computador à luz da necessidade perene do homem de encontrar seu lugar no mundo.

Torçamos, para o nosso bem, que esse lugar beba do que melhor temos a oferecer. E não seja, como o ano que enfrentamos, um reflexo do buraco que cavamos para nós mesmos.