O que temem os especialistas que alertam para o “risco de extinção” gerado por IAs

Quando um grupo influente de executivos e pesquisadores de inteligência artificial apresenta uma declaração aberta sobre os perigos desta tecnologia para a humanidade, é impossível não prestar atenção. Ainda mais quando a palavra “extinção” é utilizada.

Entre os signatários do alerta, divulgado no dia 30 de maio, estão os CEOs de empresas como OpenAI e Google DeepMind, além de estudiosos muito respeitados na área, como Geoffrey Hinton e Yoshua Bengio, considerados padrinhos da IA moderna. A mensagem era bem direta: “Mitigar o risco de extinção da IA deve ser uma prioridade global junto a outros riscos em escala social, como pandemias e guerra nuclear”.

Há uma organização sem fins lucrativos por trás da iniciativa, o Center for AI Safety. Seu diretor-executivo, Dan Hendrycks, é também um pesquisador de inteligências artificiais. Sua preocupação a respeito do futuro delas e sua relação conosco está expressa num artigo intitulado “Natural Selection Favors AIs over Humans” — algo como “A Seleção Natural favorece IAs em detrimento dos humanos.”

É, eu sei. Nem um pouco animador.

Mas como exatamente uma inteligência artificial causaria algo tão grave quanto a extinção humana? Aqui, vale olhar para o que diz o Center for AI Safety.

Não precisa ser extinção para ser grave

Para a maioria de nós, a inteligência artificial se resume ao ChatGPT ou geradores de imagens. Não é disso que Hendrycks e a organização que lidera estão falando. Os riscos apontados pela entidade só poderiam ser oferecidos por sistemas muito mais evoluídos, que hoje ainda não existem — mas podem vir a existir.

Entre as ameaças apontadas no site do grupo, estão perigos sérios, e é possível argumentar que alguns deles seriam capazes de gerar cenários destruição para a humanidade. Mas nem todos os riscos levariam a esse desfecho, é bom apontar. Há diferentes níveis de estrago. Conversamos sobre alguns deles no Tecnocast 293.

O cenário mais grave envolveria a armamentização (weaponization). Aqui, teríamos uma IA sendo usada intencionalmente para causar danos diversos. O texto no site do Center for AI Safety levanta, por exemplo, a possibilidade de seu uso para ciberataques automatizados.

Mas poderia ser pior, já que inteligências artificiais poderiam ser usadas no controle de armas, inclusive as químicas. Nesse contexto, um erro de interpretação do sistema poderia ter resultados catastróficos, como o início de uma guerra.

Do restante dos riscos apresentados, alguns se baseiam num agravamento de fenômenos que já podemos observar hoje, como o uso de IA para fins de desinformação e a concentração dessas ferramentas nas mãos de poucos agentes, como empresas e países. Nada de extinção aqui, mas, ainda assim, são problemas graves.

É mais para o final da lista que vemos os riscos mais, digamos, especulativos.

E se a máquina decidir outra coisa?

Boa parte da ficção científica que especula sobre possíveis tensões entre a humanidade e os agentes de IA — incluindo aí robôs — parte da desconfiança. O que faríamos ser uma inteligência superior à nossa resolvesse fazer algo diferente do que a construímos para fazer?

O Center for AI Safety lista alguns riscos que dialogam com esse temor humano diante das máquinas. Objetivos emergentes (emergent goals): em sua evolução, as inteligências artificiais poderiam desenvolver metas e comportamentos que não previmos, e que poderiam — veja bem, poderiam — ser prejudiciais para nós.

E o que dizer de sistemas que tentam ativamente nos enganar (deception)? E nem precisa ser por um desejo de nos passar para trás, apenas pelo cálculo — estamos falando de uma máquina, certo? — de que mentir ajudaria a cumprir determinado objetivo. Imagine de eles pudessem, inclusive, enganar os humanos responsáveis por monitorá-los…

Estas são as hipóteses que provocam a desconfiança, que a ficção explora tão bem. No filme Eu, Robô, por exemplo, vemos como uma IA chega a uma nova interpretação de suas diretrizes, entendendo que a forma mais segura de cumprir sua principal regra, proteger os humanos, era através do controle. Mesmo contra nossa vontade.

Com tantas empresas correndo para criar sistemas mais sofisticados, não é surpreendente que essas preocupações comecem a ser ventiladas. Pode haver certo exagero na conversa sobre risco de extinção, mas a mensagem geral está clara: vamos manter os olhos abertos.

Também devemos ouvir os céticos

Claro que a carta do Center for AI Safety gera apreensão, mas é importante destacar que há muita gente que entende do assunto e que não a levou a sério.

Entre eles estão Yann LeCun, cientista da computação francês. Ele também é considerado, junto com Geoffrey Hinton e Yoshua Bengio, um dos padrinhos da pesquisa em IA. Ao contrário dos colegas, no entanto, LeCun — que também trabalha na Meta — não assinou a declaração, e se manifestou no Twitter a respeito.

A reação mais comum dos pesquisadores de IA a essas profecias de desgraça é um facepalm.
Yann LeCun

LeCun respondia a um tweet do professor Pedro Domingos, da Escola de Ciência da Computação e Engenharia da Universidade de Washington. Domingos também manifestou seu ceticismo: “Lembrete: a maioria dos pesquisadores de IA acha que a noção da IA acabar com a civilização humana é bobagem.”.

Arvind Narayanan, cientista da computação da Universidade de Princeton, disse à BBC: “A IA atual não é nem de longe capaz o suficiente para que esses riscos se materializem. Como resultado, ela desvia a atenção dos danos de curto prazo da IA.”.

Quais danos a curto prazo? Diogo Cortiz, cientista cognitivo e professor da PUC/SP, chama a atenção para algumas.

Dizer que a sociedade corre risco de extinção é uma forma de tentar controlar a narrativa. Ajuda a comunicar a ideia de que as tecnologias que eles detém são mais poderosas do que de fato são enquanto desvia o foco de problemas reais e atuais: vieses, consentimento do uso de dados, uso indevido, responsabilidade e accountability, propriedade intelectual, empregos, concentração, etc.
Diogo Cortiz

De fato, todos os pontos citados acima são reais e geram problemas aqui e agora. O caminho para resolvê-los passa por dados mais abertos — coisa que a OpenAI parece ter deixado apenas no nome — e por alguma forma de regulação, algo que os próprios executivos reconhecem.

Os riscos das IAs avançadíssimas continuarão a nos assombrar, e, em certa medida, é bom que seja assim. Não queremos ter surpresas desagradáveis. No entanto, um pouco de ceticismo quanto aos motivos de tantos executivos também é bem-vindo.

Vale lembrar que, em março, Elon Musk assinou uma carta aberta pedindo uma pausa no desenvolvimento de IAs. O mesmo Musk iniciou, pouco tempo depois, um projeto de inteligência artificial para o Twitter, mostrando que nunca quis, de fato, uma interrupção nas pesquisas.

Em resumo, o ideal é ser vigilante. Em relação ao futuro, mas também ao agora.

O que temem os especialistas que alertam para o “risco de extinção” gerado por IAs