Nos Estados Unidos, um jovem se suicidou após de apaixonar por personagem imitado pela Inteligência Artificial. A mãe do garoto, Megan Garcia decidiu então processar a startup de inteligência artificial Character.AI e o Google.

  • Clique e siga o no WhatsApp
  • Estudo revela conexão entre uso de mídias sociais e suicídio entre adolescentes
  • Assédio e discurso de ódio: pesquisa revela o que jovens encaram no metaverso

Megan alega que o filho tirou a própria vida em fevereiro de 2024, aos 14 anos, e acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. 

Segundo ela, no processo movido em um tribunal federal de Orlando, a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”. 

–
Entre no Canal do WhatsApp do e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–

Na plataforma, o garoto conversava com um chatbot que imitava a personagem Daenerys Targaryen, de Game of Thrones. Na interação com o programa, ele se envolveu amorosamente e teve conversas de cunho sexual, além de confidenciar a ele suas ideações suicidas. 

De acordo com Megan, o jovem começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, abandonando projetos e companhias da vida real. 

O que diz a Character.AI

Em um comunicado publicado na terça-feira (22), a Character.AI afirma que “leva a segurança de nossos usuários muito a sério” e que novas medidas de segurança foram implementadas nos últimos seis meses, incluindo proteções para usuários menores de 18 anos. 

“Também implementamos recentemente um recurso pop-up que é acionado quando o usuário insere certas frases relacionadas à automutilação ou suicídio e o direciona para o National Suicide Prevention Lifeline [instituição de prevenção ao suicídio]”, diz o comunicado, ao listar os novos mecanismos de segurança.

A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”. 

Já o Google afirmou, por meio de um porta-voz, que a empresa não esteva envolvida no desenvolvimento dos produtos da Character.AI.

Leia mais matérias no ItechNews .