IA que cria voz foi lançada recentemente e já causa problemas com deepfakes

A ElvenLabs lançou a sua plataforma de criação de voz por inteligência artificial no meio de janeiro. Alguns dias depois, a ferramenta causou problemas ao ser usada no fórum 4Chan para a criação de deepfakes com pessoas públicas e personagens. Joe Rogan, Emma Watson e Rick Sanchez (Rick and Morty) foram alguns dos alvos.

No Twitter, a ElvenLabs divulgou está desenvolvendo contramedidas para combater o mau uso da sua plataforma de criação de voz. Entre as ferramentas que a empresa está criando está a verificação de contas usando mais etapas e de direitos autorais na funcionalidade de clonar vozes. A plataforma da ElvenLabs tem versões pagas e gratuitas.

Deepfakes usam IA que cria vozes

No Twitter, a ElvenLabs não mostrou exemplos dos usos indevidos de sua tecnologia, mas o site Motherboard revelou que membros do 4Chan estavam usando as vozes criadas pela plataforma para gravar deepfakes com discursos de ódio.

Em um dos vídeos, a imagem da atriz Emma Watson foi usada com uma voz parecida com a original para simular que ela estava lendo o livro Mein Kampf. Em outro deepfake, Rick Sanchez, protagonista de Rick & Morty, aparecia falando que bateria na esposa. Justin Roiland, um dos criadores da série e dublador dos protagonistas, é réu em um processo de violência doméstica.

A criação desses deepfakes foi facilitada pela função de clonagem de voz da ElvenLabs. Com amostras de mais de 1 minuto, o sistema cria uma voz similar ao original. O recurso está disponível na versão gratuita do ElvenLabs.

ElvenLabs fará mudanças em seus serviços para combater deepfakes

No Twitter, a ElvenLabs anunciou as alterações que desenvolverá para evitar o uso da sua tecnologia na criação de conteúdo falso.

Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023

No futuro, para usar a ferramenta de clonagem de voz, a ElvenLabs pretende adicionar outras etapas de verificação da conta. Ela usa como exemplo o preenchimento de dados de pagamento e cita a possibilidade de uma verificação completa de identidade.

A outra proposta é analisar se a amostra de áudio para clonagem não viola direitos autorais. Essa medida deve ser complementado com a transcrição do texto falado na amostra.

A última opção, a mais “radical” e trabalhosa, é abandonar a ferramenta Voice Lab, onde a clonagem é feita automaticamente, e avaliar todos os pedidos de clonagem individualmente.

No Twitter, a empresa fala que está aberta a ouvir mais ideias dos seus seguidores e usuários do serviço.

IA que cria voz foi lançada recentemente e já causa problemas com deepfakes