Fiz uma música usando IA

Graças a uma dica do meu amigo Robert, consegui realizar um sonho que sempre tive, que é dar um jeito de transformar letras que eu escrevo em musica usando uma IA de fazer musicas.
Aqui está o primeiro teste pra valer que eu fiz. Meu plano era escrever uma letra e fazer (meu ídolo, já falecido) Charles Aznavour cantar, mas isso ainda é impossível tecnologicamente sem ficar muito ruim (já tentei). Porém, eu consegui um resultado que considero aceitável com uma voz feminina genérica meio inspirada na Lara Fabian. Fiz um clipe de Chanson, usando videos creative commons do Pexels.com o que resultou nisso:

Como eu fiz a musica com IA

Eu escrevi a musica em português  (até porque meu francês não dá pra isso tudo) e fui traduzindo e ajustando, buscando uma sonoridade interessante.
O passo seguinte foi usar o Suno.ai para a construção da linha melódica usando inteligência artificial. O Suno funciona assim, você descreve a musica, e pode subir a letra. Ele vai gerar duas ideias (meio como o Midjourney) e vai comer créditos a cada vez que você botar a maquina para pensar.

O Suno.ai tem três tipos de contas. O grátis te da por dia 50 créditos (renovado todo dia) isso permite rodar umas três ou quatro vezes.
A conta padrão te da muito mais créditos e mais poder de processamento. E a profissional permite que você ganhe dinheiro com o resultado.
(No grátis e standard, é importante antes ver os termos de uso totalmente leoninos e possivelmente ilegais da Suno. Se não concordar, não use)
Os planos de assinatura são grátis, o de 8 dólares por mês e o de 24 dólares por mês. Minha sugestão, brinque no grátis e depois que achar que pode ganhar algo com isso, vai pro de 24. Evite o de u$8 pq no free e no de 8 dólares, a suno se diz dona de tudo que você criar.  Embora me pareça improvável, se vc dá a cagada de algo que você fez estourar, isso pode trazer problemas de DA lá na frente.

De volta a criação, você pode ir gerando e vendo se deu certo. Quando você achar que está bom, pode então mandar ele continuar a criação usando a versão que você escolheu. Depois dá pra juntar as partes, formando assim uma canção maior. Normalmente ela só faz blocos de 1 minuto ou menos, de cada vez. E ela sempre dá duas ideias diferentes por cada prompt, mesmo que numa continuação de algo anterior, ela vai dar duas continuações possíveis diferentes.

Tags e alucinações

Existem uma série de tags que é possível inserir no campo da letra da música, que o bot vai tentar entender sua intenção. Mas nem sempre ele obedece. Às vezes o bot pula a tag, liga o foda-se para o que você quer e faz o que ele quer. Quem já trabalhou com IA de imagem sabe como é.  Não é bem uma ferramenta como um plugin, é meio que uma co-criação entre você e a máquina. às vezes ela não quer fazer o que você espera e você que lute.

Descobrir quais as tags que funcionam melhor na IA de fazer musicas é quase que uma arte de adivinhação. Às vezes (muito mesmo) ele “alucina”. Quando ele alucina é bem legal, porque ele inventa coisas que você não queria, muitas vezes ele fala palavras que nem existem, como numa língua alienígena.  às vezes ele também ajusta a letra, para que a melodia se encaixe melhor, mudando a ordem dos versos e a posição do refrão na musica.  (não sei se é bug, isso me aconteceu só em dois testes, num rock que eu fiz)

Letra automática é ruim

A IA de fazer musicas pode ela mesma tentar fazer uma letra pra você (mas normalmente fica uma merda) eu prefiro subir minha própria letra. Eventualmente, a letra automática funciona quando você está em busca de inspiração, tipo você ainda não sabe o que quer e ele gera e dali você edita e reescreve a letra. Um macete que eu descobri foi escrever um só verso e mandar rodar até que ele soe como eu quero a musica. Então, de posse da voz e da linha melódica eu edito a partir dali e coloco a letra certa.

Eu acho útil porque você não tem controle sobre a voz que vai vir.  Ele usa uma espécie de randomização de voz, (o que é bem frustrante). Por isso acertar a voz primeiro pode ser vantajoso para não torrar créditos desnecessariamente.

Sabendo um ou dois macetes, como usar uma terceira IA como a lalal.ai para filtrar os instrumentos,  se extrai os instrumentos e o vocal, e até instrumentos específicos, podendo substituir eles se desejar. Dá pra estratificar a musica num software de mixagem e obter um controle extra sobre o resultado. Sabendo usar por exemplo um fruitloops, o poder aumenta dramaticamente.

Não é da noite para o dia

Bem, não é da noite para o dia que vai dar bom resultado na IA de fazer musicas. Essa IA é um beta, e vem sendo desenvolvida por uma equipe (ao que me parece) bem pequena. E por isso, já acho quase magia o que eles conseguiram fazer ate aqui.  Não vá com expectativas muito altas. Eu fiz um monte de coisa muito, mas muito medíocres mesmo com essa IA de fazer musicas para ver como era que funcionava.

Outros testes na IA de fazer musicas: Um sambinha

Me parece que essa IA de fazer musicas, em termos de estilo, não tem muito limite do que ele pode gerar. De rock a musica clássica, ele vai bonito, samba, axé, sertanejo eletrônico… Claro que ele não vai conseguir fazer sei lá, um maracatu, talvez e provavelmente ele vai confundir um frevo com um samba.
Mas pense que o treco já fazer musica em português BR já é insano, pq tudo normalmente é feito pra inglês. Aqui esta o sambinha que fiz hoje.

Eu ainda estou brincando. Na lua de mel com essa IA, vamos dizer assim.