Experimento da Google permite ‘ouvir os sons das cores’

Inspirado no pintor russo Wassily Kandinsky, a Google Arts & Culture lançou o experimento Play a Kandinsky. O projeto interativo de sinestesia, condição neurológica que faz com que um sentido acione outro, faz as pessoas ouvirem “os sons das cores”.

A ferramenta de inteligência artificial proporciona uma experiência semelhante à do artista expressionista. No caso, Kandinsky ficou conhecido por criar quadros com base nas cores e formas que enxergava enquanto ouvia música.

Quadro “Yellow, Red, Blue” (1925)Fonte:  Google/Divulgação 

Desenvolvido em colaboração com o Centro Pompidou de Paris, o experimento imagina as melodias que o artista ouviu ao pintar o quadro “Yellow, Red, Blue” de 1925. A obra em questão apresenta um impressionante desenho com linhas geométricas.

Usando as relações entre cores, formas e sons descritos pelo artista, os pesquisadores da Google treinaram a rede neural Transformer com as músicas da época. A partir disso, eles usaram uma inteligência artificial para gerar novas partituras.

“Um artista extraordinariamente talentoso, Kandinsky organizou ‘sons coloridos’ em ‘sinfonias de cores’. Assim, o caráter das cores refletia para ele as harmonias e dissonâncias de uma melodia”, descreve a equipe do Play a Kandinsky.

Play a Kandinsky deixa o usuário brincar com cores, formas e sons.Fonte:  Google/Reprodução 

Colaboração de artistas musicais

Antoine Bertine, músico que colaborou com o projeto, revela que a ideia inicial era usar a inteligência artificial como uma ferramenta arqueológica. Assim, ele e a máquina atuaram apenas como intermediários entre a obra do artista russo e o mundo atual.

Play a Kandinsky permite que as pessoas escutem uma obra-prima inteira como o artista pode ter ouvido enquanto pintava o quadro. Além disso, é possível criar as próprias composições com base na pintura original.

Apesar de não reproduzir as conexões entre as imagens e sons que um sinestésico sente, o projeto interativo é uma exploração intrigante das conexões entre música e pintura. Confira um vídeo sobre o processo de criação do experimento: