Cómo una IA terminó la última sinfonía de Beethoven y qué significa eso para el futuro de la música

Cuando murió en 1827 a los 56 años, Ludwig van Beethoven dejó sin terminar su décima sinfonía. Solo han sobrevivido unas pocas notas escritas a mano que detallan brevemente sus planes para la pieza, y la mayoría son solo ideas incompletas o fragmentos de temas o melodías.

Ahora, un equipo multidisciplinario de científicos informáticos de la empresa emergente Playform AI, con sede en la Universidad de Rutgers, ha entrenado una inteligencia artificial para imitar el estilo del gran compositor y la utilizó para escribir una sinfonía completa basada en estos bocetos iniciales.

Hablamos con el investigador principal del proyecto, el profesor Ahmed Elgammal, para obtener más información.

¿Cuánto del manuscrito de Beethoven estaba disponible para empezar?

Beethoven dejó bocetos en diferentes formas, principalmente bocetos musicales, pero también algunas notas escritas con algunas ideas. Anteriormente, en 1988 [English musicologist] Barry Cooper usó la mayoría de estos bocetos, unos 250 compases de música, que estaban destinados a un primer movimiento. [in his attempt to complete the symphony].

Pero lo que quedó atrás es realmente muy poco. Básicamente, como tres compases de música aquí y cuatro compases de música allá y algunos bocetos, que suenan básicamente como los puntos de partida de los temas principales en los movimientos que él [Beethoven] quería escribir.

Cuando miras a Beethoven y otros compositores clásicos, ese suele ser el caso. Es decir, por lo general trabajan con un tema principal y lo desarrollan en una secuencia de un par de minutos y luego viene otro tema. Esa es la forma tradicional de componer, y eso es exactamente lo que la IA necesitaba aprender: cómo Beethoven y otros compositores clásicos comienzan con un tema y lo desarrollan. Como en la Quinta Sinfonía – ‘da da da dah’. Y luego toma eso y desarrolla todo un movimiento a su alrededor.

Lee más sobre inteligencia artificial y música:

• ¿La IA reemplazará a los músicos?
• La IA está a punto de revolucionar la música para siempre, pero no de la manera que crees
• El genio oculto de Blob Opera y cómo podría volverse aún más inteligente

Entonces, digamos, tienes el tema como la Quinta de Beethoven. ¿Cómo entrenas a la IA para que desarrolle melodías interesantes basadas en un solo motivo?

La forma en que AI genera música en general es muy similar a la forma en que su correo electrónico, por ejemplo, intenta predecir la siguiente palabra para usted. Entonces, cuando escribe un correo electrónico, encuentra que salta a sugerir lo que podría querer escribir a continuación.

Es el mismo concepto, básicamente: la IA tiene que aprender de muchos datos musicales. Pregunta cuál sería la siguiente nota dado lo que acabas de escribir. Y si puede predecir la siguiente nota, entonces puede predecir la siguiente nota y la siguiente nota y así sucesivamente. Ese es el concepto principal.

Pero de lo que pronto nos damos cuenta es que si comienza a recoger las sugerencias del teléfono para la próxima palabra y comienza a escribir solo en función de las sugerencias de la IA, en realidad no se mantiene por mucho tiempo. Y eso es lo que pasa con la música. Si solo le das un punto de partida y lo dejas predecir, sí, puede predecir un par de notas. Pero después de eso, se vuelve más o menos una tontería, y ya no es fiel al tema principal.

Así que ese fue el principal desafío. ¿Cómo podemos dejar que la IA se ciña al tema principal y lo desarrolle? Así que aquí es donde entra en juego el papel del experto humano que trabaja con la IA. Así que tuvimos que trabajar con expertos humanos para anotar y etiquetar mucha música para que podamos decirle a la IA cuál era el tema y dónde estaba el desarrollo del tema. estaba en un montón de piezas de música. Básicamente, la IA aprendió como estudiante. Eso marcó una gran diferencia porque entonces la IA realmente podría seguir apegada al tema.

Además, la IA tuvo que componer la música en una forma musical específica. Entonces, si está componiendo para un movimiento de scherzo o una parte del movimiento en trío o una fuga, etc., cada una de estas formas musicales tiene una estructura específica. La IA también tuvo que aprender cómo escribir una fuga, cómo escribir un trío, cómo escribir una fuga y cómo escribir un scherzo.

¿Entrenaste la IA escuchando exclusivamente a Beethoven o también usaste a otros compositores?

Fue muy desafiante porque Beethoven solo escribió nueve sinfonías. Ese es un conjunto de datos muy pequeño en comparación con la escala de lo que la IA necesitaba hacer. Entonces, la forma en que abordamos esto fue primero imaginarnos a nosotros mismos como un joven Beethoven aprendiendo sobre música. ¿Qué habría escuchado?

Entonces, entrenamos nuestra primera versión de la IA como si fuera alguien que viviera en el siglo XVIII escuchando música barroca como Bach, así como Hayden y Mozart. Y esa fue la primera versión de la IA, que básicamente sería el tipo de música que cualquiera que viviera en esa era estudiaría para componer. Y luego tomamos eso y lo entrenamos específicamente en Beethoven, en viejas sonatas, conciertos, cuartetos de cuerda y las sinfonías de Beethoven también, así que no solo sinfonías.

Primero entrenamos la IA para generar la composición como dos líneas de música, no como una sinfonía completa, que es una forma típica de trabajar de un compositor, simplemente componiendo primero y luego orquestando. Entonces, teníamos otra IA que tomaría esa composición y aprendería a orquestarla. Creo que esto es muy similar a la forma en que los humanos aprenden: realmente no puedes dominar la universidad de cuarto nivel sin pasar primero por el primer, segundo y tercer nivel. Siempre es incremental.

¿Cómo lograste que la IA tomara la melodía que creaste y luego dijera ‘¿Cómo armonizaría Beethoven esta melodía?’

La forma en que armonizamos la música es muy similar a cómo usamos la IA para traducir idiomas. Como cuando usa Google Translate u otra IA para traducir una oración de un idioma a otro. Este tipo de modelos utilizados en la traducción aprenden muchas oraciones de fondo. Entonces, ¿cuál es la oración en alemán? ¿Cuál es la oración en inglés? Y a partir de ahí, tratan de aprender a traducirlos.

Básicamente, imagina que tienes estos modelos [for harmonisation]. Pones la melodía en un lado y en el otro lado pones cómo Beethoven la armonizaría para que la IA aprenda cómo traducir una línea de melodía en música armonizada.

Lo que pasa con la música es que está muy estructurada y sigue muchas reglas. Pero esto es muy difícil para nosotros de capturar y escribir. Realmente tienes que tener un doctorado en musicología con especialidad en Beethoven para entender eso realmente. Pero la máquina puede capturar eso estadística y matemáticamente de una manera muy implícita y puede usar eso para darnos esta armonización.

Supongo que la orquestación es solo un desarrollo natural de ese proceso.

Lo hiciste bien. Esa decisión es solo una extensión de la armonización. Queríamos que la máquina tradujera la composición en instrumentación multipista, lo que también hicimos entrenando la IA en función de cómo lo harían Beethoven y otros compositores.

¿Cómo ha sido la respuesta de músicos y compositores?

Su respuesta es realmente mixta. Hay personas a las que les encantó esto y les encanta la idea de tener una IA que entienda la música y pueda ayudarte a terminar tu composición o hacer que explores diferentes ideas musicales.

Pero en el otro lado del espectro, hay personas que simplemente rechazan incluso el concepto de poder completar una sinfonía de Beethoven usando IA. Tienen miedo de que la IA les quite el trabajo y piensan que no tiene nada que ver con este tipo de cosas.

¿Es posible que podamos conseguir una IA para hacer una obra completamente original?

Sí. No tengo ninguna duda al respecto, lo hicimos en las artes visuales hace un par de años, donde desarrollamos un artista de IA casi autónomo que observamos, digamos, los últimos 500 años del arte occidental. La tarea era básicamente generar nuevas obras de arte que no siguieran ningún estilo existente.

Si la IA generó un tipo de arte impresionista o de Picasso o una obra de arte de estilo renacentista, podría darse cuenta y, por lo tanto, tendría que aprender a crear algo nuevo.

El desafío con este proyecto fueron en realidad las limitaciones: el hecho de que la IA no generaba música por sí misma, sino que generaba música basada en el genio de Beethoven y también siguiendo los bocetos. Esto lo hace aún más difícil. El listón alto, por supuesto, de expectativa se debió a los bocetos provenientes de Beethoven. Pero cuando se trata de generar música de forma autónoma creo que es una tarea más fácil.

Escucha la sinfonía a continuación:

Leer más sobre música:

• La ciencia de por qué las chabolas marinas son tan pegadizas
• ¿Por qué una grabación aumenta de tono cuando se acelera?
• Música: cómo afecta tu cerebro, cambia tu estado de ánimo y te ayuda a concentrarte