Ir al contenido principal

Artista utiliza IA para crear una partitura musical siempre cambiante formada por los cielos sobre un hotel en Nueva York

La gente aún no puede estar en dos lugares al mismo tiempo. Pero Julianna Barwick, la música ubicada en Los Ángeles, se encuentra en la labor de resolver este pequeño problema para brindar a los huéspedes de un nuevo hotel de la ciudad de Nueva York una actuación en vivo que nunca acaba y que cambia de manera constante el sonido y el ambiente de los cielos sobre Manhattan dentro de la recepción.

Un programa de música generativa creado con inteligencia artificial (IA) ha sido entrenado para mantener una vigilancia constante del cielo a través de una cámara en el techo del hotel Sister City, que ofrece una vista panorámica desde el edificio Empire State hasta la Estatua de la Libertad. Tomará las imágenes en vivo que ve – tal vez un repentino rayo de sol, un avión, la luna llena o una bandada de palomas – y creará de manera espontánea una partitura musical, extraída de las composiciones correspondientes de Barwick, que se reproducirá todo el día y toda la noche y nunca se repetirá.

“Será una experiencia mágica y encantadora que despertará tu capacidad de asombro”, comentó Barwick. “Pero lo que es más emocionante, para mí, es que yo estará en casa, en Los Ángeles, y la IA aún estará ahí para ayudarme a tocar en Nueva York”.

Barwick, una música experimental, ha trabajado en el proyecto con Sister City y Microsoft durante el último año, pero en un giro inusual para la música, ella no escuchará la composición que ha creado hasta que lo haga el público, cuando el hotel abra sus puertas de manera oficial el 16 de mayo.

Una vez que la actuación de la IA comience ese día, ya no se detendrá.

Julianna Barwick, música experimental, compuso docenas de paisajes sonoros para que sean interpretados por un programa de música generativa que reflejará los cielos que se encuentran sobre Manhattan.

Barwick compuso cinco movimientos dentro de un paisaje sonoro general que refleja la cambiante naturaleza del cielo durante el día, cada uno con su propio fondo de bajo, sintetizador y líneas vocales que entran y salen. Para cada “evento”, identificado por Microsoft AI, ella creó seis sonidos sintetizados y seis sonidos vocales para que el programa de audio generativo pudiera elegir alguno – por ejemplo, 60 diferentes opciones musicales al día por cada vez que pasa un avión por arriba del hotel. Los sonidos son una expresión de las emociones de Barwick en respuesta a cada estímulo.

“No quería ser muy literal”, comenta. “Podría haber hecho que sonara ‘lluvioso’, pero se trata más de la actitud del evento. Un avión es mucho más diferente que la luna, tiene un sonido más metálico que el cálido sonido del sol o un tipo de sensación ‘lunar’, que es más calmada. Quería que la gente que lo escucha se sintiera curiosa y se preguntara qué significa ese sonido, qué es lo que cruza el cielo en ese momento”.

Barwick nunca le ha tenido miedo a la tecnología, incluso si no tenía acceso a ella. Grabó su primer disco en 2007 con un pedal de guitarra para formar bucles vocales en una cinta de casete. “En ese entonces ni siquiera tenía computadora”, recuerda. “Tomé mi maleta de cintas a algún lugar para que las masterizaran y produjeran un CD”.

Ahora se apoya en la tecnología para componer, grabar e interpretar su música ambiental de capas múltiples. Utiliza efectos en todo, incluida su voz. No existe el tema ‘desconectado’ en las interpretaciones de Julianna Barwick. Aun así, ella comenta que, “Antes de que se me ofreciera realizar este proyecto, la única cosa que sabía sobre inteligencia artificial era de las películas. Nunca había visto una aplicación de esto en la vida diaria”.

Así que cuando comenzó a explorar sonidos, Barwick no sólo lidió con lo que la IA era y podía hacer, también con el rol que ella tendría en comparación con el de la IA. ¿Quién era el compositor, ella o el programa? ¿La IA era un socio o una herramienta?

“Contemplé cómo se desarrollaría el proyecto en mi ausencia y me di cuenta que podía hacer todos los sonidos, pero no iba a estar ahí para detectar todos los eventos – debes confiar en la IA para hacer esto”, comentó Barwick. “Y esa es una parte muy importante de la partitura; es casi 50-50. Y eso es lo que hace interesante a este proyecto. Es casi como traer a otro colaborador, y las posibilidades son infinitas. Ha abierto un nuevo mundo de pensamiento y acercamiento a futuras composiciones y partituras”.

Una cámara envía imágenes en vivo a una herramienta de visión de cómputo de Microsoft Azure, la cual asigna etiquetas como “nubes” o “sol”. Estas son alimentadas al sistema que los tecnólogos programaron después de analizar las composiciones de Barwick y condensarlas en un algoritmo, el cual luego elige qué pistas tocar juntas.

La música sin letra de Barwick cuenta con sus propios vocales etéreos y sonidos sintetizados. Ella compone de manera espontánea conforme interpreta o graba sus piezas, sin saber cómo sonará el resultado final. Y la adaptabilidad del programa de IA refleja la suya propia.

“Mi música es muy abstracta e interpretativa, y soy un filtro para los estímulos”, comenta. “Ya sea que esté en un país diferente o que llueva o haya pasado algo muy triste, eso aparece en la música. Y esto es como el filtro para el estímulo que es la IA ahora, porque no me puedo sentar ahí y observar al cielo e interpretar las 24 horas del día, los 7 días de la semana, como la IA puede hacerlo”.

Barwick se apoyó en un equipo de tecnólogos de Microsoft AI, para entrenar a la IA sobre cómo debe responder a los eventos en el cielo, y para ayudar a organizar las pistas y crear un programa generativo. La cámara envía imágenes en vivo a una herramienta de visión de cómputo de Microsoft Azure, la cual asigna etiquetas como “nubes” o “sol”. Estas son alimentadas en el sistema que programaron los tecnólogos después de analizar las composiciones de Barwick y las condensan en un algoritmo, que luego elige qué pistas tocar juntas, de acuerdo con los tipos de eventos que sucedan.

“La única cosa que sabía sobre inteligencia artificial era de las películas. Nunca había visto una aplicación de la IA en mi vida diaria”.

Todos los sonidos de cada uno de los cinco sets durante el día son armoniosos, a pesar de los cambios clave para cada uno. Barwick comenta que eligió progresiones de acordes que hicieran sentido para ella para ese momento del día, como algo calmado pero energético en la mañana y “comenzar a relajarse un poco” para la noche. Ella nombró al proyecto “Circumstance Synthesis”.

“Crear algo que cambiará de barra a barra, a cada minuto, a cada hora, de la mañana a la tarde a la noche, y en diferentes estaciones, también – ha sido desafiante y fascinante”, comentó Luisa Pereira, tecnóloga que trabaja con el equipo de Microsoft. “Tiene que funcionar dentro de todos estos tipos de restricciones”.

La música está impregnada en los antecedentes de Atelier Ace, la agencia creativa y compañía de administración detrás de Sister City y Ace Hotels – la compañía inició a finales de los noventa como una firma de promoción de conciertos. Ryan Bukstein, vicepresidente de marca para Atelier Ace, recuerda cuando era practicante para la compañía en el año 200 y escuchó por primera vez “Music for Airports” de Brian Eno, un álbum de música ambiental que recuerda al trabajo de Barwick. “Teníamos esta idea de hacer una banda sonora como esta durante muchos años, pero no teníamos el lugar adecuado para hacerla”, menciona Bukstein. “Pero Sister City es diferente a cualquier otro hotel, y es un lugar donde queríamos ser experimentales y probar nuevas cosas que no habíamos hecho antes en otro lugar”.

El hotel boutique de 14 pisos y 200 habitaciones en Bowery, una amplia avenida en Lower East Side, tiene un diseño minimalista con influencias japonesas y escandinavas para ofrecer un ambiente limpio y tranquilo.

Mientras componía, Barwick tuvo en mente la estética de Sister City, que tiene influencias japonesas y escandinavas para ofrecer un ambiente limpio y tranquilo.

“Me imagino a las personas que quieren disfrutar la serenidad y estética de Sister City, porque es muy escasa, limpia, bonita, con maderas claras, paredes blancas, muy ventilada y luminosa”, comenta Barwick. “Así que quiero darles una sensación de paz y serenidad”.

Los huéspedes de Sister City pueden tener la cantidad de interacción humana que quieran; si se sienten abrumados por el golpe de humanidad en Manhattan y buscan soledad, pueden registrarse a través del quiosco de auto servicio, tocar su llave de la habitación para entrar y salir del edificio y utilizar la aplicación del hotel para solicitar servicios, sin tener que hablar con nadie.

“Incluimos a la tecnología de una manera fluida, intuitiva y agregada para que pueda crear más espacio para que nosotros disfrutemos la vida”, menciona Bukstein. “Así que queríamos tomar la música y atarla a la IA de una manera que esta pudiera crear algo especial y filtrar lo que sucede fuera de Sister City. La música de Julianna es única, y aunque es creada con tecnología, al final suena muy orgánica y humana”.

“(La IA) es casi como traer a otro colaborador, y las posibilidades son infinitas”.

Aunque Barwick vivió en la ciudad de Nueva York por 16 años antes de moverse a Los Ángeles, ella nació en Luisiana y creció en Missouri y Oklahoma. Su álbum “The Magic Place” fue nombrado en honor a un árbol en la granja de su familia con un dosel con el tamaño suficiente para treparlo. Su largo amor por la naturaleza influenció sus composiciones mientras ella se enfocaba en bajar los cielos sobre Manhattan hacia la recepción del hotel.

“Esto es casi como una partitura viva, porque interactúa con la naturaleza y con lo que sucede en el exterior en ese momento”, comentó Barwick. “Es como una síntesis viva. Y me encanta crear algo que vivirá en Nueva York, ya que yo ya no estoy ahí”.

“No puedo esperar por escucharlo en el espacio y ver lo que la gente piensa de él. Tal vez la IA se sienta más tangible y no como esta cosa lejana de la ciencia ficción que la gente sólo ve en las películas, y en su lugar que se sienta como algo que pueden utilizar en sus propias composiciones y proyectos”.

Todas las imágenes por Jay Carroll.