Por: Meixia Huang
El arte es uno de los pocos lenguajes que trasciende las barreras de los países, la cultura y el tiempo. La mayoría de la gente ve al arte de manera subjetiva, a través de un lente formado por sus experiencias y su entorno. Encontrar puntos en común entre piezas de diferentes épocas y medios requiere una mente abierta y un ojo afilado. El proyecto Mosaic toma este enfoque humano e intelectual y lo aumenta con la ayuda de la inteligencia artificial para encontrar conexiones entre obras de arte de diversos artistas. A través de trabajar con datos de The Rijksmuseumj, el Museo de Holanda, y el Museo Metropolitano de Arte (el Met), un grupo de estudiantes del MIT implementó un nuevo algoritmo para búsqueda visual, que encuentra similitudes a través de culturas en las colecciones de los museos, como parte de su proyecto de prácticas en Microsoft Garage.
Las prácticas del MIT con Microsoft Garage toman una experiencia tradicional de prácticas de un semestre y las condensan en un mes de rápido desarrollo, donde los estudiantes llevan un proyecto impactante del concepto a la realidad. Microsoft Garage en NERD fue la base para los practicantes durante un mes, en enero, donde se fomenta una cultura de innovación, y la mentalidad de crecimiento es puesta en práctica. Desde entonces, algunos de los practicantes han regresado a Microsoft como Garage Interns, como parte de una experiencia virtual de prácticas de verano, donde los estudiantes colaboran en línea a través de Microsoft Teams y otras herramientas de productividad.
La idea comenzó con Mark Hamilton, colaborador por largo tiempo de Garage y patrocinador del proyecto Mosaic, que además es ingeniero en investigación que busca un doctorado en el MIT, junto con su trabajo de tiempo completo en el Grupo de Investigación de Servicios Cognitivos en el Centro de Desarrollo e Investigación de Nueva Inglaterra (NERD, por sus siglas en inglés) de Microsoft. Mark se inspiró por una visita a una exhibición en el Rijksmuseum, que comparaba obras de arte de los estudios de Rembrandt y Velázquez, dos prolíficos artistas que nunca se conocieron, pero que contaron historias similares en sus obras. Él comenzó a pensar en posibles maneras de que esa misma idea pudiera ser mejorada por IA, y desarrolló un algoritmo que busca obras de arte similares, con base en una imagen inicial y una característica de esa imagen, como el medio, un color, o la cultura (por ejemplo: francesa). En enero de 2020, Mark comenzó a trabajar con la colección de Acceso Abierto del Met con el equipo previo de practicantes del MIT, y de ese esfuerzo surgió Gen Studio, una herramienta interactiva que da a las personas la capacidad de generar arte nuevo a partir de redes adversarias generativas entrenadas.
Este año, los estudiantes del MIT tenían una meta diferente con Mosaic.
“Este proyecto aprovecha las colecciones existentes de arte tanto del Met como del Rijksmuseum para encontrar conexiones entre varias culturas y periodos de tiempo”, explicó Mark. “Con Mosaic, podemos dirigir una luz hacia áreas de las colecciones que tal vez no sean tan bien conocidas y descubrir cosas en verdad interesantes”. Curadores y visitantes pueden utilizar Mosaic para explorar el arte en nuevas maneras, como clasificar tendencias que subyacen a obras de diferentes culturas y encontrar evidencia de intercambios culturales e influencias a través de la historia. Un ejemplo que Mark describió fue cómo el algoritmo encontró similitudes entre las vasijas de porcelana de la Dinastía Ming, un violín holandés y un baniano de los Países Bajos. “El algoritmo recogió puntos en común de la forma del baniano y un instrumento de cuerdas, pero también el color del motivo azul y blanco que se originó en la Dinastía Ming y se esparció por Europa. Pueden ver evidencias de intercambios culturales que ocurrieron a través de los resultados del algoritmo”.
Para un vistazo más a fondo en cómo esta nueva manera de recuperación condicional de imagen puede ayudar a mejorar los GAN, Mark organizó un webinar de Microsoft Research sobre este tema.
Sin embargo, antes de que el modelo de aprendizaje automático pudiera ser implementado, estaba la compleja tarea de limpiar los datos asociados con cada pieza de arte.
Conozcan al equipo detrás de Mosaic
Los estudiantes Mindren Lu y Stephanie Fu estudiaron ciencias de la computación en el MIT y trabajaron de cerca para peinar datos de ambos museos. Tarea nada sencilla, pero los dos científicos de datos organizaron metadatos descriptivos como palabras clave, autores y etiquetas asociadas con cada obra de arte, en conjuntos consistentes de datos que pudieran ser alimentados hacia el algoritmo. “Hubo mucho procesamiento manual, dado que muchos de los datos están escritos en otros idiomas, en ocasiones hay errores o falta información”, comentó Stephanie. “Tomó mucho tiempo reunir todo eso y convertirlo en un conjunto de datos con un buen formato, con el que el equipo de back-end pudiera trabajar”.
Marina Rogers fue parte del equipo que construyó el back-end de Mosaic que interactúa con varios productos y servicios Azure. “Traíamos los conjuntos de datos y las colecciones limpiadas y creábamos los modelos de aprendizaje automático con base en la información de Mark. Luego, desplegábamos los modelos y diferentes APIs para compartir esa conexión con el sitio web del front-end”, explicó Marina, quien es ingeniera eléctrica y estudiante de ciencias de la computación con una asignatura secundaria en diseño.
“Poder compartir nuestro trabajo con otras personas es en definitiva algo destacado”, comentó Johnny Bui, quien también estudia ingeniería eléctrica y ciencias de la computación. Él reflexionó sobre cómo hacer que piezas y servicios técnicos “se hablaran” entre ellos en nuevas maneras, detrás de escena, fue un desafío. Felix Tran y Maggie Wang completaron al equipo que trabaja en los sistemas back-end que brindaron un flujo ininterrumpido de datos de extremo a extremo, descritos por Jean-Yves Ntamwemezi, ingeniero de software en Microsoft Garage en NERD, como “el pegamento que unió todas las piezas”.
Jean-Yves se unió al equipo de Garage justo antes de que comenzaran las prácticas, proveniente de una larga permanencia como ingeniero de software en el equipo de Office Docs. “Fue un entorno de aprendizaje muy interesante, de un ritmo muy rápido, al que salté para liderar a los practicantes en muchas maneras”. Además de la mentoría y soporte en general, Jean-Yves alistó el entorno de Azure DevOps para el proyecto, configuró solicitudes de extracción para que los practicantes pudieran tener su código revisado, y los introdujo a las herramientas correctas y a los ingenieros con la experiencia necesaria para ayudarlos a desbloquear el progreso. Él también lidera el capítulo local del grupo de recursos para empleados Black at Microsoft, que construye cultura y liderazgo dentro de la empresa.
“Garage es la mezcla perfecta de trabajar en increíbles tecnologías y liderar a un equipo de ingenieros hacia una solución”, comentó Jean-Yves. “Los practicantes y los de nuevo ingreso informan en qué se convierte la cultura, cómo se ven los equipos, cómo se ve el trabajo, cuál es el foco en nuestro entorno de trabajo. Trabajar en un espacio técnico donde la empatía es la prioridad en tu proceso de pensamiento, ese es un lugar en donde quiero crecer”. Para Jean-Yves, una parte importante de su día a día fue asegurar que los estudiantes forjaran camaradería durante el proceso.
Darius Bopp y Ben Chen fueron responsables del sitio web front-end, que es la culminación de todo el trabajo que realizó el equipo, empaquetado en una experiencia web atractiva a la vista, que encuentra conexiones entre el arte en nuevas maneras. “Tomaron este nebuloso diseño de un sitio web y lo convirtieron en algo que se ve increíble y es fácil de navegar”, comentó Mark. “El equipo de front-end fue tan veloz que pudieron pasar mucho tiempo en pensar sobre lo que era en verdad necesario en el sitio, para hacerlo menos complejo y más intuitivo”.
Visualizar el aprendizaje automático
Aunque el equipo de ciencias de los datos llevó a cabo mucho del trabajo crítico con el algoritmo original de Mark, ellos no se detuvieron ahí. Como una meta corta, Mark les presentó el algoritmo SHAP (Shapley Additive exPlanations) a Mindren y Stephanie, un enfoque teórico de juego para explicar el resultado de cualquier modelo de aprendizaje automático. Los dos se sintieron intrigados de inmediato y profundizaron en la investigación y en cómo aplicarlo a sus modelos de ML para Mosaic. “SHAP es una herramienta que Busca explicar por qué el modelo de ML tomó las decisiones que tomó, por qué de todas esas pinturas eligió ésta en particular como una coincidencia. Los modelos de ML no piensan como los seres humanos, aunque parezca que sí lo hacen”, comentó Stephanie. Lo que resultó fue una fascinante representación visual de lo que mira el algoritmo cuando encuentra objetos “similares”. Esto puede mostrar lo que el modelo “ve”, como una ventana hacia el cerebro del aprendizaje automático, pero toma mucha memoria y espacio para correr. Por esa razón, y dado que se aproximaba el final de su práctica, el equipo sólo pudo implementar algunos racionales para mostrarlos en el sitio web como ejemplo.
Aunque los ciclos semanales de desarrollo pasaron rápido, los practicantes tenían una orientación sólida de parte de Mark durante todo el proceso. Mark lleva su profunda apreciación por el arte al trabajo y disfruta aplicar su conocimiento de IA para crear nuevos contextos en cómo el arte es explorado y estudiado. “Muchos artistas buscan encarnar lo metafórico en el dominio visual, y este algoritmo no puede evitar ver eso y retomarlo cuando encuentra estas obras coincidentes de todo el mundo”, explicó Mark. “El arte es estético y hermoso, pero muchas veces los artistas tratan de decir cosas en verdad profundas sobre la naturaleza de la percepción, de los sentimientos y las emociones”. En la mayoría de los casos uno casi podría decir que la IA se las arregló para extraer la intención o la idea de las pinturas, no sólo los pixeles, para encontrar coincidencias”.
El arte también es parte de la vida de Marina, pues creció con una madre que estudió artes finas. Marina descubrió que la parte más importante de la experiencia fue “la cultura de mejora y crecimiento personal. El ambiente en general fue de aprendizaje y motivación”.
Johnny y sus compañeros estuvieron de acuerdo en que la estructura de la experiencia de la práctica los preparó para el éxito. “Trabajar en un proyecto de esta escala, además de interactuar con herramientas de terceros y colaborar con otras personas, fue una gran experiencia de aprendizaje. Tuvimos un gran avance del proyecto en los primeros días”, explicó, en referencia al mini hackathon que inició su experiencia en Microsoft Garage, donde cada persona pudo probar cómo podría ser la ciencia de los datos, el back-end y el trabajo de desarrollo del front-end en el proyecto.
“Se trató de mi primera experiencia real de trabajo en una compañía grande, en un equipo de proyecto de un ritmo acelerado. Me ayudó a decidir hacia qué dirección quiero llevar mi carrera”, comentó Mindren, que encontró que los momentos más fascinantes fueron la investigación sobre la herramienta racional y cuando recibió esas primeras obras de arte coincidentes de su modelo de ML. “Te diviertes más de lo que esperabas y la cultura fue increíble y muy amigable”.
Exploren más en el sitio web de Mosaic
Vean el webinar de Microsoft Research
Conozcan sobre el proyecto de prácticas Gen Studio de MIT 2019
Conozcan sobre el Programa de Prácticas en Microsoft Garage
