Estudiantes investigadores trabajan con la comunidad ELA para desarrollar la aplicación de música DuoRhythmo para todos

Para el doctor Alper Kaya, los días más oscuros de su vida sucedieron unos 10 años después de enterarse de que tenía ELA.

Con base en Turquía, el oftalmólogo se sintió afortunado de que la enfermedad progresara de manera lenta, luego del diagnóstico inicial de Esclerosis Lateral Amiotrófica en 1990. Todavía podía realizar cirugías, ayudar a los pacientes y tocar la guitarra clásica, una de las constantes en su vida, desde que era un adolescente

Después de alrededor de una década, perdió el uso de sus manos para hacer las cosas que amaba. Él también perdió la esperanza. En ese momento, se sentía como algo difícil de soportar.

Pero con la ayuda de su hija, encontró otras formas de volver a hacer música. La tecnología de asistencia le dio la capacidad de soplar en un controlador de viento MIDI («un instrumento electrónico de manos libres, impulsado por la respiración»). Más tarde, cuando no podía cerrar la boca, encontró otro software basado en música para responder al seguimiento de los ojos y pequeños movimientos de la cabeza. Tiene un canal de YouTube donde ha subido algunas de sus composiciones.

De manera más reciente, fue uno de los primeros probadores de DuoRhythmo, una aplicación de Windows que hace poco lanzó su primera actualización importante. Permite a cualquier persona, incluidas las personas con discapacidades, crear música de forma colaborativa y remota en tiempo real. Con él, puede crear ritmos originales a través de sus ojos.

“Comunicarme a través de la música es muy importante para mí”, dice Kaya, de 61 años. Tocó en bandas durante su juventud. Durante la escuela secundaria, la universidad y la escuela de medicina, nunca dejó la música. “La música representa el color de mi espíritu y cuando hago música, esta desarrolla mi vida espiritual. Me siento libre y más creativo. Si quieres hacer música, necesitas un instrumento y creas un vínculo con él. Es una relación especial”.

Si bien ya no puede tocar instrumentos como solía hacerlo, la tecnología le ha brindado otra forma de ser creativo y conectarse con la música.

De inmediato le gustó la interfaz de DuoRhythmo y poder tocar tambores de mano (con los ojos), algo que no había hecho antes, y descubrió que era muy fácil para un principiante como él incorporar los ritmos irregulares con los que creció en la música turca.

Lo que Kaya puede hacer con la aplicación es la culminación de años de investigación por parte de estudiantes de la Universidad de Aalborg de Copenhague que estudian Medialogía, una especialización que explora cómo las personas interactúan con las computadoras. Ese campo incluye tecnología como aplicaciones de escritorio como DuoRhythmo, así como realidad virtual y aumentada.

“Realmente nos gusta este concepto de diseño de restricciones extremas, cuando tienes un grupo objetivo muy específico que tiene formas limitadas de interactuar con el producto. Y luego, en lugar de hacer un producto y luego hacerlo accesible, lo construimos de abajo hacia arriba para asegurarnos de que la interacción sea lo primero y luego todo lo demás”, dice Truls Bendik Tjemsland, uno de los miembros del grupo principal que creó la aplicación. — estudiantes que están en la etapa de maestría del programa de Medialogía, programado para graduarse en el verano de 2023.

Mientras buscaban proyectos en los que trabajar, la música surgió como el foco debido a su naturaleza creativa y colaborativa, un medio para conectar a las personas y unirlas. Una colaboración entre el Laboratorio de experiencia multisensorial de la Universidad de Aalborg en Copenhague y Microsoft Research, practicaron una investigación centrada en el usuario junto con personas con ELA y sus familias.

Presentaron la idea de una aplicación basada en un patrón de percusión accesible, similar a un círculo de percusión.

“A través de la música puedes llegar a esta verdadera alegría pura de co-creación y colaboración con personas que viven con ELA”, dice Balázs András Iványi, quien estudia en el Área de la Bahía con Tjemsland durante un semestre antes de regresar a Dinamarca. “Creo que este tipo de aspecto colaborativo es como cuando preparan comida juntos, esa alegría de hacer algo juntos. Estas personas pudieron en verdad tocar algo juntos y hacer algo significativo”.

Dado que la idea se materializó durante la pandemia, tuvieron que probar la idea de forma remota. Pudieron encontrar a cinco personas que vivían con ELA en todo el mundo.

“Fue un recorrido muy, muy interesante, conocer a todas estas partes interesadas y convencer a las personas de que no es necesario ser un experto musical para poder disfrutar de esta experiencia”, dice Tjemsland.

En la primavera de 2022, los estudiantes investigadores asistieron a una convención danesa para personas con ELA. Aprendieron varias cosas durante ese evento, una de las cuales fue que siempre que pudieran usar un mouse o una pantalla táctil, las personas que viven con ALS querían usar eso, en lugar de un rastreador ocular.

“Aprendimos que en el camino necesitamos atender a todos estos otros usuarios”, continúa Iványi. “A medida que, por desgracia, la enfermedad avanza, existe una serie de insumos que pueden usar, como un mouse tradicional y luego, hacia el final, un rastreador ocular. Queríamos superponerlos tanto como fuera posible, por lo que tenemos múltiples dispositivos de entrada para cada etapa o podemos admitir múltiples dispositivos de entrada para cada etapa de la enfermedad”.

Los desarrolladores del proyecto, también estudiantes de la universidad, crearon la aplicación por medio del motor de juegos Unity 3D.

«Muy pronto decidimos que queríamos ser espaciales y 3D, para tener una sensación de espacio», dice Christian Tsalidis, quien estudió ingeniería electrónica durante un año en España antes de mudarse a Dinamarca, donde puede combinar habilidades de programación con diseño. Unity también fue una buena opción para ellos, dice, porque era importante poder lanzarlo en diferentes plataformas. “Podemos construir para Windows, teléfonos y/o dispositivos de realidad virtual y aumentada”.

Buscaron inspiración en los investigadores de Microsoft. La idea de construir algo para jugar y mejorar la calidad de vida resonó en ellos.

“No hay mucha investigación que permita a las personas con ELA tocar música con otras personas. Así que este aspecto multijugador que incorporamos en DuoRhythmo fue una atracción principal”, dice Scott Naylor, otro estudiante de desarrollo del proyecto. “Toda nuestra interfaz fue diseñada desde el principio con eso en mente”.

En la actualidad, dos personas a la vez pueden colaborar en la aplicación. Una persona puede modular los efectos para las velocidades/ritmos que la otra crea, y también pueden decidir intercambiar lugares.

Los estudiantes crearon botones personalizados con los que se puede interactuar con el seguimiento de los ojos y la cabeza, así como los alineados con los controles del mouse y el teclado para abrir la aplicación a tantas personas como sea posible, depende de qué tan avanzados estén en su diagnóstico.

El equipo descubrió que trabajar con Windows 11 les ayudó durante todo el proceso de creación, ya que descubren que es más accesible en términos de cuánto más desarrollo e investigación están disponibles al diseñar para tantos como sea posible.

Bill Buxton, investigador asociado de Microsoft, se desempeñó como asesor de DuoRhythmo. Ex saxofonista y sintetizador profesional, se dedicó a la informática y al diseño de interacción humano-ordenador hace décadas. Entre sus numerosos logros, encabezó el equipo que desarrolló la experiencia del usuario para el software 3D utilizado para diseñar automóviles. Toma una perspectiva donde el diseño es primero en cada proyecto, pregunta sobre el proceso y crea una cultura de diseño que integra a todas las partes interesadas para que todos puedan trabajar juntos al aportar su experiencia.

El problema de diseño que Buxton estaba interesado en resolver con los estudiantes era cómo señalar y activar cosas que pudieran crear música a través de usar solo los ojos o la lengua, según las discapacidades que pueda tener una persona.

Buxton y los estudiantes adoptan la noción de «diseño universal», como rampas para sillas de ruedas en los edificios, que provienen de la comunidad de discapacitados pero benefician a la población en general.

“Para este proyecto, el enfoque comenzó con la accesibilidad a una comunidad específica con necesidades especiales, pero la solución, del mismo modo, trajo los beneficios a la población en general, lo que demostró que, con un diseño apropiado, podemos tener un diseño inclusivo con un compromiso mínimo”. dice Buxton.

Con el conocimiento de que querían que la mayor cantidad de gente posible usara la aplicación, y que mantuviera su validez a nivel musical, el equipo abordó el proyecto desde la perspectiva de un director de orquesta centrándose en la sección de percusión en lugar del músico que necesita dedos para tocar la guitarra o el piano.

“No tienes que articular cada nota para hacer música. También puedes dar forma e iniciar frases”, dice Buxton. “Puedes comenzar con estos patrones de percusión y, como puedes modificarlos de manera gradual, puedes dirigirlos y cambiar el tempo. Puedes comenzar a hacer cosas asombrosas con una alta creatividad. La clave es la elección de los patrones que puedes incorporar a la secuencia y lo que puedes hacer con ellos, como un DJ”.

Además de los dispositivos de asistencia, como los que implican el seguimiento de los ojos, la aplicación puede incorporar información desde un panel táctil, una pantalla táctil, un mouse, una palanca de pie o un joystick.

“Es inclusivo de muchas maneras”, dice Buxton. “No está diseñado sólo para personas con discapacidades”.

Pero los evaluadores con ALS fueron esenciales para crear la aplicación.

Cathy Cummings, directora ejecutiva de la Alianza Internacional de Asociaciones de ALS/MND, ayudó a conectar a los estudiantes con sus futuros usuarios durante el desarrollo de la aplicación.

Capturas de pantalla de la aplicación DuoRhythmo

Cummings, cuya madre falleció de ALS en 2005 después de vivir con la enfermedad durante cinco años, se ofreció como voluntaria en ALS Ontario, donde se convirtió en presidenta de la junta. También formó parte de la junta directiva de ALS Canada y, después de completar los mandatos de la junta directiva en 2013, se convirtió en la nueva directora ejecutiva de Alliance.

Microsoft ya tenía presencia en el Consejo Asesor de Innovación y Tecnología de la Alianza e hizo las presentaciones a los estudiantes en Dinamarca.

“No puedo decir suficientes cosas positivas sobre ellos. Fue genial trabajar con ellos. Los estudiantes fueron muy diligentes en saber lo que querían hacer y cómo querían proceder, y estaban en verdad interesados desde el principio en involucrar a las personas con ELA para que sintieran que en realidad satisfacían una necesidad en lugar de algo que habían soñado”, dice Cummings, cuya organización analizaba la jornada del paciente a lo largo del tiempo y qué tecnología podrían necesitar a lo largo de su jornada con ALS para mejorar su calidad de vida. “Muchas tecnologías respaldan las necesidades fisiológicas muy básicas, pero las más interesantes para nuestro grupo de personas que viven con ELA caen en el orden superior de la jerarquía de necesidades de Maslow: música, arte, apreciación de cosas que mejoran su calidad de vida que no están relacionados de manera directa con su capacidad para hacer frente al día a día. Entonces, las partes más matizadas de la vida que sentían hacían que valiera la pena vivirla. Y fue justo en la convergencia de ese momento cuando buscábamos cómo definir esa matriz que nos presentaron a este fantástico equipo”.

Cummings agrega que la naturaleza colaborativa de la aplicación también ayuda a contrarrestar el aislamiento social que a menudo resulta de la enfermedad.

“Una vez que las personas tienen satisfechas sus necesidades fisiológicas básicas, la vida es mucho más que eso”, dice Cummings, quien aprecia cómo la aplicación está disponible para tantas personas a través de Microsoft Store. “Cualquier cosa que esté integrada en algo que esté disponible de manera pública es de gran ayuda. La ELA/EMN es una enfermedad bastante rara, por lo que la exposición a los estudiantes de nivel universitario cuando trabajan en productos y servicios tecnológicos para mejorar la calidad de vida en verdad ayuda a que otros se den cuenta de nuestra enfermedad. Una vez que alguien es consciente de algo, lo lleva consigo por el resto de su vida”.

Es importante, dice Cummings, que las empresas incluyan a personas con discapacidades en el desarrollo de productos.

“En cualquiera de nuestros seminarios educativos o nuestras conferencias cada año, vemos lo que Microsoft traerá en el futuro y cómo trabajan en aspectos como la voz natural y la traducción”, dice. “Todo ese tipo de cosas aún no son productos en el mercado, pero le dan a la gente mucha esperanza de que podrán mantener su identidad y comunicarse a medida que avanzan a través de esta enfermedad”.

Imagen principal: Foto de Frej Reosenstjerne en el evento Danish Sound Day que muestra DuoRhythmo en mayo de 2022, con ilustración original de Bernardo Henning