Проект Microsoft Hands-Free Music, над которым работают ученые Microsoft Research, состоит из трех программ, которые позволяют людям с ограниченными физическими возможностями заниматься музыкой. Ознакомиться с тем, как все три инструмента работают вместе, можно в демонстрационном видео.
Hands–Free Sound Jam позволяет сочинять и исполнять музыку. Программа по интерфейсу похожа на популярные музыкальные редакторы. Пользователь может создавать музыкальные композиции, располагая фрагменты мелодии (клипы) в нужном ему порядке, при этом они автоматически выравниваются и квантуются, подстраиваясь под ритм следующей части композиции. Пользователи могут создавать собственные музыкальные сеты, а также сохранять и комбинировать клипы для создания полноценных композиций.
Hands-Free Sound Jam уже был использован музыкантом в живых демо-выступлениях.
Hands–Free Sound Machine — это 16-тактовый секвенсор, то есть программа, предназначенная для составления цифровой музыки из кусочков аудиозаписей. Она позволяет создавать композиции из файлов формата .wav или midi, может подключаться к физическим инструментам и поддерживает сценические эффекты. Программа также была протестирована в живом исполнении.
Expressive Pixels — платформа для визуализации, с помощью которой можно выводить изображения на круглый пиксельный дисплей во время музыкального выступления. Показ последовательности пиксельных картинок синхронизируется с ритмом ударных инструментов, позволяя создавать настоящее световое шоу.
Ранее компания представила два решения для слабовидящих: приложение Seeing AI на основе искусственного интеллекта, которое распознает и озвучивает объекты, а также «умный» аудиогид Soundscape, позволяющий ориентироваться на местности.