Microsoft Expressive Pixels: платформа для творчества, инклюзивности и инноваций
Представьте, что вы сидите дома за компьютером и работаете удаленно. У вас есть партнер, который делает то же самое. Вы даже не повернулись, но на светодиодном дисплее, который видят все вокруг, отображается эмодзи: знак STOP. Теперь ваши домочадцы знают, что вы сейчас заняты, а вам для этого не пришлось сказать ни слова.
Это одно из многих применений Expressive Pixels. Платформа разработки для Windows 10, которая позволяет создавать анимированную визуализацию, теперь бесплатно доступна в Microsoft Store. Кроме приложения, она имеет набор ПО, благодаря которому можно использовать светодиодные дисплеи для коммуникации с помощью визуальных эффектов или эмодзи.
Все это расширяет возможности невербального общения, открывает разработчикам новые способы творческого применения через API с открытым исходным кодом и снижает порог входа для начинающих программистов, дизайнеров и исследователей.
Expressive Pixels также служит трамплином для любителей или более опытных программистов, позволяя им создавать новые творения без необходимости выяснять, как программировать анимацию и изображения на небольших устройствах, — для этого есть специальная библиотека.
Независимо от того, где вы работаете, учитесь или общаетесь, Expressive Pixels предлагает анимированный способ персонализировать ваше пространство и усилить ваше присутствие, точно так же, как это делают изображения, сувениры и разные безделушки.
«Мы уделяем очень много внимания базовым повседневным функциям, но если подумать, что делает нас людьми, то это эмоции. Мы хотим выражать свои эмоции и поддерживать связь друг с другом», — сказала Бернис Ю, генеральный менеджер по стратегии и проектам подразделения Microsoft Small, Medium & Corporate Business. Она входит в команду проекта Expressive Pixels и много сделала для выхода в 2019 году игр Eyes First, которые используют Windows 10 Eye Control, ключевую функцию обеспечения доступности для людей с ослаблением зрения и подвижности. «Продуктивно работать — это прекрасно, но все мы хотим быть людьми. Это неприкосновенная потребность».
Проект Expressive Pixels опирается на годы глубокого и плодотворного сотрудничества Microsoft в лице Enable Group и людей с серьезными нарушениями зрения и подвижности. Цель этой работы — попытаться понять предпочтения таких людей, их потребности и проблемы, возникающие при общении и взаимодействии с другими людьми, при творческом самовыражении и самоидентификации, а также расширить возможности традиционных устройств дополнительной и альтернативной связи (Augmentative and Alternate Communication, AAC) с новыми функциями для невербального общения, самовыражения, трансляции социальных сигналов и статуса устройства.
Примеры Expressive Pixels
«Решение можно применять и для серьезных дел, и в качестве забавного творческого способа рассказать что-то о себе», — говорит Хариш Кулкарни, технический менеджер команды, работающей над ИИ-фреймворками в группе облачных вычислений и Microsoft Cloud and AI. Он несколько лет был членом команды Enable и много сделал для интеграции Eye Control в Windows 10.
На этом пути команда задействовала самые неожиданные инновации, преодолевая препятствия с помощью свежих идей, вдохновляясь той пользой, которую технология может принести людям.
Когда разработчики поняли, что им нужен форм-фактор, который можно было бы легко увидеть из любого места комнаты и при любом освещении, они обратились к удобным светодиодным дисплеям, которые предлагают сторонние производители, такие как Sparkfun, Adafruit и Silicon Squared Displays (последние дисплеи представляют собой изготовленные на заказ устройства «все в одном», позволяющие решать проблемы с разрешением, связью, хранением данных и отображением анимации, созданные единственным инженером команды Expressive Pixels Гэвином Янке). Впрочем, Expressive Pixels можно использовать и без светодиодного дисплея или другого устройства, просто вставляя анимированные GIF-файлы в электронные письма.
Затем возникла еще одна проблема: разработка программного обеспечения, которое упростило бы отображение анимации на дисплеях. И снова Янке принял вызов и создал прошивку, которая вместе с приложением для разработки образует платформу, которую можно запускать на множестве устройств. С помощью этой прошивки производители могут использовать определенные аспекты или расширять их. Создатели могут делиться своими оригинальными анимациями в облачной галерее (Cloud Gallery) приложения.
Янке сыграл важную роль в разработке этих ключевых элементов Expressive Pixels — и все это в свободное время, вне основной работы.
Silicon Squared Display: прототипы и эволюция дисплея
«Обычно, когда я чем-то занимаюсь, я делаю из этого королевское блюдо», — шутит Янке, генеральный менеджер по разработке Microsoft Research. Но становится серьезным и добавляет: «Мое призвание — помогать тем слоям населения и сообществам, которые не получают должного сервиса, давать им то, что им недоступно из-за их технических возможностей, но что находится в пределах моих технических возможностей».
Янке — мастер на все руки, он приобрел новые навыки, в том числе в области электротехники, за три года, посвященных проекту. Попутно он создал новую категорию устройств с дисплеем из RGB-светодиодов с более высоким разрешением, чем было доступно ранее. Он также придумал, как обеспечить пользователям максимальную мобильность, используя технологию Bluetooth и различные механизмы для запуска анимации, например, переключатели или музыкальные сигналы MIDI.
«Что действительно интересно, так это непредвиденные последствия выхода из зоны комфорта, изучения чего-то нового, — говорит он. — Вы получаете удивительные идеи и способности».
Путь к выпуску Expressive Pixels начался более пяти лет назад с заинтересованности Enable Group в улучшении устройств дополнительной и альтернативной связи (Augmentative and Alternate Communication, AAC), которые обычно слишком дорого стоят, поскольку являются частью медицинского рынка.
Главный специалист в опытно-конструкторской сфере Энн Парадизо возглавила эту работу, желая направить свою энергию на служение другим. Она работала в команде Янке в Microsoft Research до того, как перешла в Enable Group, и Янке не отказал ей в помощи, тем более что проект набирал силу.
Вначале они работали с бывшим игроком НФЛ Стивом Глисоном, который вдохновил и стимулировал развитие исследований, после того как ему поставили диагноз БАС (боковой амиотрофический склероз). И хотя Глисон мастерски использовал технологию отслеживания движений глаз, ему все еще было сложно общаться, когда возникали технические проблемы и приходилось смотреть на экран, а не на человека, который пытался с ним коммуницировать.
«Разговаривая с человеком, который управляет голосовым устройством только глазами, вы заметите, что темп разговора гораздо ниже по сравнению с обычной речью. Часто беседа через AAC идет в 12-25 раз медленнее, даже при улучшении точности прогнозирования и распознавания движений глаз, — говорит Парадизо. — Так что мы часто наблюдаем, как собеседник либо не выдерживает затянувшейся тишины, либо не может понять, что ему готовят ответ, и продолжает говорить, а человек с нарушениями речи остается без возможности высказаться».
Это привело к исследованиям, ориентированным на пользователя, в которых участвовали люди с БАС и члены их семей. Парадизо и ее сотрудники регулярно встречались с ними, сопровождали их на встречах с врачами, наблюдали за их взаимодействием с неврологами, логопедами, физиотерапевтами и многими другими. Встречи проходили и в домашней обстановке, и в лабораториях Microsoft. Возникшее в результате этого доверие позволило исследователям по-настоящему узнать ту экосистему, которая сложилась вокруг людей с ограниченными возможностями, познакомиться с системами поддержки и отношением членов семьи, изучить оборудование и выяснить, что помогает, а что нет.
«Эмодзи уже повсеместно используются на платформах цифровой коммуникации, включая текстовые сообщения, электронную почту и социальные сети. Они требуют меньше действий, чтобы выразить намерение, показать контекст или задать настроение. Один значок эмодзи может кардинально изменить или улучшить восприятие сообщения. Мы думаем, что их можно использовать в качестве дополнительных выразительных посредников для людей, не способных говорить или управлять мускулами, отвечающими за выражение лица, — говорит Парадизо. — Люди с БАС, которые с нами сотрудничают, это одни из самых веселых, вдумчивых и творческих людей, которых я знаю, но доступные им возможности для выражения своих мыслей ограничены из-за инвалидности и несовершенства имеющихся голосовых устройств и лежащих в их основе технологий. Мы знаем, что люди хотят выражать гораздо больше с помощью своих AAC-устройств, а не только общаться простейшими фразами. Мы хотели создать нечто такое, что помогло бы людям более активно участвовать в разговорах, было бы заметным при слабом освещении и на расстоянии, а также предоставило бы еще одну возможность для уникального самовыражения, общения и передачи эмоций».
Разработчики пробовали разные дополнительные экраны, но возвращались к светодиодным дисплеям по нескольким причинам: они недорогие, они достаточно хорошо работают и «они классные». Люди с БАС, участвующие в исследованиях, также дали понять, что не хотят использовать ничего, что может иметь непреднамеренные негативные социальные последствия для пользователей.
«Наблюдать за людьми, живущими с БАС, и расширять их возможности, чтобы они могли делать то, на что уже и не надеялись, — достаточная мотивация для усердной работы, — говорит присоединившийся к Enable Group в начале 2017 года разработчик Дуэйн Лэмб, занимающийся созданием пользовательского интерфейса и средств взаимодействия с пользователем. — Чаще всего, когда вы разговариваете с кем-то, кто может общаться только глазами, этот человек вводит текст, глядя на клавиатуру устройства, расположенного перед ним. А вы, хотя это и дурной тон, с точки зрения социального этикета, обычно заглядываете собеседнику через плечо в попытке рассмотреть, что он печатает».
Появление Expressive Pixels отчасти связано с желанием решить эту проблему.
С помощью Expressive Pixels можно создавать анимацию на дисплеях разных размеров, до 64×64 пикселей, рассказал Кристофер О’Дауд, помогавший восполнить пробелы в аппаратном обеспечении проекта. О’Дауд отметил, что светодиодные дисплеи повсеместно используются на выставках конструкторов-любителей Maker Faire, в домах во время праздников и во многих других случаях. Светодиодные дисплеи настолько универсальны, что их часто можно найти даже на ткани (например, масках, кепках и рюкзаках) или баннерах.
Одним из первых применений светодиодных дисплеев командой Expressive Pixels стал проект «музыка без рук», отмеченный наградами фестиваля SXSW.
В этом проекте использовалась специально созданная светодиодная матрица с поддержкой midi и синхронизацией с музыкой. Это было дополнительное средство визуализации для контролируемой глазами физической ударной установки, разработанной для одного из участников Expressive Pixels — музыканта из Сиэтла, живущего с БАС. Проект, получивший в 2018 году награду SXSW Interactive Innovation Award: Music and Audio Innovation (Интерактивные инновации в области музыки и звука), включает набор новых управляемых глазами приложений для сочинения и исполнения музыки и совместных выступлений.
«Как человек, не способный говорить и двигаться, может сочинять или исполнять музыку, командовать происходящим на сцене или контактировать с живой аудиторией? А что насчет совместного выступления с другими музыкантами, отрепетированного или импровизационного? Как мы можем снизить барьеры на пути к тому, чтобы школьные музыкальные программы стали более инклюзивными, не разделяли и не сводили к минимуму участие детей с ограниченными возможностями? Нами двигало желание найти ответы на эти основополагающие вопросы, — вспоминает Парадизо. — Мы хотели адаптировать наши технологии и дизайн так, чтобы они подстраивались под творческие цели человека и ситуации реальной жизни, а не наоборот».
У Лэмба возникла идея добавить поддержку цифрового интерфейса музыкальных инструментов (MIDI), чтобы посылать разные сигналы на разные инструменты, и позже эту идею перенесли в Expressive Pixels.
«Каждый раз, когда мы работали над новой целью, мы продвигали платформу дальше», — говорит Парадизо.
Платформа Expressive Pixels открыта для широкого круга творческих людей. Это не только сообщество разработчиков, но и студенты, которые могут разрабатывать проекты для помощи другим людям и изучать JavaScript с помощью Microsoft MakeCode. По словам Янке, устройства MakeCode обычно имеют очень небольшое количество светодиодов, поэтому полноценные возможности отображения открывают для учащихся широкий простор, чтобы создавать, экспериментировать и программировать с использованием чего-то вроде дисплеев Silicon Squared, подключенных к гаджету MakeCode.
«Expressive Pixels дает учащимся простой способ интегрировать созданную в приложении анимацию в свои программы MakeCode и аппаратные творения с минимумом усилий», — говорит Янке.
Приложение само будет знать, какие анимации хранятся на устройстве, поэтому разные команды будут вызывать у него соответствующую реакцию.
Благодаря этому и другим проектам Enable в Парадизо вновь зажглась ее страсть к работе в компании, в которой она трудится уже почти 20 лет.
«Так много людей собираются вместе, а многие тратят свое личное время, чтобы работать во имя чего-то большего, чем каждый из нас сам по себе, — это вдохновляет и согласуется с ценностями и миссией нашей компании, и это делает меня счастливой и дарит надежду на более инклюзивное и творческое будущее для всех», — сказала Парадизо.
Узнать больше вы можете на англоязычном сайте Expressive Pixels.