Бразильские паралимпийцы

Project Tokyo родился в начале 2016 года, когда топ-менеджеры Microsoft бросили сами себе вызов создать ИИ-систему, которая вышла бы за рамки выполнения таких задач, как подведение счета в спортивных состязаниях, прогноз погоды или идентифицирование объектов. Моррисон считает, что создание инструментов для незрячих или людей с плохим зрением было естественным развитием проекта, потому что как раз люди с физическими особенностями самыми первыми принимают технологические новшества. Как говорит Моррисон: «Это не про то, что «давай создадим что-нибудь для незрячих». Мы работаем вместе с этими людьми, которые помогают нам представить будущее. И это будущее – про новые возможности, которые дает нам искусственный интеллект. Моррисон и ее коллеге Эду Кутреллу, старшему научному сотруднику исследовательской лаборатории Microsoft в Редмонде (Вашингтон), было предложено возглавить проект. Оба были экспертами в разработке технологий в сотрудничестве с незрячими или плохо видящими людьми, поэтому они решили начать с поиска, как технология агента может усилить или расширить возможности таких пользователей. Для начала они стали следить за группой атлетов и болельщиков с разным уровнем зрения из Великобритании, которые приехали в 2016 году на паралимпийские игры в Рио-де-Жанейро. Исследователи наблюдали, как они контактировали с окружающими, когда было нужно сориентироваться в аэропорту, как посещали спортивные мероприятия и осматривали достопримечательности. «Будучи людьми мы обладаем очень тонким и высокоразвитым чувством социального контакта с другими. Например, я знаю, кто находится в комнате, что эти люди делают, имеет ли это отношение ко мне и какое, – говорит он. – Для незрячих людей многих коммуникативных сигналов, которые мы воспринимаем как должное, просто нет». Понимание этой ситуации послужило отправной точкой для целой серии воркшопов для слабовидящих людей по технологиям, которые могут предоставить такой опыт. Работавший в команде проекта незрячий 50-летний звукоинженер Петер Бошер убежден, что концепция технологии предоставления информации об окружающих людях для слабовидящего человека срезонировала немедленно. «Когда я попадаю в ситуацию, когда между собой общаются более двух-трех человек, и особенно, если я не знаю кого-то из них, мне становится несоизмеримо сложнее понимать беседу. Потому что в таких случаях люди с помощью языка телодвижений и визуального контакта посылают сигнал, что хотят поговорить с таким-то и таким-то, а это, конечно, недоступно невидящему человеку». [caption id="attachment_147204" align="aligncenter" width="1920"]

Эд Кутрелл, старший научный сотрудник исследовательской организации Microsoft в Редмонде, Вашингтон, соруководитель Project Tokyo. На его столе лежат несколько пар модифицированных HoloLens, которые исследователи используют, чтобы помогать незрячим или плоховидящим людям учиться определять, кто где находится в их ближайшем окружении. Фото Dan DeLong

Эд Кутрелл, старший научный сотрудник исследовательской организации Microsoft в Редмонде (Вашингтон), соруководитель Project Tokyo. На его столе лежат несколько пар модифицированных HoloLens, которые исследователи используют, чтобы помогать незрячим или плоховидящим людям учиться определять, кто где находится в их ближайшем окружении. Фото Dan DeLong.[/caption]

Модификация HoloLens

Как только исследователи, работающие над проектом, разобрались, какие возможности на основе искусственного интеллекта они хотят создать, они незамедлительно приступили к работе над соответствующей технологией. Они начали с оригинальных Microsoft HoloLens, гарнитуры смешанной реальности, позволяющей создавать в реальном пространстве голограммы, которыми пользователи могут манипулировать. «HoloLens дает нам превосходную возможность строить ИИ-агента, который может коммуницировать с социальным окружением», – поясняет Грейсон во время демонстрации этой технологии в исследовательской лаборатории Microsoft в Кембридже. Например, прибор имеет множество черно-белых камер, которые предоставляют обзор на 180 градусов, и цветные камеры с высоким разрешением для высокоточного распознавания лиц. Кроме того, динамики над ушами пользователя позволяют сформировать звук в пространстве и создавать звуковые сигналы, которые, как кажется, исходят из той точки, где находится объект. Эксперты по машинному обучению команды Project Tokyo разработали алгоритмы компьютерного зрения, дающие изменяющийся уровень информации о том, кто где находится в окружении пользователя. Эти модели работают на графических процессорах, известных как GPU, которые расположены в черном ящике, который Грейсон доставил в дом Тима Регана для теста с участием Тео. Например, одна модель определяет расположение окружающих людей и дает ощущение, где и как далеко эти люди находятся от пользователя. Другая анализирует поток фотографий с помощью камеры высокого разрешения, распознавая людей и определяя, есть ли их имена в системе. Вся эта информация передается пользователю через аудиосигналы. Если прибор обнаруживает, что человек находится в метре слева от пользователя, система создаст такой звук, который кажется приходящим слева с расстояния метра. Если система распознает лицо человека, она также издает характерный ударный звук, а если система уже знает этого человека, она произносит его имя. Когда пользователь слышит только клик, но хочет узнать, что за человек стоит рядом, второй слой звукового сопровождения, напоминающий растягивание эластичной ленты, будет направлять взгляд пользователя в сторону лица человека. Когда ось центральной камеры на ободке совпадет с носом человека, пользователь услышит другой, высокий звук, и, если система знает человека, то она произносит его имя. [caption id="attachment_147205" align="aligncenter" width="1920"]

Питер Бошер (в центре), незрячий звукоинженер, который работал в команде Project Tokyo на начальных этапах разработки, проверяет последнюю итерацию системы в лаборатории Microsoft в Кембридже вместе с исследователем Мартином Грейсоном и Сесили Моррисон. Фото Jonathan Banks

Питер Бошер (в центре), незрячий звукоинженер, который работал в команде Project Tokyo на начальных этапах разработки, проверяет последнюю итерацию системы в лаборатории Microsoft в Кембридже вместе с исследователем Мартином Грейсоном и Сесили Моррисон. Фото Jonathan Banks[/caption]

Создание прототипов

Когда команда проекта разработала и усовершенствовала технологию, исследователи начали регулярно приглашать для тестирования и получения обратной связи взрослых людей с полной или частичной потерей зрения. Для создания более непосредственного контакта исследователи убрали линзы с передней части шлема HoloLens. Некоторые пользователи высказали желание получать информацию, собранную системой незаметно, без постоянного поворота головы, так как из-за этого они чувствовали себя некомфортно. Эта обратная связь побудила команду исследователей проекта сосредоточить усилия на разработке функциональности, которая позволила бы пользователям быстро понимать, кто находится вокруг при помощи озвучивания системой имен окружающих людей (давших свое согласие на распознавание системой). Другая экспериментальная функция оповещает пользователя при помощи пространственного звукового сигнала в виде звонка в случае, если кто-то на него смотрит. Для людей с обычным зрением перед началом разговора будет естественным установить визуальный контакт. В отличие от глухого ударного звукового сигнала звонок не сопровождается произнесением имени. «Когда ты смотришь на кого-то, звучит имя этого человека, – Грейсон объясняет 20-летней Эмили, у которой проблемы со зрением, и она приехала в Кембридж узнать о последних разработках в данной области. – Когда имя не произносится, это значит, что кто-то пытается привлечь твое внимание и ты поворачиваешься в его сторону. А затем ты слышишь его имя». «Я полностью согласна с таким подходом. Так реагируют зрячие. Они ловят уголком глаза кого-то, устанавливают контакт и зовут этого человека, произнося его имя, например, Сесили», - рассуждает Эмили. Кроме того, модифицированные HoloLens, которые исследователи показали Эмили, имеют встроенную над камерами нить светодиодов. Сначала система испускает белый свет, вылавливая самого близкостоящего человека, а когда он идентифицирован для пользователя, загорается зеленый. Эта функция позволяет человеку понять, что он идентифицирован, и, таким образом, создает более естественные условия для начала раговора. Светодиоды также дают возможность выйти при желании из поля зрения прибора. «Вы сами выбираете, хотите ли быть в поле зрения или нет, – поясняет Моррисон. – Вы знаете, когда вы видимы прибором, а когда нет».

Искусственный интеллект помогает незрячим найти знакомые лица

ИИ в глобальной схватке с лихорадкой денге

Больше чем игра: искусственный интеллект освоил маджонг

Шопинг без стресса с искусственным интеллектом

Как поиск масштабируемого квантового компьютера помогает в борьбе с раком

Искусственный интеллект и спутниковые данные помогают фермерам тратить меньше воды

Всеохватный Интернет скоростных вещей

Она мечтала фотографировать. Он хотел понимать фильмы на английском

Скоро ли засуха? ИИ даст лучший прогноз

Искусственный интеллект Microsoft определил эмоции на лицах буддийских статуй

Как ИИ изменит наши представления о хорошем лидере?

Бизнес-лидеры в эпоху ИИ