Она мечтала фотографировать. Он хотел понимать фильмы на английском

В этой истории два героя: Моника и Вутер. А еще люди и технологии, которые помогли в осуществлении заветной мечты.

Ей было всего 11, когда она в последний раз видела свою семью, домашних питомцев и любимые цветы. Моника Ван ден Аббель появилась на свет с врожденной глаукомой, которая вызвала повреждение зрительного нерва и в четыре года привела к потере зрения на правом глазу, а через семь лет к полной слепоте. Сейчас ей 43, но она все такая же бойкая, непокорная и независимая, как и в детстве. Ей не терпится самой снять на камеру своего смартфона дорогие ее сердцу вещи, и для нее это возможность «вызвать детские воспоминания и сохранить их в памяти».

А в городе Локерем, находящимся в часе езды от Брюгге, неугомонный 17-летний парень любит плавать, прослушивать аудиокниги и смотреть с семьей ТВ и фильмы в сети, когда на выходные приезжает домой после учебы. В Бельгии фильмы и ТВ-шоу часто идут на английском языке с датскими субтитрами. Хотя Вутер де Брандт говорит на датском, из-за церебрального нарушения зрения в результате родовой травмы и повреждения мозга у него возникли сложности с чтением. Каждый раз, когда он пытается читать, он начинает ощущать головокружение, тошноту и дезориентацию в пространстве. Ему хотелось найти способ слушать на датском те же фильмы, что смотрит его семья.

Ван ден Аббель и Де Брандт не знакомы друг с другом, хотя бельгийцы и любят говорить, что все знают всех в маленькой стране шириной в 145 км и длиной чуть больше 280 км. Но надежды обоих могут быть воплощены небольшой командой специалистов, которые не только сочувствуют этим людям, но и готовы прийти на помощь.

Среди них Катрин Де Граве, программист и веб-дизайнер, в значительной степени самоучка, которая прекрасно ладит с технологиями, но не всегда хорошо справляется с вниманием. Де Граве родилась во Франции, но переехала и обосновалась в Бельгии, где занимается созданием площадок для электронной коммерции и веб-приложений для различных компаний.

В 2008 году Катрин пришла в бельгийскую команду Microsoft, где за последние 11 лет сменила несколько позиций от евангелиста до специалиста в области Интернета вещей. Этим она занимается в настоящее время и совместно с командой архитекторов Azure Global Black Belt работает с заказчиками.

Год назад Де Граве пригласили стать одной из восьми участников нового ТВ-шоу Team Scheire – бельгийского аналога документального сериала ВВС The Big Life Fix, в котором изобретатели создают разные технологические решения для людей с ограниченными возможностями. (В сериале ВВС была показана работа исследователя Microsoft Хайяна Чанга, создателя специальных часов, позволивших временно блокировать тремор рук у графического дизайнера Эммы Лаутон, вызванный болезнью Паркинсона).

♦♦♦♦♦

Как только вы начинаете разговаривать с Моникой Ван ден Аббель, вы видите, что она очень общительная и энергичная, особенно в социальных сетях, включая Instagram, Facebook и YouTube. У нее есть свой сайт, который она создала в 2016 году, в том числе и для продвижения автобиографии «Хочу видеть! Незрячая Мама, Сильная Женщина». Она в одиночку растит 17-летнего сына Робина и надеется стать первым человеком в Бельгии, у которого есть пони-поводырь (да, это не ошибка, пони-поводырь!).

Ван ден Аббель с самого детства фотографировала Робина, но пыталась понять, как и где лучше расположить камеру, полагаясь на физические ощущения и руководствуясь его голосом. С помощью смартфона она продолжала делать снимки в значительной степени тем же способом, что и раньше, а Робин помогал отобрать лучшие фото, чтобы затем выложить их для нее в сети.

Но ей хотелось большего, чем просто щелкать затвором камеры. Она хотела знать, что попадает в кадр, наведен ли фокус и соблюдена ли центровка. Чтобы помочь Ван ден Аббель, Де Граве обратилась к команде Microsoft, занимавшейся разработкой приложения для смартфона Seeing AI, вышедшего на рынок в 2017 году. Это приложение создано для помощи слепым или людям с очень плохим зрением, и его функция заключается в голосовом описании людей и предметов вокруг или чтения вслух текста.

Дополнительная помощь пришла от коллег Де Граве, принимавших участие в хакатоне в кампусе Microsoft в Редмонде в апреле 2018 года. Разработка команды включала в себя решение с использованием машинного обучения, позволяющее камере не только распознавать 1500 предметов в реальном времени в офлайн-режиме, но даже детализировать, какое, например, транспортное средство попало в объектив камеры – машина или мини фургон – и затем озвучивать отснятое, чтобы Ван ден Аббель сама могла отобрать нужные фотографии.

Кроме того, при горизонтальной съемке, если снимок «завален», камера начинает вибрировать, сообщая таким образом об этом Ван ден Аббель. Если во время съемки кто-нибудь закрыл глаза, камера также оповестит ее, так чтобы она смогла при желании переснять этот кадр. Эти решения, созданные специально для Ван ден Аббель, пока недоступны для широкой публики.

Используя модель машинного обучения, команда добавила также функции распознавания лиц Seeing AI, дающие возможность, например, распознать в реальном времени образ ее домашнего пони Динки. В день тестирования приложения, когда Моника направила камеру своего смартфона на пони, она услышала: «Динки нужно сдвинуться левее». Другой звуковой сигнал, уже включенный в Seeing AI информирует, достаточно ли света, чтобы сделать хороший снимок.

«Мои глаза никогда не будут видеть снова, но теперь у меня есть другой способ стать зрячей», – говорит Ван ден Аббель.

♦♦♦♦♦

Вутер де Брандт – сын инженеров. Как и его родители, он очень умный и любит учиться. Но церебральное нарушение зрения вызывает у него буквально боль, когда он пытается прочесть буквы и слова. Немного лучше ситуация обстоит с цифрами, считает его мама, Софи Хьюс.

Она говорит, что когда необходимо прочитать буквенные символы, это становится проблемой, потому что «складывание их в слова отнимает у него довольно много времени и усилий, и к тому моменту, когда сын прочитает до конца все буквы в слове, он уже забывает, с чего оно начиналось».

Из-за ограниченного зрения даже поездка на велосипеде или самостоятельная прогулка для него уже вызов.

В течение недели Де Брандт посещает школу вдали от дома и семьи. Он приезжает домой только на выходные, когда мама Софи Хьюс, папа Паскаль Де Брандт и брат Арно любят смотреть фильмы и ТВ-шоу на английском с датскими субтитрами. Главный продукт их развлекательной диеты – The Big Bang Theory, излюбленный длиннющий американский комедийный сериал о молодых физиках и их друзьях.

Но Де Брандт не знает английского и не может читать датские субтитры из-за нарушения зрения. Когда его родители услышали про Team Scheire, они немедленно обратились c просьбой помочь, потому что «мы постоянно ищем способы и средства облегчить жизнь Вутера», как говорит Хьюс.

Де Граве включила в это решение искусственный интеллект, который объединил оптическое распознавание буквенных символов в субтитрах на датском языке и преобразование текста в речь, чтобы озвучить эти субтитры. Де Брандт берет ноутбук на Windows и надевает специальную гарнитуру, работа которой основана на костной проводимости (в отличие от обычной акустической гарнитуры), что позволяет ему слушать диалоги и в то же время не пропускать музыку и другие звуковые эффекты, сопровождающие речь персонажей.

Более ранние прототипы не произвели на тинейджера особого впечатления, так как они не справились с задачей. Он отмахнулся от идеи, как часто делают подростки, говоря, что им до этого нет дела, хотя на самом деле еще как есть. «У него была надежда, но в то же время он понимал, что такое решение создать очень непросто. Поэтому он постарался защититься от разочарования, установив для себя низкий уровень ожиданий», – говорит Хьюс.

Тем не менее за несколько месяцев кропотливой и усердной работы Де Граве доработала приложение для Де Брандта (программное обеспечение для этого приложения публично доступно как образец кода на GitHub). По словам его мамы, Де Брандт «был удивлен и счастлив». «Все работало намного лучше, чем он ожидал», – поделилась она.

Он провел много времени, наверстывая предыдущие серии The Big Bang Theory. Итог? Неоднозначный.

«Мы все обожаем The Big Bang Theory, поэтому я предположила, что сериал понравится Вутеру тоже, – говорит Хьюс. – Но, к сожалению, это не его тема. Однако, по крайней мере, он теперь знает, что сериал ему не нравится, а раньше он думал, что много упускает из-за недопонимания в силу своих ограничений».

«Наша семья больше не испытывает чувство вины, просматривая фильмы на английском, потому что теперь у него есть выбор, смотреть или нет, – говорит Хьюс. – Он не всегда присоединяется к нам, но, по крайней мере, сейчас он сам решает, что ему нужно, тогда как раньше у него просто не было выбора».

«Сейчас, разговаривая с друзьями в школе, он может сказать: «Да, я смотрел это», «Нет, мне это не понравилось» или «Это было здорово!», – комментирует Де Граве. – Раньше, когда окружающие заговаривали о фильме, он произносил: «Нет, я не смотрел, понятия не имею, о чем вы говорите», и чувствовал себя исключенным из этой стороны жизни. Но теперь он понемногу начинает ощущать себя таким, как все, и я думаю, что смогла помочь ему сделать первый шаг к этому. А это, на самом деле, что-то особенное!»

♦♦♦♦♦

Первый сезон Team Scheire завершился, но работа для Де Граве не закончена. Технический эксперт, нашедшая свою стихию в общении с технологиями, хотя и имеет сложности с вниманием, тем не менее сразу смогла правильно оценить многие вещи в обоих проектах. Но что, по ее собственным словам, она недооценила – так это то влияние, которое оказали на ее жизнь Де Бранд и Ван ден Аббель.

«Для меня это тоже было эволюцией, – делится Де Граве. – Меня до сих пор переполняют эмоции, когда думаю о них обоих. Я очень хочу, чтобы они ощущали себя частью общества и не чувствовали, что остались за бортом».

Заглавное фото: Моника Ван ден Аббель делает фотографии с помощью своего смартфона