Unmoored на Таймс-сквер: художник рассказывает историю в смешанной реальности

В эти дни посетители одной из самых знаменитых достопримечательностей Нью-Йорка смогли увидеть над толпой более сотни лодок и кораблей из нью-йоркской гавани, плывущих на восьмиметровой высоте! Время ускорилось, и люди оказались в «подводном мире будущего», среди беспокойного планктона — крошечных организмов, необходимых для жизни на земле.

Однако люди остались сухими.

Это шоу стало результатом уникального сочетания изобразительного искусства и технологий смешанной реальности. Художник Мел Чин (Mel Chin) создал экспозицию под названием Unmoored («Отчалившие») в рамках проекта «Mel Chin: All Over the Place» («Мел Чин: повсюду»), основанного на результатах работы Чина в течение 40 лет и осуществленного совместно с Музеем Квинса и с некоммерческой организацией No Longer Empty.

Своей экспозицией Чин ответил на вопрос, который возник у него при знакомстве с технологией Microsoft HoloLens, объединяющей цифровой и физический миры: «Как спроецировать будущее на настоящее? Я могу рассказать вам историю о том, что вижу. Но смешанная реальность позволяет вам самим увидеть и услышать это».

Чин рассказал о том будущем, которое может стать для Нью-Йорка реальностью, если не решить проблему изменения климата: Таймс-сквер окажется под водой из-за таяния ледников, эрозии и прибрежных наводнений.

«Будущее нашего мира очень важно, — говорит Чин. — Ученые предупреждают, что в отдаленном будущем уровень мирового океана поднимется на 9 метров. Скорее всего, это случится не при вашей жизни, если только не произойдет какая-нибудь катастрофа. Мы решили показать этот драматичный вариант развития событий и дать людям возможность поразмышлять о том, на что это будет похоже. Это масштабное цифровое представление. И нам следует задуматься: как этот прогноз на будущее может изменить наше восприятие настоящего?»

Смешанная реальность дает художнику инструмент, позволяющий воплощать в жизнь уникальные образы.

«Художники обладают уникальной способностью рассказывать истории и не менее уникальной способностью видеть потенциал любой новой среды передачи информации или технологической платформы», — говорит Лоррейн Бардин, генеральный менеджер Mixed Reality Workplace. Бардин часто рассказывает о том, что смешанную реальность можно использовать для воплощения сюжетов, приводя в качестве примера такие приложения (например, Actiongram), которые дают пользователям HoloLens возможность вставлять в свои истории голографических персонажей.

По словам Бардин, важно, что рассказчики могут использовать цифровой контент любого типа (визуальный, пространственный, звуковой) и размещать его в любом месте реального мира так, чтобы другие люди могли его обнаружить — случайно или намеренно.

«Мы считаем, что истинная ценность смешанной реальности заключается в том, что виртуальные объекты можно видеть в реальном мире именно в тот момент, когда это нужно, и именно там, где это нужно, — говорит Бардин. — Это как бы переносит нас в детство, когда мы поняли, что мир гораздо больше того, что мы способны увидеть. Дети обычно не удивляются, когда видят голограммы, встроенные в реальный мир. Мне кажется, в человеческой природе заложено что-то такое, что мы можем со временем потерять, и только художники умеют вернуть нам это».

Желающие найти это потерянное ощущение из детства посетили экспозицию смешанной реальности на Таймс-сквер, дополненную материальной работой Чина под названием Wake («Кильватер»), созданной по заказу Times Square Arts. Wake — скульптура, созданная из обломков корабля USS Nightingale, потерпевшего крушение в XIX веке, и останков скелета морского млекопитающего. Носовая фигура корабля основана на образе оперной певицы XIX века Йенни Линд, которую Чин называет «первой суперзвездой Америки».

Чин выбрал для экспозиции Таймс-сквер, потому что эта площадь, по его словам, «обладает собственной захватывающей атмосферой и суперзвездным статусом, важным для маркетинга».

Чин сопоставляет прошлое, настоящее и будущее, создавая взаимосвязанный опыт, начинающийся с того, что он называет началом массового маркетинга в Wake. Это промышленное прошлое, пересекающееся с прошлым многих звезд, связывает Wake с современной Таймс-сквер и с ее ролью в развитии Нью-Йорка в XIX веке. А потом Unmoored переносит посетителей в будущее.

«Если критически взглянуть на историю международной торговли и массового производства сырья (такого как железо, нефть, сталь, свинец и уголь), ставшую результатом промышленной революции XIX века, то можно лучше понять реальность, с которой мы сталкиваемся сейчас», — говорит Чин.

Этот проект появился благодаря партнерству со специалистами из Microsoft и Listen (эта компания часто работает с Microsoft и другими брендами над различными художественными проектами), которых объединила Zengalt — базирующаяся в Вашингтоне группа технологических энтузиастов, специализирующихся на создании решений с использованием смешанной реальности и других подобных технологий.

Идея возникла на другой выставке в музее Петерсона в Лос-Анджелесе — An American Supercar: Experiencing the History of the Ford GT in Mixed Reality (подробнее в статье «Смешать реальность»).

«Объединившись, мы использовали технологии Microsoft, замечательные аудиотехнологии Listen и наши сервисы для разработки, чтобы найти способ сделать эти технологии доступными для еще более широкой аудитории, — говорит Билли Уотенпо, отвечающий за бизнес-развитие Zengalt. — Это интересная задача, которая позволила нам первыми вывести сторителлинг такого типа на массовый рынок. Это самый крупный из известных мне проектов, созданный в таком масштабе в подобном окружении».

Уотенпо отмечает интерактивный аспект технологии, отличающийся для каждого человека, имеющего цифровое устройство: то, что вы увидите, зависит от ваших движений, действий и направлений взгляда. Но есть и общая основа.

«Смешанная реальность — удивительная технология, позволяющая друзьям или членам семьи следить за одной и той же историей в одной и той же среде», — говорит Уотенпо.

«Нас привлек тот уровень погружения, который дает HoloLens. В общем-то, ничего равного этому нет», — добавляет Сара Ибрахим, технический руководитель процесса креативной разработки и физической активации.

«Unmoored рассказывает о том, как город «снимается с якоря», меняет свою суть и превращается во что-то другое, — говорит Ибрахим. — Я считаю, что смешанная реальность представляет собой очень интересную платформу для социального искусства, и мне кажется, что сейчас у художников не так много возможностей, чтобы использовать технологии подобного типа, поэтому мы продолжим помогать им в этом. Представьте, насколько больше будет масштабных произведений социального искусства с использованием дополненной реальности, если мы сможем дать художникам больше возможностей для их создания».

Ибрахим добавляет, что процесс создания подобного произведения искусства состоит из множества этапов и требует много разных умений.

Вместе с Чином работали большие команды разработчиков, аниматоров, 3D-художников и звукорежиссеров, а его собственная группа из Университета Северной Каролины в Эшвилле (где сейчас живет Чин, бывший житель Нью-Йорка) изучала суда, пришвартованные в гавани Нью-Йорка, которые появились в дополненной реальности Unmoored над головами посетителей. Чин и его команда создали длинный список, состоящий из 141 судна (рассчитав количество кораблей, необходимое, чтобы заполнить пространство над Таймс-сквер), и собрали всю необходимую информацию: модели, годы, глубина погружения, габариты, число моторов. Некоторые корабли имеют длину более 30 метров, другие представляют собой небольшие лодки с веслами.

«Как художник, я могу мечтать и рассуждать о многих вещах, но вряд ли я смогу превратить их в реальность, работая в одиночку. Я получил шанс реализовать свое видение, сотрудничая с командами из Microsoft и Listen, которые могут делать то, чего не могу я, — объяснил Чин. — Это стало возможным благодаря объединению искусства с современными технологиями. Я благодарен всем, кто работал над этими проектами, и всем, кто доверил мне делать то, что, как мы надеемся, будет неординарным».

Каждое судно имеет уникальный номер, который можно найти на микросайте проекта, где также представлены ссылки на научные статьи и исследования, связанные с изменением климата.

Это то, что Чин называет «подтверждающим потоком научных данных, которые воспринимает воображение».

Экспозиция на Таймс-сквер работала всего три дня, а число устройств HoloLens было ограничено. Поэтому, чтобы привлечь больше людей, разработчики создали также версию Unmoored для смартфонов.

«Художник сможет сделать свое творение доступным каждому из множества обладателей смартфонов. Это больше похоже на портал, который позволяет получить представление о таком способе восприятия мира. Поэтому иногда портал — это как раз то, что нужно, чтобы заинтересовать людей», — говорит Бардин.

Чин рассматривает этот проект как возможность «пробудить любопытство, реанимировать желание что-то понять, вернуться другим путем к изучению того, чего вы не знаете». Он надеется, что проект пробудит у посетителей (число которых может достигать 300 тысяч в каждый летний день) интерес к исследованиям, поможет задуматься об увиденном и даст стимул, чтобы продолжить изучение поднятых вопросов.

«По-моему, всем, кто работает в сфере творчества, приходится искать способы, позволяющие привести людей к тому, чего еще не существует, — говорит Чин. — В этом смысле Unmoored и Wake представляют возможности, которые необходимо изучить. И это лучшее, что мы сейчас можем сделать».