Пользователь может загрузить в облачный сервис Photosynth несколько снимков одного объекта или места, которые затем будут преобразованы в «синт» — составную сцену из перекрывающихся фотографий, представляющую 3D-модель пространства с дополнительной глубиной и переходными снимками для удобства 3D-просмотра.
Photosynth
превращает обычные снимки в трехмерные сцены с возможностью вращения и перемещения по осям
Photosynth соединяет снимки, позволяя создавать синты нескольких типов: вращение, панорама, прогулка и стена, с помощью которых можно перемещаться внутри синта или вращать его вокруг оси. Очевидно, что для реализации этих возможностей требуется сложная технология. Менее очевидны масштабы и продолжительность взаимодействия группы Interactive Visual Media подразделения Microsoft Research и группы разработчиков Photosynth.
Все началось с системы
Photo
Tourism
«Начало работы было положено в 2006 г., вместе с системой Photo Tourism, — говорит Эрик Штольниц (Eric Stollnitz), главный разработчик IVM, — когда началось сотрудничество Ноа Снейвели (Noah Snavely) и Стива Сейца (Steve Seitz) из Вашингтонского университета и моего коллеги Ричарда Шелиски (Richard Szeliski). Цель этого проекта состояла в том, чтобы найти в Интернете снимки какой-либо достопримечательности, например, собора Парижской Богоматери или Эйфелевой башни, сделанные разными фотографами в разное время, и на их основе создать 3D-визуализацию этой достопримечательности. Идея была в использовании множества снимков для создания единого представления».
Группа разработчиков Microsoft доработала систему Photo Tourism и в 2008 году выпустила первую версию Photosynth, настольное приложение, которое позволяет на основе снимков пользователя создавать 3D-модели объектов и загружать их на веб-сайт Photosynth для просмотра другими пользователями.
В 2010 году в Photosynth было добавлено средство Image Composite Editor (ICE) для создания панорам с полным разрешением на основе набора перекрывающихся снимков.
«Команда Bing была в восторге, — вспоминает Штольниц, — они добавили функцию панорамного представления на свой веб-сайт, а группа IVM включила в ICE возможность экспорта панорам в Photosynth».
Вскоре команда Bing выпустила приложение Mobile Panoramas для устройств iOS в 2011 году и в 2012 году добавила приложение Windows Phone и улучшила возможности взаимодействия. Сегодня благодаря инновационным достижениям в области переходов и навигации новый Photosynth обеспечивает еще более реалистичное 3D-изображение объектов и мест.
Представление с учетом параллакса
Переходы — это реконструкции возможных представлений между реальными снимками, синтезируемые для заполнения пробелов и более плавного перемещения внутри панорамы. В рамках проекта Spin группы IVM в 2009 году вышла статья Piecewise Planar Stereo for Image-based Rendering (Фрагментарное плоскостное стереоизображение для отрисовки на основе снимков), подготовленная исследователем Судипта Н. Синха (Sudipta N. Sinha), Дрю Стидли (Drew Steedly), руководителем группы разработчиков Microsoft, и Шелиски (Szeliski). В этой статье описывался подход к созданию более реалистичных переходов от одного снимка к другому.
«Они решили поработать над синтами, которые выглядели как плоские проекции, — поясняет Штольниц, — по сути при этом отображались последовательно соединенные плоские изображения. Но в жизни, перемещаясь в пространстве, мы видим объекты под разным углом и на разных расстояниях. Нам было необходимо заполнить эти пробелы».
Для создания более реалистичных переходов требовалось использовать методы компьютерной визуализации для вычисления глубины каждого пикселя. Для этого было необходимо проанализировать каждую пару перекрывающихся снимков и сравнить положение объектов, присутствующих на обоих снимках, чтобы определить, как далеко они находятся от камеры.
«Объекты, незначительно смещающиеся на разных снимках, находятся дальше, — говорит Штольниц, — а объекты, положение которых существенно меняется от снимка к снимку, расположены ближе. Все дело в параллаксе. Судипта уделил много внимания этому вопросу. Он специалист по методике создания пространственных представлений на основе стереоизображений».
Вычисляя глубину каждого пикселя, исследователи смогли упростить задачу и создавать 3D-изображения на основе сравнительно небольшого количества обычных фотоснимков. Благодаря проецированию снимков на эту примерную 3D-модель вместо единой плоскости команда разработчиков сумела создать гораздо более реалистичные переходы с различной глубиной изображения и углами обзора.
Вращение 3D-модели
Еще одним усовершенствованием, достигнутым в Photosynth благодаря проекту Spin, стала упрощенная навигация. В зависимости от числа снимков и их ориентации относительно реального объекта, появлялись различные возможные пути перемещения по синту.
«Это означает наличие множества пространственных связей, — говорит Штольниц, — что в сущности, предоставляет очень мощные возможности, но также может быть избыточным и дезориентирующим, если при просмотре синта вы будете вращать сцену, перемещаться вперед-назад, вправо-влево и вверх-вниз. Кроме того, в ситуации, когда снимки описывают объект лишь приблизительно, возникают сложности с сопоставлением точек на снимках и созданием плавных переходов при реализации всех возможных путей перемещения по синту».
Исследователь Йоханнес Копф (Johannes Kopf) упростил навигацию и тем самым также улучшил возможности работы с 3D-моделью. Благодаря ограничению навигации круговой траекторией — панорамный вид с фиксированной точки или вращение вокруг объекта — переходы между снимками стали гораздо более плавными.
«Вычисление глубины пикселей на основе методов компьютерной визуализации существенно упростило задачу, — говорит Штольниц. — А пространственные проекции позволили добиться хороших результатов. Мы были в восторге, когда увидели, насколько эффективно объединяются эти два подхода. Переходы в таких синтах создают гораздо более реалистичное ощущение глубины изображения».
Перемещение по синту путем его вращения и глубина изображения также получили высокую оценку команды Bing, которая немедленно добавила эту новую технологию в Photosynth и предложила еще два варианта перемещения по синту: «Прогулка» — для снимков, выполненных при перемещении вглубь сцены, и «Стена» — в случае, когда снимки сделаны перпендикулярно направлению движения.
Еще одним важным решением стало перемещение нового сервиса Photosynth в облако. Команда Bing и группа IVM пришли к мнению, что обработка 3D-синтов на небольших устройствах потребует слишком много времени, поэтому они перевели сервис на платформу Windows Azure с возможностью обработки тысяч фотоальбомов, что, по мнению Штольница, является значительным техническим достижением.
«Фотография, а в особенности туристическая фотография, — одно из моих хобби, — говорит он. — Моя жена и я всегда возвращаемся из поездок с тысячами снимков. Сотрудничество с группой разработчиков Photosynth доставило мне особенное удовольствие и удовлетворение не только потому, что мне нравится фотография. Мы смогли развить идеи нашей первоначальной исследовательской работы и разработать надежный, мощный и простой в использовании продукт. Благодаря реализации Photosynth в облаке, технологию могут использовать практически все».
Постоянное сотрудничество
Штольниц выступает в роли контактного лица при взаимодействии групп разработчиков IVM и Photosynth. Он отвечает за изменения продукта, надежность кода и его пригодность не только для исследовательских целей, но и для разработчиков.
«Над Photosynth работают несколько исследователей из IVM, — говорит Штольниц. — Например, Рик занимался системой Photo Tourism и первым поколением Photosynth, а Мэтт Уттендале (Matt Uyttendaele) — средством ICE. Они выступали в роли технических консультантов при подготовке новейшего выпуска Photosynth и прекрасно справились со своей задачей».
«С самого начала ведущим руководителем программы в группе разработчиков Photosynth был Дэвид Гэди (David Gedye), поэтому на протяжении нашего многолетнего сотрудничества мы сохраняли единство концепции, что, по нашему мнению, очень плодотворно».
Гэди считает так же. «За эти годы, — говорит он, — группа IVM вышла за рамки простой генерации идей и прототипов. Теперь они создают код, пригодный для дальнейшей работы, и оказывают поддержку разработчикам. К примеру, для нового выпуска Photosynth Судипта предложил основные алгоритмы компьютерной визуализации, внес важный вклад в техническую реализацию и приходил на каждую встречу проектной группы. Он стал одним из ключевых сотрудников, благодаря которым состоялся этот выпуск Photosynth. Мы очень тесно взаимодействуем с командой исследователей».
По мнению Шелиски, все получили большое удовольствие от процесса, результатом которого стал новый Photosynth.
«Если мысленно вернуться назад, — говорит он, — и посмотреть, как появлялись новые возможности Photosynth, то вы поразитесь, какие разнообразные исследовательские идеи поступали от разных сотрудников из группы IVM, в том числе фундаментальная работа Судипта по 3D-реконструкции, работа Йоханнеса по обработке снимков и 3D-навигации, и работа Эрика по пользовательским интерфейсам и облачным сервисам. Проект Spin, в рамках которого были реализованы эти революционные возможности, также демонстрирует наше очень тесное сотрудничество с группой разработчиков Photosynth».
Сегодня вы можете оценить плоды этого партнерства.
Зарегистри
р
уйтесь
и в течение 24 часов получите подтверждение и доступ к
Photosynth
.