«Супермен» на кварцевом стекле
Опытный образец Project Silica сохранит фильм Warner Bros.
Microsoft и Warner Bros., объединив усилия, успешно сохранили культовый фильм «Супермен» 1978 года на куске стекла толщиной 2 мм и размером с подставку для кружки: 75×75 мм.
Это стало первым подтверждением концепции проекта Project Silica от Microsoft Research. В нем используются последние открытия в области сверхбыстрой лазерной оптики и искусственного интеллекта для хранения данных в кварцевом стекле. Лазер кодирует данные в стекле, создавая слои трехмерных наноразмерных решеток и деформаций на разных глубинах и под разными углами. Алгоритмы машинного обучения считывают записанные данные, декодируя узоры, которые создает поляризованный свет, проходящий через стекло.
Твердое кварцевое стекло может выдержать кипячение в воде, нагревание в духовке и микроволновой печи, мытье и чистку, размагничивание и другие воздействия окружающей среды, грозящие бесценным историческим архивам и культурным сокровищам.
Этот проект – результат инвестиций Microsoft Azure в разработку технологий хранения данных, которые созданы специально для моделей облачных вычислений, а не основаны на обычных носителях, предназначенных для работы в компьютерах и аналогичных устройствах. Это лишь один из многих примеров применения в Azure результатов исследований Microsoft для решения краткосрочных и долгосрочных задач — от испытаний подводного центра обработки данных (Project Natick) до вычислительных мощностей FPGA (Project Brainwave) и новой оптики для облачных исследований (Optics for the Cloud).
«Запись целого фильма «Супермен» на стекло и его успешное считывание — это важная веха, — говорит Марк Руссинович, технический директор Azure. — Я не утверждаю, что мы получили ответы на все вопросы, но похоже, что мы перешли на тот этап, когда уже можно заниматься совершенствованием и экспериментами, а не спрашивать: можем ли мы это сделать?»
Компания Warner Bros., которая обратилась к Microsoft после изучения результатов исследования, всегда ищет новые технологии для сохранения своей обширной коллекции, включающей такие исторические ценности, как «Касабланка», радиопередачи 1940-х годов, мультфильмы, цифровые фильмы, телесериалы и хроники киносъемок. В течение многих лет кинокомпания искала такую технологию хранения, которая могла бы прослужить сотни лет, пережить наводнения и солнечные вспышки и не требовала бы поддержания определенной температуры или постоянного обновления носителей.
«Мы всегда надеялись, что когда-нибудь это станет возможным. Поэтому, когда мы узнали, что Microsoft разработала такую технологию на основе стекла, мы захотели проверить ее», — говорит директор по технологиям Warner Bros. Вики Колф.
Снижение затрат на длительное хранение
Большинство людей представляет «облако» таким местом для хранения всего (от тысяч семейных фотографий до миллионов писем), которое не занимает места на смартфоне или компьютере. Но вся эта информация физически хранится на установленных где-то серверах, и именно поэтому к ней можно получить доступ с разных устройств.
Растет объем данных, которые человечество планирует хранить — будь то медицинские записи, смешные ролики с кошками или снимки с космических аппаратов. А потенциал существующих технологий хранения данных истощается.
Долгосрочные расходы на хранение обусловлены необходимостью многократно перезаписывать данные на новые носители, чтобы избежать потери информации. Жесткие диски могут износиться через три-пять лет. Магнитная лента может продержаться от пяти до семи лет. Форматы файлов устаревают, а обновления стоят дорого. Например, Warner Bros., чтобы избежать проблем из-за старения носителей в собственных цифровых архивах, перезаписывает контент каждые три года.
Стеклянные носители могут стать более дешевым вариантом, поскольку записать данные на стекло достаточно всего один раз. Фемтосекундные лазеры с ультракороткими оптическими импульсами, обычно использующиеся в LASIK-хирургии, — перманентно изменяют структуру стекла, поэтому данные могут сохраняться веками.
Кварцевое стекло не требует ни энергозатратного кондиционирования для поддержания постоянной температуры, ни осушения воздуха, благодаря чему снижается воздействие на окружающую среду при больших объемах хранения данных.
«Это не то, что вы будете использовать дома для хранения фильмов. Мы создаем хранилище, работающее в облачном масштабе», — говорит Ант Роустрон, заместитель директора лаборатории Microsoft Research Cambridge в Великобритании, работающей над Project Silica вместе с Саутгемптонским университетом.
«Одна из серьезных проблем, которую мы хотели устранить, — это дорогой цикл перемещения и перезаписи данных для следующего поколения. Мы хотели получить носитель, который можно положить на полку на 50, 100 или 1000 лет и забыть о нем, пока он не понадобится», — говорит Роустрон.
Project Silica нацелен на хранение так называемых «холодных» данных — ценных архивов или таких данных, которые компании обязаны хранить, но к которым не нужно часто обращаться. Сюда могут входить медицинские записи, которые должны храниться в течение всей жизни пациента, финансовые отчеты, юридические контракты, информация о геологоразведке, планы градостроительства.
Колф говорит, что Warner Bros. была очень заинтересована в том, чтобы помочь Microsoft протестировать решения, способные снизить затраты и повысить эффективность долгосрочного хранения данных.
«Наша библиотека контента — одна из крупнейших в индустрии СМИ и развлечений, и наши задачи уникальны по своим масштабам, хотя, конечно, с ними сталкиваемся не только мы», — пояснила Колф.
Превращение цифровых данных в физические предметы
Warner Bros. почти 100 лет работает в индустрии кино и телевидения и владеет одной из самых обширных и значимых библиотек развлекательного контента в мире. Переиздание старых фильмов в новых форматах или для новой аудитории — это важная часть бизнеса. По словам Колф, это еще и огромная культурная ответственность: навсегда сохранить любимые истории зрителей.
«Представьте, что следующие поколения не увидят «Волшебника страны Оз» или сериал «Друзья», не смогут насладиться этими фильмами, — сказала она. — Мы считаем, что это невообразимо, и поэтому очень серьезно относимся к сохранению и архивированию нашего контента».
У компании есть стратегия резервирования на случай нескольких наихудших сценариев развития событий, включая обрушившийся на одно из побережий США ураган, землетрясение, отказ системы пожаротушения и отказ системы климатического контроля, которая не дает влаге накапливаться и разрушать кинопленку.
Суть в том, чтобы иметь три архивные копии каждой записи, хранящиеся в разных местах по всему миру: две оцифрованные копии и копия на том физическом носителе, на котором был создан фильм, серия телешоу или мультфильм.
К счастью, оригинальные пленочные негативы могут храниться веками, если создать условия для этого. Но исходный физический носитель некоторых старых телешоу — таких как эпизоды «Алисы», снятые в 1970-х годах, — имеет ограниченный срок годности и требует перехода на более новые форматы. А для сегодняшних фильмов и телешоу, которые снимаются в цифровом формате, третья архивная копия требует перезаписи через очень короткий срок — от трех до пяти лет, что затрудняет поддержку архива.
«Допустим, телешоу попадает прямо в наши цифровые архивы, без какого-либо физического оригинала, — говорит Стивен Анастази, вице-президент Warner Bros. по глобальным медиаархивам и службам хранения. — В этом случае есть цифровой файл, но нет чего-то, что можно положить в хранилище или в соляную шахту; нет ничего физического, на чем эта копия к нам поступала бы».
Warner Bros. видит в Project Silica возможность получения стабильных физических носителей для хранения важного цифрового контента и предоставления надежных резервных копий. Сейчас для хранения фильмов, снятых в цифровом виде, компания создает третью архивную копию, записывая ее на аналоговую пленку. Итоговый материал разбивается на три цветовых компонента — голубой, пурпурный и желтый, после чего каждый из них переносится на черно-белые негативы, которые не выцветают, в отличие от цветных пленок.
Эти негативы помещаются в архив «холодного» хранения. В этом надежном хранилище температура и влажность строго контролируются, а анализаторы воздуха контролируют признаки химического разложения, которые могут указывать на проблемы.
Если фильм нужно восстановить, все эти сложные шаги необходимо пройти в обратном порядке. Это дорогой процесс, и в мире осталось всего несколько кинолабораторий, которые этим занимаются. К тому же, по словам Брэда Коллара, старшего вице-президента Warner Bros. по глобальным архивам и медиаинженерии, такой способ не оптимален с точки зрения качества.
«Когда мы снимаем что-то в цифровом виде, где нули и единицы представляют пиксели на экране, а потом переводим это на аналоговый носитель — пленку, мы уничтожаем исходные значения пикселей. Конечно, результат выглядит неплохо, но потери необратимы», — говорит Коллар.
«Если мы сможем взять цифровое представление пикселей и поместить его на носитель, подобный тому, что предлагает Project Silica, а потом снова считать эти пиксели точно в таком виде, в каком они вышли из камеры, — значит, мы сделали свою работу по сохранению наилучшим образом. Это мне и нравится», — сказал он.
Создавать архивные негативы для каждого телешоу из библиотеки Warner Bros., снятого цифровым способом, экономически невыгодно. Компания надеется, что Project Silica окажется более дешевой альтернативой для создания физических архивов цифрового контента.
Предстоит еще много работы для достижения такого масштаба. Исследователям из Microsoft потребуется значительно увеличить скорость записи и чтения данных, а также их плотность. Warner Bros. уже думает о создании собственной инфраструктуры для чтения данных из стеклянных архивов. Но оба партнера видят перспективы в совместной работе, позволившей так далеко продвинуться.
«Если хранилище Project Silica оправдает ожидания относительно рентабельности и масштабируемости (а пока следует признать, что об этом еще рано говорить), то мы будем рады внедрению этой технологии в других студиях, у наших коллег и в других отраслях», — говорит Колф.
«Если это будет работать для нас, то мы твердо верим, что это принесет пользу всем, кто хочет сохранять и архивировать контент», — добавила она.
Проектирование хранилища для облака
Невозможно узнать, сколько информации было потеряно из-за того, что никто не осознавал ее ценность в свое время — от немых фильмов, которые никто не предполагал показывать за пределами кинотеатров, до исторических данных, из которых можно было бы черпать новые идеи с помощью современных аналитических инструментов и искусственного интеллекта.
В Microsoft говорят, что одной из целей исследований, которые компания ведет в области хранилищ данных следующего поколения, включая попытки хранения информации в ДНК, является разработка достаточно дешевых и простых решений, избавляющих от необходимости выбирать — хранить данные или нет.
Исследователи из Microsoft потратили годы, пытаясь добиться такого результата от технологий, которые сейчас применяются в центрах обработки данных. Но достижению цели препятствуют такие факторы, как размеры, формы и ограничения оборудования, которое используется, например, для наматывания ленты или вращения дисков и было изобретено для других целей задолго до появления облачных технологий.
«В конце концов мы подумали: а можем ли мы создать что-то специально для облака? Что-то такое, что не будет служить никаким другим целям?» — говорит Роустрон.
Компания начала сотрудничество с Центром оптоэлектронных исследований Университета Саутгемптона, где исследователи впервые продемонстрировали, как превратить стекло в хранилище данных с помощью фемтосекундных лазеров. Благодаря инвестициям от Azure, британская лаборатория Microsoft в Кембридже собрала для дальнейшего развития этой технологии команду специалистов из разных областей науки: физиков, экспертов по оптике, инженеров-электриков и исследователей, имеющих опыт разработки хранилищ данных.
С тех пор команда Microsoft Research достигла впечатляющих успехов в скорости и точности. Исследователи тесно сотрудничали с коллегами из Azure, чтобы при разработке Project Silica учитывать повседневные задачи и требования коммерческого облачного хранилища.
«Их вклад в проект с первого дня дал понять, что мы работаем над чем-то действительно полезным для них», — говорит Роустрон об отношениях с командой разработчиков Azure.
Инфракрасные лазеры Project Silica кодируют данные в вокселях — трехмерных эквивалентах пикселей, составляющих плоское изображение. В отличие от других оптических носителей, хранящих данные на поверхности чего-либо, Project Silica хранит данные внутри стекла. Например, кусок стекла толщиной 2 мм может содержать более 100 слоев вокселей.
Данные кодируются в каждом вокселе путем изменения силы и ориентации интенсивных лазерных импульсов, физически деформирующих стекло. Это похоже на создание перевернутых айсбергов на наноразмерном уровне, отличающихся глубиной, размером и рисунком канавок.
Чтобы считывать данные, алгоритмы машинного обучения декодируют те узоры, которые создает поляризованный свет, проходя через стекло. В отличие от магнитной ленты, которую надо проматывать, чтобы добраться до нужного места, алгоритмы могут быстро обратиться к любой точке стеклянного квадрата, что позволяет сократить задержку при считывании информации.
«Если вы достаточно пожили, то помните, как перематываются песни на кассетах: чтобы добраться до нужного места, требуется некоторое время, — говорит Ричард Блэк (Richard Black), главный инженер-исследователь программного обеспечения Microsoft. — В противоположность этому, чтение со стекла происходит очень быстро, потому что можно одновременно перемещаться по осям X, Y и Z».
В отличие от хрупких бокалов или лампочек, квадраты из кварцевого стекла, используемые для хранения данных, удивительно трудно разрушить. Исследователи пробовали запекать такую пластину в духовке при 500 градусах, разогревать в микроволновой печи, кипятить, мыть металлической мочалкой. И когда они снова считали данные, все было на месте.
Специалисты из Warner Bros. уже сталкивались с чем-то похожим: много лет назад они обнаружили коробки с кусками стекла размером с пластинку, на которые в 1940-х годах были записаны радиосериалы о Супермене.
«Мы нашли проигрыватели, на которых можно прослушать эти записи, и эти записи не потеряли в качестве, потому что хранились на стекле. Мы даже смогли оцифровать и сохранить их», — говорит Коллар.
«Так что теперь стекло — это и один из самых старых носителей в нашем хранилище, и одна из новейших технологий. И в обоих случаях там записаны истории о Супермене. Похоже, мы действительно прошли полный круг», — добавил он.
Заглавное фото: Брэд Коллар, старший вице-президент Warner Bros. по глобальным архивам и медиаинженерии, держит пленочный оригинал фильма «Супермен», а директор по технологиям Warner Bros. Вики Колф держит стекло, на котором записана копия фильма
Материалы по теме:
