跳过主内容

Project Silica: 微软研究院实现“玻璃存储”,把电影《超人》写入石英玻璃

坚实、耐用、低功耗,存储 1000 年,下一代云存储技术最新探索

本月,在微软最大规模的年度 IT 盛会 Ignite 2019 上,微软公司首席执行官萨提亚·纳德拉宣布,微软与华纳兄弟首次将电影《超人》存储在了一块杯垫大小的石英玻璃中。这块 75×75×2 毫米的玻璃能够安全地存储 75.6GB 数据,不仅防水、耐磨、耐高温,更无需用高功耗的方式保存和维护。从海底数据中心全自动 DNA 数据存储,将光学技术引入云计算领域的 Project Silica,代表了微软对下一代的云存储技术的又一展望。

“如果我们的后代无法再看到《老友记》、《卡萨布兰卡》这样的作品,这简直无法想象。”华纳兄弟首席技术官 Vicky Colf 说。

为了长久保存近 100 年来的大量经典电视电影、广播动画和相关的珍贵资料,华纳兄弟公司一直在寻找新技术来保护它庞大的影像资产。他们需要一种能持续数百年的存储技术,能够抵御洪水、高温和各类自然灾害,也不需要严格控制存储环境的温度与湿度,从而大大降低能耗。

现在,微软和华纳兄弟成功地将 1978 年的标志性电影《超人》储存在了一块杯垫大小的石英玻璃上,并成功读取。这块玻璃厚度仅为 2 毫米,尺寸为 75×75 毫米,能够安全地存储75.6GB数据,并留有错误冗余代码的余量。这块坚硬的玻璃可以承受浸泡、煮沸、烘烤、微波加热、地磁干扰和其它环境威胁,防止无价的历史档案和文化宝藏被摧毁。

微软和华纳兄弟成功在一块杯垫大小的石英玻璃上对电影《超人》进行了存储和读取

这是微软的“玻璃存储”技术第一次从概念落地现实,代表微软开发针对云计算的存储技术的努力。从微软海底数据中心项目 Project Natick,到用 FPGA 设计的定制硬件加速器 Project Brainwave,到将光学技术引入云计算领域的 Optics for the Cloud,微软 Azure 一直与微软研究院密切合作,以解决近期和长期的挑战。

华纳兄弟全球档案和媒体工程高级副总裁Brad Collar与华纳兄弟首席技术官Vicky Colf展示一部电影在胶卷与玻璃中存储的对比

从虚拟数据到物理

有着近百年历史的华纳兄弟拥有世界上最重要的娱乐影像资料库之一,为了让全球观众欣赏到经典的影视作品,每隔一段时间,华纳兄弟都会重新以最新格式为全球观众发行经典影片。因此,以永久的方式完好保存人们最喜爱的影视作品,是一个巨大的文化责任。

华纳兄弟非常重视影像保存和归档的工作。他们把每个文件的三个存档存储在世界各地的不同位置,还为应对多种不可预知的情况做了大量准备,比如地震和飓风。

然而,由于数据格式的更迭和物理存储介质的损耗,数据经常需要更新和迁移,长期存储不但成本高昂,而且很难管理。一些老电视节目需要升级到新的格式,数字电影电视的迁移周期则更短,由于硬盘三到五年就可能损耗,华纳兄弟每三年会主动迁移一次数据,这些都增加了长期存储的成本。

对于以数字方式拍摄的影像,华纳兄弟会将它们按减色原色分为三部分存储到黑白胶片上,使它们不会像彩色胶片一样褪色。这些底片会被存入冷藏库,由各种仪器对温度、湿度和空气中的化学分解进行严格的监测和控制。如果要取出它们,就必须逆向经过这些复杂的步骤。这个过程也非常昂贵,世界上只有少数电影实验室能够实现,而且转换过程会造成不可逆的质量损坏。

华纳兄弟严格恒温、控制湿度的胶片冷藏库

因此,华纳兄弟希望玻璃存储技术能为数字内容提供一种永久、稳定、经济又高质量的物理档案。“如果我们能将数字内容存放到玻璃上,而且读取过程就像从相机导出照片一样简单,就能更好地进行数字保护工作。” 华纳兄弟全球档案和媒体工程高级副总裁 Brad Collar 对这一技术寄予了很高的期待。

玻璃存储有潜力成为一个高效又低成本的解决方案。数据一旦被写入玻璃,就能被完好地保存数百年。保存玻璃硬盘也很简单,不需要高耗能设备来恒温和去除空气中的水分。

微软资深光学科学家 James Clegg 将一块玻璃硬盘装入系统

玻璃存储技术并非面向消费品市场,而是用来存储”冷数据”——具有巨大价值,公司需要维护但不需要频繁访问的大规模存档数据。包括患者一生的医疗数据、金融监管数据、法律合同,用于能源勘探的地质信息,城市需要保留的建筑计划等等。

华纳兄弟首席技术官 Vicky Colf 表示:“我们拥有大型的娱乐媒体数据库,这一挑战在规模上是独一无二的,但就问题本身而言,大规模数据存储的需求非常普遍。一旦玻璃存储技术被证明是经济、高效且可推广的,这将让我们和各行各业中,任何想保存和归档内容的人都受益。”

规模化应用玻璃存储还需要更多的工作。微软的研究人员正在进一步提高数据的读写速度和存储密度,华纳兄弟也正在构想读取数据所需的基础设施。

“我们正在构建以云规模运行的存储设备。”微软剑桥研究院副院长 Ant Rowstron 说,“我们想改变数据不断迁移、重写的高成本循环。我们要发明一种技术,让你可以安心地把数据忘在库房里 50 年、100 年,甚至 1000 年,直到你要用它的那一天。”

专为云设计的下一代存储技术

在大多数人的印象里,云能够存储一切,但云的容量并不是无限的。在数据存储需求爆发式增长的今天,现有存储技术的容量正在逐渐被消耗。

微软对下一代存储技术的愿景之一,就是为大规模云服务提供经济、轻松的解决方案。

数年来,微软研究人员一直在研究如何利用现有的数据中心技术达到这一目的,但他们发现这些技术仍然有很多限制。“我们想,可以为云服务构建一种全新的数据存储方式吗?”Rowstron 说。

在英国南安普敦大学光电研究中心,研究人员率先发明了用飞秒级激光将数据存储在玻璃中的技术。微软剑桥研究院与该研究中心合作,组建了一个由物理学家、光学专家、工程师和具有存储研发背景的研究人员组成的跨学科团队,在存储速度和精度方面取得了巨大的进步。研究团队也与 Azure 团队密切合作,让玻璃存储技术能更好地应对商业云存储的现实应用挑战。

与其它在物体表面写入数据的光学存储介质不同,玻璃存储将数据存储在玻璃本身中。飞秒激光通过在玻璃上创建不同深度和角度的一层层三维纳米光栅和变形,将数据编码到玻璃中。数据读取则由机器学习算法来解码偏振光透过玻璃时产生的图像和模式,这种方法读取速度非常快,能够大大缩短信息检索的时间。

石英玻璃也很难被破坏。研究团队对玻璃进行了各种暴力测试,用微波加热,在水中煮沸,用钢丝球刮刷,在 260 度的烤箱中烘烤,当他们读取数据时,一切都安然无恙。

微软研究员将石英玻璃放入沸水中进行耐用性测试

几年前,华纳兄弟的档案管理员曾经发现一块唱片大小的玻璃碎片,上面是 20 世纪 40 年代录制的《超人》无线电录音。由于被储存在玻璃上,它们完好无损。

“这真的很有趣,玻璃是我们资产库中最古老的东西,又是我们的最新技术之一,” 华纳兄弟全球档案和媒体工程高级副总裁 Brad Collar 说,“一切仿佛绕了一个圈,又回到了最初的原点。”