揭秘:TOP500超级计算机专用文件系统

Whamcloud，创建于2010年7月，专注于开源Lustre超级计算机文件系统的研制。（中国的天河- 1A系统也在大比例使用Lustre）他们以获得OpenSFS 210万美元的合约，以完善其功能并发展新的特性。

Lustre是HP，Intel，Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大学的的研究员Peter Braam在NASD项目研究工作。Lustre优势在于其可扩展性和可靠性，同时可满足大规模并行集群存储系统上的I/O需求。

在世界500强超级计算机的文件系统中Lustre占据60%的份额，该设计支持PB级别的文件，并可高速访问存储在文件系统中的数据。

在2007年Sun Microsystems公司对Cluster File Systems公司的包括Lustre File System在内的知识产权和商务资产等主要资产进行并购。并将技术用于ZFS（Zettabyte File System）之中，同时用于高性能计算市场。

但是Oracle在2010年收购了Sun Microsystems，但Lustre并没有在Oracle的发展计划之中。因为Oracle对传统超级计算机集群并不是很感兴趣。不过Oracle将继续提供对Lustre 1.8业务的支持，但对于Lustre 2.0版本却不提供支持。

Whamcloud是由一批来自美国能源部的Lustre爱好者组建的，并投入大量的资金用于超级计算机的研究。2010年9月公司得到1000万美元的赞助，同时在今年1月更多的Lustre专家从Oracle加入其中。

即使有天使基金的投资，Whamcloud仍然需要更多的资金。前美国洛斯阿拉莫斯国家实验室数据中心的经理（Los Alamos National Laboratory）及现OpenSFS的CEO Norman Morse表示OpenSFS的成员每年要支付50万美元的会费。所以最初的5各成员已经缴纳了250万美元，在未来几个月中还会有400万美元用于Lustre的研发。

Morse表示非营利OpenSFS的贡献者包括超级计算机制造商Cray、HPC存储供应商Data Direct Networks、劳伦斯·利弗摩尔国家实验室（Lawrence Livermore National Laboratory）和橡树岭国家实验室（Oak Ridge National Laboratory）。并已与这些贡献者达成一致，他们将优先发展并投资开发Lustre。

目前，Lustre只有单一的元数据服务器，这是其文件服务的一个瓶颈。所以Whamcloud的开发人员将云数据服务器并行化，以提高容量和吞吐量。另外两个被添加到Lustre的特性是分布式命名空间和文件系统检查。

Whamcloud CEO Brent Gorda表示虽然Lustre拥有高性能的特点。Lustre文件系统已经部署在政府、用于学术研究的超级计算实验室和商业领域，并取得成功。同时在华尔街、石油和天然气行业也是其用户。

传统上，Lustre的管理一直使用CLI（命令行界面）。而今年6月在汉堡举行的国际超级计算机会议上，Whamcloud已经开始开发一个新的GUI（图形用户界面），这将使它更易于管理开源的Lustre文件系统。同时图形用户界面将使其更适合用于云服务。

最后Gorda表示“如果你正在寻找有关IT的工作，也许成为Lustre专家是个不错的选择。Lustre的开发和管理人员有很高的需求。这项技术已经再次被人们重视，并逐渐开始使用它”。

（via.）