面向天河二号Lustre文件系统优化实践

近年来，随着高性能计算技术的飞速发展，Lustre文件系统作为高性能计算重要组成部分越来越受到重视，对于Lustre文件系统元数据服务的高可靠性一直是研究的重点，针对Lustre文件系统元数据高可靠性的研究，本文设计了一种双MDT冗余的架构保证了元数据服务的高可靠性；同时随着应用复杂度的提高和计算规模的增加，对Lustre文件系统的性能要求也越来越高，特别是在处理海量小文件和I/O密集型应用时，对Lustre文件系统元数据的I/O性能提出了更高的要求，为了提高元数据的I/O性能，本文通过升级MDT元数据底层硬件设备来提升元数据的I/O性能和提升整体文件系统的I/O性能，满足新的应用对文件系统IO的要求。

伴随着高性能计算的不断发展和普及，高性能计算已经被广泛的运用于海洋数值预报、能源勘探、材料分析、工业仿真等领域，对工业转型和国民经济的发展具有重要的推动作用，高性能集群已经变得越来越重要。以海洋数值预报为例，随着海洋和气候变化研究的不断深入，海洋观测资料的数量和种类不断增多，海洋数值预报模式正逐步朝着更高分辨率(分辨率越高，网格越精细)、更多物理过程(方程组方程数目增加)和更快计算速度的方向发展[1] [2]。海洋数值预报模式的快速发展也对高性能计算集群的性能提出了新的要求。Lustre [3]文件系统作为高性能计算集群中重要的组成部分，它的稳定性、可靠性以及性能优化一直都是业界研究的重点。

Lustre 文件系统作为大规模高性能计算集群数据存储组件，元数据服务作为文件系统客户端访问后端文件无法绕开的一个环节，元数据服务故障将直接导致整个文件系统不可用，所以为了能提供持续的元数据服务，必须要对Lustre 文件系统元数据架构进行高可用设计提高文件系统整体的可用性；同时， Lustre 文件系统作为共享文件系统，当客户端请求量到达一定规模时文件系统性能瓶颈表现明显用户体验极差，针对这一问题，本文对Lustre 文件系统元数据I/O 优化策略[4]进行了分析和讨论。

2. Lustre 文件系统介绍 Lustre 是一个开源、全局单个命名空间、符合POSIX 标准的分布式并行文件系统；Lustre 具有高可扩展性、高性能两大特性，能够支持数万客户端系统、PB 级存储容量以及数百GB 的聚合I/O 吞吐量， 其基本结构如图1 示。

Lustre 文件系统[3]由元数据服务器(MDS)、对象存储服务器(OSS)、客户端三部分组成。MDS 负责向客户端提供整个文件系统的元数据(元数据存储在MDT 中)，管理整个文件系统的全局命名空间，维护整个文件系统的目录结构、用户权限以及文件系统元数据一致性。OSS 负责对象数据的存储，将I/O 数据保存到由它管理的后端对象存储设备(OST)中。客户端通过标准的POSIX 接口向用户提供对文件系统的访问，用户通过客户端可以透明的访问整个文件系统中的数据。

当客户端读写文件时， 从MDS 得到文件信息，从OSS 中得到数据。