Amazon FSx for Lustre 是一项为计算工作负载提供高性能、经济高效且可扩展的文件存储的服务,现在支持 Elastic Fabric Adapter (EFA) 和 Nvidia GPUDirect Storage (GDS)。
通过此次发布,Amazon FSx for Lustre 为云中的 GPU 实例提供了最快的存储性能,与之前的 FSx for Lustre 系统相比,每个客户端实例的吞吐量提高了 12 倍 (1200Gb),因此您可以更快地完成 ML 训练作业并降低工作负载成本。
EFA 通过使用 AWS 可扩展可靠数据报 (SRD) 协议来提高网络吞吐量利用率,并在数据传输期间绕过操作系统,从而提高工作负载性能。对于由高性能计算实例(如 Trn1 和 Hpc7a)提供支持的应用程序,您可以使用 EFA 实现更高的每个客户端实例的吞吐量。GDS 支持基于 EFA 构建,通过在文件系统和 GPU 内存之间实现直接数据传输来进一步提高性能。此直接路径消除了数据传输操作中的内存副本和 CPU 参与。通过结合使用 EFA 和 GDS 支持,使用 P5 GPU 实例和 Nvidia 计算统一设备架构 (CUDA) 的应用程序可以将每个客户端实例的吞吐量提高 12 倍(高达 1200Gb)。
在提供 Persistent-2 文件系统的所有商业 AWS 区域中,新的 FSx for Lustre Persistent-2 文件系统均免费提供 EFA 和 GDS 支持。