JuiceFS 的 MLPerf Storage 基准测试结果
测试方法
MLPerf® Storage 是一套通用的 AI 基准测试套件，通过多个客户端模拟真实 AI 负载对存储系统的访问方式。它复现了大规模分布式训练集群中的存储负载，从而全面评估存储系统在 AI 训练任务中的实际性能表现。
MLPerf Storage v2.0 套件包含了深度学习训练中最具代表性 I/O 模式的训练负载，以及一个模型检查点（Checkpoint）负载：
| 任务 | 模型 | 样本大小 | I/O 模式 |
|---|---|---|---|
| 医学影像分割 | 3D U-Net | 146 MiB | 大体积 3D 数据的顺序/并发读取 |
| 图像分类 | ResNet-50 | 150 KiB | 海量小图片的高并发随机读取 |
| 宇宙学预测 | CosmoFlow | 2 MiB | 海量小文件的高并发读取 |
| 模型检查点 | Llama-3 | 数 GB 到数 TB | 大文件的并发顺序写入 |
该基准测试套件还要求提交结果需要在尽可能支持更多 GPU 数量的同时，满足以下 GPU 利用率阈值：
- 3D U-Net 负载：90% GPU 利用率
- ResNet-50 负载：90% GPU 利用率
- CosmoFlow 负载：70% GPU 利用率
其中最关键的区分指标是存储系统能够支撑的最大 GPU 数量，而这本质上取决于系统的最大聚合带宽。
测试工具
本次测试使用 MLPerf Storage v2.0 基准测试套件 完成。所有结果均已正式提交至 MLCommons（负责制定 MLPerf Storage 等 AI 基准测试套件的全球权威 AI 工程联盟），并发布在 2025 年 8 月的测试轮次中。
JuiceFS 参与了共享文件系统类别的角逐，与之同台竞技的既有基于以太网的方案（如 Alluxio、Oracle 等），也有基于 InfiniBand 的存储一体机（如 DDN、HPE、Ubix 等）。这些基于 InfiniBand 的方案能提供极高的带宽和性能，但其硬件规格和整体成本也极为高昂。
测试环境
本次测试中 JuiceFS 的系统拓扑分为三层，这也是 JuiceFS 在大规模 AI 训练等对大数据集访问有高带宽、低延迟需求的场景中常见的部署架构：
- 客户端层：10 个客户端节点，均运行在相同的 GCP 实例类型上，每个节点的带宽配置一致。
- 缓存集群层：10 个缓存节点，采用云盘结合本地内存作为缓存，以加速数据访问。
- 冷数据存储层：数据存储在 Google Cloud Storage（GCS）中。训练开始前，冷数据已从 GCS 预热到缓存集群中。
说明
MLPerf Storage v2.0 允许在正式测试前进行数据预热。在 JuiceFS 的测试环境中，冷数据被预先从对象存储（GCS）加载到分布式 缓存集群中，以确保训练过程中稳定的高带宽、低延迟访问。在对大规模 AI 负载进行基准测试时，推荐采用这种做法，以避免对象存储 延迟带来的干扰，并保证不同存储方案之间比较的公平性。
本次正式提交给 MLPerf 的 10 节点规模，是该测试场景下基准测试规则 所允许的最大配置。 这一外部限制并不代表 JuiceFS 的性能上限。 随着节点数量增加，分布式缓存与元数据引擎都能够水平扩展，从而提供近乎线性增长的带宽，支撑规模更大的 GPU 集群。
测试结果
3D U-Net 负载
在该负载测试中，JuiceFS 在所有关键指标上均取得了出色的成绩：
- 支撑了 10 个节点、40 块 H100 GPU 的训练规模
- 数据读取带宽达到 108 GiB/s
- 网络带宽利用率达到 86.6%
- GPU 利用率维持在 92.7%
在所有基于以太网的存储系统中，JuiceFS 取得了最高的带宽和最高的网络利用率，这不仅意味着更高的总带宽，也意味着对网络和 硬件资源更高效的利用。
CosmoFlow 负载
在这一小文件、高并发的负载测试中，JuiceFS 表现稳定可靠：
- 支撑了 10 个节点、100 块 H100 GPU 的训练规模
- GPU 利用率维持在 75%
该负载对元数据性能和读取延迟的稳定性提出了极高的要求。 在海量并发小文件访问带来的高延迟敏感场景下，JuiceFS 依然 保持领先，成功将 GPU 利用率维持在 70% 的阈值之上。
ResNet-50 负载
对于涉及小图片高并发随机读取的 ResNet-50 负载，JuiceFS 同样交出了出色的成绩：
- 支撑了 500 块 H100 GPU 的训练规模
- 数据读取带宽达到 90 GiB/s
- 网络带宽利用率达到 72%
- GPU 利用率维持在 95%
在本次测试中，JuiceFS 在所有基于以太网的方案中支撑了最多的 H100 GPU 数量（500 块），并实现了最高的网络带宽 利用率（72%），远超其他厂商约 40% 的水平。 这充分证明了 JuiceFS 在高并发随机 I/O 场景下，能够通过软件层面的优化 充分发挥硬件资源的能力。
总结
在 MLPerf Storage v2.0 测试中，JuiceFS 在不同的 AI 训练负载下都展现出了稳定的低延迟和高资源利用率。作为一款全用户态、 云原生的分布式文件系统，JuiceFS 通过分布式缓存层和高性能元数据引擎，为大规模 AI 训练集群提供统一的存储系统，在 充分利用对象存储成本优势的同时，实现了高吞吐、低延迟。
核心要点：
- 带宽利用率：在 3D U-Net 负载中，JuiceFS 实现了 86.6% 的网络带宽利用率，在所有基于以太网的系统中最高。
- 可扩展性：在 ResNet-50 负载中，JuiceFS 支撑了最多 500 块 H100 GPU，在同类系统中规模最大。
- 元数据性能：搭配客户端缓存的高性能元数据引擎，提供极高的 IOPS 和极低的延迟，对于小文件负载至关重要。
- 弹性缓存层：分布式缓存集群支持弹性扩展，可提供最高 1.2 TB/s 的聚合带宽和亚毫秒级的访问延迟。
对于不依赖昂贵专有硬件的大规模 AI 训练场景，JuiceFS 是一个可行且具有成本效益的选择。
参考资料
- MLCommons 是一个人工智能工程联盟，秉持开放协作的理念，致力于推动 AI 的发展。
- MLPerf Storage 基准测试 用于衡量存储系统在模型训练过程中提供训练数据的速度。
- 阅读博客文章以了解我们参与本次基准测试背后的更多细节： 从 MLPerf Storage v2.0 看 AI 训练中的存储性能与扩展能力。
