美国自然历史博物馆 x JuiceFS:PB 级科研存储实践

2026-11-19
Joe Zhou

在天体物理学和基因组学等前沿科学领域,海量数据集的高吞吐量读取和对数据完整性问题的零容忍,是计算分析的生命线。美国自然历史博物馆(AMNH)科学计算团队基于 S3 协议兼容的开放存储网络(OSN),使用 JuiceFS 社区版构建了一套高可靠、低维护的存储系统。

本文总结了他们在约 3PB 研究数据、95% 读密集型负载下的实践经验:始终将数据一致性放在首位,生产环境稳定运行四年,并持续探索 write-back、缓存优化和 SQLite 元数据引擎等调优方向。

01 工作负载:95% 为读密集型流量

AMNH 的科学计算环境支撑着规模庞大、强度极高的跨学科研究。目前,AMNH 的 OSN 节点可存储约 3 PB 的研究数据,其中约 30% 通过 NFS + JuiceFS 层处于高频访问状态。整体存储架构针对这些科研场景的使用模式做了专门设计:

  • 95% 读密集型特征:工作负载包括系统中海量的参考数据集,例如基因组序列和天文巡天数据,这些数据以只读形式存在。计算过程对吞吐量和延迟高度敏感。数据集一旦写入,就会被反复读取,很少发生变更。

  • OSN(开放存储网络)模式:AMNH 与开放存储网络合作。标准的机架式服务器和外部 JBOD 部署在博物馆机房内,但由 OSN 管理员远程运维。这样一来,AMNH 既能以较低成本获得 S3 兼容端点,又保留了硬件和数据的所有权。

  • 多协议无缝访问:AMNH 采用 JuiceFS 社区版作为分布式文件系统层,将 S3 存储桶直接挂载,让高性能计算(HPC)集群可以通过传统的 NFS 协议访问底层 S3 兼容存储。

AMNH 的 NFS + JuiceFS + OSN 存储架构
AMNH 的 NFS + JuiceFS + OSN 存储架构

02 数据完整性优先,杜绝静默损坏

对科学研究来说,数据一致性至关重要。为了验证并持续观察系统的可靠性,AMNH 团队在概念验证阶段进行了多轮测试,并在生产环境中持续关注 JuiceFS 的日志和指标。

AMNH 团队曾观察到 JuiceFS 在写入 OSN 对象存储时出现超时警告,但从未遇到过数据完整性问题。究其原因,JuiceFS 将所有对象存储 SDK 统一配置为 RetryMaxAttempts = 1,并实现了自定义的重试逻辑,从而在所有支持的存储后端上保持行为一致。因此,这里的警告更多是一种预防性提示,数据完整性并未受到影响。

面对那些通过"不安全"的写入方式或跳过严格元数据提交来换取更高性能指标的文件系统,AMNH 的选择很明确:数据一致性优先。他们在 JuiceFS 客户端上几乎全部采用默认配置,以 Redis 作为元数据引擎,至今已在生产环境中稳定运行了四年。

03 当前与未来的调优方向

在数据完整性得到充分验证之后,AMNH 进一步探索了如何调优 JuiceFS 客户端配置,以更好地匹配科学计算场景的需求。

Write-back 配置

目前,AMNH 唯一启用的非默认配置是 --writeback,用于平滑客户端的写入吞吐。这当然需要权衡:write-back 会牺牲一定的数据一致性,同时对挂载机器的磁盘可靠性有更高要求。不过考虑到 AMNH 当前的工作负载以读取为主,无论是否启用 write-back,影响都在可接受范围内。

高性能缓存

AMNH 还对比了 Linux 内核原生页缓存与 JuiceFS 客户端元数据缓存的差异。内核页缓存速度最快,但 JuiceFS 客户端元数据缓存更灵活。在读密集型场景下,元数据缓存可以省去大量与元数据引擎之间的网络往返。目前元数据引擎与 JuiceFS 客户端挂载在同一台机器上,如果将来拆分部署,客户端元数据缓存会是一个值得开启的性能优化项。

文件读取方面,由于底层是 OSN 管理的 HDD,JuiceFS 客户端的本地数据缓存在首次读取之后能显著降低延迟。当工作负载有需求时,适当调大 --cachesize 可以进一步提升性能。

SQLite 作为元数据引擎的可能性

另一个值得关注的方案是,利用本地 NVMe 上的 SQLite 作为 JuiceFS 的元数据引擎。对于独立沙箱环境或读密集型工作负载,SQLite 是一个出色且维护成本极低的选择,前提是做好元数据文件的备份(Redis 同样需要备份)。在 AMNH 当前的场景中,主要 I/O 瓶颈在后端对象存储而非数据库,因此 SQLite 的简洁性对这类工作负载很有吸引力。

04 结语

对任何基础设施团队来说,在 PB 级规模、严格的数据一致性和高吞吐量研究负载之间找到平衡,都不是一件容易的事。AMNH 用 JuiceFS 社区版,在 OSN 后端之上构建了一套可靠且几乎免维护的存储环境,让科学家可以专注于研究本身,而不必背上沉重的工程负担。

回顾这套系统稳定运行四年的经历,AMNH 团队表示,他们的部署过程并不复杂,整体效果令人满意。

随着科学计算的数据需求持续增长,这种"经济高效的对象存储 + 稳健可靠的文件系统层"的组合,为全球学术和研究机构提供了一个可复制性很强的成功样本。

Author

Joe Zhou
负责 Juicedata 北美地区的开发者社区建设与解决方案架构

相关博客