登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
大模型存储实践：性能、成本与多云

大模型存储实践：性能、成本与多云
2024-04-07
苏锐
在这篇文章中，我们将分享大型语言模型在存储领域面临的一些挑战与 JuiceFS 在服务这些场景时的实践经验，为相关企业提供参考。
知乎：多云架构下大模型训练，如何保障存储稳定性

知乎：多云架构下大模型训练，如何保障存储稳定性
2024-03-28
王新
本文将分享知乎如何在多云混合部署架构中构建存储层、保障 LLM 训练稳定性以及跨云 PB 级数据迁移的经验。
在 Google Colab 中使用 JuiceFS

在 Google Colab 中使用 JuiceFS
2024-03-22
Jet
本文介绍了如何在 Google Colab 中使用 JuiceFS 来持久化保存数据，通过实例介绍了如何为 JuiceFS 准备元数据引擎和对象存储来尽量发挥它的性能，以及在 Colab 中的安装和挂载方法
从 HPC 到 AI：探索文件系统的发展及性能评估

从 HPC 到 AI：探索文件系统的发展及性能评估
2024-03-06
鲁蔚征
人大对几款主流分布式文件系统 Lustre、Alluxio 以及 JuiceFS 也做了初步性能测评，我们将分享这些测评结果，并介绍常用的性能评测工具，希望为选择 HPC 和 AI 存储解决方案的用户提供有价值的参考。
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略

千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2024-02-28
莫飞虎
大规模的 AI 训练场景中，通常都需要专有高性能存储，或是基于全闪架构和内核态的并行文件系统才能满足性能需求。但随着计算负载增加、集群增大，全闪的高昂成本和内核客户端的运维复杂度会成为用户面临的一大挑战。
BentoML：如何使用 JuiceFS 加速大模型加载

BentoML：如何使用 JuiceFS 加速大模型加载
2024-02-21
管锡鹏
使用 JuiceFS 后，模型加载速度由原来的 20 多分钟缩短至几分钟。在实施 JuiceFS 的过程中，我们发现实际模型文件的读取速度与预期基准测试速度存在差异。通过一系列优化措施，如改进数据缓存策略和优化读取算法，我们成功解决了这些挑战。在本文中，我们将详细介绍我们面临的挑战、解决方案及相关…
极限挑战：使用 Go 打造百亿级文件系统的实践之旅

极限挑战：使用 Go 打造百亿级文件系统的实践之旅
2024-02-02
Sandy
本文介绍了 JuiceFS 在设计元数据引擎时所做的关键决策，并详细介绍了内存池、自主管理小块内存、压缩空闲目录以及优化小文件格式这 4 个内存优化手段。
基于 JuiceFS 的大数据平台上云：存储成本省 85%，性能媲美 HDFS

基于 JuiceFS 的大数据平台上云：存储成本省 85%，性能媲美 HDFS
2024-01-10
JuiceFS 资深用户
本案例来自社区一家从事金融科技的用户。该用户在进行数据平台上云时，首个站点采用了与本地数据中心（IDC）相同的架构，在云主机上构建了基于 Hadoop 的技术栈。随着业务的迅速增长和更多站点的上线，该架构面临了一系列挑战，包括块存储成本高昂、Hadoop 组件复杂、弹性能力有限等。
JuiceFS 的 2023 年

JuiceFS 的 2023 年
2023-12-29
Juicedata Team
到了年底向大家汇报工作进展的时间。今年是 GenerativeAI 涌现的一年，JuiceFS 也迎来了很多 AI 领域的新用户和新应用场景，它们也给 JuiceFS 带来了一系列变化。