登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
大模型存储选型 & JuiceFS 在关键环节性能详解

大模型存储选型 & JuiceFS 在关键环节性能详解
2024-10-09
李少杰
在本文介绍了对大模型存储选型的思考、开发中不同阶段的工作负载需求，包括成本、性能和功能等多个维度，并探讨如何通过 JuiceFS 帮助用户优化这些环节
Hugging Face + JuiceFS：多用户多节点环境下提升模型加载效率

Hugging Face + JuiceFS：多用户多节点环境下提升模型加载效率
2024-09-29
于鸿儒（Herald Yu）
本文介绍了 JuiceFS 作为 Hugging Face Transformers 的数据缓存目录的两种方法，分别是将 JuiceFS 预先挂载到 Hugging Face 缓存目录，以及通过环境变量指定 Hugging Face 缓存目录。
大模型训练：K8s 环境中数千节点存储最佳实践

大模型训练：K8s 环境中数千节点存储最佳实践
2024-09-25
朱唯唯
JuiceFS CSI 助力大模型训练，在K8s 环境中数千节点存储实践。
Clobotics 计算机视觉场景存储实践：多云架构、 POSIX 全兼容、低运维的统一存储

Clobotics 计算机视觉场景存储实践：多云架构、 POSIX 全兼容、低运维的统一存储
2024-08-30
Jonnas
Clobotics 是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业，Clobotics 利用无人机对风力发电机叶片进行检查，显著降低了对人工作业的依赖。在零售领域，公司通过分析捕获的包装商品图像来提供基于实时数据的洞察，以增加销售额并减少运营成本。
基于 JuiceFS 构建高校 AI 存储方案：高并发、系统稳定、运维简单

基于 JuiceFS 构建高校 AI 存储方案：高并发、系统稳定、运维简单
2024-06-26
徐国昊
iSEE 实验室基于 JuiceFS 构建了存储方案结合 TiKV 已成功管理超过 5 亿文件，本文详细介绍了方案的选型与实践历程。
贝壳找房: 为 AI 平台打造混合多云的存储加速底座

贝壳找房: 为 AI 平台打造混合多云的存储加速底座
2024-06-12
王天庆
贝壳机器学习平台团队从去年开始对存储系统进行重构，选择了基于 JuiceFS 的存储方案，本文将详细介绍贝壳在此重构过程中的演进历程和具体实践。
大模型存储实践：性能、成本与多云

大模型存储实践：性能、成本与多云
2024-04-07
苏锐
在这篇文章中，我们将分享大型语言模型在存储领域面临的一些挑战与 JuiceFS 在服务这些场景时的实践经验，为相关企业提供参考。
知乎：多云架构下大模型训练，如何保障存储稳定性

知乎：多云架构下大模型训练，如何保障存储稳定性
2024-03-28
王新
本文将分享知乎如何在多云混合部署架构中构建存储层、保障 LLM 训练稳定性以及跨云 PB 级数据迁移的经验。
从 HPC 到 AI：探索文件系统的发展及性能评估

从 HPC 到 AI：探索文件系统的发展及性能评估
2024-03-06
鲁蔚征
人大对几款主流分布式文件系统 Lustre、Alluxio 以及 JuiceFS 也做了初步性能测评，我们将分享这些测评结果，并介绍常用的性能评测工具，希望为选择 HPC 和 AI 存储解决方案的用户提供有价值的参考。