登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
加速 AI 训练，如何在云上实现灵活的弹性吞吐

加速 AI 训练，如何在云上实现灵活的弹性吞吐
2023-05-06
苏锐
AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在 AWS 量化投研行业活动的演讲实录，为大家介绍 JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。1. 背景JuiceFS 最初是…
如何借助分布式存储 JuiceFS 加速 AI 模型训练

如何借助分布式存储 JuiceFS 加速 AI 模型训练
2023-04-25
高昌健
随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。本文以 PyTorch 为例介绍了在模型训练中如何使用 JuiceFS，以及优化训练效率的实践
存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用
2023-03-17
杨磊
中国电信大数据团队需要处理数据形式多，数据流转过程复杂，涉及 31 省位置，DPI 等数据，大数据平台需加工聚合后再供各业务方使用。面对上述痛点，团队最终选择 Hadoop 3+JuiceFS+TiKV+Ceph 方案进行存算分离改造，打通 Hadoop 生态与 Ceph 对象存储，实现多集群数据…
JuiceFS 在 VIVO AI 计算平台的存储应用

JuiceFS 在 VIVO AI 计算平台的存储应用
2023-02-10
彭毅格
vivo AI 计算平台致力于解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点。其中轩辕文件存储是 vivo 互联网基础平台存储团队和 JuiceFS 团队共同合作开发并具备高性能分布式元数据、云原生、多级缓存、灵活限流等特性和功能
聊聊 AI 平台存储方案和选型

聊聊 AI 平台存储方案和选型
2023-01-11
苏锐
最近火爆全网的 ChatGPT 再次带来一股 AI 热潮。过去的五年，AI 快速发展并应用到很多领域中。作为一家存储企业，我们也感受到了 AI 行业的活力，和我们交流团队中，AI 企业越来越多，有自动驾驶、蛋白质结构预测、量化投资等不同行业。AI 场景给数据存储带来新挑战，原有的存储方案并不能完好…
云知声: 基于 JuiceFS 的超算平台存储实践

云知声: 基于 JuiceFS 的超算平台存储实践
2023-01-06
吕冬冬
云知声超算平台的建设目标就是要建成一站式的 AI 平台，使用 JuiceFS 替换 Lustre， 使用JuiceFS 客户端多级缓存功能提升 AI 模型的训练速度，并可以更方便的进行模型调试与数据处理。
乾象投资：基于 JuiceFS 构建云上量化投研平台

乾象投资：基于 JuiceFS 构建云上量化投研平台
2022-11-04
李健弘
在使用 AI 进行量化交易策略开发时 ，会产生大量离线任务，任务量波动巨大，短时间内可从 0 上升到上万任务量，本地存储无法灵活地弹性伸缩，量化机构开始考虑上云，实践分享使用 JuiceFS 帮助数据缓存预热提升训练效率，实现降成本、高吞吐以及云上兼容 POSIX。
深势科技分享 AI 企业多云存储架构实践

深势科技分享 AI 企业多云存储架构实践
2022-07-06
李样兵
深势科技成立于 2018 年，是 “AI for Science” 科学研究范式的先行者，不论是在超算中心还是公有云上，这些用户对于计算资源的需求是巨大的，同时算法研究也会涉及海量的小文件存储。深势科技的技术团队使用 JuiceFS 探索实现混合云存储的架构帮助降低成本提高性能。
AI 场景存储优化：云知声超算平台基于 JuiceFS 的存储实践

AI 场景存储优化：云知声超算平台基于 JuiceFS 的存储实践
2022-06-28
吕冬冬
在 AI 场景中，文件存储中面临一些新的变化：非结构化数据、大量的小文件、训练数据读多写少等。这些变化，给存储带来新的挑战。云知声为大家分享使用 JuiceFS 进行存储优化实践。