登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
如何借助分布式存储 JuiceFS 加速 AI 模型训练

如何借助分布式存储 JuiceFS 加速 AI 模型训练
2023-04-25
高昌健
随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。本文以 PyTorch 为例介绍了在模型训练中如何使用 JuiceFS，以及优化训练效率的实践
JuiceFS 在 VIVO AI 计算平台的存储应用

JuiceFS 在 VIVO AI 计算平台的存储应用
2023-02-10
彭毅格
vivo AI 计算平台致力于解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点。其中轩辕文件存储是 vivo 互联网基础平台存储团队和 JuiceFS 团队共同合作开发并具备高性能分布式元数据、云原生、多级缓存、灵活限流等特性和功能
上汽云 x JuiceFS：iGear 用了这个小魔法，模型训练速度提升 300%

上汽云 x JuiceFS：iGear 用了这个小魔法，模型训练速度提升 300%
2022-01-27
Juicedata
一个高精度 AI 模型离不开大量的优质数据集，在数据量比较大的情况下，模型训练周期也会相应加长。通常是提升算力，增加资源提升性能。但大多数情况下，面对昂贵的算力资源，不可能无限增加的。本文通过 JuiceFS 实现高性能缓存加速方案去大幅加速 iGear 平台上训练任务的速度，极大地缩短模型训练时…
PaddlePaddle x JuiceFS : 全新缓存组件，大幅加速云上飞桨分布式训练作业

PaddlePaddle x JuiceFS : 全新缓存组件，大幅加速云上飞桨分布式训练作业
2022-01-06
PaddlePaddle 团队
本文介绍 PaddlePaddle 如何用 JuiceFS 加速训练，JuiceFS 现已集成到 Paddle Operator 中，方便使用
JuiceFS 缓存策略详解

JuiceFS 缓存策略详解
2021-12-16
Sandy
对于一个由对象存储和数据库组合驱动的文件系统，缓存是本地客户端与远端服务之间高效交互的重要纽带。读写的数据可以提前或者异步载入缓存，再由客户端在后台与远端服务交互执行异步上传或预取数据。相比直接与远端服务交互，采用缓存技术可以大大降低存储操作的延时并提高数据吞吐量。希望大家通过本文对 JuiceF…
如何在 Kubernetes 集群中玩转 Fluid + JuiceFS

如何在 Kubernetes 集群中玩转 Fluid + JuiceFS
2021-12-01
吕冬冬 & 朱唯唯
云知声 Atlas 团队在 2021 年初开始接触并跟进 JuiceFS 存储，并且在早期已经积累了丰富的 Fluid 使用经验。近期，云知声团队与 Juicedata 团队合作开发了 Fluid JuiceFS 加速引擎，使用户能够更好地在 Kubernetes 环境中使用 JuiceFS 缓存…
百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践

百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践
2021-10-28
高昌健
自动驾驶是最近几年的热门领域，专注于自动驾驶技术的创业公司、新造车企业、传统车厂都在这个领域投入了大量的资源。本篇文章来自 JuiceFS 某自动驾驶行业客户的架构实践，在百亿规模小文件训练场景下进行了一系列成功的探索。
三大 OSS 缓存加速系统巅峰对决

三大 OSS 缓存加速系统巅峰对决
2020-07-02
汤友棚
分享完我们如何为 OSS 提速 10 倍后，朋友们建议我们与其他大数据加速方案做一下比较。在花了一个月时间准备之后，有一些阶段性成果跟大家分享一下。