登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略

千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2024-02-28
莫飞虎
大规模的 AI 训练场景中，通常都需要专有高性能存储，或是基于全闪架构和内核态的并行文件系统才能满足性能需求。但随着计算负载增加、集群增大，全闪的高昂成本和内核客户端的运维复杂度会成为用户面临的一大挑战。
BentoML：如何使用 JuiceFS 加速大模型加载

BentoML：如何使用 JuiceFS 加速大模型加载
2024-02-21
管锡鹏
使用 JuiceFS 后，模型加载速度由原来的 20 多分钟缩短至几分钟。在实施 JuiceFS 的过程中，我们发现实际模型文件的读取速度与预期基准测试速度存在差异。通过一系列优化措施，如改进数据缓存策略和优化读取算法，我们成功解决了这些挑战。在本文中，我们将详细介绍我们面临的挑战、解决方案及相关…
韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS

韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS
2023-12-28
Nam Kyung-wan
在搭建 AI 平台时，NAVER 评估了公有云平台的存储产品、Alluxio 以及高性能专用存储产品等多种选项后，最终决定采用 JuiceFS。通过使用JuiceFS，NAVER 成功地将内部存储资源升级为高性能、适应 AI 工作负载的存储解决方案。
机器人行业数据闭环实践：从对象存储到 JuiceFS

机器人行业数据闭环实践：从对象存储到 JuiceFS
2023-12-13
宋巨超
本次分享的案例来源于刻行，一家商用服务机器人领域科技企业。刻行采用 JuiceFS 来弥补对象存储性能不足等问题。
JuiceFS 在自动驾驶行业多云架构中的实践

JuiceFS 在自动驾驶行业多云架构中的实践
2023-10-27
Juicedata Team
本案例来自于自动驾驶行业的用户的分享。自动驾驶行业面临的数据量规模是前所未有的，从 2021 年开始，团队决定自建云原生存储平台，在综合考虑成本、容量弹性和性能等因素后，最终选择了基于 JuiceFS 自建存储底座。目前，存储平台已成功管理百亿文件，IOPS 达到 40 万，吞吐量近 40GB/s…
小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务

小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务
2023-09-22
孙佳朋
小米存储团队自 2021 年开始启动了文件存储项目，基于 JuiceFS 构建了一个文件存储平台化产品，并通过 CSI Driver 组件提供了云原生存储的能力，以满足上述各种业务场景对文件存储的需求。 目前，这个平台已经承载了超过 50 亿个文件，总容量 2.5PB 以上，集群吞吐达到每秒…
思谋科技：构建易于运维的 AI 训练平台

思谋科技：构建易于运维的 AI 训练平台
2023-08-04
孙冀川
伴随着思谋科技业务的发展，数据量持续增长，存储平台面临大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂、运维人员紧张等问题，经过比对 NFS、GlusterFS、Lustre 和 CephFS等文件系统，最终选择了JuiceFS，帮助实现高吞吐易运维存储平台的优化。
云上使用 Stable Diffusion ，模型数据如何共享和存储？

云上使用 Stable Diffusion ，模型数据如何共享和存储？
2023-06-16
Herald
本文将介绍如何使用 JuiceFS 云服务创建一个文件系统，让它可以像移动硬盘一样，在任何部署了 Stable Diffusion 应用的计算机上插上即可使用，特别是对于团队使用的情况，JuiceFS 的共享存储能力可以令多个设备共享同一份预训练模型数据。
之江实验室：如何基于 JuiceFS 为超异构算力集群构建存储层

之江实验室：如何基于 JuiceFS 为超异构算力集群构建存储层
2023-06-09
洪晨
由于算力资源的天然异构性，以及不同技术实现的计算能力往往出自不同的系统架构或指令集，会导致软件不兼容性，从而提高了算力使用的门槛，也使得算力利用率难以有效提高。对面挑战最终选择了 JuiceFS 来优化存储系统，实现了简单的部署、多样元数据引擎选项、跨节点文件原子性和一致性，以及缓存功能，减轻底层…