登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
在 Google Colab 中使用 JuiceFS

在 Google Colab 中使用 JuiceFS
2024-03-22
Jet
本文介绍了如何在 Google Colab 中使用 JuiceFS 来持久化保存数据，通过实例介绍了如何为 JuiceFS 准备元数据引擎和对象存储来尽量发挥它的性能，以及在 Colab 中的安装和挂载方法
从 HPC 到 AI：探索文件系统的发展及性能评估

从 HPC 到 AI：探索文件系统的发展及性能评估
2024-03-06
鲁蔚征
人大对几款主流分布式文件系统 Lustre、Alluxio 以及 JuiceFS 也做了初步性能测评，我们将分享这些测评结果，并介绍常用的性能评测工具，希望为选择 HPC 和 AI 存储解决方案的用户提供有价值的参考。
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略

千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2024-02-28
莫飞虎
大规模的 AI 训练场景中，通常都需要专有高性能存储，或是基于全闪架构和内核态的并行文件系统才能满足性能需求。但随着计算负载增加、集群增大，全闪的高昂成本和内核客户端的运维复杂度会成为用户面临的一大挑战。
BentoML：如何使用 JuiceFS 加速大模型加载

BentoML：如何使用 JuiceFS 加速大模型加载
2024-02-21
管锡鹏
使用 JuiceFS 后，模型加载速度由原来的 20 多分钟缩短至几分钟。在实施 JuiceFS 的过程中，我们发现实际模型文件的读取速度与预期基准测试速度存在差异。通过一系列优化措施，如改进数据缓存策略和优化读取算法，我们成功解决了这些挑战。在本文中，我们将详细介绍我们面临的挑战、解决方案及相关…
极限挑战：使用 Go 打造百亿级文件系统的实践之旅

极限挑战：使用 Go 打造百亿级文件系统的实践之旅
2024-02-02
Sandy
本文介绍了 JuiceFS 在设计元数据引擎时所做的关键决策，并详细介绍了内存池、自主管理小块内存、压缩空闲目录以及优化小文件格式这 4 个内存优化手段。
基于 JuiceFS 的大数据平台上云：存储成本省 85%，性能媲美 HDFS

基于 JuiceFS 的大数据平台上云：存储成本省 85%，性能媲美 HDFS
2024-01-10
JuiceFS 资深用户
本案例来自社区一家从事金融科技的用户。该用户在进行数据平台上云时，首个站点采用了与本地数据中心（IDC）相同的架构，在云主机上构建了基于 Hadoop 的技术栈。随着业务的迅速增长和更多站点的上线，该架构面临了一系列挑战，包括块存储成本高昂、Hadoop 组件复杂、弹性能力有限等。
JuiceFS 的 2023 年

JuiceFS 的 2023 年
2023-12-29
Juicedata Team
到了年底向大家汇报工作进展的时间。今年是 GenerativeAI 涌现的一年，JuiceFS 也迎来了很多 AI 领域的新用户和新应用场景，它们也给 JuiceFS 带来了一系列变化。
详解新功能 JuiceFS CSI Dashboard： 简化云上环境的问题排查流程

详解新功能 JuiceFS CSI Dashboard： 简化云上环境的问题排查流程
2023-12-29
李晨曦
由于 Kubernetes 环境和架构的复杂性，在实际使用过程中需要监测和排查各种问题。因此，我们需要更直观的手段来查看不同组件的配置、状态、日志和相互关系。为了满足这个需求，在 JuiceFS CSI Driver v0.23.0 中，我们引入了一个全新的仪表盘（dashboard）。
韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS

韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS
2023-12-28
Nam Kyung-wan
在搭建 AI 平台时，NAVER 评估了公有云平台的存储产品、Alluxio 以及高性能专用存储产品等多种选项后，最终决定采用 JuiceFS。通过使用JuiceFS，NAVER 成功地将内部存储资源升级为高性能、适应 AI 工作负载的存储解决方案。