登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
基于 JuiceFS 的大数据平台上云：存储成本省 85%，性能媲美 HDFS

基于 JuiceFS 的大数据平台上云：存储成本省 85%，性能媲美 HDFS
2024-01-10
JuiceFS 资深用户
本案例来自社区一家从事金融科技的用户。该用户在进行数据平台上云时，首个站点采用了与本地数据中心（IDC）相同的架构，在云主机上构建了基于 Hadoop 的技术栈。随着业务的迅速增长和更多站点的上线，该架构面临了一系列挑战，包括块存储成本高昂、Hadoop 组件复杂、弹性能力有限等。
小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务

小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务
2023-09-22
孙佳朋
小米存储团队自 2021 年开始启动了文件存储项目，基于 JuiceFS 构建了一个文件存储平台化产品，并通过 CSI Driver 组件提供了云原生存储的能力，以满足上述各种业务场景对文件存储的需求。 目前，这个平台已经承载了超过 50 亿个文件，总容量 2.5PB 以上，集群吞吐达到每秒…
多点 DMALL：大数据存算分离下的存储架构探索与实践

多点 DMALL：大数据存算分离下的存储架构探索与实践
2023-08-16
李铭
本文分享了多点DMALL 存算分离的云原生大数据架构的经验和挑战，并用 JuiceFS 社区版实现了与 Ranger 组件进行权限的对接
网易互娱出海之旅：大数据平台上云架构设计与实践

网易互娱出海之旅：大数据平台上云架构设计与实践
2023-08-09
柯维鸿
网易互娱大数据离线计算平台选择了 JuiceFS 来帮助实现 Hadoop 上云，并给下游数据业务和分析部门提供了完整 Hadoop 的兼容性，避免所有业务逻辑推倒重来；给游戏数据业务出海节省了大量存储和算力成本。
云存储基础知识

云存储基础知识
2023-05-29
Juicedata
分布式文件系统（Distributed File System，DFS）是一种计算机文件系统，它可以通过网络将不同计算机中的文件系统结合起来，使得用户访问和操作文件时，就像这些文件是存储在他们自己的本地计算机上一样。而实际上，这些文件可能存储在网络中的其他计算机上。用户无需关心或了解文件的实际存储…
从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储
2023-05-10
曹丰宇
豆瓣数据平台经历了几轮变迁，形成了 DPark + Mesos + MooseFS 的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后， 豆瓣数据平台目前形成了 S…
存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用
2023-03-17
杨磊
中国电信大数据团队需要处理数据形式多，数据流转过程复杂，涉及 31 省位置，DPI 等数据，大数据平台需加工聚合后再供各业务方使用。面对上述痛点，团队最终选择 Hadoop 3+JuiceFS+TiKV+Ceph 方案进行存算分离改造，打通 Hadoop 生态与 Ceph 对象存储，实现多集群数据…
从 Hadoop 到云原生， 大数据平台如何做存算分离

从 Hadoop 到云原生， 大数据平台如何做存算分离
2022-09-14
苏锐
关于作者： 苏锐，Juicedata 合伙人， JuiceFS 的1号成员，一直深度参与在开源社区中支持开发者使用 JuiceFS。历任互联网 O2O 汽车服务品牌功夫洗车创始人 & CEO，豆瓣电影 PM & Tech Lead。在工作期间，经历了早期由 Hadoop 技术栈主导…
理想汽车：从 Hadoop 到云原生的演进与思考

理想汽车：从 Hadoop 到云原生的演进与思考
2022-08-30
聂磊
理想大数据平台最初主要以 Hadoop 技术栈来搭建，随着理想汽车业务发展持续向好，数据平台管理的车辆数据增长极快，这对数据平台的敏捷性和弹性都提出了更高的要求。于是，理想汽车数据平台开始进行存算分离改造，在替换HDFS 过程中，JuiceFS 在理想汽车有了深入的应用。