登录
联系我们
English
博客
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
多点 DMALL：大数据存算分离下的存储架构探索与实践

多点 DMALL：大数据存算分离下的存储架构探索与实践
2023-08-16
李铭
本文分享了多点DMALL 存算分离的云原生大数据架构的经验和挑战，并用 JuiceFS 社区版实现了与 Ranger 组件进行权限的对接
网易互娱出海之旅：大数据平台上云架构设计与实践

网易互娱出海之旅：大数据平台上云架构设计与实践
2023-08-09
柯维鸿
网易互娱大数据离线计算平台选择了 JuiceFS 来帮助实现 Hadoop 上云，并给下游数据业务和分析部门提供了完整 Hadoop 的兼容性，避免所有业务逻辑推倒重来；给游戏数据业务出海节省了大量存储和算力成本。
之江实验室：如何基于 JuiceFS 为超异构算力集群构建存储层

之江实验室：如何基于 JuiceFS 为超异构算力集群构建存储层
2023-06-09
洪晨
由于算力资源的天然异构性，以及不同技术实现的计算能力往往出自不同的系统架构或指令集，会导致软件不兼容性，从而提高了算力使用的门槛，也使得算力利用率难以有效提高。对面挑战最终选择了 JuiceFS 来优化存储系统，实现了简单的部署、多样元数据引擎选项、跨节点文件原子性和一致性，以及缓存功能，减轻底层…
从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储
2023-05-10
曹丰宇
豆瓣数据平台经历了几轮变迁，形成了 DPark + Mesos + MooseFS 的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后， 豆瓣数据平台目前形成了 S…
存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用
2023-03-17
杨磊
中国电信大数据团队需要处理数据形式多，数据流转过程复杂，涉及 31 省位置，DPI 等数据，大数据平台需加工聚合后再供各业务方使用。面对上述痛点，团队最终选择 Hadoop 3+JuiceFS+TiKV+Ceph 方案进行存算分离改造，打通 Hadoop 生态与 Ceph 对象存储，实现多集群数据…
从 Hadoop 到云原生， 大数据平台如何做存算分离

从 Hadoop 到云原生， 大数据平台如何做存算分离
2022-09-14
苏锐
关于作者： 苏锐，Juicedata 合伙人， JuiceFS 的1号成员，一直深度参与在开源社区中支持开发者使用 JuiceFS。历任互联网 O2O 汽车服务品牌功夫洗车创始人 & CEO，豆瓣电影 PM & Tech Lead。在工作期间，经历了早期由 Hadoop 技术栈主导…
一面数据：Hadoop 迁移云上架构设计与实践

一面数据：Hadoop 迁移云上架构设计与实践
2022-07-28
刘畅&李阳良
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增，为了解决包括扩容周期长、计算存储资源不匹配以及高昂的运维成本等这些问题，我们基于 JuiceFS对数据架构进行改造，将数据迁移到云端，采用存算分离的结构。总存储量…
ClickHouse 存算分离架构探索

ClickHouse 存算分离架构探索
2021-03-15
高昌健
JuiceFS 是基于对象存储实现并完全兼容 POSIX 的开源分布式文件系统，同时 JuiceFS 的数据缓存特性可以智能管理查询热点数据，非常适合作为 ClickHouse 的存储系统
JuiceFS 在大搜车数据平台的实践

JuiceFS 在大搜车数据平台的实践
2020-06-22
张健 大搜车数据专家
本文作者是大搜车数据专家，全程参与了大数据平台存储计算分离的架构设计、选型、验证、实施全流程，他在本文中分享了大搜车在业务高速发展过程中，数据平台遇到的挑战与痛点，验证与解决的实践过程，并分享了未来的升级计划。