登录
联系我们
English
博客
全部 用户案例 解决方案 版本发布 使用技巧 工程技术 公司 社区 归档 RSS
从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储
2023-05-10
曹丰宇
豆瓣数据平台经历了几轮变迁，形成了 DPark + Mesos + MooseFS 的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后， 豆瓣数据平台目前形成了 S…
趣头条大数据平台如何有效降低 HDFS 集群负载

趣头条大数据平台如何有效降低 HDFS 集群负载
2021-05-06
高昌健
趣头条大数据平台目前有一个近千节点的 HDFS 集群，承载着存储最近几个月热数据的功能，每日新增数据达到了百 TB 规模，需要一种方案能有效降低 HDFS 集群负载
直播回顾：云上全托管 HDFS 技术解析（含视频）

直播回顾：云上全托管 HDFS 技术解析（含视频）
2021-01-04
苏锐
本篇介绍了 HDFS 在公有云环境中使用的挑战，替代方案的比较，Juicedata 实现全托管 HDFS 服务的新思路，以及在架构设计、兼容性、性能等方面的比较。
巧用符号链接迁移 HDFS 数据，业务完全无感知！

巧用符号链接迁移 HDFS 数据，业务完全无感知！
2020-12-18
高昌健
本文介绍如何通过 JuiceFS 的迁移工具将海量数据从 HDFS 平滑迁移到 JuiceFS，做到对业务透明
环球易购数据平台如何做到既提速又省钱？

环球易购数据平台如何做到既提速又省钱？
2020-10-29
高昌健
本文详细分析了环球易购数据平台在上云之后，在没有任何性能损失的前提下，借助 JuiceFS 降低存储 TCO 90%，同时实现数据平台存储计算分离的架构调整，为下一步实现计算弹性伸缩做好准备
神策用户如何省掉六成存储成本？

神策用户如何省掉六成存储成本？
2020-03-16
苏锐
2019 年我们和神策开始合作，从神策 1.14 版本开始支持 JuiceFS 做数据归档，用户存储成本大幅下降，而且在使用中用户完全无感。早期客户已经用上半年多，省了不少钱。
怎么做 HDFS 的原地平滑缩容？

怎么做 HDFS 的原地平滑缩容？
2020-03-03
汤友棚
本文详细介绍了，怎么手动在单台 Datanode 内进行磁盘缩容，移除部分磁盘
元数据性能大比拼：HDFS vs OSS vs JuiceFS

元数据性能大比拼：HDFS vs OSS vs JuiceFS
2019-11-21
Davies, 汤友棚
背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以 Amazon…
如何让 HBase 更快、更稳、更省钱

如何让 HBase 更快、更稳、更省钱
2019-07-29
汤友棚
概述Apache HBase 是 Apache Hadoop 生态体系中的大规模、可扩展、分布式的数据存储服务。同时它还是 NoSQL 数据库。它的设计初衷是为包含了数百万列的数十亿行记录提供随机的、强一致性的实时查询。默认情况下，HBase 的数据会保存在 HDFS 上，HBase 为 HDFS…