登录
联系我们
English
解决方案
用户案例 解决方案 版本发布 使用技巧 工程技术 公司 全部 归档 RSS
加速 AI 训练，如何在云上实现灵活的弹性吞吐

加速 AI 训练，如何在云上实现灵活的弹性吞吐
2023-05-06
苏锐
AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在 AWS 量化投研行业活动的演讲实录，为大家介绍 JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。1. 背景JuiceFS 最初是…
聊聊 AI 平台存储方案和选型

聊聊 AI 平台存储方案和选型
2023-01-11
苏锐
最近火爆全网的 ChatGPT 再次带来一股 AI 热潮。过去的五年，AI 快速发展并应用到很多领域中。作为一家存储企业，我们也感受到了 AI 行业的活力，和我们交流团队中，AI 企业越来越多，有自动驾驶、蛋白质结构预测、量化投资等不同行业。AI 场景给数据存储带来新挑战，原有的存储方案并不能完好…
JuiceFS 元数据引擎选型指南

JuiceFS 元数据引擎选型指南
2022-10-12
Sandy
文件系统 （File System）是常见的存储形式，主要由数据和元数据两部分组成。其中数据是文件的具体内容，通常会直接展现给用户；而元数据是描述数据的数据，用来记录文件属性、目录结构、数据存储位置等。一般来说，元数据有非常鲜明的特点，即占用空间较小，但访问非常频繁。当今的分布式文件系统中，有的（…
JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践

JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践
2022-09-30
高昌健
企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。同时，在存储介质方面，随着云计…
从 Hadoop 到云原生， 大数据平台如何做存算分离

从 Hadoop 到云原生， 大数据平台如何做存算分离
2022-09-14
苏锐
关于作者： 苏锐，Juicedata 合伙人， JuiceFS 的1号成员，一直深度参与在开源社区中支持开发者使用 JuiceFS。历任互联网 O2O 汽车服务品牌功夫洗车创始人 & CEO，豆瓣电影 PM & Tech Lead。在工作期间，经历了早期由 Hadoop 技术栈主导…
存储更弹性，详解 Fluid “ECI 环境数据访问” 新功能

存储更弹性，详解 Fluid “ECI 环境数据访问” 新功能
2022-09-05
朱唯唯
近期，Fluid 发布了 v0.8 版本， 宣布支持阿里云 ECI 应用，并将JuiceFS Runtime Controller 设置为默认安装；JuiceFS 也就此功能与 Fluid 完成了集成和测试工作。 用户可以在 ECI 环境中使用JuiceFS， 体验计算与存储的双重极致弹性。（还不…
浅析 Redis 作为 JuiceFS 元数据引擎的优劣势

浅析 Redis 作为 JuiceFS 元数据引擎的优劣势
2022-07-22
高昌健
元数据管理一直是文件系统领域的核心话题，JuiceFS 开创性地将文件系统的元数据引擎「插件化」，让用户可以根据实际的使用场景自由选择适合的数据库作为 JuiceFS 的元数据引擎。今天邀请到 Juicedata 技术专家高昌健，简要解析使用不同 Redis 架构作为元数据引擎的优劣势。无论你是社…
JuiceFS 在数据湖存储架构上的探索

JuiceFS 在数据湖存储架构上的探索
2022-04-28
高昌健
本文根据 Juicedata 技术专家高昌健在 DataFunSummit 大数据存储架构峰会所作主题演讲《JuiceFS 在数据湖存储架构上的探索》整理而成，将会以大数据存储架构变迁为起点，围绕数据湖相关系统的特性、与数据湖的结合和关联、数据湖生态等方面，深入探讨 JuiceFS 团队目前的一些…
PaddlePaddle x JuiceFS : 全新缓存组件，大幅加速云上飞桨分布式训练作业

PaddlePaddle x JuiceFS : 全新缓存组件，大幅加速云上飞桨分布式训练作业
2022-01-06
PaddlePaddle 团队
本文介绍 PaddlePaddle 如何用 JuiceFS 加速训练，JuiceFS 现已集成到 Paddle Operator 中，方便使用