CDH
使用 parcel 方式安装 JuiceFS
- 下载 parcel-4.5.4 和 csd
将 csd 文件放入 ClouderaManager 节点的 /opt/cloudera/csd 目录,将 parcel 文件解压并将内容放入 /opt/cloudera/parcel-repo 目录。
- 重启 ClouderaManager
service cloudera-scm-server restart
- 激活 parcel
打开CDH管理界面 -> Hosts -> Check for New Parcels -> JUICEFS -> Distribute -> Active
- 添加服务
打开CDH管理界面 -> 集群名 -> Add Service -> JuiceFS -> 选择安装机器 -> 配置缓存目录(cache_dirs)
- 部署 jar 文件
- 升级 JuiceFS
如果需要升级,则下载新的 parcel 文件,并进行第 3 步
通过 ClouderaManager 修改配置
Hadoop
CDH 5.x
通过 HDFS 服务界面修改
core-site.xml
常用配置
fs.jfs.impl=com.juicefs.JuiceFileSystem
fs.AbstractFileSystem.jfs.impl=com.juicefs.JuiceFS
juicefs.cache-size=10240
juicefs.cache-dir=xxxxxx
juicefs.cache-group=yarn
juicefs.discover-nodes-url=yarn
juicefs.accesskey=xxxxxx
juicefs.secretkey=xxxxxx
juicefs.token=xxxxxx
juicefs.access-log=/tmp/juicefs.access.logCDH 6.x 及以上(CDP)
除了上述 5.x 内容外。您还需通过 YARN 服务界面修改
mapreduce.application.classpath
,增加以下配置$HADOOP_COMMON_HOME/lib/juicefs-hadoop.jar
$HADOOP_COMMON_HOME/lib/tools.jarHBase
通过 HBase 服务界面修改
hbase-site.xml
配置:
<property>
<name>hbase.rootdir</name>
<value>jfs://{JFS_NAME}/hbase</value>
</property>
<property>
<name>hbase.wal.dir</name>
<value>hdfs://your-hdfs-uri/hbase-wal</value>
</property>通过 zookeeper 客户端删除
zookeeper.znode.parent
配置的 znode(默认/hbase)注意:此操作将会删除原有 HBase 上面的所有数据
Hive
通过 Hive 服务界面修改
hive.metastore.warehouse.dir
,可修改 Hive 建表默认位置(非必须)jfs://your-jfs-name/your-warehouse-dir
Impala
通过 Impala 服务界面修改 Impala 命令行参数高级配置
此参数可以使用
20/本地挂载磁盘数
来设置,修改此参数主要是为了增加 JuiceFS 的读取 IO 线程数。-num_io_threads_per_rotational_disk=4
Solr
通过 Solr 服务界面修改 Solr 服务环境高级配置代码段
hdfs_data_dir=jfs://your-jfs/solr
最后重启集群,让配置修改生效。