Skip to main content

CDH

使用 parcel 方式安装 JuiceFS

  1. 下载 parcel-4.5.4 和 csd

将 csd 文件放入 ClouderaManager 节点的 /opt/cloudera/csd 目录，将 parcel 文件解压并将内容放入 /opt/cloudera/parcel-repo 目录。

  1. 重启 ClouderaManager
service cloudera-scm-server restart
  1. 激活 parcel

打开CDH管理界面 -> Hosts -> Check for New Parcels -> JUICEFS -> Distribute -> Active

  1. 添加服务

打开CDH管理界面 -> 集群名 -> Add Service -> JuiceFS -> 选择安装机器 -> 配置缓存目录(cache_dirs)

  1. 部署 jar 文件

  1. 升级 JuiceFS

如果需要升级，则下载新的 parcel 文件，并进行第 3 步

通过 ClouderaManager 修改配置

  • Hadoop

    CDH 5.x

    通过 HDFS 服务界面修改 core-site.xml

    ../images/core-site.png

    常用配置

    fs.jfs.impl=com.juicefs.JuiceFileSystem
    fs.AbstractFileSystem.jfs.impl=com.juicefs.JuiceFS
    juicefs.cache-size=10240
    juicefs.cache-dir=xxxxxx
    juicefs.cache-group=yarn
    juicefs.discover-nodes-url=yarn
    juicefs.accesskey=xxxxxx
    juicefs.secretkey=xxxxxx
    juicefs.token=xxxxxx
    juicefs.access-log=/tmp/juicefs.access.log

    CDH 6.x 及以上(CDP)

    除了上述 5.x 内容外。您还需通过 YARN 服务界面修改 mapreduce.application.classpath，增加以下配置

    $HADOOP_COMMON_HOME/lib/juicefs-hadoop.jar
    $HADOOP_COMMON_HOME/lib/tools.jar

  • HBase

    通过 HBase 服务界面修改 hbase-site.xml

    ../images/hbase-site.png

    配置：

    <property>
        <name>hbase.rootdir</name>
        <value>jfs://{JFS_NAME}/hbase</value>
    </property>
    <property>
        <name>hbase.wal.dir</name>
        <value>hdfs://your-hdfs-uri/hbase-wal</value>
    </property>

    通过 zookeeper 客户端删除 zookeeper.znode.parent 配置的 znode(默认/hbase)

    注意：此操作将会删除原有 HBase 上面的所有数据

  • Hive

    通过 Hive 服务界面修改 hive.metastore.warehouse.dir，可修改 Hive 建表默认位置（非必须）

    jfs://your-jfs-name/your-warehouse-dir

  • Impala

    通过 Impala 服务界面修改 Impala 命令行参数高级配置

    此参数可以使用 20/本地挂载磁盘数 来设置，修改此参数主要是为了增加 JuiceFS 的读取 IO 线程数。

    -num_io_threads_per_rotational_disk=4

  • Solr

    通过 Solr 服务界面修改 Solr 服务环境高级配置代码段

    hdfs_data_dir=jfs://your-jfs/solr

最后重启集群，让配置修改生效。