Skip to main content

JuiceFS Java 客户端参数配置

将以下配置参数加入到 Hadoop 配置文件 core-site.xml 中。

核心配置

配置项默认值描述
fs.jfs.implcom.juicefs.JuiceFileSystem指定 jfs:// 这个存储类型所使用的实现。
fs.AbstractFileSystem.jfs.implcom.juicefs.JuiceFSMR 等应用需要指定 AbstractFileSystem 的实现
juicefs.token访问 JuiceFS 的凭证,在控制台的设置页或者访问控制页可以看到。
juicefs.accesskey对象存储的访问ID(Access Key ID)。如果计算节点已经有访问对象存储的权限,则无需提供。
juicefs.secretkey对象存储的私钥 (Secret Access Key)。如果计算节点已经有访问对象存储的权限,则无需提供。

缓存配置

配置项默认值描述
juicefs.cache-dir本地缓存目录,可以指定多个文件夹,用冒号 : 分隔,也可以使用通配符(比如 * )。通常应用没有权限创建这些目录,需要手动创建并给予 0777 权限,便于多个应用共享缓存数据
juicefs.cache-size0磁盘缓存容量,单位 MB。如果配置多个目录,这是所有缓存目录的空间总和。
juicefs.cache-replica1磁盘缓存副本数。
juicefs.cache-group配置此项则使用 P2P cache,各个相同 group 之间的 JuiceFS 客户端可以共享缓存,推荐在主要使用 Spark 的环境使用此配置,因为 Spark 在单个任务处理多个小文件时,计算没有数据本地化。
juicefs.cache-full-blocktrue是否缓存连续读数据,在磁盘空间有限或者磁盘性能低下的时候,设置为 false。
juicefs.memory-size300预读最大使用内存量,单位 MB。
juicefs.auto-create-cache-dirtrue是否自动创建缓存目录。为 false 时,它会忽略不存在的缓存目录。
juicefs.free-space0.2最低剩余磁盘空间比例,当剩余磁盘空间低于这个比例时,它会清空缓存数据以释放空间,默认 20%。
juicefs.metacachetrue是否启用元数据缓存。
juicefs.discover-nodes-url指定发现集群计算节点列表的方式,每 10 分钟刷新一次。YARN: yarnSpark Standalone:http://spark-master:web-ui-port/json/Spark ThriftServer:http://thrift-server:4040/api/v1/applications/Presto:http://coordinator:discovery-uri-port/v1/service/presto/

其他配置

配置项默认值描述
juicefs.access-log访问日志的路径。需要所有应用都有写权限,可以配置为 /tmp/juicefs.access.log 。该文件会自动轮转,保留最近 7 个文件。
juicefs.debugfalse是否启用 Debug 级别的日志。
juicefs.max-uploads50单进程写入对象存储最大并发数
juicefs.superuserhdfs超级用户
juicefs.bucket指定存储桶名称
juicefs.upload-limit0单进程写入对象存储速度限制,单位 byte/s
juicefs.object-timeout5访问对象存储单次读请求的最长时间,单位 秒
juicefs.externalfalse是否使用公网域名访问对象存储
juicefs.rsaPrivKeyPath用于数据存储加密的 RSA 密钥路径
juicefs.rsaPassphase用于数据存储加密的 RSA 密钥密码
juicefs.file.checksumfalse用于 hadoop distcp 时是否验证 checksum
juicefs.grouping指定 group 文件放置位置,用来配置用户组和用户映射信息,推荐配置在 jfs://your-jfs-name/etc/group。文件内容格式:groupname:username1,username2

当使用多个 JuiceFS 文件系统时,上述所有配置项均可对单个文件系统指定,需要将文件系统名字 JFS_NAME 放在配置项的中间,比如:

<property>
<name>juicefs.{JFS_NAME}.token</name>
<value>false</value>
</property>