From eccaf2fe57dd5f830d587f739b46cee030f54e1b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?alantong=28=E4=BD=9F=E6=98=8E=E8=BE=BE=29?= Date: Fri, 6 Nov 2020 16:33:02 +0800 Subject: [PATCH] change the version, add the crc32c config readme --- README.md | 7 ++++++- pom.xml | 2 +- src/main/java/org/apache/hadoop/fs/CosNConfigKeys.java | 2 +- 3 files changed, 8 insertions(+), 3 deletions(-) diff --git a/README.md b/README.md index 193328d0..6833fd57 100644 --- a/README.md +++ b/README.md @@ -13,7 +13,11 @@ Linux 或 Windows 系统 ### 软件依赖 Hadoop-2.6.0及以上版本 -**NOTE**:目前hadoop-cos已经正式被Apache Hadoop-3.3.0官方集成:https://hadoop.apache.org/docs/r3.3.0/hadoop-cos/cloud-storage/index.html +**NOTE**: + +1. 目前hadoop-cos已经正式被Apache Hadoop-3.3.0官方集成:https://hadoop.apache.org/docs/r3.3.0/hadoop-cos/cloud-storage/index.html。 +2. 在Apache Hadoop-3.3.0 之前版本或CDH集成Hadoop-cos jar 包后,需要重启NameNode才能加载到jar包。。 +3. 需要编译具体Hadoop版本的jar包可更改pom文件中hadoop.version进行编译。 ## 安装方法 @@ -219,6 +223,7 @@ done |fs.cosn.server-side-encryption.algorithm | 配置COS服务端加密算法,支持SSE-C和SSE-COS,默认为空,不加密| 无 | 否| |fs.cosn.server-side-encryption.key | 当开启COS的SSE-C服务端加密算法时,必须配置SSE-C的密钥,密钥格式为base64编码的AES-256密钥,默认为空,不加密| 无 | 否| |fs.cosn.crc64.checksum.enabled | 是否开启CRC64校验。默认不开启,此时无法使用`hadoop fs -checksum`命令获取文件的CRC64校验值。| false | 否 | +|fs.cosn.crc32c.checksum.enabled | 是否开启CRC32c校验。默认不开启,此时无法使用hadoop fs -checksum命令获取文件的CRC32C校验值。只能开启一种校验方式| false | 否 | |fs.cosn.traffic.limit | 上传下载带宽的控制选项,819200 ~ 838860800,单位为bits/s。默认值为-1,表示不限制。 | -1 | 否 | ### 开始使用 diff --git a/pom.xml b/pom.xml index df127968..79c85a0c 100644 --- a/pom.xml +++ b/pom.xml @@ -6,7 +6,7 @@ com.qcloud.cos hadoop-cos - 3.1.0-5.8.6 + 3.1.0-5.8.7 jar Apache Hadoop Tencent Qcloud COS Support diff --git a/src/main/java/org/apache/hadoop/fs/CosNConfigKeys.java b/src/main/java/org/apache/hadoop/fs/CosNConfigKeys.java index e1f55731..69562df9 100644 --- a/src/main/java/org/apache/hadoop/fs/CosNConfigKeys.java +++ b/src/main/java/org/apache/hadoop/fs/CosNConfigKeys.java @@ -10,7 +10,7 @@ @InterfaceStability.Unstable public class CosNConfigKeys extends CommonConfigurationKeys { public static final String USER_AGENT = "fs.cosn.user.agent"; - public static final String DEFAULT_USER_AGENT = "cos-hadoop-plugin-v5.8.6"; + public static final String DEFAULT_USER_AGENT = "cos-hadoop-plugin-v5.8.7"; public static final String TENCENT_EMR_VERSION_KEY = "fs.emr.version";