在Kubernetes(K8s)上搭建基于Zookeeper的Flink高可用集群(HA)

---

版本

• Flink-1.7.2
• Hadoop-2.6.0
• Docker 18.03.1-ce
• K8s v1.10.4
• 系统-CentOS 7

非HA搭建

该过程Flink官网有提供，也比较简单，可以点击查看，也可以参考我这里的配置文件

Flink HA搭建

• 在搭建之前，强烈建议先熟悉一下非K8s时正常的Flink HA搭建的过程，主要知道要修改/添加哪些配置文件。也可以参考中文版的

• 说明一下：

官方没有提供在K8s上搭建基于ZK的HA的镜像的脚本文件，所以我们需要自己修改构建Flink镜像的相关配置。我们可以 参考/借用 官方提供Flink非HA的构建脚本。根据需要搭建的版本，我们以这个目录作为我们添加HA配置的基础。

• 开始操作：

修改该目录下的docker-entrypoint.sh，添加如下配置（可以做一下非空判断，下面就直接echo了）：

echo "high-availability: ${HIGH_AVAILABILITY}" >> "${CONF_FILE}"
echo "high-availability.zookeeper.quorum: ${HIGH_AVAILABILITY_ZOOKEEPER_QUORUM}" >> "${CONF_FILE}"
echo "high-availability.zookeeper.path.root: ${HIGH_AVAILABILITY_ZOOKEEPER_PATH_ROOT}" >> "${CONF_FILE}"
echo "high-availability.cluster-id: ${HIGH_AVAILABILITY_CLUSTER_ID}" >> "${CONF_FILE}"
echo "high-availability.storageDir: ${HIGH_AVAILABILITY_STORAGEDIR}" >> "${CONF_FILE}"

修改后的docker-entrypoint.sh可以参考我这里的

然后通过该目录下的Dockerfile文件构建属于自己的镜像（这里就过多介绍构建过程啦），我构建出来的镜像名：leen/flink-ha:v1，在hub.docker上可以拉取到

然后部署用这两个配置文件执行下面命令就可以搭建Flink HA集群了

kubectl apply -f jobmanager-statefulset.yaml -f taskmanager-deployment.yaml