问答1 问答5 问答50 问答500 问答1000
网友互助专业问答平台

Flink的standAlone模式的HA环境

提问网友 发布时间:2022-12-05 00:34
声明:本网页内容为用户发布,旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
E-MAIL:1656858193@qq.com
1个回答
热心网友 回答时间:2023-06-28 05:49
在上一节当中,我们实现了flink的standAlone模式的环境安装,并且能够正常提交任务到集群上面去,我们的主节点是jobManager,但是唯一的问题是jobmanager是单节点的,必然会有单节点故障问题的产生,所以我们也可以在standAlone模式下,借助于zk,将我们的jobManager实现成为高可用的模式

首先停止Flink的standAlone模式,并启动zk和hadoop集群服务

node01执行以下命令修改Flink的配置文件

cd /kkb/install/flink-1.8.1/conf

vim flink-conf.yaml

jobmanager.rpc.address: node01

high-availability: zookeeper

high-availability.storageDir: hdfs://node01:8020/flink

high-availability.zookeeper.path.root: /flink

high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:218

node01执行以下命令修改master配置文件

cd /kkb/install/flink-1.8.1/conf

vim masters

node01:8081

node02:8081

node01执行以下命令修改slaves配置文件

cd /kkb/install/flink-1.8.1/conf

vim slaves

node01

node02

node03

node01执行以下命令,在hdfs上面创建文件夹

hdfs dfs -mkdir -p /flink

将node01服务器修改后的配置文件拷贝到其他服务器上面去

node01执行以下命令拷贝配置文件

cd /kkb/install/flink-1.8.1/conf

scp flink-conf.yaml masters slaves node02:$PWD

scp flink-conf.yaml masters slaves node03:$PWD

node01执行以下命令启动flink集群

cd /kkb/install/flink-1.8.1

bin/start-cluster.sh

访问node01服务器的web界面

http://node01:8081/#/overview

访问node02服务器的web界面

http://node02:8081/#/overview

注意:一旦访问node02的web界面,会发现我们的web界面会自动跳转到node01的web界面上,因为此时,我们的node01服务器才是真正的active状态的节点

将node01服务器的jobManager进程杀死,然后过一段时间之后查看node02的jobManager是否能够访问

注意: JobManager发生切换时,TaskManager也会跟着发生重启,这其实是一个隐患问题

在HA这种模式下,提交任务与standAlone单节点模式提交任务是一样的,即使JobManager服务器宕机了也没有关系,会自动进行切换

node01执行以下命令启动socket服务,输入单词

nc -lk 9000

node01启动flink的自带的单词统计程序,接受输入的socket数据并进行统计

cd /kkb/install/flink-1.8.1

bin/flink run examples/streaming/SocketWindowWordCount.jar --hostname node01 --port 9000

node01服务器执行以下命令查看统计结果

cd /kkb/install/flink-1.8.1/log

tail -200f flink-hadoop-taskexecutor-0-node01.kaikeba.com.out

本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。

信息系统管理工程师与系统集成项目管理工程师区别 自考大专最快多久可以拿证 丙戊酸钠的7种副作用 铅笔扎手背上该怎么处理 被限制登录,一般要多久才能自动解除 摁电源键和下音量键后出现立即重启,摁立即重启后还是开不了机 西瓜视频提现绑定支付宝取消了吗 西瓜视频解绑支付宝要验证码吗 西瓜视频解绑了微信能提现了吗 中国联通发行了国寿专享卡吗? 福享卡19元套餐流量超出后怎么收费? “国寿专享卡”套餐费用如何收取? 0.78度一天的海尔冰箱是真的吗 海尔员工为什么不愿意砸冰箱 海尔砸冰箱对利益相关者有影响吗 正在安装windows从96变成88 深圳刑事案件中设局借手机后突然逃跑,构成抢夺罪还是抢劫罪? 怎么教一个月幼猫舔食 怎么引导幼猫吃东西 怎么引导小猫吃东西 无锡成宇物流有限公司怎么样? Flink1.8 集群搭建完全指南(3):SASL的安装 我的CAD2007的申请号是LC9G GPJQ A9S7 VPP3请问激活码什么,哪位高手帮... ...正负6伏供电,可是为什么输出最多只能到3VPP,有可能是哪些原因造成... 家中灯隔一段时间就会闪一下,但是没有熄,什么原因? 节能灯在断电情况下为什么会隔一段时间会闪亮一下 2017湖北一本线为什么这么低 支付宝设制了密码发红包都要密码怎么删除掉密码 来月经全身酸痛怎么回事?来月经全身酸痛怎么办? 来例假第一天全身无力双腿酸疼? 我国少数民族和民族地区的特点主要表现为 高压锅蒸包子多久能熟 高压锅蒸包子的时长 老师批改作业的精彩评语 鸡蛋茶每天早上喝可以吗 鸡蛋茶每天早上喝行不行 早上胃反酸喝鸡蛋茶可以吗 早上胃反酸能不能喝鸡蛋茶 光遇欧若拉季礼包怎么买 光遇买东西可以用京东支付吗 丰田皮卡车哪一个好 皮卡界“陆巡”,2.0T柴油+自动挡,价格实惠,你会选择它吗? 描写蜻蜓外貌的句子(38句) 为什么微信陌生人里面看不到照片
Top