Flink集群搭建——Standalone完全分布式集群环境搭建

以下是Flink集群搭建——Standalone完全分布式集群环境搭建的详细步骤：

在架构设计上，Flink集群由客户端、JobManager和TaskManager组成。客户端提交任务给JobManager，后者负责管理计算资源并将其分发给TaskManager执行。TaskManager通过周期性汇报与JobManager保持状态同步。

在集群规划方面，选择三台服务器，其中一台作为Master和Slave，其余两台作为Slave。服务器列表如下：

服务器: node1(Master + Slave)

服务器: node2(Slave)

服务器: node3(Slave)

安装步骤包括：

1. 将Flink压缩包上传至指定目录。

2. 将Flink解压缩至 /export/server 目录。

3. 编辑conf目录下的flink-conf.yaml配置文件，指定JobManager的slot和parallelism参数。

4. 编辑workers配置文件，指定TaskManager所在的节点。

5. 修改系统环境变量配置文件 /etc/profile，添加HADOOP_CONF_DIR目录。

6. 将/etc/profile文件分发至其他两台节点。

7. 每个节点重新加载环境变量。

8. 将配置好的Flink目录分发给其他两台节点。

9. 启动Flink集群。

10. 使用jps查看进程信息。

11. 启动HDFS集群。

12. 在HDFS中创建/test/input目录。

13. 将wordcount.txt文件上传至HDFS的/test/input目录。

14. 运行测试任务。

注意：在Flink与Hadoop整合时，需上传flink-shaded-hadoop-2-uber-2.7.5-10.0.jar到Flink安装目录的lib目录下。若使用Hadoop3，则无需上传此jar包。确保将jar包上传至所有TaskManager节点，并重启集群。

15. 访问Flink Web UI界面，端口号为node1:8081。

在集群管理上，提供启动和停止集群的命令：

启动：./bin/start-cluster.sh

停止：./bin/stop-cluster.sh

如需重启或扩容集群，执行以下命令：

启动：./bin/start-cluster.sh

停止：./bin/stop-cluster.sh

bin/jobmanager.sh start

bin/jobmanager.sh stop

bin/taskmanager.sh start

bin/taskmanager.sh stop

以上步骤详细描述了Flink集群的搭建过程，包括架构设计、集群规划、安装步骤、启动与停止操作，以及集群的重启或扩容管理。

本文如未解决您的问题请添加抖音号：51dongshi（抖音搜索懂视），直接咨询即可。