提交flink程序到集群上

2022-01-05 23:02:29 阅读：195 来源： 互联网

标签：rt gzh flink jar bigdata yarn 集群提交

这里我演示的是 yarn的cluster模式

首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。
这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的)
在这里插入图片描述
执行完上面三步后：项目的下面会出现target文件夹

这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以直接将
较小的jar上传到环境上执行。

如果测试环境上没有程序所需资源jar包，则需要将较大的jar包上传到环境上执行。

两个jar之所以不一样大小，就是一个包含程序所需资源jar包，一个不包含程序所
需资源jar包。

在这里插入图片描述
将jar上传到一个目录下：

pwd 复制目录

集群上执行程序的命令：

我是在flink的bin目录下执行的程序
-m 执行执行模式
-d 后台运行
-c 全路径包名

./flink run \
-m yarn-cluster \
-d \
-c com.zw.bigdata.qy.logs.writer.PushLogToOssParquetWrite \
/opt/cloudera/parcels/FLINK/lib/flink/examples/bigdata-cps-gzh-rt/cps-gzh-rt-1.0-SNAPSHOT-big.jar

如果资源不够用：

增加运行资源，重新执行。(如果不行可以再扩大至4096)
./flink run \
-m yarn-cluster -ys 1 -yjm 2048 -ytm 2048 \
-d \
-c com.zw.bigdata.qy.logs.writer.PushLogToOssParquetWrite \
/opt/cloudera/parcels/FLINK/lib/flink/examples/bigdata-cps-gzh-rt/2022-01-05/cps-gzh-rt-1.0-SNAPSHOT-big.jar

命令执行成功后：

记得在输出的日志中找到一个web的url
例如:node-01:44387
这个是用来访问flink的web客户端的

忘记了程序执行产生的访问端口：

tail -f flink-root-client-test001.log  
到flink的安装目录下进行查看本地日志，中会有相关信息
test003:44987 of application 'application_1639462740764_20402'  JobID ccc8c6b0b83ffc13b27bde276b04d4c4

如果flink客户端没有实际有用的日志：可到yarn上看日志

在这里插入图片描述

标签：rt,gzh,flink,jar,bigdata,yarn,集群,提交
来源： https://blog.csdn.net/weixin_46609492/article/details/122301285

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

提交flink程序到集群上