ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

重新编译Spark2.4.0 Parcels包

2021-05-11 16:59:03  阅读:241  来源: 互联网

标签:parcel p0.1041012 SPARK2 cdh5.13 编译 Spark2.4 cloudera2 Parcels 2.4


1、下载修改的parcel包

2、使用压缩工具打开parcel、替换需要的jar包,改案例中替换和新增的jar如下:

httpclient-4.5.6.jar

parquet-format-2.5.0.jar

3、根据文件内容生成hash

certutil -hashfile C:\Users\15755\Desktop\parquet\SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel SHA1

4、修改下面三个文件hash值

a、manifest.json中的"hash"

b、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1到服务器、替换之前的yum包

5、上传parcel、manifest.json、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1到服务器、替换之前的yum包

6、删除parcels-cache、/opt/cloudera/parcels/.flood下与SPARK2相关的文件,重启cm-agent

ansible cdh230 -m shell -a "rm -fr /opt/cloudera/parcels/.flood"

ansible cdh230 -m shell -a "service cloudera-scm-agent restart"

7、在CM中操作

a、停用、删除SPARK2的parcel包

b、下载、分配、激活

标签:parcel,p0.1041012,SPARK2,cdh5.13,编译,Spark2.4,cloudera2,Parcels,2.4
来源: https://blog.csdn.net/qq_40367999/article/details/116660838

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有