标签：lang Exception java Users jar quarter2 leo spark data

解决问题

spark-submit 提交任务，报包找不到异常。Exception in thread “main” java.lang.NoClassDefFoundError: com/alibaba/fastjson/TypeReference

解决思路

集群环境中没有，集群的worker节点找不到这个包

解决方法

1、提交命令使用 --jars 参数带上包
官方描述：
application-jar: Path to a bundled jar including your application and all dependencies. The URL must be globally visible inside of your cluster, for instance, an hdfs:// path or a file:// path that is present on all nodes. hdfs://localhost:8020

spark-submit
–jars /Users/hezepei/lib/fastjson-1.2.47.jar
–class com.leo.etl.ParseJsonData
–master yarn
/Users/hezepei/workspace/leo-quarter2/target/leo-quarter2-1.0.jar
/data/leo-quarter2/data/mocktest
/data/leo-quarter2/data/out

多个包简写：
spark-submit
–jars $(echo /Users/hezepei/lib/*.jar | tr ’ ’ ‘,’)
–class com.leo.etl.ParseJsonData
–master yarn
/Users/hezepei/workspace/leo-quarter2/target/leo-quarter2-1.0.jar
/data/leo-quarter2/data/mocktest
/data/leo-quarter2/data/out

2、配置文件中设置HDFS中集群的包路径，spark程序跑任务默认去这个路径找。将jar包 put到这个路径。

标签：lang,Exception,java,Users,jar,quarter2,leo,spark,data
来源： https://blog.csdn.net/weixin_42961644/article/details/115090167

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。