标签：java scala hadoop 集群 版本 spark 2016

刚开始部署分布式计算的时候，常常会遇到这样的问题；如何搭配不同软件的版本呢？我们来梳理一下他们的关系。

1首先hadoop的底层开发是基于java开发的，自然是依赖于java的版本。

2另外spark的底层开发是基于scala开发的，而scala是一种范式语言，两者的共同点是都需要在JVM上运行。范式语言的好处是可以支持java,或者python。不会受到开发语言的过分限制。

3目前hadoop有两个大版本，hadoop2.x 和 hadoop3.x；关于两者的区别，可以移步了解下。对于新手自然推荐先使用hadoop2.x；当熟练之后再考虑搭建hadoop3.x提升效率。这里要特别注意的是hadoop2.x都是基于java7开发的，这是最大的前提，hadoop3.x是基于java8开发的。这也是版本之间最大的区别。虽然都是java,但是他们之间的区别还是需要注意的。

4选择好hadoop版本之后，就是选择相搭配的scala+spark；在spark官网有这样一句话，非常清楚告诉我们选择的遵循规律。

总结一下如下表所示，这里我依然推荐新手选择低版本配置，情况1最佳。这样遇到问题也好解决。

综上所述我们基本上就确定了版本的配置问题。

可能还会有人问具体的版本配置没有限制要求么？我们先看一下大神的版本配置：

java7--Hadoop2.6.4(2016年2月12日)--scala2.11.6(2015年2月26日)--spark2.0.0(2016年7月26日)

java8--Hadoop3.1.1(2019年)--scala2.11.x(2016年2月12日)--spark2.3.2(2016年2月12日)

由上可见，这个集群配置还是相对非常宽松的。注意好上面提出的点，可以大胆选择配置。

标签：java,scala,hadoop,集群,版本,spark,2016
来源： https://www.cnblogs.com/bobyin/p/13234665.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。