标签：bin scala hadoop 本地 apache org spark 历程

本地使用scala开发spark，首先需要安装和配置scala，spark以及hadoop环境。

scala安装

在scala官网下载，https://www.scala-lang.org/download/ 我选择的是scala 2.13版本，下载完成后，scala配置到系统的path中去，配置方法像jdk那种。

spark和hadoop环境安装

下载spark的地址：http://spark.apache.org/downloads.html ，入下图所示，我下载是图中的spark-3.0.3-bin-hadoop2.7.tgz，根据文件名称我们可以知道，下载hadoop必须要hadoop 2.7才可以。

下载hadoop地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/ 。

spark与hadoop下载完毕后，他们两者放到指定目录下解压即可，然后对应的bin配置在path中。

解压spark，我的spark解压的路径为：C:\workspace\spark-3.0.3-bin-hadoop2.7
解压hadoop，解压路径为： C:\workspace\hadoop-2.7.1

然后在系统中的环境变量中配置SPARK_HOME为

在path中添加
%SPARK_HOME%\bin，%SPARK_HOME%\sbin

Hadoop也是如此，在环境变量中HADOOP_HOME，然后在path中添加%HADOOP_HOME%\bin即可。

在配置完成后，在cmd中运行spark-shell时会出现没有winutils.exe的错误，根据如下的链接，下载被拷贝到hadoop的bin目录下（我的拷贝到C:\workspace\hadoop-2.7.1\bin目录下了）
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

idea中运行demo程序

pom文件中需要引入如下的依赖

<spark.version>2.3.1</spark.version>
<hadoop.version>2.7.1</hadoop.version>


<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-hive_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-streaming_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-common</artifactId>
	<version>${hadoop.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql-kafka-0-10_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>io.netty</groupId>
	<artifactId>netty-all</artifactId>
	<version>4.1.47.Final</version>
</dependency>
<dependency>
	<groupId>org.apache.commons</groupId>
	<artifactId>commons-lang3</artifactId>
	<version>3.10</version>
</dependency>

创建项目选择的scala版本要与pom中指定的scala版本要保持一致，否则会报错

如下是在idea中创建的demo程序，程序是读取文件中的十行内容并打印出来

import org.apache.spark.{SparkConf, SparkContext}

object CountJob {

  def main(args: Array[String]): Unit = {
    println(System.getenv("HADOOP_HOME"))
    val conf = new SparkConf().setAppName("countJob").setMaster("local[*]")
    val sc = new SparkContext(conf)

    val rdd5 = sc.textFile("data/access.log")
    rdd5.take(10).foreach(println(_))
  }
}

标签：bin,scala,hadoop,本地,apache,org,spark,历程
来源： https://blog.csdn.net/Hello_Ray/article/details/118469589

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。