标签：插件 IntelliJ scala 代码 Scala WordCount IDEA Maven
教程目录
0x00 教程内容
- 新建Maven项目
- 编写WordCount代码
- 校验结果
实验前提：
a. 安装好了windows本地的Scala，直接解压安装包也行
b. 安装好了IDEA的scala插件，教程：IntelliJ IDEA编写Scala代码（安装Scala插件）
c. 安装好了JDK与Maven，直接使用IDEA内置的Maven也可以
1. 新建Maven项目
a. 新建一个Maven项目，选择好JDK，然后其他的默认或者自己决定
2. 项目配置
a. 设置编写scala代码的文件夹
打开src/main，建一个scala文件夹（与java同级）
b. 标记scala文件夹为资源文件夹
右击scala文件夹，选择Mark Directory as，选择第一个Sources Root，然后文件夹变成了蓝色。
c. 将Language level改为8（我使用的JDK为8，所以为8，如果是7则用7）
点击IDEA右上角放大镜左边的按钮（Project Structure），或者快捷键ctrl + shift + alt + S ，点击Modules：
d. 引入Scala的SDK
3. 引入项目的依赖
a. 在pom.xml文件中添加依赖并Reimport一下：
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
1. 新建包
a. 在scala文件夹建com.shaonaiyi包
2. 编写scala代码
a. 右击包名，选择New一个Scala Class（如果没有引入Scala的SDK，是建不了的）
b. 完整代码：
package com.shaonaiyi
import org.apache.spark.{SparkConf, SparkContext}
/**
* @Auther: 邵奈一
* @Date: 2019/03/28 下午 3:16
* @Description: IntelliJ IDEA开发Spark案例之WordCount
*/
object WordCountLocal {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setAppName("WordCountLocal")
conf.setMaster("local")
val sparkContext = new SparkContext(conf)
val textFileRDD = sparkContext.textFile("src/main/resources/word.txt")
val wordRDD = textFileRDD.flatMap(line => line.split(" "))
val pairWordRDD = wordRDD.map(word => (word, 1))
val wordCountRDD = pairWordRDD.reduceByKey((a, b) => a + b)
wordCountRDD.saveAsTextFile("src/main/resources/wordcount")
}
}
1. 统计文件准备
a. 新建word.txt文件放于src/main/resources/路径下
shao shao shao
nai yi yi nai
hello hello hi
b. 根据文本内容，如果没有错误的话，结果应该是：
shao=>3次，
nai=>2次，
yi=>2次，
hello=>3次，
hi=>1次，
2. 统计结果
a. 执行，可以看到正确的结果：
3. 问题解决
在操作的过程中，可能会遇到下面两个报错：
原因是因为Windows本地没有运行环境引起的，此时可以参考教程：Windows本地安装Hadoop，搞定之后重新执行即可。当然，如果不想在Windows本地执行，我们可以将此项目打包到集群中运行。
1. 执行代码的修改
a. 教程中，我复制了一份代码出来，类为：WordCount。
b. 因为我们是要打包到集群中执行，所以需要将执行的方式修改掉，此处注释掉 conf.setMaster("local") 这行代码：
c. 输入输出路径设置成了以参数的方式传进来，所以修改原本的两句代码为：
...
val textFileRDD = sparkContext.textFile(args(0))
...
wordCountRDD.saveAsTextFile(args(1))
2. 打包相关的修改
a. 添加Maven编译的插件和打包Scala代码的插件，添加在</project>标签里，根据实际情况，要放对位置：
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<testExcludes>
<testExclude>/src/test/**</testExclude>
</testExcludes>
<encoding>utf-8</encoding>
</configuration>
</plugin>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.1.6</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
插件解释：
maven-compiler-plugin插件可以指定我们源码的版本和编译后的版本，因为集群中使用的是 JDK8，所以这里写1.8，如果是1.7，需要指定为1.7，不然会报错。scala-maven-plugin插件是编译、测试、运行Scala代码所需要的，不然Scala代码不会打包进来。goal标签也可以加上：testCompile，指编译测试的代码。
b. 除了加入插件，我们还可以将 Spark 相关的依赖设置成 provided，因为集群上已经有了 Spark 相关的jar包，所以我们是不需要将它们打进我们需要生成的 jar 包的。（这里加上是为了养成好习惯，虽然这里加不加都不影响），然后就可以打包了，直接双击 package 即可：
3. HDFS数据准备
a. 如果是想要测试服务器本地的文件，需要将文件放到所有机器节点上去。
比如可以这样执行：
spark-submit \
--master spark://master:7077 \
--class com.shaonaiyi.WordCount \
~/jar/spark-wordcount-1.0-SNAPSHOT.jar \
~/datas/word.txt \
~/wc
说明：\ 表示换行的意思，注意\右边不能有空格。如果需要重新跑的话，需要将所有机器节点的输出路径都删除。
b. 此处演示统计 HDFS 上的数据，并且统计结果也是存放到 HDFS ，比如现在我的数据在 HDFS上是 /files/put.txt，内容为：
shao nai yi
nai nai yi yi
shao nai nai
c. 执行：
spark-submit \
--master spark://master:7077 \
--class com.shaonaiyi.WordCount \
~/jar/spark-wordcount-1.0-SNAPSHOT.jar \
hdfs://master:9999/files/put.txt \
hdfs://master:9999/wc
注意：hdfs://master:9999 为 HDFS 的 core-site.xml 文件中配置的端口。
4. 查看执行结果
a. 执行后可以查看到 HDFS 上的统计结果：
- 本教程比较简单，实现了Windows本地的WordCount例子，需要学习Scala编程语言
- 编写Scala语言，还需要在IDEA里面安装好Scala插件。
作者简介：邵奈一
全栈工程师、市场洞察者、专栏编辑
| 公众号 | 微信 | 微博 | CSDN | 简书 |
福利：
邵奈一的技术博客导航
邵奈一 原创不易，如转载请标明出处。
标签：插件,IntelliJ,scala,代码,Scala,WordCount,IDEA,Maven 来源： https://blog.51cto.com/u_12564104/2896625
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。