标签：__ scala 部署 Mac export spark2.4 HOME spark local
环境信息
- 操作系统：macOS Mojave 10.14.6
- JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)
前提条件
请参考《Mac部署hadoop3(伪分布式)》一文，在Mac上事先部署好hadoop3
部署步骤
- 安装scala：
brew install scala
- 配置scala的环境变量，打开文件~/.bash_profile，增加以下配置内容：
export SCALA_HOME=/usr/local/Cellar/scala/2.13.0
export PATH=$PATH:$SCALA_HOME/bin
- 执行命令source ~/.bash_profile，再验证scala：
base) zhaoqindeMBP:~ zhaoqin$ scala -version
Scala code runner version 2.13.0 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.
- 下载spark，地址是：http://spark.apache.org/downloads.html ，如下图红框：
- 将下载的文件在/usr/local/目录下解压，并将文件夹名字从spark-2.4.4-bin-hadoop2.7改为spark
- 配置spark的环境变量，打开文件~/.bash_profile，增加以下配置内容：
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
- 执行命令source ~/.bash_profile使配置生效；
- 打开文件spark/conf/spark-env.sh，在尾部增加以下三行：
export SCALA_HOME=/usr/local/Cellar/scala/2.13.0
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=2G
- 确保hdfs和yarn已经启动，然后执行命令spark-shell，即可启动spark服务：
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.
(base) zhaoqindeMBP:~ zhaoqin$ spark-shell
19/10/27 13:33:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://zhaoqindembp:4040
Spark context available as 'sc' (master = local[*], app id = local-1572154437623).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.4.4
/_/
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
至此，Mac机器上的hadoop和spark都运行起来了，希望本文能给您带来一些参考。
https://github.com/zq2599/blog_demos
标签：__,scala,部署,Mac,export,spark2.4,HOME,spark,local 来源： https://www.cnblogs.com/bolingcavalry/p/13703571.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。