标签：部署 hadoop yarn Dspark Yarn Spark hadoop102 spark history

问题

为防止因为虚拟机内存过少，进程被杀死，需要关闭yarn的内存检测

yarn-site.xml

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

配置日志服务和连接yarn

spark-env.sh

--指向yarn的配置文件所在目录
HADOOP_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop
--日志服务配置
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/spark-job-log"

spark-default.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop102:9000/spark-job-log

hdfs://hadoop102:9000/spark-job-log 目录必须提前存在, 名字随意

yarn历史服务器界面无法直接跳转到spark的历史服务界面

spark-default.conf

spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

spark确实Lzo等jar包报错

spark-default.conf

spark.jars=/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar

标签：部署,hadoop,yarn,Dspark,Yarn,Spark,hadoop102,spark,history
来源： https://www.cnblogs.com/yangxusun9/p/12827957.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。