标签：xml -- hadoop yarn Hadoop 集群 3.1 site software
Hadoop集群
第五章 集群配置（一）
一、集群部署规划
由于NameNode、SencondaryNameNode、ResourceManager都非常消耗内存，所以它们不要安装在同一台机器上，至少需要三台虚拟机。
| hadoop102 | hadoop103 | hadoop104 | |
|---|---|---|---|
| hdfs | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
| yarn | NodeManager | ResourceManager NodeManager | NodeManager |
需要配置的文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
二、配置core-site.xml
打开core-site.xml文件：
vim /software/hadoop-3.1.3/etc/hadoop/core-site.xml
在 configuration 标签中添加如下内容：
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/software/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录的静态用户 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
三、配置hdfs-site.xml
打开hdfs-site.xml文件：
vim /software/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
在 configuration 标签中添加如下内容：
<!-- NameNode web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- SecondaryNameNode web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
四、配置yarn-site.xml
打开yarn-site.xml文件：
vim /software/hadoop-3.1.3/etc/hadoop/yarn-site.xml
在 configuration 标签中添加如下内容：
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,
CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
</value>
</property>
五、配置mapred-site.xml
打开mapred-site.xml文件：
vim /software/hadoop-3.1.3/etc/hadoop/mapred-site.xml
在 configuration 标签中添加如下内容：
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
六、分发文件
通过 xsync 脚本分发文件。
1、脚本作用：向其他主机分发文件，方便操作，减少命令输入，以及错误。
2、主要代码
1）进入用户 bin 目录，创建 xsync 文件
vim xsync
2）编写xsync文件
#!/bin/bash
#遍历集群所有机器
for host in 主机名1 主机名2 主机名3
do
echo =========$host=========
#遍历所有目录，挨个发送
for file in $@
do
if [ -e $file ]
then
#获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exist!
fi
done
done
3）为文件添加可执行的权限
chmod +x xsync
4）为hadoop103、hadoop104分发四个配置文件
xsync /software/hadoop-3.1.3/etc/hadoop/core-site.xml
xsync /software/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
xsync /software/hadoop-3.1.3/etc/hadoop/yarn-site.xml
xsync /software/hadoop-3.1.3/etc/hadoop/mapred-site.xml
加入小猿QQ群：947117563，一起玩转大数据！！
标签：xml,--,hadoop,yarn,Hadoop,集群,3.1,site,software 来源： https://www.cnblogs.com/qgb-xy/p/14590055.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。