ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

Hadoop安装一套完结

2022-02-07 15:59:02  阅读：137  来源： 互联网

标签：配置文件 hadoop yarn Hadoop sh 集群 完结 安装 HADOOP


目录

HADOOP安装Linux单机版

下载Hadoop

Hadoop3.xx下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

image-20210711200930944

通过FTP上传至Linux

image-20210711203432583

解压缩软件

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置HADOOP环境变量

创建自定义配置文件

vim /etc/profile.d/my_env.sh

配置HADOOP_HOME环境变量

# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使配置生效

source /etc/profile

image-20210711203634369

HADOOP本地运行

创建测试文件

mkdir wcinput
cd wcinput
vim word.txt
# 输入如下测试内容
hadoop yarn
hadoop mapreduce
czs
czs
# 保存退出:wq

执行测试文件

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ wcoutput

查看结果

HADOOP安装Linux集群版

编写集群分发脚本

scp安全拷贝

  • scp 可以实现服务器与服务器之间的数据拷贝。
  • 基本语法：scp -r $pdir/$fname $user@$host:$pdir/$fname
  • 例子：scp -r /opt/module/jdk1.8.0_212 root@hadoop103:/opt/module

rscp

  • rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点
  • 用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去
  • 基本语法rsync -av $pdir/$fname $user@$host:$pdir/$fname -a：归档拷贝 -v：显示复制过程
  • 例子：rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

xscp

通过脚本方式，同步文件

期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

image-20210712181019503

在/home/root/bin目录下创建xsync文件，脚本代码如下vim xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi 
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

image-20210712181226816

修改脚本的可执行权限chmod 777 xsync

image-20210712181302299

配置集群中ssh免密登录

普通ssh连接登录

基本语法：ssh 另一台电脑的 IP 地址

image-20210712182048053

生成公钥和私钥

命令：ssh-keygen -t rsa，然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

image-20210712182239078

image-20210712182358991

将公钥拷贝到要免密登录的目标机器上

命令：ssh-copy-id 目标机器IP

image-20210712182538816

Hadoop集群配置

集群部署规划

  • NameNode和SecondaryNameNode不要安装在同一台服务器
  • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

image-20210712182904575

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

默认配置文件：

image-20210712183014023

自定义配置文件：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

image-20210712183254217

Hadoop集群配置核心

核心配置文件：core-site.xml

# 修改自定义配置文件
vim core-site.xml

<!-- 文件内容如下 -->
<configuration>
     <!-- 指定 NameNode 的地址 -->
     <property>
     	<name>fs.defaultFS</name>
    	<value>hdfs://hadoop102:8020</value>
     </property>
     <!-- 指定 hadoop 数据的存储目录 -->
     <property>
     	<name>hadoop.tmp.dir</name>
     	<value>/opt/module/hadoop-3.1.3/data</value>
     </property>
     <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
     <property>
     	<name>hadoop.http.staticuser.user</name>
     	<value>root</value>
     </property>
</configuration>

HDFS配置文件：hdfs-site.xml

# 修改自定义配置文件
vim hdfs-site.xml

<!-- 文件内容如下 -->
<configuration>
    <!-- nn web 端访问地址-->
    <property>
     	<name>dfs.namenode.http-address</name>
     	<value>hadoop102:9870</value>
     </property>
    <!-- 2nn web 端访问地址-->
     <property>
     	<name>dfs.namenode.secondary.http-address</name>
     	<value>hadoop104:9868</value>
     </property>
</configuration>

YARN配置文件：yarn-site.xml

# 修改自定义配置文件
vim yarn-site.xml

<!-- 文件内容如下 -->
<configuration>
     <!-- 指定 MR 走 shuffle -->
     <property>
     	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
     </property>
     <!-- 指定 ResourceManager 的地址-->
     <property>
     	<name>yarn.resourcemanager.hostname</name>
     	<value>hadoop103</value>
     </property>
     <!-- 环境变量的继承 -->
     <property>
     	<name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
    NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
    RED_HOME</value>
     </property>
</configuration>

MapReduce配置文件：mapred-site.xml

# 修改自定义配置文件
vim mapred-site.xml

<configuration>
	<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 	<property>
 		<name>mapreduce.framework.name</name>
 		<value>yarn</value>
 	</property>
</configuration>

配置workers

  • 该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

image-20210712184719544

集群同步所有节点配置文件

image-20210712184606250

启动Hadoop集群

初始格式化

  • 如果集群是第一次启动，需要在hadoop102节点格式化NameNode，生成data和logs目录，说明格式化成功

  • 格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化

    格式化命令：hdfs namenode -format

image-20210712185054813

启动HDFS

命令：sbin/start-dfs.sh

image-20210712185252624

如果报如下错误是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本，在顶部空白处添加内容，重新启动即可

$ vim sbin/start-dfs.sh
$ vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

image-20210712185531137

同理，如果yarn.sh启动报错，也添加如下配置：

$ vim sbin/start-yarn.sh
$ vim sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

image-20210714083821239

image-20210712190202113

修改配置之后，删除data和logs目录，重新格式化NameNodehdfs namenode -format

在配置了NameNode的节点，启动HDFS：sbin/start-dfs.sh

在配置了 ResourceManager 的节点，启动YARN：sbin/start-yarn.sh

Web端查看HDFS的NameNode，浏览器访问http://hadoop102:9870/

image-20210712200010814

WEB端查看YARN的ResourceManager ，浏览器访问http://hadoop103:8088/

image-20210712200019593

集群基本功能测试

上传文件到集群

命令：hadoop fs -put 文件地址 集群目录地址

hadoop fs -put wcinout/word.txt /input

image-20210712200245483

执行wordcount程序

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 源目录 目标目录

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

如果报错如下，则需配置如下到mapred-site.xml，Hadoop的家目录，重启集群即可

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3/</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3/</value>
</property>

image-20210712201515509

image-20210712201610352

image-20210712201717321

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

配置mapred-site.xml

# 修改自定义配置文件
vim mapred-site.xml

<!-- 添加文件内容如下 -->
<configuration>
    <!-- 历史服务器端地址 -->
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop102:19888</value>
    </property>
</configuration>

image-20210712202131208

集群分发配置

xsync mapred-site.xml

image-20210712202118102

在NameNode服务器上启动历史服务器

mapred --daemon start historyserver

查看历史服务器是否启动

jps

image-20210712202258965

浏览器访问http://hadoop102:19888/jobhistory

image-20210712202339656

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。

image-20210712202434599

配置yarn-site.xml

在NameNode服务器上配置如下

# 修改自定义配置文件
vim yarn-site.xml

<!-- 添加文件内容如下 -->
<configuration>
    <!-- 开启日志聚集功能 -->
    <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property> 
     <name>yarn.log.server.url</name> 
     <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
    </property>
</configuration>

image-20210712202710842

集群分发配置

xsync yarn-site.xml

image-20210712202740778

重启 NodeManager 、ResourceManager 和 HistoryServer

# 关闭
sbin/stop-yarn.sh 
mapred --daemon stop historyserver
# 启动
sbin/start-yarn.sh 
mapred --daemon start historyserver

删除并重新执行wordcount程序查看日志

历史服务器地址http://hadoop102:19888/jobhistory

image-20210712203129131

image-20210712203142551

image-20210712203152554

集群启动/停止方式总结

各个模块分开启动/停止（配置 ssh 是前提）常用

整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

各个服务组件逐一启动/停止

分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

cd /root/bin
vim myhadoop.sh

脚本代码如下

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver";;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;
*)
 echo "Input Args Error...";;
esac

赋予脚本执行权限

chmod +x myhadoop.sh

image-20210712204141494

集群分发，保证自定义脚本在集群机器上都可以使用

xsync myhadoop.sh

image-20210712204721730

image-20210712204804434

编写查看集群服务器Java进程脚本

cd /root/bin
vim jpsall.sh

脚本代码如下

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 echo =============== $host ===============
 ssh $host jps 
done

赋予脚本执行权限

chmod +x jpsall.sh

image-20210712204414376

集群分发，保证自定义脚本在集群机器上都可以使用

xsync jpsall.sh

image-20210712204517005

标签：配置文件,hadoop,yarn,Hadoop,sh,集群,完结,安装,HADOOP
来源： https://blog.csdn.net/xiaoyixiao_/article/details/122810159

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有