centos7安装hadoop伪分布式学习环境

2019-08-23 11:35:28 阅读：195 来源： 互联网

标签：xml hadoop centos7 2.9 export ssh HOME 分布式

使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。
在虚拟机里安装一台centos7系统

ip	主机名
192.168.158.30	hadoop.master

1.安装java环境我安装的是JDK 1.8
安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445
我把jdk安装到如下目录：

/usr/java/jdk1.8.0_221

配置java环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

2.修改主机名因为是伪分布式所以也可以不设置

hostnamectl set-hostname hadoop.master           # 使用这个命令会立即生效且重启也生效
hostname                                         #查看是否修改完成

3.修改/etc/hosts改成如下内容

192.168.158.30 hadoop.master
192.168.158.30 localhost          #添加此项是为了8088端口其他主机可以访问 默认只能本地访问

4.关闭防火墙

systemctl stop firewalld                           #关闭防火墙
systemctl disable firewalld                        #开机禁用防火墙

5.设置ssh无密码登陆
虽然是伪分布但是hadoop还是需要使用ssh来启动守护进程跟分布式一样

yum -y install openssh-clients                 #安装ssh
ssh-keygen -t rsa                              #一直按回车 生成秘钥
ssh-copy-id hadoop.master                      #发送到cdh.slave1节点
ssh localhost                                  #测试能否登录

6.下载hadoop
下载地址：https://hadoop.apache.org/releases.html
在这里插入图片描述
我下载的是2.9.2版点击binary进入下载页

这两个地址下载那个都可以

#下载
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

7.解压安装

mkdir /usr/hadoop                              #创建安装目录
tar -zxvf hadoop-2.9.2.tar.gz -C /usr/hadoop   #解压到安装目录

8.把hadoop添加到环境变量

vi /etc/profile.d/hadoop.sh         #添加编辑文件
#如下内容添加到hadoop.sh
export HADOOP_HOME=/usr/hadoop/hadoop-2.9.2
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$HADOOP_HOME/sbin:$PATH

#使修改的环境变量生效
source /etc/profile
#测试hadoop是否工作
hadoop version

9.配置hadoop
伪分布式的配置需要配置四个文件

/usr/hadoop/hadoop-2.9.2/etc/hadoop   #配置文件位置

core-site.xml

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost/</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml 需要先修改文件名

mv mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

10.格式化HDFS文件系统
首次运行hadoop 需要先格式化HDFS文件系统

hdfs namenode -format

标签：xml,hadoop,centos7,2.9,export,ssh,HOME,分布式
来源： https://blog.csdn.net/ltgsoldier1/article/details/100033134

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

centos7安装hadoop伪分布式学习环境