hadoop之HDFS

2020-02-20 20:02:21 阅读：201 来源： 互联网

标签：opt HDFS hadoop 主机名 etc HOME software

准备环境

系统为centos7.4的虚拟机，jdk环境，方便运行hadoop相关工具

jdk安装

cd /opt/install 
rz jdk的本地目录     #上传JDK
tar -zxvf jdk       #解压jdk
mv jdk /opt/software/jdk1.8     #移动并重命名

环境变量

vim /etc/profile        #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8      #添加JAVA_HOME变量
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=:.$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile     #生效配置

上传Hadoop2.7.7

cd /opt/install     #进入安装包目录

rz hadoop2.7.7本地地址      #上传hadoop
tar -zxvf hadoop.tar.gz     #解压hadoop文件
mv hadoop  /opt/software/hadoop     #移动hadoop文件到安装目录

修改配置文件

cd /opt/software/hadoop
vim etc/hadoop/hadoop-env.sh    #编辑配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8       #修改25行
export HADOOP_CONF_DIR=/opt/software/hadoop/etc/hadoop      #修改33行

配置环境变量

vim /etc/profile

HADOOP_HOME=/opt/software/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile     #环境变量生效

伪分布式

修改主机名

vim /etc/hostname   #编辑主机名文件

HDP01

修改主机映射

vim /etc/hosts

192.168.31.xxx HDP01

配置免密登录

ssh-keygen		#生成公钥
ssh-copy-id  主机名		#分享公钥

core-site.xml

<configuration>
  
   <!-- 指定HDFS中NameNode的地址 -->
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
    </property>
    
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/software/hadoop/tmp</value>
</property>

</configuration>

hdfs-site.xml

<configuration>
   <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>  
    
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

</configuration>

mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

yarn-site.xml

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value> 
</property>

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

slaves

HDP01   #主机名

格式化文件系统

hadoop  namenode -format

启动Hadoop

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

标签：opt,HDFS,hadoop,主机名,etc,HOME,software
来源： https://www.cnblogs.com/yaoss/p/12337177.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9