ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

hadoop的伪分布式系统

2020-02-20 17:04:29  阅读:236  来源: 互联网

标签:opt hadoop 主机名 分布式系统 site HOME software


1.下载hadoop

链接:https://pan.baidu.com/s/10HBQd57pA4OYNPXe8Dwx9g
提取码:1wtk

运行hadoop需要Java环境,所以还需要安装jdk

链接:https://pan.baidu.com/s/1BoLOw8ASWWX5Pm3P6wmFfw
提取码:krta

2.配置环境

1.在opt文件夹下创建4个文件

mkdir install software test other

install:存放安装包

software:存放软件

test:存放测试文件

other:存放其他

2.上传安装包

1.因为上传需要使用终端模拟器,所以这里我使用了xshell

      官网:https://xshell.en.softonic.com/

2.安装lrzsz    yum install -y lrzsz

3.在install目录下,运行 rz  ,选择对应安装包上传

4.解压两个包  tar -zxvf 包名 -C ../software/

5.software目录下,重命名俩个文件夹 mv 原名 修改名

3.配置到环境变量中

vim /etc/profile
  命令模式 输入一些命令 直接敲
    G 到文件的末尾
    2gg 进入第2行
    p 粘贴
    dd 删除某一行
    2dd 从当前的光标开始 删除2行数据
  编辑模式 修改当前文档的内容 i I O o

  尾行模式
    Esc键 :打一个冒号 输入一些尾行命令
    set nu 开启的行号
    wq    w write 写入
        q quit 退出

写入:

JAVA_HOME=/opt/software/jdk8 (jdk文件夹名)
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop277(hadoop文件夹名)
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后退出,运行 source /etc/profile

运行$PATH 查看路径

4.配置主机名和映射

 vi /etc/sysconfig/network

  hostname=hdp01  #你的主机名

vi /etc/hosts 

    192.168.1.108 ( 你的IP )  hdp01(你的主机名)

5.配置hadoop

 /opt/software/hadoop277文件夹下 6个配置文件:

hadoop-env.sh
  25行 JAVA_HOME=/opt/software/jdk8 #JDK的存放目录
  33行 export HADOOP_CONF_DIR=/opt/software/hadoop277/etc/hadoop

core-site.xml
  我们在x-site中配置 实际上就是将系统原来的配置给覆盖了
  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://主机名:9000</value>
    </property>

   <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/software/hadoop277/tmp</value>
   </property>

  </configuration>


hdfs-site.xml
  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
  </configuration>

运行cp mapred-site.xml.template mapred-site.xml
mapred-site.xml
  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>

yarm-site.xml

  <configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>主机名</value>
    </property>

    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>

  </configuration>


slaves
  加入 主机名

3.启动服务器

1.启动服务器之前

1.格式化文件系统 hadoop namenode -format

   如果出现has been successfully formatted,表明格式化成功

2.配置免密

   ssh-keygen   #生成公钥,一直确认就行

   ssh-copy-id  hdp01    #hdp01为主机名

2.启动服务器 

    start-all.sh 开启
    stop-all.sh 关闭

3.启动服务器之后

    查看是否启动成功,运行 jps         #java/bin 里面的命令 监测当前进程中那些是java进程
         12305 NameNode 软件 web工程 50070端口
         12401 DataNode 软件 web工程 50075端口
         12740 ResourceManager 软件 8088端口
         12566 SecondaryNameNode 软件 web工程 50090端口
         12838 NodeManager 软件

    查看系统端口 net-tools 这个工具包下面的子软件  yum install -y net-tools

    netstat -nltup

标签:opt,hadoop,主机名,分布式系统,site,HOME,software
来源: https://www.cnblogs.com/cjq10029/p/12336446.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有