首页 > 系统相关> 文章详细

Centos7.0配置Hadoop2.7.0

2019-09-02 19:01:58 阅读：339 来源： 互联网

标签：配置 hadoop dfs Hadoop 文件夹 Centos7.0 Hadoop2.7 data

一、ssh免密登录

1.命令ssh-keygen、

overwrite输入y一路回车

2.将生成的密钥发送到本机

ssh-copy-id localhost中间会询问是否继续输入“yes”

3.测试免密登录是否成功

ssh localhost

二、Java配置

新建一个文件夹存放java和hadoop这里我在~目录下新建了一个app文件夹下面。

命令行移动文件到新建的app文件夹下。

解压jdk压缩包。

创建软连接或重命名已解压文件夹。

配置jdk环境变量。切换到root用户（输入su命令切换root用户接着输入root用户密码），然后通过

vi /etc/profile

编辑、etc/profile文件配置环境变量。

编辑好后Esc键接着“：”在输入wq保存并且退出编辑。

使/etc/profile生效，并检测是否配置成功。

配置成功。

三、Hadoop配置

由root用户切换为普通用户，我这里用户名是liu所以使用命令 su liu。

解压Hadoop然后创建软连接或者重命名。

验证单击模式Hadoop是否安装成功，hadoop/bin/hadoop version

此时可以看到Hadoop版本2.7.0，安装成功。可以在hadoop目录下新建一个test.txt输入一下内容。

测试运行Hadoop自带的WordCount程序，统计单词个数。

查看结果文件夹output

查看内容

四、Hadoop伪分布式配置

进入hadoop目录下的/etc/hadoop文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/tmp</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>

修改core-site.xml文件

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/dfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dfs/data</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

修改hdfs-site.xml文件

export JAVA_HOME=/home/liu/app/jdk1.8.0_141

修改hadoop-env.sh

<configuration>
    <property>
        <name>mapreduce.frameword.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改mapred-site.xml.template

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-servies</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

修改yarn-site.xml

配置hadoop环境在 ~/.bashrc文件下

保存退出后记得source ~/.bashrc是修改生效。

然后在~下创建配置文件中的目录，

mkdir -p data/p
mkdir -p /data/dfs/name
mkdir -p /data/dfs/data

第一次需要格式化namenode，进入hadoop目录下。

cd /home/liu/app/hadoop

格式化。

bin/hdfs namenode -format

启动hadoop

sbin/start-all.sh

启动完毕后输入jps查看。

最重要的是NameNode和DataNode。这样就配置并且启动成功了。

需要注意的是如果jps后并没有则说明配置错误，请检查配置文件，若配置完环境变量后检测是否成功，提示失败并给出路径，很有可能是环境变量配置路径错误。
若第一次启动hadoop失败，后边重新启动的时候，请删除~下新建的data文件重新格式化NameNode。

标签：配置,hadoop,dfs,Hadoop,文件夹,Centos7.0,Hadoop2.7,data
来源： https://www.cnblogs.com/liushiqiang123/p/11447822.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Centos7.0配置Hadoop2.7.0