首页 > 其他分享> 文章详细

hadoop细节配置

2022-07-26 22:02:33 阅读：151 来源： 互联网

标签：-------- opt 配置 hadoop module echo 细节 ssh

hadoop虽然已经安装，但是对于一些细节的配置仍然不到位，会影响之后的使用

一、集群的启动

注：这里的hadoop102是我自己虚拟机的名称，启动时需要和自己的虚拟的名称相同

二、集群崩溃解决（etc bin目录没有被破坏）

注：启动集群之后，如果不小心删除数据，可以采用上述方法进行恢复，但是一般也用不上

三、配置历史服务器

四、配置日志的聚集

五、两个脚本，方便启动集群和查看jps

<!-- 集群快速启动、关闭脚本 -->
#!/bin/bash
if [$# -lt 1]
then
    echo "No Args Input..."
    exit;
fi

case $1 in
"start")
    echo "=======启动hadoop集群======="
    echo "------启动hdfs------"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/sbin/start-dfs.sh"
    echo "--------启动yarn--------"
    ssh hadoop103 "/opt/module/hadoop-3.2.3/sbin/start-yarn.sh"
    echo "--------启动历史配置服务器"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/bin/mapred --daemon start historyserver"
;;
"stop")
    echo "======关闭hadoop集群======"
    echo "--------关闭历史配置服务器"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/bin/mapred --daemon stop historyserver"
    echo "--------关闭yarn--------"
    ssh hadoop103 "/opt/module/hadoop-3.2.3/sbin/stop-yarn.sh"
    echo "------关闭hdfs------"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input args error"
;;
esac

<!--查看所有jps-->
#!/bin/bash
for host in $host  <!--虚拟机的hostname数组-->
do
    echo ========$host========
    ssh $host jps
done

标签：--------,opt,配置,hadoop,module,echo,细节,ssh
来源： https://www.cnblogs.com/jzz-111jy/p/16522782.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

hadoop细节配置