标签：HDFS 配置文件 下面 hadoop etc 地址 分布式 搭建
HDFS是进行存储的，VARN是进行词度的。
1.切换到hadoop下面的etc（配置文件都在etc下面）2.在hadoop中配置core-site.xmlVicare-ste.xm维定HDFS中narmenode的地址，将命令到confguration标签中econligurat cnsl指定HDFS中NameNoce的地址→sproperty?snamesfs.defsutFSs/nameoevalueshdfs.//hadoop100:9820</vslbes/property<t指定Hadoop运行时产生文件的存博门录-→spropertysscnameshadoop.tmp.dire/nameseyal.ev/apt/modu/e/hadoop 3.1.3/data/tmpe/valbe/praperty?3.在hadoop中配置hdfs-site.xml合令：yihcfs-site.xml在configuration中指定HDF5的时量econficuratcned.指定HOFS副本的数量-→propertynamesdfs replication/name=syalse1syalugs 1</craperlyss/confiqurations4.格式化NameNode（第一次启动时格式化，以后就不要总格式化)格式化命令；hdfs namencde-format5. 启动namenode你令：hdls -daemon start nomenode6.启动datanode命令：hots daemon star datanoce7.配置yarn-site.xml作令：viyarmsite.xoelscpnfiguratia-Site specific YARN oon fgurstion properties eL Reducer获取数据的方式spropertys 2wnamg-yan.nodemanaqor.sux-sarvicese/naeswaluretranteiurs shisivaliee/poperlys指定YARN的RescurceManager的地址sprcpertywnomg-yam.resourcemanager.hostnames/namesevalueshadoop100k/values/poperty?spraperty?snamesvarr.nodemananer.cnv-whitelists/names cyalue:JAVA_HOME HADOOP_COMMONHOME,HADOOP HDES HOMEHACOCP CON DIR.CLASSPATH_PREPEND_DISTCACHEHADOOP_YARN_HOMEHADOOP_MAPREDHOMEvaluees/prapcrty></configurationa8.配置mapred-site.xml命令：[root@hpdocp100 hadcop)aii mapred-site.xmlsconfigurations也 指ZMR运行在YARN上-epropertysnaresmanreduce frameaork namesnamesevaluesyams/valusc/configurations39.启动resourcemanager命令：[roat@hadoop100 hadcop/ yam -damon start rescuroermanager10. 启动nodemanager作令：[rootghadocp100 hadoop a yam-daemon start nodemanage11. Jsp查看java进程介令：j3p12. 在HDFS中创建文件夹/user/input命令：hots dfs-mkdr-p /user/lnput13. 将文件上传到HDFS命学：hcls dfs -PUI爱上牌的文件名 上传的地址案例：hdfs dts put wcinputwc inout fuser/ nputr14. 查看hdfs的文件目录饰令：Hdfsdfs-ls 文件路径注高，这里面的根目录不是linux的很目录案例：hcfs dfs-s /user/input/15. 查看hdfs中文件内容命令：hllsdfs -cat 文件名案例：hofs dfs-cat/usetfinput/we input 316. 执行文件命令：hadoop jsr share/hadoup/mapreduce/hacoop-rapreduce-examples-3.1.3.jsrwordeount 执行的文件位置 锁出的文信位置案例：hadocp jar share/hadanp/mapraduce/hacoop mapreduce cxamplos 3.1.3.jarwordcount /user/ nput fuser/output17.查看执行后的结果命令：hcts dfs-cat 输出文件路径/“案例：hcfs dfs-cat /usen/output/18. 停止进程 hdfs -daemon stop namenodeHdfs维护了一个抽象的目录
标签：HDFS,配置文件,下面,hadoop,etc,地址,分布式,搭建 来源： https://blog.csdn.net/m0_64967328/article/details/121887587
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。