标签：配置文件 1.100 Hadoop yarn 主机名 详解 192.168 address NameNode
1、hadoop-env.sh
2.core-site.xml
| 参数 | 解释 |
|---|---|
| fs.defaultFS | 描述集群中NameNode节点的URI（包括协议、主机名称、端口号），其主机是NameNode的主机名称或IP地址，端口是NameNode监听RPC的端口，如果没有指定，默认是8020。集群里面的每一台机器都需要知道NameNode的地址，DataNode会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。 |
| io.file.buffer.size | SequenceFiles文件中.读写缓存size设定 |
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.100:900</value>
<description>192.168.1.100为服务器IP地址，其实也可以使用主机名</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<description>该属性值单位为KB，131072KB即为默认的64M</description>
</property>
</configuration>
3、hdfs-site.xml
| 属性 | 含义 |
|---|---|
| dfs.namenode.name.dir | 以逗号分隔的目录名称，是NameNode存储永久性的元数据的目录列表。NameNode在列表上的各个目录中均存放相同的元数据文件。例如：file:/data/hadoop/dfs/name |
| dfs.datanode.data.dir | 以逗号分隔的目录名称，是DataNode存放数据块的目录列表。各个数据块分别存放在某一个目录中。例如：file:/data/hadoop/dfs/data |
| – | – |
| dfs.namenode.checkpoint.dir | 以逗号分隔的目录名称，是辅助NameNode存放检查点的目录列表。在所列每个目录中均存放一份检查点文件的副本。 |
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>分片数量，伪分布式将其配置成1即可</description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/namenode</value>
<description>命名空间和事务在本地文件系统永久存储的路径</description>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>datanode1, datanode2</value>
<description>datanode1, datanode2分别对应DataNode所在服务器主机名</description>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
<description>大文件系统HDFS块大小为256M，默认值为64M</description>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
<description>更多的NameNode服务器线程处理来自DataNodes的RPCS</description>
</property>
</configuration>
4、yarn-site.xml
| 属性 | 含义 |
|---|---|
| yarn.resourcemanager.hostname | 运行资源管理器的机器主机名，默认值为0.0.0.0。例如：10.200.4.117 |
| yarn.resourcemanager.address | 运行资源管理器的PRC服务器的主机名和端口。例如：10.200.4.117:8032 |
| – | – |
| yarn.nodemanager.local-dirs | 逗号分隔的目录名称，是YARN容器本地临时存储空间。当应用结束时，数据被清除。最好将这些目录分散到所有本地磁盘，以提升磁盘I/O操作的效率。通常情况下，YARN本地存储会使用与DataNode数据块存储相同的磁盘和分区（但是不同的目录）。 |
| yarn.nodemanager.aux-services | 逗号分隔的服务名称，是节点管理器运行的附加服务列表。每项服务由属性yarn.nodemanager.auxservices.servicename.class所定义的类实现。默认情况下，不指定附加服务。 |
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.1.100:8081</value>
<description>IP地址192.168.1.100也可替换为主机名</description>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.1.100:8082</value>
<description>IP地址192.168.1.100也可替换为主机名</description>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.1.100:8083</value>
<description>IP地址192.168.1.100也可替换为主机名</description>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.1.100:8084</value>
<description>IP地址192.168.1.100也可替换为主机名</description>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.100:8085</value>
<description>IP地址192.168.1.100也可替换为主机名</description>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>FairScheduler</value>
<description>常用类：CapacityScheduler、FairScheduler、orFifoScheduler</description>
</property>
<property>
<name>yarn.scheduler.minimum</name>
<value>100</value>
<description>单位：MB</description>
</property>
<property>
<name>yarn.scheduler.maximum</name>
<value>256</value>
<description>单位：MB</description>
</property>
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>nodeManager1, nodeManager2</value>
<description>nodeManager1, nodeManager2分别对应服务器主机名</description>
</property>
</configuration>
5、slaves
[root@Hadoop171 hadoop]# vim workers
配置datanode的节点
6.mapred-site.xml
| 参数 | 解释 |
|---|---|
| mapreduce.framework.name | 执行框架设置为 Hadoop YARN. |
<configuration>
<property>
<name> mapreduce.framework.name</name>
<value>yarn</value>
<description>执行框架设置为Hadoop YARN</description>
</property>
</configuration>
| 参数 | 解释 |
|---|---|
| maprecude.jobhistory.address | 默认端口号 10020 |
| mapreduce.jobhistory.webapp.address | 默认端口号 19888 |
<configuration>
<property>
<name> mapreduce.jobhistory.address</name>
<value>192.168.1.100:10200</value>
<description>IP地址192.168.1.100可替换为主机名</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.1.100:19888</value>
<description>IP地址192.168.1.100可替换为主机名 </description>
</property>
</configuration>
web 访问端口
| NameNode | 默认端口号50070 3.x版本 默认端口号9870 |
|---|---|
| ResourceManager | 默认端口号8088 |
| MapReduce JobHistory Server | 默认端口号19888 |
| secondnamenode | 默认端口号50090 |
标签：配置文件,1.100,Hadoop,yarn,主机名,详解,192.168,address,NameNode 来源： https://blog.csdn.net/m0_52606060/article/details/120230307
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。