Hadoop 添加和删除节点

Hadoop 集群的添加和删除节点比较容易,这里也就做个记录。

环境介绍

目前我使用的虚拟机搭建,共有 1 个 NameNode 和 另外 2 个 DataNode

HostName Function ip
master NameNode/DataNode 192.168.66.128
slave1 DataNode 192.168.66.129
slave2 DataNode 192.168.66.130

hdfs-site.xml 中的 dfs.replication 使用的默认值 3

关键配置

因为我之前在部署环境的时候没有设置 dfs.hostsdfs.hosts.exclude 。先简单介绍一下。

dfs.hosts 是在 hdfs-site.xml 中的一项配置,它定义了允许连接到 NameNode 的主机列表。在默认情况下(不配置该项)就会允许所有主机。

dfs.hosts.exclude 是在 hdfs-site.xml 中的一项配置,它的功能正好与 dfs.hosts 相反,它是用于定义不允许连接到 NameNode 的主机列表。在默认情况下(不配置该项)就不会排除任何主机。

类似的,资源管理器配置文件 yarn-site.xml 中也拥有与 HDFS 这两项功能相似的配置,分别为 yarn.resourcemanager.nodes.include-pathyarn.resourcemanager.nodes.exclude-path

一般情况下,我们会将 yarn.resourcemanager.nodes.include-pathdfs.hosts 指向同一个文件,将 yarn.resourcemanager.nodes.exclude-pathdfs.hosts.exclude 指向同一文件。但是他们在特殊情况下,具体的实现会细微的差别,后面再提。

准备工作

首先为了操作方便我们先创建好 includeexclude 文件,并往 include 中写入已存在的集群信息并测试一下是否运行正常

1
2
3
4
vi $HADOOP_HOME/etc/hadoop/include
master
slave1
slave2

exclude 先不写入信息,准备好就行了

1
touch $HADOOP_HOME/etc/hadoop/exclude

停止服务修改配置文件

1
2
stop-all.sh
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

写入以下信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<configuration>

<property>
<name>dfs.replication</name>
<!-- 因为这里要把拥有3个DataNode的集群删除一个节点,所以要把备份数调为2以免出错 -->
<value>2</value>
</property>

<property>
<name>dfs.hosts</name>
<!-- 允许连接到HDFS的主机列表 -->
<value>/usr/local/hadoop-2.6.0/etc/hadoop/include</value>
</property>

<property>
<name>dfs.hosts.exclude</name>
<!-- 阻止连接到HDFS的主机列表 -->
<value>/usr/local/hadoop-2.6.0/etc/hadoop/exclude</value>
</property>

</configuration>
1
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下信息

1
2
3
4
5
6
7
8
9
10
11
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<!-- 允许连接列表 -->
<value>/usr/local/hadoop-2.6.0/etc/hadoop/include</value>
</property>

<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<!-- 阻止连接列表 -->
<value>/usr/local/hadoop-2.6.0/etc/hadoop/exclude</value>
</property>

启动服务

1
2
start-dfs.sh
start-yarn.sh

hdfs dfs -ls /get/put 之类的试试 HDFS 工作正常不,然后也可以用 hiveselect count(*) 之类的语句一下 MapReduce 工作正常不,如果正常的话就可以走下一步了。

删除节点

判断一个节点能否连接到资源管理器非常简单。仅当节点出现在 include 文件且不出现在 exclude 文件中时,才能够连接到资源管理器。注意,如果未指定 include 文件或为空的话,则意味着所有节点都可以连接到资源管理器

对于 HDFS 来说,includeexclude 文件稍有不同,如果一个 DataNodeinclude 文件中出现同时也在 exlude 中那么说明该节点即将被删除添加。下表总结了 DataNode 的不同组合方式。

是否在 include 中 是否在 exclude 中 状态
无法连接
无法连接
可连接
可连接,将被删除

需要注意的是 dfs.hostsyarn.resourcemanager.nodes.include-path 属性指定的文件(includeexclude)不同于 slaves 文件,前者供 NameNode 和资源管理器使用,用于决定可以连接那些节点。Hadoop 控制脚本使用 slaves 文件执行面向整个集群范围的操作,例如重启集群等。Hadoop 守护进程从不使用 slaves 文件。

进入 exclude 配置,写入即将删除的节点

1
vi $HADOOP_HOME/etc/hadoop/exclude
1
slave2

运行以下指令,将节点信息更新至 NameNode资源管理器

1
2
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

你可以在 WEB 端看到 DatanodeAdmin State 变化如下 In Service > Decommission In Progress > Decommissioned

1

2

如果在 Decommission In Progress 卡了很久,可能是你没有吧 dfs.replication 调低。我之前遇到了这个问题。

同时我在删除了1个节点后 HDFS 会疯狂报错,一直找不到解决方案。但是它也不影响 HDFS 的正常运行就直接无视了 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 1 to reach 3 (unavailableStorages=[DISK, ARCHIVE], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}, newBlock=false) All required storage types are unavailable: unavailableStorages=[DISK, ARCHIVE], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}

资源管理器状态如下

4

接下来你就可以将该节点从 include 文件中完全移除了

1
2
3
vi $HADOOP_HOME/etc/hadoop/include
master
slave1

更新一下节点信息

1
hdfs dfsadmin -refreshNodes

3

如图,节点已经被完全删除了

添加节点

添加一个刚刚被删除的节点,会让它感到懵逼。所以这里我们先重启一下。

1
2
3
4
stop-yarn.sh
stop-dfs.sh
start-dfs.sh
start-yarn.sh

直接将节点信息添加进 include ,同时把它从 exclude 中删除

1
2
3
4
vi $HADOOP_HOME/etc/hadoop/include
master
slave1
slave2
1
2
vi $HADOOP_HOME/etc/hadoop/exclude
dd

更新一下节点信息

1
2
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

添加节点成功

5

6

其他 大数据系列文章 请看 这里

参考

Hadoop: The Definitive Guide@Tom White

小象问答@fish - hadoop集群删除数据节点一直处于Decommission in progress状态问题

Apache issues@Jim Huang - Decommissioning never ends when node to decommission has blocks that are under-replicated and cannot be replicated to the expected level of replication

  • 本文作者: 蠢黑通行
  • 本文链接: https://blackyau.cc/15.html
  • 版权声明: 本博客所有文章除特别声明外,均采用 BY-SA 许可协议。转载请注明出处!