博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HADOOP实践101:在Hadoop集群中添加机器和删除机器
阅读量:7153 次
发布时间:2019-06-29

本文共 1012 字,大约阅读时间需要 3 分钟。

无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断。

本次操作之前,Hadoop的集群情况如下:

HDFS的机器情况如下:

MR的机器情况如下:

添加机器

在集群的Master机器中,修改$HADOOP_HOME/conf/slaves文件,在其中添加需要加入集群的新机器(hp3)的主机名:

hp3

hp2
dell1
dell2
dell3
dell4

然后在Master机器中执行如下命令:

$HADOOP_HOME/bin/start-all.sh

这样操作完成之后,新的机器就添加到集群中来了。

HDFS集群增加了一台新的机器:

MR集群中也新增了一台机器:

删除机器

不安全的方式

由于Hadoop集群自身具备良好的容错性,可以直接关闭相应的机器,从而达到将该机器撤除的目的。但是如果一次性操作3台以上的机器,就有可能造成部分数据丢失,所以不推荐使用这种方式进行操作。

安全的方式

在集群的Master机器中,新建一个文件:$HADOOP_HOME/conf/nn-excluded-list,在这个文件中指定需要删除的机器主机名(hp3):

hp3

然后,修改Master机器的配置文件:$HADOOP_HOME/conf/hdfs-site.xml,添加如下内容:

<property>

  <name>dfs.hosts.exclude</name>

  <value>conf/nn-excluded-list</value>

</property>

最后,在Master机器中执行如下命令:

$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这样操作完成之后,可以在HDFS集群中看到,hp3机器已经处于Decommission In Progress状态:

但是MR机器中hp3机器依旧在运行中:

我们需要等待一定的时间,等待hp3中datanode的Decommission操作完成以后,再到hp3机器中关闭所有的Hadoop进程即可。

这样就完成了整个从集群中删除机器的操作。

更多关于Hadoop的文章,可以参考:http://www.cnblogs.com/gpcuster/tag/Hadoop/

转载于:https://www.cnblogs.com/licheng/archive/2011/11/09/2242338.html

你可能感兴趣的文章
.net mvc4 利用 kindeditor 上传本地图片
查看>>
Note:This element neither has attached source nor attached Javadoc
查看>>
android 逆向project smail 语法学习
查看>>
CI框架 -- 开发环境、生产环境
查看>>
命令行解析器
查看>>
用ajaxFileUpLoad上传文件不能正确取得返回值的问题
查看>>
Aqua Data Studio 查询结果中文乱码
查看>>
js推断指定函数、变量是否存在的方法
查看>>
用python实现的线程池
查看>>
关于智能本质的思考
查看>>
Microsoft Capicom 2.1 On 64bit OS
查看>>
2016第21周三问题记录
查看>>
页面中多个script块之间的关系
查看>>
软件开发过程模型
查看>>
CloudFlare Support - Error 522: Connection timed out 错误522:连接超时
查看>>
Maven项目环境搭建实例.
查看>>
Atitit.信息论原理概论attilax总结
查看>>
Openfire 的安装和配置
查看>>
好,开始没做出来 guess-number-higher-or-lower-ii
查看>>
[LeetCode] Find Right Interval 找右区间
查看>>