您好,欢迎来到二三娱乐。
搜索
您的当前位置:首页Hadoop添加和移除节点

Hadoop添加和移除节点

来源:二三娱乐

一、添加节点

  1. 将新节点的网络地址添加到include文件中
  2. 运行以下命令,将审核过的一系列datanode集合更新至namenode信息:

hdfs dfsadmin -refreshNodes

  1. 运行以下命令,将审核过的一系列datanode集合更新至资源管理器:

yarn mradmin -refreshNodes

  1. 以新节点更新slaves文件
  2. 启动新的 datanode 和 nodemanager

二、移除节点

  1. 将解除节点的网络地址添加到exclude文件中,不更新include文件
  2. 执行以下指令,使用一组新的审核过的datanode来更新namenode设置

hdfs dfsadmin -refreshNodes

  1. 执行以下指令,使用一组新的审核过的datanode来更新资源管理器

yarn mradmin -refreshNodes

  1. 转到网页界面,查看待解除的datanode的管理状态是否已经变为“Decommission In Progress”状态,因为此时相关的datanode正在被解除过程之中。这些datanode会把他们的块复制到其他的datanode中

  2. 当所有datanode的状态变为“Decommissioned”时,表明所有的块都已经复制完成。关闭这些已经解除的节点

  3. 从include文件中移除这些节点,并运行以下命令:

hdfs dfsadmin -refreshNodes
yarn mradmin -refreshNodes

  1. 从slaves文件中移除节点

以上涉及到两个文件 include 和 exclude,节点在其中的关系如下:

节点在include中 节点在exclude中 解释
节点无法连接
节点无法连接
节点可连接
节点可连接,将被解除

Copyright © 2019- yule263.com 版权所有 湘ICP备2023023988号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务