红联Linux门户
Linux帮助

为hadoop集群中单个datanode添加硬盘

发布时间:2016-12-11 10:00:45来源:linux网站作者:predict_wise
最近实验室的小集群当中的一个datanode硬盘容量快用完了,考虑着要加块1T的新硬盘,但是却被这么一个小问题折腾了好一会才解决,特地在此记录一下,希望为看到这篇文章的朋友们节约宝贵的时间。
 
Ubuntu环境下挂载新硬盘
这篇 http://www.linuxdiyf.com/linux/2960.html 已经写得很详细了,写得很不错,在Ubuntu环境下挂载新硬盘可以看这篇。
/etc/fstab 配置注意!
在链接文中和挂载硬盘分区 | Mount hard disk partition中的配置硬盘在系统启动自动挂载有不同,用上面无法成功自动挂载的话,请尝试下面的配置:
为hadoop集群中单个datanode添加硬盘
其中,“/Projects”与“/AMAX”都是挂载点,可以根据需要自定义。
上面是ext4格式硬盘为例子。如果是ntfs,则“ext4”要修改为“auto”,“defaults”要修改为“nosuid,nodev,nofail”。
在Ubuntu,可以使用更直观的方式:用系统自带的Disks或者Disk Utility界面化工具。
 
唯一有点区别的是“硬盘在系统启动自动挂载”这一部分。我的配置为:
/dev/sdb  /home/hadoop/hdp-data/data1/hdfs  ext4  defaults  0   0
修改hdfs-site.xml文件
给被挂载的目录赋予权限
sudo chown -R Hadoop:hadoop /home/hadoop/hdp-data/data1/hdfs
修改hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>
file:/opt/hadoop-2.7.2/tmp/dfs/data,
file:/home/hadoop/hdp-data/data1/hdfs
</value>
</property>
注:用“,”将新旧目录隔开
如果你有Hbase的话,也需要在 conf/hdfs-site.xml 中做相同更改
检测
启动dfs和yarn之后,执行如下命令:
./bin/hdfs dfsadmin -report
查看需要添加hdfs容量的节点,容量是否有增加。
 
本文永久更新地址:http://www.linuxdiyf.com/linux/26796.html