毛锐 L7 2017-04-08 04:14:10 HDFS原理及操作
1256 0

“BTBU-研究生2016级-Hadoop入门进阶课程”实验报告

HDFS原理及操作

本次实验充分的理解了HDFS的运行原理,包含了NameNode、Secondary NameNode、DataNode。 NameNode是用来管理HDFS的命名空间,是一个Master节点 Secondary NameNode是相当于一个对NameNode的辅助节点,紧急情况下还能辅助恢复 DataNode是实际存放文件的节点是一个slave节点 HDFS保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 运行在廉价的机器上。 适合大数据的处理。HDFS默认会将文件分割成block,64M为1个block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。

最新评论
暂无评论~