Hadoop三剑客

Hadoop三剑客
1、HDFS:Hadoop的文件操作系统
HDFS主要是基于谷歌GFS演变过来的，主要实现数据的存储和管理

1.NameNode
NameNode主要存储文件的元数据 、每个文件的块列表和 块所在的DataNode
元数据： 元数据是描述数据的数据，包括有：文件名、文件目录结构、文件属性(生产时间、副本数和文件权限)
块列表： FileSystem的文件系统，通过这个文件系统可以查找到文件所在目录
块所在的DataNode: 查找文件所在分片数
2.DataNode
DataNode主要存储数据和块数据的校验和
数据： 数据是本数据节点的最主要功能
块数据的校验和： 通过数据校验对数据进行校验，进而提高文件的容错性
3.Secondary NameNode
在一定的时间间隔对NameNode的元数据进行备份，当NameNode挂了本节点可以直接热启动，继续保证集群

Hadoop三剑客最先出现在Python成神之路。