HDFS可以跨越大集群中的机器可靠地存储非常大的文件,将文件存储为一系列的块,除了最后一个块外,所有的块的大小都是相同的。当然若文件大小正好为块大小的倍数则所有块的大小相同。为了容错的目的,一个文件的块会被复制成若干份,块大小和复制因子是可配置的。应用程序可以指定文件的副本数量,复制因子可以在文件创建时指定,也可以以后修改。HDFS中的文件是一次性写入的,在任何时候都是严格一次性写入的。
NameNode做出关于块副本的决定,它周期性地收到集群中每个DataNode的心跳和块报告。收到心跳意味着DataNode运行正常,块报告包含DataNode上所有块的清单。下图即为DataNode中块复制和NameNode中元数据的图示。
副本的布局对HDFS的可靠性和性能是很关键的,副本布局的优化是HDFS和其它多数分布式文件系统的区别,优化副本布局需要很多调试及经验。机架感知的副本布局策略的目的是改进数据的可靠性、可用性和网络带宽的利用率,副本布局策略的目前实现是上述方向的第一次成果。该策略实现的短期目标是在生产系统上验证它,更加了解它的反应,建立测试的基础并且研究更加精细的策略。
运行大的HDFS实例的集群中的计算机通常分布在很多机架上,不同机架上两个节点的通信必须通过交换机。在多数情况下,相同机架