?

NameNode本身不可避免地具有SPOF（Single Point Of Failure）单点失效的风险，主备模式并不能解决这个问题，通过Hadoop Non-stop namenode才能实现100% uptime可用时间。

?

DataNode

?

DataNode 也是一个通常在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个 交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

?

DataNode 响应来自 HDFS 客户机的读写请求。它们还响应来自 NameNode 的创建、删除和复制块的命令。NameNode 依赖来自每个 DataNode 的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode 可以根据这个报告验证块映射和其他文件系统元数据。如果 DataNode 不能发送心跳消息，NameNode 将采取修复措施，重新复制在该节点上丢失的块。

?

开源实现

?

Hadoop是项目的总称。主要是由HDFS和MapReduce组成。

?

HDFS是Google File System（GFS）的开源实现。

?

MapReduce是Google MapReduce的开源实现。

?

这个分布式框架很有创造性，而且有极大的扩展性，使得Google在系统吞吐量上有很大的竞争力。因此Apache基金会用 Java实现了一个开源版本，支持Fedora、Ubuntu等Linux平台。雅虎和硅谷风险投资公司Benchmark Capital 联合成立一家名为Hortonworks的新公司，接管被广泛应用的数据分析软件Hadoop的开发工作。

?

Hadoop实现了HDFS文件 系统和MapRecue。用户只要继承MapReduceBase，提供分别实现Map和Reduce的两个类，并注册Job即可自动分布式运行。

?

子项目

?

Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common

?

HDFS: Hadoop分布式文件系统(Distributed File System) － HDFS (Hadoop Distributed File System)

?

MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API

?

HBase: 类似Google BigTable的分布式NoSQL列数据库。（HBase和Avro已经于2010年5月成为顶级 Apache 项目）

?

Hive：数据仓库工具，由Facebook贡献。

?

Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。

?

Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

?

Pig: 大数据分析平台，为用户提供多种接口。

?

Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。

?

Sqoop：于在HADOOP与传统的数据库间进行数据的传递。