sponsored links

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

第2章 Hadoop快速入门

2.1 Hadoop简介

2.1.1 Hadoop编年史

(1)2002年10月,Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。

(2)2003 年 Google 发表了一篇技术学术论文关于 Google 文件系统(GFS)。GFS 也就是 Google File System,是 Google 公司为了存储海量搜索数据而设计的专用文件系统。

(3)2004年7月,Doug Cutting和Mike Cafarella在Nutch中实现了类似GFS的功能,即后来HDFS的前身。

(4)2004年 Google 又发表了一篇技术学术论文,向全世界介绍了 MapReduce。2005年 Doug Cutting 又基于 MapReduce,在 Nutch 搜索引擎实现了该功能。

(5)2005年2月,Mike Cafarella在Nutch中实现了MapReduce的最初版本。

(6)2006年1月,Doug Cutting加入Yahoo!(雅虎)。Doug Cutting 将 NDFS 和MapReduce 升级命名为 Hadoop,Hadoop正式诞生!Yahoo! 开建了一个独立的团队给 Goug Cutting 专门研究发展 Hadoop。

(7)2006年2月,Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。

(8)2006年11月,Google发表了Bigtable论文,这最终激发了HBase的创建。

(9)2007年,百度、中国移动开始使用使用Hadoop技术。

(9)2008年1月,Hadoop 成为了 Apache 顶级项目。之后 Hadoop 被成功的应用在了其他公司,其中包括 Last.fm、Facebook、《纽约时报》等。

(10)2008年6月,Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。

(11)2009 年3月,Cloudera推出世界上首个Hadoop发行版——CDH(Cloudera’s Distribution including Apache Hadoop)平台,完全由开放源码软件组成。

(12)2009年7月 ,MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

(13)2009年10月,首届Hadoop World大会在纽约召开。

(14)2011年1月,ZooKeeper 脱离Hadoop,成为Apache顶级项目。

(15)2011年7月,Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司,旨在让Hadoop更加可靠,并让企业用户更容易安装、管理和使用Hadoop。

(16)2012年3月,企业必须的重要功能HDFS NameNode HA被加入Hadoop主版本。

(17)2012年8月,另外一个重要的企业适用功能YARN成为Hadoop子项目。

(18)2014年2月,Spark逐渐代替MapReduce成为Hadoop的缺省执行引擎,并成为Apache基金会顶级项目。

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

2.1.2 Hadoop 核心组件

Hadoop 包含以下模块:

  • Hadoop Common:常见实用工具,用来支持其他 Hadoop 模块。
  • Hadoop Distributed File System(HDFS):分布式文件系统,它提供对应用程序数据的高吞吐量访问。
  • Hadoop YARN:一个作业调度和集群资源管理框架。
  • Hadoop MapReduce:基于 YARN 的大型数据集的并行处理系统。

其他与 Apache Hadoop 的相关项目包括:

  • Ambari:一个基于Web 的工具,用于配置、管理和监控的 Apache Hadoop 集群,其中包括支持 Hadoop HDFS、Hadoop MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig 和 Sqoop。Ambari 还提供了仪表盘查看集群的健康,如热图,并能够以用户友好的方式来查看的 MapReduce、Pig 和 Hive 应用,方便诊断其性能。
  • HBase:一个可扩展的分布式数据库,支持结构化数据的大表存储。
  • Hive:数据仓库基础设施,提供数据汇总以及特定的查询。
  • Mahout:一种可扩展的机器学习和数据挖掘库。
  • Pig:一个高层次的数据流并行计算语言和执行框架。
  • Spark:Hadoop 数据的快速和通用计算引擎。Spark 提供了简单和强大的编程模型用以支持广泛的应用,其中包括 ETL、机器学习、流处理和图形计算。
  • ZooKeeper:一个高性能的分布式应用程序协调服务。

2.1.3 Hadoop三大发行版

(1) Apache Hadoop

Apache Hadoop最原始版本,所有其他发行版均基于该发行版实现的。

官网地址http://hadoop.apache.org/,Logo如下

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

  • 0.23.x :非稳定版
  • 2.x :最新版是2.8.0,建议使用2.7.3稳定版。
  • 3.0:已发行多个测试版,正式稳定版尚未发布

    (2)CDH
    CDH(Cloudera’s Distribution for Hadoop)是Cloudera 公司的的Hadoop 发行版。

官方是https://www.cloudera.com/,Logo如下。

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

包含CDH4 和CDH5 两个版本
CDH4 ;基于Apache Hadoop 0.23.0 版本开发
CDH5 :基于Apache Hadoop 2.2.0 版本开发

(3)HDP

HDP(The Hortonworks Data Platform)是Hortonworks 公司的发行版。

官网地址是https://hortonworks.com/,Logo如下。

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

(4) 发行版选择
- 作为学习,建议选择Apache Hadoop最新的稳定版;
- 作为工作(生产环境),建议选择CDH或HDP稳定版。

(5) 不同发行版兼容性

架构、部署和使用方法一致,不同之处仅在若干内部实现。

Tags: