Apache Hadoop版本详解
发布时间 - 2026-01-11 03:27:16 点击率:次由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。

1.Apache HadoopApache版本衍化
截至目前(2012年12月23日),ApacheHadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版,而0.21.x和0.22.x则NameNodeHA等新的重大特性。第二代Hadoop包含两个版本,分别是0.23.x和2.x,它们完全不同于Hadoop1.0,是一套全新的架构,均包含HDFS Federation和YARN两个系统,相比于0.23.x,2.x增加了NameNodeHA和Wire-compatibility两个重大特性。
经过上面的大体解释,大家可能明白了Hadoop以重大特性区分各个版本的,总结起来,用于区分Hadoop版本的特性有以下几个:
(1)Append支持文件追加功能,如果想使用HBase,需要这个特性。
(2)RAID在保证数据可靠的前提下,通过引入校验码较少数据块数目。详细链接:
https://issues.apache.org/jira/browse/HDFS/component/12313080
(3)Symlink支持HDFS文件链接,具体可参考:https://issues.apache.org/jira/browse/HDFS-245
(4)SecurityHadoop安全,具体可参考:https://issues.apache.org/jira/browse/HADOOP-4487
(5)NameNodeHA具体可参考:https://issues.apache.org/jira/browse/HDFS-1064
(6)HDFSFederation和YARN
需要注意的是,Hadoop2.0主要由Yahoo独立出来的hortonworks公司主持开发。
Apache版本下载
(1)各版本说明:http://hadoop.apache.org/releases.html。
(2)下载稳定版:找到一个镜像,下载stable文件夹下的版本。
(3)Hadoop最全版本:http://svn.apache.org/repos/asf/hadoop/common/branches/,可直接导到eclipse中。
2.Cloudera HadoopCDH版本衍化
Apache当前的版本管理是比较混乱的,各种版本层出不穷,让很多初学者不知所措,相比之下,Cloudera公司的Hadoop版本管理的要很多。
我们知道,Hadoop遵从Apache开源协议,用户可以免费地任意使用和修改Hadoop,也正因此,市面上出现了很多Hadoop版本,其中比较出名的一是Cloudera公司的发行版,我们将该版本称为CDH(ClouderaDistributionHadoop)。截至目前为止,CDH共有4个版本,其中,前两个已经不再更新,最近的两个,分别是CDH3(在Apache Hadoop0.20.2版本基础上演化而来的)和CDH4在Apache Hadoop2.0.0版本基础上演化而来的),分别对应Apache的Hadoop 1.0和Hadoop2.0,它们每隔一段时间便会更新一次。
Cloudera以patch level划分小版本,比如patch level为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch(这些patch是各个公司或者个人贡献的,在Hadoopjira上均有记录),其中923个是最后一个beta版本添加的patch,而142个是稳定版发行后新添加的patch。由此可见,patchlevel越高,功能越完备且解决的bug越多。
Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。
CDH版本下载
(1)版本含义介绍:
https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information
(2)各版本特性查看:
https://ccp.cloudera.com/display/DOC/CDH+Packaging+Information+for+Previous+Releases
(3)各版本下载:
CDH3:http://archive.cloudera.com/cdh/3/
CDH4:http://archive.cloudera.com/cdh4/cdh/4/
注意,Hadoop压缩包在这两个链接中的最上层目录中,不在某个文件夹里,很多人进到链接还找不到安装包!
3.如何选择Hadoop版本
当前Hadoop版本比较混乱,让很多用户不知所措。实际上,当前Hadoop只有两个版本:Hadoop1.0和Hadoop 2.0,其中,Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成,而Hadoop2.0则包含一个支持NameNode横向扩展的HDFS,一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop1.0,Hadoop 2.0功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。
当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素:
(1)是否为开源软件,即是否免费。
(2)是否有稳定版,这个一般软件官方网站会给出说明。
(3)是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。
(4)是否有强大的社区支持,当出现一个问题时,能够通过社区、论坛等网络资源快速获取解决方法。
考虑到以上几个因素,我们分析一下开源软件Hadoop。对于Hadoop2.0而言,目前尚不稳定,无法用于生产环境,因此,如果当前你正准备使用Hadoop,那么只能从Hadoop1.0中选择一个版本,而目截至目前(2012年12月23日),Apache和Cloudera最新的稳定版分别是Hadoop1.0.4和CDH3U4,因此,你可以从中任选一个使用。
总结
以上所述是小编给大家介绍的Apache Hadoop版本详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!
# apache
# hadoop版本
# hadoop重新格式化HDFS步骤解析
# hadoop是什么语言
# hadoop格式化HDFS出现错误解决办法
# Java执行hadoop的基本操作实例代码
# Linux中安装配置hadoop集群详细步骤
# 详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
# Hadoop多Job并行处理的实例详解
# 几个
# 稳定版
# 基础上
# 开源
# 离线
# 截至目前
# 而来
# 各版
# 可直接
# 小编
# 不知所措
# 的是
# 安装包
# 出了
# 你可以
# 在这
# 在此
# 管理系统
# 一是
# 找不到
相关栏目:
【
网站优化151355 】
【
网络推广146373 】
【
网络技术251813 】
【
AI营销90571 】
相关推荐:
Laravel怎么实现软删除SoftDeletes_Laravel模型回收站功能与数据恢复【步骤】
如何在万网开始建站?分步指南解析
Laravel如何实现多对多模型关联?(Eloquent教程)
Laravel中间件如何使用_Laravel自定义中间件实现权限控制
深入理解Android中的xmlns:tools属性
详解MySQL数据库的安装与密码配置
PHP怎么接收前端传的文件路径_处理文件路径参数接收方法【汇总】
Laravel怎么创建控制器Controller_Laravel路由绑定与控制器逻辑编写【指南】
C语言设计一个闪闪的圣诞树
,交易猫的商品怎么发布到网站上去?
成都网站制作公司哪家好,四川省职工服务网是做什么用?
大同网页,大同瑞慈医院官网?
Laravel如何处理CORS跨域请求?(配置示例)
Laravel如何实现数据导出到CSV文件_Laravel原生流式输出大数据量CSV【方案】
Bootstrap整体框架之CSS12栅格系统
Laravel如何使用withoutEvents方法临时禁用模型事件
如何制作公司的网站链接,公司想做一个网站,一般需要花多少钱?
如何在 React 中条件性地遍历数组并渲染元素
javascript读取文本节点方法小结
Laravel怎么配置.env环境变量_Laravel生产环境敏感数据保护与读取【方法】
深圳网站制作公司好吗,在深圳找工作哪个网站最好啊?
Laravel怎么使用artisan命令缓存配置和视图
详解Android中Activity的四大启动模式实验简述
如何在景安云服务器上绑定域名并配置虚拟主机?
手机钓鱼网站怎么制作视频,怎样拦截钓鱼网站。怎么办?
Android中Textview和图片同行显示(文字超出用省略号,图片自动靠右边)
LinuxCD持续部署教程_自动发布与回滚机制
如何快速搭建高效香港服务器网站?
Laravel DB事务怎么使用_Laravel数据库事务回滚操作
Internet Explorer官网直接进入 IE浏览器在线体验版网址
C++用Dijkstra(迪杰斯特拉)算法求最短路径
,在苏州找工作,上哪个网站比较好?
JavaScript如何实现错误处理_try...catch如何捕获异常?
西安专业网站制作公司有哪些,陕西省建行官方网站?
香港服务器租用费用高吗?如何避免常见误区?
Swift中循环语句中的转移语句 break 和 continue
Laravel Eloquent模型如何创建_Laravel ORM基础之Model创建与使用教程
JS实现鼠标移上去显示图片或微信二维码
Laravel Vite是做什么的_Laravel前端资源打包工具Vite配置与使用
手机网站制作平台,手机靓号代理商怎么制作属于自己的手机靓号网站?
Firefox Developer Edition开发者版本入口
Laravel怎么自定义错误页面_Laravel修改404和500页面模板
如何用景安虚拟主机手机版绑定域名建站?
如何用PHP快速搭建CMS系统?
怎样使用JSON进行数据交换_它有什么限制
laravel怎么实现图片的压缩和裁剪_laravel图片压缩与裁剪方法
大型企业网站制作流程,做网站需要注册公司吗?
uc浏览器二维码扫描入口_uc浏览器扫码功能使用地址
怎么用AI帮你为初创公司进行市场定位分析?
Laravel怎么实现搜索高亮功能_Laravel结合Scout与Algolia全文检索【实战】
上一篇:学docker还是javaee
上一篇:学docker还是javaee

