Hadoop2.7.0+与Spark1.5+已将不支持JDK1.6

摘要:Hadoop2.7.0已发发布,但该版本已经不支持JDK1.6版本,由于该版本吸取了很多JIRAs,考虑到Bug还在测试中,请暂时不要使用该版本用于生产环境,,可以用Hadoop 2.7.1/2.7.2,版本的更新应该很快发布。Spark社区激烈讨论决定,预计2015年6月发布Spark1.4.x,该版本会在Java 6,7,8上面工作;预计2015年9月发布Spark 1.5+,该版本只能在Java 7,8上面工作,不再支持Java 6!详细信息请参考后面详细报道。

Hadoop资讯:

2015年4月21日,Apache Hadoop2.7.0发布。一共修复了来自社区的535个JIRAs,其中:Hadoop Common有160个;HDFS有192个;YARN有148个;MapReduce有35个。Hadoop 2.7.0是2015年第一个Hadoop release版本,不过需要注意的是:  (1)、不要将Hadoop 2.7.0用于生产环境,因为一些关键Bug还在测试中,如果需要在生产环境使用,需要等Hadoop 2.7.1/2.7.2,这些版本很快会发布。  (2)、这个版本的Hadoop已经不支持JDK 1.6运行环境,只支持JDK 7+。此版本主要做的改进如下:

Hadoop Common

1、 支持Windows Azure Storage,BLOB作为Hadoop中的文件系统。

Hadoop HDFS

1、支持文件截断(file truncate);2、支持每个存储类型配额(Support for quotas per storage type);3、支持可变长度的块文件

Hadoop YARN

1、YARN安全模块可插拔2、YARN的本地化资源可以自动共享,全局缓存(测试版)

Hadoop MapReduce

1、能够限制运行的Map/Reduce作业的任务2、为非常的大Job(有许多输出文件)加快了FileOutputCommitter。

英文原文[参考官网: ]

Hadoop Common  Windows Azure Storage Blob support (HADOOP-9629), available intrunk for a while, is now integrated into branch-2 and released as part of2.7.0.Hadoop HDFS  Enable new read/write scenarios in HDFS by adding support fortruncate (HDFS-3107) and support for files with variable-length blocks(HDFS-3689)  Enforce quotas at the Heterogeneous Storage Type granularity inHDFS (HDFS-7584)  Enhance management (HDFS-7424) and monitoring (HDFS-7449) for theNFS Gateway ServerHadoop YARN  YARN-3100 – Makes YARN authorization pluggable so that tools likeApache Ranger can provide authorization for YARN job submission operations  YARN-1492 – Automatic shared, global caching of YARN localizedresources (beta)Hadoop MapReduce  MAPREDUCE-5583 – Allows the ability to limit the size of a runningMapReduce job by restricting the maximum number of Map or Reduce tasks runningat any point in time  MAPREDUCE-4815 – Speed up Hive, Pig and MapReduce jobs that dealwith many output files by making enhancements to the FileOutputCommitter

Hadoop2.7.0下载:Apache Hadoop Releases

Spark资讯:

近日,Spark社区也在讨论是否应该终止支持Java 6,经过这几天的讨论,社区决定从Spark1.5开始,不再支持Java 1.6!  1、Spark 1.4.x(~ Jun 2015)会在Java 6,7,8上面工作;  2、Spark 1.5+ (~ Sep 2015)只能在Java 7,8上面工作,不再支持Java 6!

原文如下:

Hiall,

Wewill drop support for Java 6 starting Spark 1.5, tentative scheduled tobe released in Sep 2015. Spark 1.4, scheduled to be released in June 2015,will be the last minor release that supports Java 6. That is to say:

Spark1.4.x (~ Jun 2015): will work with Java 6, 7, 8.

Spark1.5+ (~ Sep 2015): will NOT work with Java 6, but work with Java 7, 8.

PS:Oracle ended Java 6 updates in Feb 2013.

Gregg Keizer,与2012年12月19日,在COMPUTERWORLD杂志上发布新闻《Oracle to stop patching Java 6 in February 2013》,表明Oracle宣布不再维护Java 6的更新,那么Java6发现的新bug Oracle公司也就不再会去修改,这对用户来说就是不好的消息。 想了解详情请参考原文[Oracle to stop patching Java 6 in February 2013 |Computerworld ]

参考资料:

ApacheHadoop Releases

Spark- ASF JIRA

向上攀爬的。

Hadoop2.7.0+与Spark1.5+已将不支持JDK1.6

相关文章:

你感兴趣的文章:

标签云: