eclipse+maven搭建hadoop本地开发环境

我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。

创建maven项目

创建一个maven项目,什么类型的项目以自己需求,在pom.xml中引入hadoop依赖。

引入hadoop配置文件

copy hadoop的配置文件到src/main/resources文件中,只考有用的就行,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等。

设置环境变量

hadoop的配置文件夹中的配置文件可以分为两类,一类是xml(.properties),一类是.sh(.cmd),xml类型的文件通过上边的方式引入,.sh类型的文件主要是设置环境变量,没法引入,如果你用到了环境变量,那么这样设置: 运行main方法时,选择run configuration,在environment中设置需要的环境变量。 有一个必须要设置的环境变量是:HADOOP_USER_NAME=hdfs 原因看下面的链接:

这样在程序中获取Congratulation对象的时候直接用下面的代码就行了:

Configuration conf = new Configuration();

,希望你灰暗的心情在此刻明亮起来,去迎接美好的明天!

eclipse+maven搭建hadoop本地开发环境

相关文章:

你感兴趣的文章:

标签云: