mac 10.10安装hadoop 2.6.0以及配置伪节点

一、先到官方网站下载最新稳定版hadoop,,目前最新的稳定版为2.6.0,网络上很多资料还是2.0以前版本的,所以很多配置目录对不上,博主也是看了官方的文档来进行配置,在这里记录下来,也是为了以后配置的时候可以回来看看,也可以分享给其他准备学习hadoop的同学。将下载的文件解压,放到你的安装目录下,博主把文件放到应用程序目录下。

二、配置免密码登陆ssh,打开设置->共享->勾选远程登陆,设置为允许任何用户访问。在控制台下执行ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa,如果遇到密码输入就直接回车。然后再执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys设置为免密码登陆。执行ssh localhost来测试是否成功设置ssh为免密码登陆。

三、修改配置文件,现在版本配置文件在etc文件夹下

1、修改core-site.xml,在文件中加入

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>2、修改hdfs-site.xml,在文件中加入<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>3、修改mapred-site.xml,新版本的hadoop没有该文件,需要新建一个,在文件中加入<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>4、修改yarn-site.xml,在文件中加入<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

5、修改hadoop-evn.sh,在文件中加入

export JAVA_HOME=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

四、启动hadoop

1、格式化namenode,定位到当前安装目录下,执行bin/hdfs namenode -format。

2、执行sbin/start-all.sh启动全部服务。

3、打开:50070/和:8088/,可以打开成功表明hadoop安装成功而且服务启动成功。

五、注意事项,在搭建环境中遇到的一些问题

1、服务启动失败,到log目录下查看相应的日志,并处理。

2、namenode启动失败,可能是由于tmp原因,因为格式化后的tmp文件夹在重启后自动删除了,所以又要格式化才能启动。在core-site.xml中加入节点

<property><name>hadoop.tmp.dir</name><value>/Applications/hadoop-2.6.0/tmp</value><description>A base for other temporary directories.</description></property>将tmp目录设置到安装目录下的tmp文件夹,当然可以根据自己的需要进行设置到其他目录。

3、ssh无法登陆,需要密码,哪个用户设置的ssh就用哪个,其他的用户登陆是无效的,需要重新设置。

愚者用肉体监视心灵,智者用心灵监视肉体

mac 10.10安装hadoop 2.6.0以及配置伪节点

相关文章:

你感兴趣的文章:

标签云: