比较忙,没有时间学习这个,今天下决心要在linux上搞好,vm虚拟机集群环境已经搭建好了,并能正常启动,中间遇到过一些问题,这里就不说了。
这次配置dfs主要产生的问题主要是端口配置错误,没有和环境中的一致,搞反了,其次hadoop是看不到目录结构的,非传统目录。通过eclipse插件可以查看。
1、把eclipse-java-helios-SR2-linux-gtk.tar.gz解压到某个目录中,我解压到的是/opt/software/,得到eclipse目录2、在/usr/bin目录下创建一个启动脚本eclipse,执行下面的命令来创建:# vi /usr/bin/eclipse 添加如下内容#!/bin/shexport ECLIPSE_HOME="/opt/software/eclipse"$ECLIPSE_HOME/eclipse $*3、在Applications(应用程序)菜单上添加一个图标[root@master]# vi /usr/share/applications/eclipse.desktop 然后在文件中添加下列内容:[Desktop Entry]Encoding=UTF-8Name=Eclipse PlatformComment=Eclipse IDEExec=eclipseIcon=/opt/software/eclipse/icon.xpmTerminal=falseStartupNotify=trueType=ApplicationCategories=Application;Development;
========================在eclipse配置hadoop====================1.在eclipse上安装hadoop插件复制 hadoop 插件hadoop-0.20.203.0-eclipse-plugin.jar 到eclipse安装目录/plugins/ 下2.重启eclipse,配置hadoop installation directory。如果安装插件成功,打开Window–>Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。
master hadoop插件配置
master参数配置:
slave1的hdfs和mapred配置
slave1的参数配置
参数配置注意的是和配置文件中的信息一致即可,其他参数暂时可以忽略。
结果图:
走过一个又一个陌生的城市,去感受旖旎的自然风光,