Install Hadoop1.2.1 in Ubuntu12.04

Install Hadoop1.2.1 in Ubuntu12.04

作者:金良(golden1314521@gmail.com) csdn博客:

1.安装VirtualBox虚拟机

这里用的版本是VirtualBox-4.3.20-96997-Win.exe。 该虚拟机是开源的,安装文件只有100M多,与VMware相比,系统资源消耗得少。

2.安装Ubuntu

在VirtualBox虚拟机上安装64位的Ubuntu12.04,具体版本 ubuntu-12.04.3-desktop-amd64。

3.安装Java下载解压安装

我这里的版本是jdk-7u51-linux-x64.tar.gz,将其解压到安装目录,安装后的目录如下:

root@jin-VirtualBox:~# ls /usr/java/jdk1.7.0_51/binjreREADME.htmlTHIRDPARTYLICENSEREADME.txtCOPYRIGHT libreleasedbLICENSE src.zipinclude manTHIRDPARTYLICENSEREADME-JAVAFX.txt配置Java环境变量

打开文件 /etc/profile ,在文件结尾处添加以下几行与上一步安装Java的目录相关的内容

JAVA_HOME=/usr/java/jdk1.7.0_51CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH

以后每次可能用到JavaVM之前,,要检查Java是否可用,可以通过打印JRE版本(java -version)和JDK版本(javac -version)的命令来达到这种效果

执行

java -version

如果打印出JRE版本信息,说明JRE环境变量有效,即类似下面的情况

rootjava version (build 1.7.0_51-b13)(build 24.51-b03, mixed mode)

执行

javac -version

如果打印出JDK的版本信息,说明JDK环境变量设置有效,即类似下面的情况

root.0_51

其中任何一个的版本信息打印异常,就执行以下命令

source profile

然后再次检查Java是否可用,如果仍不能打印出Java版本信息,可能是/etc/profile 没有设置好,或者Java没有正确安装。查找原因,再次检查,直到其可用为止。

4.禁用ipv6

打开 /etc/sysctl.conf 文件,在文件末尾添加如下内容并保存

net_ipv6 = 1net_ipv6 = 1net_ipv6 = 1

重启Ubuntu系统,执行如下命令

cat$/proc/sys/net/ipv6/conf/all/disable_ipv6

如果打印 1 ,说明设置成功,ipv6已被禁用。

5.配置 SSH

生成秘钥对

root@jin-VirtualBox:/usr/local/hadoop# ssh-keygen -t rsa

然后一直按键,就会按默认的选项将生成的秘钥对保存在 ~/.ssh/id_rsa 文件中。

进入 .ssh目录,执行如下命令

root@jin-VirtualBox:~/.ssh# cp id_rsa.pub authorized_keys

然后执行如下命令

ssh localhost

如果不用输入密码,说明配置成功。 配置SSH过程的屏幕输出记录如下:

root@jin-VirtualBox:/usr/local/hadoop# ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:67:cc:ea:e5:a3:60:47:7f:cd:94:04:13:7d:dd:58:40 root@jin-VirtualBoxThe key’s randomart image is:+–[ RSA 2048]—-+|++E++||oo +||.. ||o . . ||S = o ||. = + ||o o o . o ||. + o..||o…|+—————–+root@jin-VirtualBox:/usr/local/hadoop# cd ~/.ssh/root@jin-VirtualBox:~/.ssh# lsid_rsa id_rsa.pub known_hostsroot@jin-VirtualBox:~/.ssh# cp id_rsa.pub authorized_keysroot@jin-VirtualBox:~/.ssh# cd root@jin-VirtualBox:~# ssh localhostWelcome to Ubuntu -29-generic x86_64) * Documentation: https://help.ubuntu.com/388 packages can be updated.212 updates are security updates.New release ‘14.04.2 LTS’ available.Run ‘do-release-upgrade’ to upgrade to it.Last login: Sun Mar localhost6.下载解压hadoop-1.2.1

这里给出个下载各个版本的Hadoop的安装文件的网址 ,我这里下载的是 hadoop-1.2.1.tar.gz。

下载后解压到安装目录,我的安装目录如下所示

root@jin-VirtualBox:/usr/local/hadoop# lsbingoogle-chrome_amd64logsbuildinputNOTICE.txtc++hadoop-client-ivyREADME.txtCHANGESivy.xmlsbinconfhadoop-examples-libsharecontribhadoop-minicluster-libexecsrcdocshadoop-test-LICENSE.txtwebapps7.配置Hadoop

打开文件 /usr/local/hadoop/conf/hadoop-env.sh ,在文件末尾添加Java目录,内容如下

export JAVA_HOME=/usr/java/jdk1.7.0_51

由于我要安装为分布式(Pseudo-Distributed)的Hadoop平台,所以需要配置conf/core-site.xml、conf/hdfs-site.xml和conf/mapred-site.xml,这三个文件都在Hadoop安装目录下。下面分别是配置后的这三个文件的内容

conf/core-site.xml:>>hdfs://localhost:9000>conf/hdfs-site.xml:>>1>conf/mapred-site.xml>>localhost:9001>8.Hadoop的运行运行Hadoop前要删除临时文件不会因为忧伤而风情万种。

Install Hadoop1.2.1 in Ubuntu12.04

相关文章:

你感兴趣的文章:

标签云: