一使用环境
操作系统Ubuntu
Hadoop版本
二Hadoop官网安装手册单机安装分为“standalone”和“pseudodistributed”两种模式我使用的是伪分布式模式
手册的安装步骤很详细没有必要当翻译工了但是手册为了通用性牺牲了一些关键问题的讨论第三节中提及一下
三手册缺陷手册主要有两个问题没有说清楚
Hadoop安装在哪个目录下好？
选择一般有两种/usr/local和家目录下我选择安装在家目录下因为开始玩hadoop的时候这样避免了权限的麻烦如果要部署应用的话应该安装在/usr/local
配置文件的问题
这是安装hadoop最重要的步骤所有配置文件均在${HADOOP_HOME}/conf目录下
如果完全按照手册配置你的hadoop可能经常遇到NameNode或DataNode启动不起来的情况配置文件的不同主要在coresitexml
手册配置如下
<configuration><property><name>fsdefaultname</name><value>hdfs://localhost:</value></property></configuration>我的配置如下
<configuration><property><name>fsdefaultname</name><value>hdfs://localhost:</value></property><property><name>hadooptmpdir</name><value>/home/zhengeek/hadooptmp</value><description>A base for other temporary directories</description></property></configuration>
有两处不同
和这两个端口都可以只要没有被占用
最容易出问题的地方就在这里比如这个哥们遇到的问题
hadoop运行起来hdfs和mapreduce有许多数据需要保存这可以通过dfsnamedir 和 dfsdatadir设置如果没有设置那么数据就会默认存放在/tmp目录下如果机器重启tmp目录下的数据就会丢失namenode自然启动不起来了
如果设置了hadooptmpdir那么这些数据就会默认存放在改目录下
有关hadooptmpdir设置的讨论
四启动hadoop
格式化hdfs
$bin/hadoop namenode format
启动hdfs
$bin/startallsh
检查是否成功
$jps
若成功会看到namenodesecondarynamenodedatanodejobtracker和tasktracker五个进程
要温暖还是怕麻烦。
