1. 创建用户创建hadoop用户组：sudo addgroup hadoop创建hadoop用户：sudo adduser -ingroup hadoop hadoop为hadoop用户分配root权限：sudo gedit /etc/sudoers按回车键就可以打开sudoers文件在root ALL=(ALL:ALL) ALL下面添加hadoop ALL=(ALL:ALL) ALL 2. 修改机器名 系统安装之后默认的名称为"ubuntu"，为了在集群中能够分辨各台服务器，我们需要修改机器名，机器名由/etc/hostname文件决定。打开/etc/hostname文件：sudo gedit /etc/hostname将"ubuntu"改为规定的机器名，比如"master"3. 安装JDK将已经下载的jdk-7u79-linux-x64.tar.gz复制到ubuntu上。拷贝到/usr/local路径:解压：cd /usr/local进入到jdk压缩包所在路径；解压缩sudo tar -zxvf jdk-7u79-linux-x64.tar.gz，回车出现量的压缩信息，压缩完之后查看该目录下的文件，会发现多了个文件夹，如图设置环境变量打开/etc/profile文件，将以下内容拷贝进去。# set java environmentexport JAVA_HOME=/opt/jdk1.7.0_79export JRE_HOME=$JAVA_HOME/jre export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH测试JDK输入java -version测试环境系统Java环境安装完毕4. 安装SSH服务hdfs通过ssh控制节点之间的通讯，所以ssh一定要设置。sudo apt-get install ssh openssh-server 5. 设置SSH免密码连接，在master节点上生成key成功流程: hadoop@master 用户下 sudo gedit /home/sudoers 添加权限 hadoop@master 用户下 sudo gedit /etc/hosts 添加客户机/服务器 ssh-keygen 获取密钥 cat id_rsa.pub >> authorized_keys 将密钥写入公钥 cat authorized_keys 查看公钥 sudo scp authorized_keys hadoop@slave03:/home/hadoop/.ssh 将公钥发给客户机/3号服务器 ssh slave03 链接客户机/服务器出现上图所示就说明可以连通，输入exit命令，推出ssh登陆状态。再次输入ssh slave03即可自动链接，否则没成功二、 配置集群1. 解压hadoop安装包 与安装jdk的步骤一样，将hadoop-2.6.0.tar.gz移动到/usr/local下，解压后在/usr/local目录下多一个文件夹，如图将hadoop-2.6.0.tar.gz文件重命名为hadoopsudo mv hadoop-2.6.0.tar.gz hadoop2. 将hadoop文件的权限添加给hadoop组的hadoop用户sudo chown -R hadoop:hadoop hadoop3. 设置linux系统的hadoop环境变量export JAVA_HOME=/opt/jdk1.7.0_79export JRE_HOME=$JAVA_HOME/jre export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH4. 修改/etc/hosts文件打开/etc/hosts文件，将各个节点的机器名与IP对应211.69.255.01 slave01…………….5. 配置/conf/hadoop-env.sh文件指定其中的jdk路径/opt/jdk1.7.0_796. 配置/conf/core-site.xml文件打开core-site.xml文件，配置如下。<property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property>（注：其中的hadoop.tmp.dir项不要按默认的设置，默认的设置会将这个文件夹指定到tmp目录下，一旦NameNode关机或者重启，集群中所有的存储文件将丢失）7. 配置hdfs-site.xml文件打开hdfs-site.xml文件，配置如下<property> <name>dfs.replication</name> <value>3</value> </property>9. 配置slaves文件里面配置的都是集群中的机器名，与hosts文件形成映射。打开slaves文件，配置如下masterslave01slave02slave03(注意这里必须加入master主机域名)10. 将配置好的hadoop发给每一个slave节点scp -r /usr/local/hadoop hadoop@slave01:/usr/local在slave节点上，分别把得到的hadoo文件的权限分配给hadoop用户组的hadoop用户，，执行如下命令sudo chown -R hadoop:hadoop hadoop11. 启动hadoop这里则要注意是在bin的上一层目录执行第一次启动hadoop集群需要对namenode进行格式化，执行命令：bin/hdfs namenode -format。只有第一次启动的时候需要格式化，以后都不需要。格式化完成后执行sbin/start-all.sh脚本启动全部服务。三、 测试集群也可在浏览器访问master节点的50070端口可以看到有3个活着的datanode。如果搭建不成功则sbin/stop-all.sh关闭服务，清除tmp和你配置的存储数据的文件夹，清空后，然后在配置 恭喜你搭建成功
版权声明：本文为博主原创文章，未经博主允许不得转载。
如果你曾歌颂黎明，那么也请你拥抱黑夜
