搭建hadoop2.6.0集群环境

一、规划 (一)硬件资源 10.171.29.191 master10.171.94.155 slave110.251.0.197 slave3

(二)基本资料 用户: jediael 目录:/mnt/jediael/ 二、环境配置 (一)统一用户名密码,并为jediael赋予执行所有命令的权限 #passwd # useradd jediael # passwd jediael # vi /etc/sudoers 增加以下一行: jediael ALL=(ALL) ALL

(二)创建目录/mnt/jediael $sudo chown jediael:jediael /opt $ cd /opt $ sudo mkdir jediael 注意:/opt必须是jediael的,否则会在format namenode时出错。 (三)修改用户名及/etc/hosts文件 1、修改/etc/sysconfig/network NETWORKING=yes HOSTNAME=*******

2、修改/etc/hosts 10.171.29.191 master10.171.94.155 slave110.251.0.197 slave3注 意hosts文件不能有127.0.0.1 *****配置,否则会导致出现异常。org.apache.hadoop.ipc.Client: Retrying connect to server: master/10.171.29.191:9000. Already trie

3、hostname命令 hostname **** (四)配置免密码登录 以上命令在master上使用jediael用户执行: $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 然后,将authorized_keys复制到slave1,slave2 scp ~/.ssh/authorized_keys slave1:~/.ssh/ scp ~/.ssh/authorized_keys slave2:~/.ssh/ 注意 (1)若提示.ssh目录不存在,则表示此机器从未运行过ssh,因此运行一次即可创建.ssh目录。 (2).ssh/的权限为600,authorized_keys的权限为700,权限大了小了都不行。 (五)在3台机器上分别安装java,,并设置相关环境变量 参考 (六)下载hadoop-2.6.0.tar.gz,并将其解压到/mnt/jediael wget tar -zxvf hadoop-2.6.0.tar.gz三、修改配置文件 【3台机器上均要执行,一般先在一台机器上配置完成,再用scp复制到其它机器】 (一)hadoop_env.sh export JAVA_HOME=/usr/java/jdk1.7.0_51 (二)修改core-site.xml

<property><name>hadoop.tmp.dir</name><value>/mnt/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>io.file.buffer.size</name><value>4096</value></property>(三)修改hdfs-site.xml <property><name>dfs.replication</name><value>2</value></property>(四)修改mapred-site.xml<property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobtracker.http.address</name><value>master:50030</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>mapred.job.tracker</name><value>:9001</value></property>(五)修改yarn.xml<property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property>(六)修改slaves 【不用修改masters文件??】slaves: slave1 slave3四、启动并验证 1、格式 化namenode[jediael@master hadoop-1.2.1]$ bin/hadoop namenode -format 2、启动hadoop【此步骤只需要在master上执行】[jediael@master hadoop-1.2.1]$ bin/start-all.sh 3、验证1:向hdfs中写入内容[jediael@master hadoop-2.6.0]$ bin/hadoop fs -ls /[jediael@master hadoop-2.6.0]$ bin/hadoop fs -mkdir /test[jediael@master hadoop-2.6.0]$ bin/hadoop fs -ls / Found 1 itemsdrwxr-xr-x – jediael supergroup 0 2015-04-19 23:41 /test4、验证:登录页面NameNode :50070 5、查看各个主机的java进程 (1)master: $ jps 3694 NameNode3882 SecondaryNameNode7216 Jps4024 ResourceManager

(2)slave1: $ jps 1913 NodeManager2673 Jps1801 DataNode

松树亭亭玉立的耸立在周围小草小花的中间,

搭建hadoop2.6.0集群环境

相关文章:

你感兴趣的文章:

标签云: