[精华]Hadoop,HBase分布式集群和solr环境搭建

1. 机器准备(这里做测试用,目的准备5台CentOS的linux系统)

1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(密码是一个空格) 192.168.131.67 administrator/(密码是一个空格) 1.2. 每台机器上安装VMwareWorkstation8.0.3 VMwareWorkstation8.0.3序列号:JG2TD-DJL95-FZZZ8-DU1NH-33GH7 1.3. 创建虚拟机CentOS-6.5-x86_64-bin-DVD1.iso personalize Linux: full name: hadoop user name: hadoop password : root 可在VMwareWorkstation中新建虚拟机,或克隆(已有虚拟机)的方式快速创建5台CentOS-6.5-x86_64-bin机器.分别为master1,master2,slave1,slave2,solr; 用户名/密码都是root/root. 192.168.131.60 root/root 192.168.131.86 root/root 192.168.131.81 root/root 192.168.131.85 root/root 192.168.131.90 root/root 新建:

克隆:

2. 基础环境配置

为了便于以后对虚拟机操作, 建议对5台CentOS进行基础环境配置. 进入虚拟机后,建议以root用户方式登录

2.1 固定机器IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.131.60 子网掩码：255.255.255.0 网关：192.168.131.1 -> apply

第二种：修改配置文件方式vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=”eth0″BOOTPROTO=”static”###HWADDR=”00:0C:29:3C:BF:E7″IPV6INIT=”yes”NM_CONTROLLED=”yes”ONBOOT=”yes”TYPE=”Ethernet”UUID=”ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c”IPADDR=”192.168.131.60″###NETMASK=”255.255.255.0″###GATEWAY=”192.168.131.1″###

2.2 关闭防火墙 查看防火墙状态: service iptables status 关闭防火墙 service iptables status service iptables stop #查看防火墙开机启动状态 chkconfig iptables –list #关闭防火墙开机启动 chkconfig iptables off 2.3 修改hostname: vim /etc/sysconfig/network

NETWORKING=yesHOSTNAME=master1 ###

五台机器分别修改为master1,master2,slave1,slave2,solr. 2.4 配置hosts文件 编辑hosts文件: vim /etc/hosts, 添加如下机器信息 192.168.131.60 master1 192.168.131.86 slave1 192.168.131.81 master2 192.168.131.85 slave2 192.168.131.90 solr 访问hdfs用的的windows系统,包括开发用的机器,都需要将ip地址信息加入hosts文件. 2.5 配置master1,master2,slave1,slave2,solr机器之间的ssh免密码登录: 生成ssh免登陆密钥 cd ~，进入到我的home目录 cd .ssh/

ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys或ssh-copy-id -i localhost

拷贝authorized_keys文件到其他机器命令 scp authorized_keys root@master2:~/.ssh/ 附: 多台机器设置ssh免密码登陆技巧方法: 1.安装ssh. sudo apt-get install ssh. 安装完成后会在~目录（当前用户主目录，即这里的/home/xuhui）下产生一个隐藏文件夹.ssh（ls -a 可以查看隐藏文件）。如果没有这个文件，自己新建即可（mkdir .ssh）. 2.进入.ssh目录下面，在每台机器上执行：ssh-keygen -t rsa 之后一路回车，产生密钥； 3。完成第二步后会产生两个文件： id-rsa#私钥 id-rsa.pub #公钥 4.在第一台机器的目录.ssh下执行命令，cat id-rsa.pub >> authorized_keys；此后.ssh下面会出现authorized_keys文件。 5.然后将第一台机器的.ssh目录下面的authorized_keys文件拷贝到第二台计算机的.ssh目录下，如：scp authorized_keys xuhui@cloud002:~/.ssh/ 6.再转到第二台机器的.ssh目录下，会发现刚刚传输过来的文件-authorized_keys，然后执行命令，将第二台计算机的公钥也加进来，如：cat id-rsa.pub >> authorized_keys. 7.将第二台计算机新生成的authorized_keys传输第三台计算机，将第三台计算机的公钥-id-rsa.pub添加到从第二台计算机传过来的authorized_keys里面。 8.依次类推，直至集群中的最后一台计算机。 9.在集群的最后一台计算机执行完添加后，生成的authorized_keys文件就包含集群中所有计算机的公钥，如果以后还有机器加进到集群中来，可以直接添加到文件-authorized_keys。最后，将最后生成的authorized_keys复制到集群中的每一台计算机的.ssh目录下，覆盖掉之前的authorized_keys。 10.完成第九步后，就可以在集群中任意一台计算机上，免密码ssh登录到其他计算机了。 2.6 时间同步 在联网状态下, 调整所有机器在同一时区, 如shanghai, 时间即可自动同步。

3. 安装JDK

安装JDK, hadoop,hbase 可以先在一台机器安装,如master1机器上. 安装完成后直接copy相关文件和文件夹到其他机器即可完成所有机器安装. 下面有详细步骤说明. 1. 解压jdk #创建文件夹 mkdir /usr/java #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/ (对于jdk-6u45-linux-x64.bin这样的需要: 1)在下载得到的二进制文件上执行 chmod +x 命令 chmod +x jdk-6u21-linux-x64.bin 2)执行该二进制文件： ./jdk-6u21-linux-x64.bin ) 2. 将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/usr/java/jdk1.6.0_45 export PATH=JAVA_HOME/bin

#刷新配置source /etc/profile4.安装hadoop

上传hadoop安装包

就会犯错误，就会有无数次让自己跌倒的机会出现，