一、环境介绍与说明1. 操作系统及网络环境准备
两台IBM X3650M3, 一台DS3400光纤存储。 操作系统: CentOS 5.9 x64,安装有图形界面,开发包,开发库,老的软件开发工具。 为了避免环境干扰,关闭selinux, 关闭防火墙,本文出自:
Haproxy+Keepalived+Jboss集群实施架构一例是在本文基础上延伸。
1) 节点1规划及网络情况如下:
说明:IBM服务器采用ipmi lan方式实现内部fence设备,需要将专用IMM2口或标注有SYSTEM MGMT网口接入交换机, 与本地IP地址同段。
主机名: node1 ipmi地址: 10.10.10.85/24 eth1: 192.168.233.83/24 eth1:0 10.10.10.87/24
2) 节点1规划及网络情况如下:
IBM服务器需要将专用IMM2口或标注有SYSTEM MGMT网口接入交换机。
主机名: node2 ipmi地址: 10.10.10.86/24 eth1: 192.168.233.84/24 eth1:0 10.10.10.88/24
3)node1, node2 hosts文件配置
# cat /etc/hosts
192.168.233.83 node1 192.168.233.84 node2 192.168.233.90 vip 10.10.10.85 node1_ipmi 10.10.10.86 node2_ipmi
2. 配置YUM安装源(1) node1, node2 挂载光盘或ISO, 两节点上都需要配置。
# mount /dev/cdrom /mnt # mount -o loop centos59.iso /mnt
(2) 配置YUM客户端
说明: 通过本地光盘做为yum安装源。
# vi /etc/yum.repos.d/centos59.repo
[centos59] name=Centos59 baseurl=file:///mnt/ gpgcheck=1 enabled=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5
3. Ipmi口的配置安装ipmi工具, IP地址也可以通过BIOS中进行配置(1) 检查主机是否有相关IPMI硬件支持
[root@node1 ~]# dmidecode |grep -C 6 IPMI |tail -n 7
IPMI Device Information Interface Type: KCS (Keyboard Control Style) Specification Version: 2.0 I2C Slave Address: 0x10 NV Storage Device: Not Present Base Address: 0x0000000000000CA2 (I/O) Register Spacing: Successive Byte Boundaries
(2) 安装ipmi管理工具
# yum install OpenIPMI OpenIPMI-devel OpenIPMI-tools OpenIPMI-libs # service ipmi start # chkconfig ipmi on
(3) 进行IPMI的基本网络配置:以下指令分别配置了IP地址、掩码、网关、允许进入开关。
node1,node2 IPMI接口IP配置
原始IPMI地址配置如下:
node1 IPMI接口IP配置
node2 IPMI接口IP配置
ipmitool lan set 1 ipaddr 10.10.10.86 ipmitool lan set 1 netmask 255.255.255.0 #ipmitool lan set 1 defgw ipaddr 10.10.10.254 ipmitool lan set 1 access on ipmitool lan print 1
(3)开启默认用户、设置默认密码:
# 显示当前用户列表 ipmitool user list 1 ipmitool user set password 2 passwd
说明:2为用户UID,这里使用IBM默认用户名与密码USERID/PASSW0RD
(4) 测试IMPI,在服务器上配置好IPMI后,测试ipmi地址。
查看本机状态 [root@node1 ~]# ipmitool -H 10.10.10.85 -U USERID -P PASSW0RD power status Chassis Power is on
查看节点2状态 [root@node1 ~]# ipmitool -H 10.10.10.86 -U USERID -P PASSW0RD power status Chassis Power is on
远程重启节点2服务器 [root@node1 ~]# ipmitool -H 10.10.10.86 -U USERID -P PASSW0RD power reset Chassis Power is on
正常返回结果会是:Chassis Power is on
其它测试命令如开机,关机,重启,如下命令可以用于远程管理。
ipmitool -H 10.10.10.86 -U USERID -P PASSW0RD power on ipmitool -H 10.10.10.86 -U USERID -P PASSW0RD power off ipmitool -H 10.10.10.86 -U USERID -P PASSW0RD power reset
二、挂载IBM DS3412光纤存储1. 查看HBA的WWN号码,查看有多少块HBA
node1, node2 挂载了一个1TB的磁盘, 集群文件系统,100M仲裁盘
node1上WWN号查看,HBA卡安装卡槽位置随各机而异。
cat /sys/class/fc_host/host5/port_name 0x10000000c9a55a09
node2上WWN号查看
cat /sys/class/fc_host/host5/port_name 0x10000000c9a56308
2. 划分存储并挂载1)解压IBM存储管理软件
本文采用IBM DS3400存储带内管理方式连接IBM存储,全程远程配置。
# tar zxvf SM10.70_Linux_Single-10.70.x5.25.tgz # cd Linux10p70_single # cd Linux/ # ls SMagent-LINUX-10.02.A5.08-1.i386.rpm SMesm-LINUX-10.70.G5.07-1.noarch.rpm SMutil-LINUX-10.00.A5.16-1.i386.rpm SMclient-LINUX-10.70.G5.25-1.noarch.rpm SMruntime-LINUX-10.70.A5.00-1.i586.rpm #
2)安装管理软件包,客户端会自动安装在/opt/IBM_DS目录下面。#rpm-ivhSMclient-LINUX-10.70.G5.25-1.noarch.rpmSMruntime-LINUX-10.70.A5.00-1.i586.rpmSMesm-LINUX-10.70.G5.07-1.noarch.rpmPreparing…###########################################[100%]1:SMesm###########################################[33%]2:SMruntime###########################################[67%]3:SMclient###########################################[100%]SMmonitorstarted.#3)直接启动带内管理监控程序孑然一身,隐入苍茫自然,自有一种孤独的意味;旅行,