gfs2分布式文件系统的创建
- WBOY원래의
- 2016-06-07 15:20:452155검색
此次搭建gfs2文件系统是以这篇博文为前提，链接如下 http://blog.csdn.net/wjciayf/article/details/40679289 为了实验过程的清晰，故把示意图再次放在本节作为参考 一：实验环境描述如下 1.在上次试验中已经安装好了这两台虚拟机，如下所示 [root@localhost
此次搭建gfs2文件系统是以这篇博文为前提，链接如下
http://blog.csdn.net/wjciayf/article/details/40679289
为了实验过程的清晰，故把示意图再次放在本节作为参考
一：实验环境描述如下
1.在上次试验中已经安装好了这两台虚拟机，如下所示
[root@localhost ~]# virsh list --all
Id Name State
----------------------------------------------------
- rhel6.4-1 shut off
- rhel6.4-2 shut off
2.把Vmware上的rhel6.4作为管理节点同时也作为共享存储SAN节点（额外添加一块10g硬盘，作为共享磁盘）
3.两台虚拟机作为gfs节点
4.主机名和IP关系对应如下
172.16.1.1 manager
172.16.1.2 gfs1
172.16.1.3 gfs2
5.集群名为GfsCluster
二：配置管理节点
1.设置主机名、hosts文件、配置manager,gfs1,gfs2基于秘钥的访问（前面的操作gfs1,gfs2同时设置）
2.安装luci和scsi-target-utils
[root@manager ~]# yum -y install luci scsi-target-utils
3.启动luci
[root@manager ~]# chkconfig luci on ;/etc/init.d/luci start
Point your web browser tohttps://manager:8084 (or equivalent) to access luci
[root@manager ~]#
4.把新添加的10g硬盘分成一个1g（作为qdisk）分区sdb1和一个9g（作为gfs2）分sdb2
5.配置iscsitarget
[root@manager ~]# grep -v "^#" /etc/tgt/targets.conf
default-driver iscsi
backing-store /dev/sdb1
backing-store /dev/sdb2
6.启动tgtd服务并检查是否正确生成目标
[root@manager ~]# chkconfig tgtd on;/etc/init.d/tgtd start
Starting SCSI target daemon: [ OK ]
[root@manager ~]#
[root@manager ~]# tgt-admin -s
Target 1:iqn.2014-10.com.wjcyf:server.target1
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 1000 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/sdb1
Backing store flags:
LUN: 2
Type: disk
SCSI ID: IET 00010002
SCSI SN: beaf12
Size: 9737 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/sdb2
Backing store flags:
Account information:
ACL information:
ALL
[root@manager ~]#
三：配置gfs1和gfs2节点
1.安装rgmanager,cman,gfs2-utils,iscsi-initiator等相关软件包
[root@manager ~]# for i in 1 2; do ssh gfs$i yum -y install rgmanager cman gfs2-utils iscsi-initiator-utils; done
2.启动ricci服务并为ricci用户设置密码
[root@manager ~]# for i in 1 2; do ssh gfs$i "chkconfig ricci on ; /etc/init.d/ricci start"; done
[root@manager ~]# for i in 1 2; do ssh gfs$i 'echo "111111" | passwd --stdin ricci' ; done
Changing password for user ricci.
passwd: all authentication tokens updatedsuccessfully.
Changing password for user ricci.
passwd: all authentication tokens updatedsuccessfully.
3.连接iscsi服务
[root@manager ~]# for i in 1 2; do ssh gfs$i iscsiadm --mode discoverydb --type sendtargets --portal manager --discover;done
[root@manager ~]# for i in 1 2; do ssh gfs$i /etc/init.d/iscsi start; done
4.此时新发现的磁盘sda将作为qdisk，sdb将作为gfs2，如下所示
[root@gfs1 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPEMOUNTPOINT
vda 252:0 0 5G 0 disk
vda1 252:1 0 3.9G 0 part /
vda2 252:2 0 1.1G 0 part [SWAP]
sda 8:0 0 953.7M 0 disk
sdb 8:16 0 9.1G 0 disk
[root@gfs1 ~]#
5.在gfs1或gfs2上给/dev/sdb分成一个分区/dev/sdb1
6.创建gfs2挂载目录/gfs2
[root@manager ~]# for i in 1 2; do ssh gfs$i mkdir /gfs2; done
四.创建GfsCluster集群
1.打开IE浏览器输入https://192.168.78.11:8804
2.点击“继续浏览此网站（不推荐）”—输入manager节点用户名"root"，密码：111111，即可进入luci管理界面，如下所示
3.依次点击“Manager clusters”—“Create”打开“创建新集群”对话框，如下所示
4.填写相关内容后，如下所示
5.确认无误后，点击“CreateCluster”,如下所示，正在创建集群
6.集群创建完毕，如下所示
五：创建gfs2分布式文件系统
1.在gfs1或gfs2上操作，查看集群状态
[root@gfs1 ~]# clustat
Cluster Status for GfsCluster @ Wed Oct 2907:03:30 2014
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
gfs1 1Online, Local
gfs2 2Online
[root@gfs1 ~]#
2. 创建gfs2文件系统
[root@gfs1 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t GfsCluster:TestGfs /dev/sdb1
This will destroy any data on /dev/sdb1.
It appears to contain: data
Are you sure you want to proceed? [y/n] y
Device: /dev/sdb1
Blocksize: 4096
Device Size 9.07 GB (2377212 blocks)
Filesystem Size: 9.07 GB (2377212 blocks)
Journals: 2
Resource Groups: 37
Locking Protocol: "lock_dlm"
Lock Table: "GfsCluster:TestGfs"
UUID: f7fe8f5f-98a6-478c-2845-9a8d26b229f1
[root@gfs1 ~]#
其中参数含义如下：
-j //设置支持的节点数
-p //指定锁方式为分布式锁
-t //指定DLM锁所在的表名称
3.挂载gfs2文件系统
[root@manager ~]# for i in 1 2; do ssh gfs$i 'echo "/dev/sdb1 /gfs2 gfs2 defaults 0 0" >>/etc/fstab'; done
[root@manager ~]# for i in 1 2; do ssh gfs$i mount /gfs2; done
[root@manager ~]# for i in 1 2; do ssh gfs$i chkconfig gfs2 on; done
[root@manager ~]# for i in 1 2; do ssh gfs$i df -h |grep gfs2; done
/dev/sdb1 9.1G 259M 8.9G 3% /gfs2
/dev/sdb1 9.1G 259M 8.9G 3% /gfs2
[root@manager ~]#
4.在/gfs2下创建一个名为abcd的文件夹，然后到gfs2上去查看
[root@gfs1 ~]# mkdir /gfs2/abcd
[root@gfs2 ~]# ll /gfs2/
total 4
drwxr-xr-x 2 root root 3864 Oct 29 07:14abcd
[root@gfs2 ~]#
由此也说明gfs2基本配置成功
六：配置fence设备
1.以上配置的gfs2文件系统，在正常关机和重启的情况下是可以正常工作的，但是如果不是正常关机和重启，比如其中一个节点突然死机或网线被拔出，这时gfs2就不能正常工作了，一个节点网线被拔出后，gfs2文件系统就会挂起，另一个节点也就不能正常的读写操作，这个时候就需要fence设备
2.RHCS提供的fence设备分为两种,一种是内部fence，一种是外部fence
内部fence常见的如下：
■IBM服务器提供的RSAII卡
■HP服务器提供的iLO卡
■DELL服务器提供的DRAC卡
■智能平台管理接口IPMI
外部fence常见的如下：
■UPS电源
■SAN SWITCH
■NETWORK SWITCH
关于fence设备的添加，下片博文再做讨论