声明：本文转载自https://my.oschina.net/LastRitter/blog/1535871，转载目的在于传递更多信息，仅供学习交流之用。如有侵权行为，请联系我，我会及时删除。
总共四台虚拟机，安装CentOS 7 X64系统。
每台虚拟机两张网卡，分别连接两个网络，NAT网络192.168.195.0，仅主机网络192.168.162.0。
Target主机安装iSCSI TGT服务，提供共享存储服务。
Test1和Test2主机利用Target主机提供的共享存储对外提供A/P结构的NFS服务，使用PaceMaker进行集群管理。
Develop主机mount有Test主机提供的NFS服务并测试其功能。
使用静态IP地址，并按如下的方式进行配置。
Target eth0 : 192.168.195.131 eth1 : 192.168.162.131 Test1 eth0 : 192.168.195.132 eth1 : 192.168.162.132 Test2 eth0 : 192.168.195.133 eth1 : 192.168.162.133 Develop eth0 : 192.168.195.136 eth1 : 192.168.162.136 NFS使用的浮动IP为：192.168.195.200。
在四台机器的域名解析文件下增加如下部分，并确保相互可以ping通。
$ vi /etc/hosts 192.168.195.131 target 192.168.195.132 test1 192.168.195.133 test2 192.168.195.136 develop 在Target主机上执行如下操作：
安装软件包
$ yum install -y scsi-target-utils iscsi-initiator-utils 配置tgt服务，使用/dev/sdd1分区作为第一个LUN，密码为nfsha。
$ cp -v /etc/tgt/targets.conf /etc/tgt/targets.conf.bak $ vi /etc/tgt/targets.conf <target iqn.2016-12.org.lr:lvm> backing-store /dev/sdd1 initiator-address 192.168.0.0/16 incominguser nfsha nfsha </target> 在LVM中忽略掉/dev/sdd1分区。
$ vi /etc/lvm/lvm.conf global_filter = [ "a|/dev/sdc|", "r|.*/|" ] 重启服务
$ systemctl enable tgtd.service $ systemctl restart tgtd.service $ systemctl status tgtd.service $ tgtadm -L iscsi -m target -o show 在Test1，Test2，Develop三个主机上执行如下操作：
安装软件包。
$ yum install -y iscsi-initiator-utils 设置客户端名称，把XXX分别换成test1，test2，develop。
$ vi /etc/iscsi/initiatorname.iscsi InitiatorName=iqn.2016-12.com.lr:XXX 设置验证协议和密码。
$ vi /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = nfsha node.session.auth.password = nfsha 重启服务。
$ systemctl enable iscsid.service $ systemctl restart iscsid.service $ systemctl status iscsid.service 发现及添加存储。
$ iscsiadm -m discovery -t st -p 192.168.195.131 $ iscsiadm -m node -T iqn.2016-12.org.lr:lvm -p 192.168.195.131:3260 -l $ iscsiadm -m discovery -t st -p 192.168.162.131 $ iscsiadm -m node -T iqn.2016-12.org.lr:lvm -p 192.168.162.131:3260 -l 查看新添加的存储。
$ iscsiadm -m node –l 192.168.195.131:3260,1 iqn.2016-12.org.lr:lvm 192.168.162.131:3260,1 iqn.2016-12.org.lr:lvm $ ll /dev/sd* brw-rw---- 1 root disk 8, 0 11月 24 16:25 /dev/sda brw-rw---- 1 root disk 8, 1 11月 24 16:25 /dev/sda1 brw-rw---- 1 root disk 8, 2 11月 24 16:25 /dev/sda2 brw-rw---- 1 root disk 8, 3 11月 24 16:25 /dev/sda3 brw-rw---- 1 root disk 8, 16 11月 24 16:25 /dev/sdb brw-rw---- 1 root disk 8, 17 11月 24 16:25 /dev/sdb1 brw-rw---- 1 root disk 8, 32 11月 24 16:25 /dev/sdc brw-rw---- 1 root disk 8, 48 11月 24 16:25 /dev/sdd brw-rw---- 1 root disk 8, 64 11月 24 16:25 /dev/sde brw-rw---- 1 root disk 8, 80 11月 24 16:25 /dev/sdf 新生成的设备为sde和sdf。
在Test1，Test2，Develop三个主机上执行如下操作：
安装软件包并加载驱动。
$ yum install -y device-mapper* $ modprobe dm-multipath 查看iSCSI设备的WWID。
$ /lib/udev/scsi_id -g -u /dev/sde 360000000000000000e00000000010001 配置多路径名称。
$ vi /etc/multipath.conf blacklist { devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^sd[a-d][0-9]*" } defaults { user_friendly_names yes path_grouping_policy multibus failback immediate no_path_retry fail } multipaths { multipath { wwid 360000000000000000e00000000010001 alias lvm } } 启动服务
$ mkdir /run/multipathd/ -pv $ touch /run/multipathd/multipathd.pid $ chmod 777 /run/multipathd/multipathd.pid $ systemctl enable multipathd.service $ systemctl restart multipathd.service $ systemctl status multipathd.service $ reboot 刷新multipath缓存
$ multipath -F $ multipath -v2 $ multipath -ll lvm (360000000000000000e00000000010001) dm-2 IET ,VIRTUAL-DISK size=10G features='0' hwhandler='0' wp=rw `-+- policy='service-time 0' prio=1 status=active |- 4:0:0:1 sde 8:64 active ready running `- 3:0:0:1 sdf 8:80 active ready running 允许LVM扫描iscsi设备
$ vi /etc/lvm/lvm.conf filter = [ "a|/dev/mapper/lvm|", "r|.*/|" ] 创建LVM分区
$ pvcreate /dev/mapper/lvm $ vgcreate storage /dev/mapper/lvm $ lvcreate -L 10G -n test storage 配置LVM，设置locking_type为1，设置use_lvmetad为0，禁用lvmetad服务。
$ lvmconf --enable-halvm --services --startstopservices 设置volume_list，排除我们要使用的storage卷组，避免系统自动激活。
$ vgs --noheadings -o vg_name storage $ vi /etc/lvm/lvm.conf volume_list = [ ] 重建initramfs，避免内核启动时，卷组自动激活。
$ dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r) 重启系统，使配置生效。
$ reboot 在Test1和Test2上进行如下配：
禁用防火墙
$ systemctl disable firewalld $ systemctl stop firewalld Or $ firewall-cmd --permanent --add-service=high-availability $ firewall-cmd --add-service=high-availability $ firewall-cmd --reload 禁用SeLinux
$ setenforce 0 $ sed -i.bak "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config $ reboot 安装软件包。
$ yum install pcs pacemaker fence-agents-all 修改集群账号密码
$ passwd hacluster $ cat /etc/passwd | grep hacluster hacluster:x:189:189:cluster user:/home/hacluster:/sbin/nologin 重启服务
$ systemctl start pcsd.service $ systemctl enable pcsd.service $ systemctl status pcsd.service 在任意一个Test节点上进行如下配：
认证集群账户
$ pcs cluster auth test1 test2 Username: hacluster Password: test1: Authorized test2: Authorized 创建集群
$ pcs cluster setup --start --name my_cluster test1 test2 Shutting down pacemaker/corosync services... Redirecting to /bin/systemctl stop pacemaker.service Redirecting to /bin/systemctl stop corosync.service Killing any remaining services... Removing all cluster configuration files... test1: Succeeded test2: Succeeded Starting cluster on nodes: test1, test2... test2: Starting Cluster... test1: Starting Cluster... Synchronizing pcsd certificates on nodes test1, test2... test1: Success test2: Success Restaring pcsd on the nodes in order to reload the certificates... test1: Success test2: Success 手动启动集群
$ pcs cluster start 设置集群开机启动
$ pcs cluster enable --all 查看集群状态
$ pcs cluster status test1: Success test2: Success $ pcs cluster enable --all test1: Cluster Enabled test2: Cluster Enabled $ pcs cluster status Cluster Status: Last updated: Tue Dec 13 14:58:32 2016 Last change: Tue Dec 13 14:57:07 2016 by hacluster via crmd on test2 Stack: corosync Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum 2 nodes and 0 resources configured Online: [ test1 test2 ] PCSD Status: test1: Online test2: Online 安装插件软件包
$ yum install -y fence-* 查看可用fence插件
$ pcs stonith list 查看fence插件使用说明
$ pcs stonith describe fence_kdump fence_kdump - Fence agent for use with kdump The fence_kdump agent is intended to be used with with kdump service. Stonith options: nodename: Name or IP address of node to be fenced ipport: Port number family: Network family action: Fencing action timeout: Timeout in seconds verbose: Print verbose output version: Print version usage: Print usage priority: The priority of the stonith resource. Devices are tried in order of highest priority to lowest. pcmk_host_map: A mapping of host names to ports numbers for devices that do not support host names. pcmk_host_list: A list of machines controlled by this device (Optional unless pcmk_host_check=static-list). pcmk_host_check: How to determine which machines are controlled by the device. pcmk_delay_max: Enable random delay for stonith actions and specify the maximum of random delay 创建fence_kdump。
$ pcs stonith create my_fence fence_kdump test1 查看fence状态。
$ pcs stonith show my_fence Resource: my_fence (class=stonith type=fence_kdump) Operations: monitor interval=60s (my_fence-monitor-interval-60s) 创建NFS分区，并格式化为ext4文件系统。
$ lvcreate -L 50G -n nfs storage $ mkfs.ext4 /dev/storage/nfs 挂载NFS分区。
$ mkdir /mnt/nfs $ mount /dev/storage/nfs /mnt/nfs 创建NFS目录和测试文件。
$ mkdir -pv /mnt/nfs/exports $ mkdir -pv /mnt/nfs/exports/export1 $ mkdir -pv /mnt/nfs/exports/export2 $ touch /mnt/nfs/exports/export1/clientdatafile1 $ touch /mnt/nfs/exports/export2/clientdatafile2 卸载NFS分区，并去激活LVM卷组。
$ umount /dev/storage/nfs $ vgchange -an storage 创建LVM资源，以便激活卷组。
$ pcs resource create my_lvm LVM volgrpname=storage exclusive=true --group nfsgroup 创建文件系统资源。
$ pcs resource create nfsshare Filesystem \ device=/dev/storage/nfs directory=/mnt/nfs fstype=ext4 --group nfsgroup 创建NFS服务资源。
$ pcs resource create nfs-daemon nfsserver \ nfs_shared_infodir=/mnt/nfs/nfsinfo nfs_no_notify=true --group nfsgroup 创建exportfs资源。
$ pcs resource create nfs-root exportfs clientspec=192.168.0.0/255.255.0.0 \ options=rw,sync,no_root_squash directory=/mnt/nfs/exports fsid=0 --group nfsgroup $ pcs resource create nfs-export1 exportfs clientspec=192.168.0.0/255.255.0.0 \ options=rw,sync,no_root_squash directory=/mnt/nfs/exports/export1 fsid=1 --group nfsgroup $ pcs resource create nfs-export2 exportfs clientspec=192.168.0.0/255.255.0.0 \ options=rw,sync,no_root_squash directory=/mnt/nfs/exports/export2 fsid=2 --group nfsgroup 创建浮动IP资源。
$ pcs resource create nfs_ip IPaddr2 ip=192.168.195.200 cidr_netmask=24 --group nfsgroup 创建nfsnotify资源。
$ pcs resource create nfs-notify nfsnotify source_host=192.168.195.200 --group nfsgroup 查看当前状态。
$ pcs status Cluster name: my_cluster Last updated: Tue Dec 13 15:09:27 2016 Last change: Tue Dec 13 15:09:15 2016 by root via cibadmin on test1 Stack: corosync Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum 2 nodes and 9 resources configured Online: [ test1 test2 ] Full list of resources: my_fence (stonith:fence_kdump): Started test1 Resource Group: nfsgroup my_lvm (ocf::heartbeat:LVM): Started test2 nfsshare (ocf::heartbeat:Filesystem): Started test2 nfs-daemon (ocf::heartbeat:nfsserver): Started test2 nfs-root (ocf::heartbeat:exportfs): Started test2 nfs-export1 (ocf::heartbeat:exportfs): Started test2 nfs-export2 (ocf::heartbeat:exportfs): Started test2 nfs_ip (ocf::heartbeat:IPaddr2): Started test2 nfs-notify (ocf::heartbeat:nfsnotify): Started test2 PCSD Status: test1: Online test2: Online Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled 在Develop节点上进行如下测试。
$ showmount -e 192.168.195.200 Export list for 192.168.195.200: /mnt/nfs/exports/export1 192.168.0.0/255.255.0.0 /mnt/nfs/exports 192.168.0.0/255.255.0.0 /mnt/nfs/exports/export2 192.168.0.0/255.255.0.0 $ mkdir nfsshare $ mount -o "vers=4" 192.168.195.200:export1 nfsshare $ mount | grep nfsshare 192.168.195.200://export1 on /root/nfsshare type nfs4 (rw,relatime,vers=4.0,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.195.136,local_lock=none,addr=192.168.195.200) $ ls nfsshare clientdatafile1 $ umount nfsshare $ mkdir nfsshare $ mount -o "vers=3" 192.168.195.200:/mnt/nfs/exports/export2 nfsshare $ mount | grep nfsshare 192.168.195.200:/mnt/nfs/exports/export2 on /root/nfsshare type nfs (rw,relatime,vers=3,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.195.200,mountvers=3,mountport=20048,mountproto=udp,local_lock=none,addr=192.168.195.200) $ ls nfsshare clientdatafile2 $ umount nfsshare
使用NFSv4挂载export1。
$ mkdir nfsshare $ mount -o "vers=4" 192.168.195.200:export1 nfsshare $ ls nfsshare 查看集群运行状态，当前服务全部运行在Test2节点上。
$ Cluster name: my_cluster Last updated: Tue Dec 13 15:20:53 2016 Last change: Tue Dec 13 15:20:50 2016 by root via crm_attribute on test1 Stack: corosync Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum 2 nodes and 9 resources configured Online: [ test1 test2 ] Full list of resources: my_fence (stonith:fence_kdump): Started test1 Resource Group: nfsgroup my_lvm (ocf::heartbeat:LVM): Started test2 nfsshare (ocf::heartbeat:Filesystem): Started test2 nfs-daemon (ocf::heartbeat:nfsserver): Started test2 nfs-root (ocf::heartbeat:exportfs): Stopped nfs-export1 (ocf::heartbeat:exportfs): Stopped nfs-export2 (ocf::heartbeat:exportfs): Stopped nfs_ip (ocf::heartbeat:IPaddr2): Stopped nfs-notify (ocf::heartbeat:nfsnotify): Stopped PCSD Status: test1: Online test2: Online Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled 运行测试循环代码。
$ while :; do date +"%s %c -- $i" | tee -a ~/nfsshare/nfstest.log; sleep 1; (( ++i )); done 挂起Test2主机。
$ pcs cluster standby test2 查看集群运行状态，当前服务全部运行在Test1节点上。
$ pcs status Cluster name: my_cluster Last updated: Tue Dec 13 15:26:16 2016 Last change: Tue Dec 13 15:25:47 2016 by root via crm_attribute on test1 Stack: corosync Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum 2 nodes and 9 resources configured Node test2: standby Online: [ test1 ] Full list of resources: my_fence (stonith:fence_kdump): Started test1 Resource Group: nfsgroup my_lvm (ocf::heartbeat:LVM): Started test1 nfsshare (ocf::heartbeat:Filesystem): Started test1 nfs-daemon (ocf::heartbeat:nfsserver): Started test1 nfs-root (ocf::heartbeat:exportfs): Started test1 nfs-export1 (ocf::heartbeat:exportfs): Started test1 nfs-export2 (ocf::heartbeat:exportfs): Started test1 nfs_ip (ocf::heartbeat:IPaddr2): Started test1 nfs-notify (ocf::heartbeat:nfsnotify): Started test1 PCSD Status: test1: Online test2: Online Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled 在Test2主机上。
$ dmesg -c [ 3145.065649] nfsd: last server has exited, flushing export cache 在Test1主机上。
$ dmesg -c [ 4423.429239] EXT4-fs (dm-2): mounted filesystem with ordered data mode. Opts: (null) [ 4424.169604] NFSD: starting 90-second grace period (net ffffffff81a26d80) 在Develop主机上。
$ cat ~/nfsshare/nfstest.log ... 1481613943 2016年12月13日 星期二 15时25分43秒 -- 71 1481613944 2016年12月13日 星期二 15时25分44秒 -- 72 1481613945 2016年12月13日 星期二 15时25分45秒 -- 73 1481613946 2016年12月13日 星期二 15时25分46秒 -- 74 1481613947 2016年12月13日 星期二 15时25分47秒 -- 75 1481614054 2016年12月13日 星期二 15时27分34秒 -- 76 1481614055 2016年12月13日 星期二 15时27分35秒 -- 77 1481614056 2016年12月13日 星期二 15时27分36秒 -- 78 1481614057 2016年12月13日 星期二 15时27分37秒 -- 79 1481614058 2016年12月13日 星期二 15时27分38秒 -- 80 1481614059 2016年12月13日 星期二 15时27分39秒 -- 81 ... $ dmesg -c ... [39697.057079] nfs: server 192.168.195.136 not responding, still trying [39701.648036] nfs: server 192.168.195.136 not responding, still trying [39738.902904] nfs: server 192.168.195.136 not responding, timed out [39918.946359] nfs: server 192.168.195.136 not responding, timed out [39923.889380] nfs: server 192.168.195.136 not responding, timed out ... $ cat /proc/fs/nfsfs/servers NV SERVER PORT USE HOSTNAME v4 c0a8c3c8 801 1 192.168.195.200 $ cat /proc/fs/nfsfs/volumes NV SERVER PORT DEV FSID FSC v4 c0a8c3c8 801 0:42 0:0 no 可以看到，在切换主机前后后，Develop主机上的写入进程大概被阻塞107秒（多次反复测试，均在95秒到110秒之间），之后可以正常进行读写。
在读写时进行主备切换，查看文件是否能够正确读写。
$ cp /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso . $ md5sum /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso CentOS-7-x86_64-Everything-1511.iso dba29c59117400b111633be2bf2aaf0e /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso dba29c59117400b111633be2bf2aaf0e CentOS-7-x86_64-Everything-1511.iso Red Hat Enterprise Linux 7 High Availability Add-On Administration
本文发表于2017年09月12日 16:36
(c)注：本文转载自https://my.oschina.net/LastRitter/blog/1535871，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如有侵权行为，请联系我们，我们会及时删除.
阅读 2127 讨论 0 喜欢 0
避坑！MotionGo就是一款诈骗软件！千万不要用ChatPPT，浪费时间！
宝塔面板使用WWW用户执行计划任务命令 解决laravel日志权限问题 宝塔设置计划任务执行用户
手机微信一键制作透明底文字表情 教你如何让微信表情包背景为透明 自制微信表情包动图 文字表情在线制作
ssh目录权限配置指南 .ssh文件夹及rsa_id.pub等文件正确权限规则
Mac连接亚马逊AWS EC2 远程连接登录不上去 有pem私钥文件依然要输密码 默认密码 教程
PHP工程师必知必会 - Linux系统常用命令 - Linux中的网络管理命令（下）
| 抢先体验 |
|---|
扫码体验 |
| 闪念胶囊 |
|---|
|
你要过得好哇，这样我才能恨你啊，你要是过得不好，我都不知道该恨你还是拥抱你啊。 17:21 2021年04月19日 查看详情 |
|
直抵黄龙府，与诸君痛饮尔。 18:17 2021年03月28日 查看详情 |
|
那时陪伴我的人啊，你们如今在何方。 16:28 2021年03月19日 查看详情 |
|
不出意外的话，我们再也不会见了，祝你前程似锦。 18:05 2021年03月17日 查看详情 |
|
这世界真好，吃野东西也要留出这条命来看看 21:21 2021年03月14日 查看详情 |
| Contact |
|---|
Y2lvbkBjaGluYWNpb24uY24= |