一、pcs简介

Pacemaker，即Cluster Resource Manager（CRM），管理整个HA，客户端通过pacemaker管理监控整个集群。 在rhel7/centos7中其是标配的集群管理软件。

1、相关的资源文件

（1）/usr/lib/ocf/resource.d，pacemaker资源库文件位置，可安装资源包：resource-agents 获取更多ocf格式的资源。
（2）/usr/sbin/fence_***，Fencing设备的执行脚本名称，可安装资源包：fence-agents 获取更多Fencing设备资源。

2、查看使用说明：

[shell]# man ocf_heartbeat_*** ## 查看OCF资源说明，man ocf_heartbeat_apache
[shell]# man fence_*** ## 查看Fencing设备说明，man fence_vmware

二、建立集群

 11、配置群集节点的认证
 2 [shell]# pcs cluster auth node11 node12
 32、创建一个二个节点的群集
 4 [shell]# pcs cluster setup --name mycluster node1 node2
 5 [shell]# pcs cluster start --all                  ## 启动群集
 63、设置资源默认粘性（防止资源回切）
 7 [shell]# pcs resource defaults resource-stickiness=100
 8 [shell]# pcs resource defaults
 94、设置资源超时时间
10 [shell]# pcs resource op defaults timeout=90s
11 [shell]# pcs resource op defaults
125、二个节点时，忽略节点quorum功能
13 [shell]# pcs property set no-quorum-policy=ignore

6、没有 Fencing设备时，禁用STONITH 组件功能

在 stonith-enabled=”false” 的情况下，分布式锁管理器 (DLM) 等资源以及依赖DLM 的所有服务（例如 cLVM2、GFS2 和 OCFS2）都将无法启动。

1[shell]# pcs property set stonith-enabled=false

三、配置集群资源

 11、查看可用资源
 2 [shell]# pcs resource list                     ## 查看支持资源列表，pcs resource list ocf:heartbeat
 3 [shell]# pcs resource describe agent_name              ## 查看资源使用参数，pcs resource describe ocf:heartbeat:IPaddr2
 42、配置虚拟IP
 5 [shell]# pcs resource create ClusterIP ocf:heartbeat:IPaddr2 \
 6  ip="192.168.10.15" cidr_netmask=32 nic=eth0 op monitor interval=30s
 73、配置Apache(httpd)
 8 [shell]# pcs resource create WebServer ocf:heartbeat:apache \
 9  httpd="/usr/sbin/httpd" configfile="/etc/httpd/conf/httpd.conf" \
10  statusurl="http://localhost/server-status" op monitor interval=1min
114、配置Nginx
12 [shell]# pcs resource create WebServer ocf:heartbeat:nginx \
13  httpd="/usr/sbin/nginx" configfile="/etc/nginx/nginx.conf" \
14  statusurl="http://localhost/ngx_status" op monitor interval=30s
155.1、配置FileSystem
16 [shell]# pcs resource create WebFS ocf:heartbeat:Filesystem \
17  device="/dev/sdb1" directory="/var/www/html" fstype="ext4"
18 [shell]# pcs resource create WebFS ocf:heartbeat:Filesystem \
19  device="-U 32937d65eb" directory="/var/www/html" fstype="ext4"
205.2、配置FileSystem-NFS
21 [shell]# pcs resource create WebFS ocf:heartbeat:Filesystem \
22  device="192.168.10.18:/mysqldata" directory="/var/lib/mysql" fstype="nfs" \
23  options="-o username=your_name,password=your_password" \
24  op start timeout=60s op stop timeout=60s op monitor interval=20s timeout=60s
256、配置Iscsi
26 [shell]# pcs resource create WebData ocf:heartbeat:iscsi \
27  portal="192.168.10.18" target="iqn.2008-08.com.starwindsoftware:" \
28  op monitor depth="0" timeout="30" interval="120"
29 [shell]# pcs resource create WebFS ocf:heartbeat:Filesystem \
30  device="-U 32937d65eb" directory="/var/www/html" fstype="ext4" options="_netdev"
317、配置DRBD
32 [shell]# pcs resource create WebData ocf:linbit:drbd \
33  drbd_resource=wwwdata op monitor interval=60s
34 [shell]# pcs resource master WebDataClone WebData \
35  master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true
36 [shell]# pcs resource create WebFS ocf:heartbeat:Filesystem \
37  device="/dev/drbd1" directory="/var/www/html" fstype="ext4"
388、配置MySQL
39 [shell]# pcs resource create MySQL ocf:heartbeat:mysql \
40  binary="/usr/bin/mysqld_safe" config="/etc/my.cnf" datadir="/var/lib/mysql" \
41  pid="/var/run/mysqld/mysql.pid" socket="/tmp/mysql.sock" \
42  op start timeout=180s op stop timeout=180s op monitor interval=20s timeout=60s
439、创建资源clone，克隆的资源会在全部节点启动
44 [shell]# pcs resource clone PingCheck
45 [shell]# pcs resource clone ClusterIP clone-max=2 clone-node-max=2 globally-unique=true        ## clone-max=2，数据包分成2路
46 [shell]# pcs resource update ClusterIP clusterip_hash=sourceip        ## 指定响应请求的分配策略为：sourceip

四、调整群集资源

1、配置资源约束

1[shell]# pcs resource group add WebSrvs ClusterIP                ## 配置资源组，组中资源会在同一节点运行
2[shell]# pcs resource group remove WebSrvs ClusterIP            ## 移除组中的指定资源
3[shell]# pcs resource master WebDataClone WebData              ## 配置具有多个状态的资源，如 DRBD master/slave状态
4[shell]# pcs constraint colocation add WebServer ClusterIP INFINITY      ## 配置资源捆绑关系
5[shell]# pcs constraint colocation remove WebServer              ## 移除资源捆绑关系约束中资源
6[shell]# pcs constraint order ClusterIP then WebServer           ## 配置资源启动顺序
7[shell]# pcs constraint order remove ClusterIP                 ## 移除资源启动顺序约束中资源
8[shell]# pcs constraint                          ## 查看资源约束关系， pcs constraint --full

2、配置资源位置

1[shell]# pcs constraint location WebServer prefers node11         ## 指定资源默认某个节点，node=50 指定增加的 score
2 [shell]# pcs constraint location WebServer avoids node11        ## 指定资源避开某个节点，node=50 指定减少的 score
3 [shell]# pcs constraint location remove location-WebServer        ## 移除资源节点位置约束中资源ID，可用pcs config获取
4 [shell]# pcs constraint location WebServer prefers node11=INFINITY       ## 手工移动资源节点，指定节点资源的 score of INFINITY
5 [shell]# crm_simulate -sL                            ## 验证节点资源 score 值

3、修改资源配置

1[shell]# pcs resource update WebFS                        ## 更新资源配置
2[shell]# pcs resource delete WebFS                        ## 删除指定资源

4、管理群集资源

1[shell]# pcs resource disable ClusterIP                    ## 禁用资源
2[shell]# pcs resource enable ClusterIP                    ## 启用资源
3[shell]# pcs resource cleanup ClusterIP                ## 清除指定资源的状态与错误计数

五、群集操作命令

 11、验证群集安装
 2 [shell]# pacemakerd -F                    ## 查看pacemaker组件，ps axf | grep pacemaker
 3 [shell]# corosync-cfgtool -s              ## 查看corosync序号
 4 [shell]# corosync-cmapctl | grep members  ## corosync 2.3.x
 5 [shell]# corosync-objctl | grep members   ## corosync 1.4.x
 62、查看群集资源
 7 [shell]# pcs resource standards          ## 查看支持资源类型
 8 [shell]# pcs resource providers          ## 查看资源提供商
 9 [shell]# pcs resource agents             ## 查看所有资源代理
10 [shell]# pcs resource list               ## 查看支持资源列表
11 [shell]# pcs stonith list                ## 查看支持Fence列表
12 [shell]# pcs property list --all         ## 显示群集默认变量参数
13 [shell]# crm_simulate -sL                ## 检验资源 score 值
143、使用群集脚本
15 [shell]# pcs cluster cib ra_cfg                ## 将群集资源配置信息保存在指定文件
16 [shell]# pcs -f ra_cfg resource create        ## 创建群集资源并保存在指定文件中（而非保存在运行配置）
17 [shell]# pcs -f ra_cfg resource show          ## 显示指定文件的配置信息，检查无误后
18 [shell]# pcs cluster cib-push ra_cfg          ## 将指定配置文件加载到运行配置中
194、STONITH 设备操作
20 [shell]# stonith_admin -I                    ## 查询fence设备
21 [shell]# stonith_admin -M -a agent_name      ## 查询fence设备的元数据，stonith_admin -M -a fence_vmware_soap
22 [shell]# stonith_admin --reboot nodename     ## 测试 STONITH 设备
235、查看群集配置
24 [shell]# crm_verify -L -V              ## 检查配置有无错误
25 [shell]# pcs property                  ## 查看群集属性
26 [shell]# pcs stonith                   ## 查看stonith
27 [shell]# pcs constraint                ## 查看资源约束
28 [shell]# pcs config                    ## 查看群集资源配置
29 [shell]# pcs cluster cib               ## 以XML格式显示群集配置
306、管理群集
31 [shell]# pcs status                      ## 查看群集状态
32 [shell]# pcs status cluster
33 [shell]# pcs status corosync
34 [shell]# pcs cluster stop [node11]             ## 停止群集
35 [shell]# pcs cluster start --all               ## 启动群集
36 [shell]# pcs cluster standby node11            ## 将节点置为后备standby状态，pcs cluster unstandby node11
37 [shell]# pcs cluster destroy [--all]           ## 删除群集，[--all]同时恢复corosync.conf文件
38 [shell]# pcs resource cleanup ClusterIP        ## 清除指定资源的状态与错误计数
39 [shell]# pcs stonith cleanup vmware-fencing    ## 清除Fence资源的状态与错误计数