RH318小结（五）创建存储域
在 RH318小结（一）RHEV概述 篇中已经提到过，RHEV内会有三个存储域－－－ISO域，存储域，导出域。ISO域用于存放安装镜像和驱动镜像，存储域用于存放vm img ，导出域用于导入导出虚拟机。而其支持的类型见下图：
上面看的已经非常直观，ISO域主要支持NFS和本机，导出域支持的类型有NFS和GFS，数据域支持的类型最多，常见的方式都支持。而对分布式文件系统GFS的支持，也对存储的横向扩展提供了方便，这点是比较强大的。这里强调一点，一个数据中心中，只支持一个ISO域和一个导出域，数据域可以有多个。
一、新建ISO域和导出域
默认ISO域在engine-setup安装RHEVM时是可以直接创建好的，这里假设安装时未选择。
1、创建NFS服务
1安装包
2# yum install nfs-utils
3配置开机自启动
4# chkconfig --add rpcbind
5# chkconfig --add nfs
6# chkconfig rpcbind on
7# chkconfig nfs on
8启动服务
9# service rpcbind start
10# service nfs start
11创建两个域使用的目录
12# mkdir -p /exports/iso
13# mkdir -p /exports/export
修改/etc/exports文件，增加如下内容：
1# cat /etc/exports
2/exports/iso *(rw)
3/exports/export *(rw)
修改后记得重启服务生效，可以使用如下任一种操作：
1# exportfs -rv 或
2# service nfs reload
使用rhel7版本的nfs时，可以参看之前的文章 RH254小结（四）NFS服务器的搭建 。
2、增加用户修改权限
RHEV中使用的用户和组是vdsm:kvm，所以需要增加用户ID为36的用户vdsm，增加组ID为36的组kvm ，并让其有访问上面创建的两个目录的权限，操作如下：
1# groupadd kvm -g 36
2# useradd vdsm -u 36 -g 36
3# chown -R 36:36 /exports/iso
4# chown -R 36:36 /exports/export
5# chmod 0755 /exports/iso
6# chmod 0755 /exports/export
3、创建ISO域和导出域
创建的时候记得在rhevm平台左边键选择对应的数据中心下的storage部分，再点New domain增加，如下图：
上图中的ISO域名字这里设置为isoa，后面在上传镜像文件时会用到，选择相应的数据中心和存储类型，这里选择为NFS并指定路径，参数部分使用默认，也可以勾选后增加参数。
当系统中存在多个数据中心时，增加storage又是通过全局来增加的，还需要通过attach附加到指定的数据中心上。attach的方法是，在storage选项下的date center sheet页，attach点击后选中相应的数据中心即可。导出域的增加方法是一样的。这里不再单独说明。
二、上传ISO镜像文件
上传镜像需要使用engine-iso-uploader命令，具体使用格式如下：
1# engine-iso-uploader --help
2Usage: engine-iso-uploader [options] list
3 engine-iso-uploader [options] upload FILE [FILE]...[FILE]
示例如下：
1# engine-iso-uploader -i isoa upload virtio-win.iso virtio-win_amd64.vfd -u admin@internal
2Please provide the REST API password for the admin@internal oVirt Engine user (CTRL+D to abort):
3Uploading, please wait...
4INFO: Start uploading virtio-win.iso
5INFO: virtio-win.iso uploaded successfully
6INFO: Start uploading virtio-win_amd64.vfd
7INFO: virtio-win_amd64.vfd uploaded successfully
将密码加入/etc/ovirt-engine/isouploader.conf配置文件中，可以以后每次上传不会再输入密码 。同样的方法，我们可以上传操作系统安装镜像上去。
另外需要注意的是，还有一个engine-image-uploader 指令，该指令用于上传OVA虚拟机模板文件到导出域用的，不要搞混了。上传完成后，会在/exports/iso 目录－－－即我们刚刚创建NFS服务的主机上，看到ISO域的目录结构如下：
1# tree
2.
3├── b0a26e0a-934d-479b-a6ee-e5ff55f8c36f
4│ ├── dom_md
5│ │ ├── ids
6│ │ ├── inbox
7│ │ ├── leases
8│ │ ├── metadata
9│ │ └── outbox
10│ └── images
11│ └── 11111111-1111-1111-1111-111111111111
12│ ├── rhel-server-7.1-x86_64-dvd.iso
13│ ├── rhev-tools-setup.iso
14│ ├── virtio-win_amd64.vfd
15│ ├── virtio-win.iso
16│ └── virtio-win_x86.vfd
17└── __DIRECT_IO_TEST__
184 directories, 11 files
上传完成后，在iso域的images sheet页中，会查看到上传的镜像文件，如下：
三、data stroage相关
这里我选择使用iscsi 做为数据存储域，使用的还上面的那台rhel6.6提供NFS的主机。在该机上我会新增了一块盘vdb，大小为70G 。
1、配置iscsi 服务
1安装相关包
2# yum install -y scsi-target-utils
3编辑/etc/tgt/targets.conf文件
4<target iqn.2014-10.com.example.rhevm.pod0:iscsi>
5 backing-store /dev/vdb
6 initiator-address 172.25.0.0/24
7 #initiator-address 172.25.0.15
8</target>
9配置服务并设置开机启动
10# service tgtd start
11# chkconfig tgtd on
12访火墙配置
13# iptables -I INPUT -p tcp --dport 3260 -j ACCEPT
2、增加存储域
3、SPM相关与data storage
SPM是the storage pool manager的缩写，具体见下图：
在一个数据中心中，只存在一个SPM，所有主机的元数据写入都会通过SPM主机（RHEV-H中的一台）进行控制，一旦该机在cluster中挂掉，集群中会重新选举一台主机做为SPM主机。我们登陆到SPM所在的主机可以看到如下信息：
1查看pv信息
2[root@servera ~]# pvs
3 PV VG Fmt Attr PSize PFree
4 /dev/mapper/1IET_00010001 e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 lvm2 a-- 69.62g 65.50g
5 /dev/vda4 HostVG lvm2 a-- 21.75g 404.00m
6查看vg信息
7[root@servera ~]# vgs
8 VG #PV #LV #SN Attr VSize VFree
9 HostVG 1 4 0 wz--n- 21.75g 404.00m
10 e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 1 8 0 wz--n- 69.62g 65.50g
11查看lv信息
12[root@servera ~]# lvs
13 LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
14 Config HostVG -wi-ao---- 8.00m
15 Data HostVG -wi-ao---- 15.54g
16 Logging HostVG -wi-ao---- 2.00g
17 Swap HostVG -wi-ao---- 3.80g
18 95faf182-5987-4e24-98ca-a9350da16f06 e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi------- 128.00m
19 a7c64453-a5c8-4ffa-bcaa-55dfeb53313e e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi------- 128.00m
20 ids e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-ao---- 128.00m
21 inbox e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 128.00m
22 leases e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 2.00g
23 master e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-ao---- 1.00g
24 metadata e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 512.00m
25 outbox e32d4577-9aa2-45a6-8a7a-4ff98803c9c7 -wi-a----- 128.00m
26df查看信息，只选取部分
27[root@servera ~]# df -h
28Filesystem Size Used Avail Use% Mounted on
29/dev/mapper/e32d4577--9aa2--45a6--8a7a--4ff98803c9c7-master 976M 1.3M 924M 1% /rhev/data-center/mnt/blockSD/e32d4577-9aa2-45a6-8a7a-4ff98803c9c7/master
30172.25.0.15:/exports/iso 30G 14G 15G 48% /rhev/data-center/mnt/172.25.0.15:_exports_iso
31172.25.0.15:/exports/export 30G 14G 15G 48% /rhev/data-center/mnt/172.25.0.15:_exports_export
通过pv信息，我们看到两块盘，一般大小为70G，一块为21G左右，70G的是iscsi 分盘的存储域的大小，21G大小的是rhve-h主机本地盘的大小。而通过查看vg和lv信息，及与其他非spm主机比较发现，安装RHEV-H的主机都会创建HostVG 卷，用于本地创建多个分区使用，而在其他主机上查看到以UUID命令的70G大小的卷。而在其他主机上同样可以看到导出域和ISO域。所以可以得到如下结论：
- 存储域底层是使用的LVM分区－－－因为LVM分区方便无损增加大小且无需停机；
- 存储域是在SPM主机上可以查看到的；
- ISO域和导出域是在所有主机上都挂载的；
时间有点晚了，今天就先到这里，存储域的增大后面单独做一部分讲吧 ，而且后面总结快照部分时，也会提到在SPM主机上查看存储域的变化。导出域部分本篇中也几乎没怎么讲到，后面在模板部分中再提吧。
捐赠本站(Donate)
如您感觉文章有用，可扫码捐赠本站！(If the article useful, you can scan the QR code to donate))
- Author: shisekong
- Link: https://blog.361way.com/rhev-storage/4867.html
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.