本篇内容准确的说算不上是RHCE课程中的内容,由于后续要了解文件存储(NFS、samba)、块存储(iscsi),所以这里就随道将这些年遇到过、了解到过、听到过的存储内容做一个简单的小结。

存储是一个大范围的概念,看下面左图(网上找的),大致可以分为两种---传统存储系统、现代网络分布式文件系统。现代网络分布式系统可以根据文件大小应用场景的不同分为适用于大文件分布式存储(GFS、HDFS)、适用于小文件存储(TFS),由于这部分不是本篇的重点,接下下我们着重说下传统存储的三个大分类--- DAS、NFS、SAN(右图,自己画的一张简图)。

<a href="https://blog.361way.com/wp-content/uploads/2015/08/storage-classify.png"><img src="https://blog.361way.com/wp-content/uploads/2015/08/storage-classify.png" alt="storage-classify" width="382" height="457" class="alignnone" /></a> <a href="https://blog.361way.com/wp-content/uploads/2015/08/tradition-storage.png"><img src="https://blog.361way.com/wp-content/uploads/2015/08/tradition-storage.png" alt="tradition-storage" width="426" height="337" class="alignnone" /></a>

一、DAS(Direct-Attached Storage)直连式存储

DAS直接式存储,目前大多是通过FC光纤将服务器(FC-HBA卡)和存储进行连接,也有是中间增加光纤交换机进行连接。其传输的数据类型为block 块。典型的应用场景就是oracle RAC 或 双机配置时,使用DAS存储作为共亨磁盘。2010年时公司的oracle双机使用两台DELL R720 + DELL MD3000 做为双机方案---MD3000现已停产,目前同价位的产品有DELL MD1400、DELL MD3400,这种低端DAS一般价位在2-8W左右。

DAS存储是三种传统存储中最简单的,一般直接划LUN后,在主机端聚合后就可以直接使用,无需过多的配置。由于DAS只是一个傻瓜式的磁盘阵列,自身并没有单独的系统对其进行管理,完全依赖于服务器去连接兼管理,其依赖服务器主机OS进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。

二、NAS(Network Attached Storage)网络附属存储

NAS是及于以太网络通过 NFS、SAMBA服务对其他服务器提供基于file文件的存储。其对当前网络的改造较小,直接可以给存储分配IP后接入现有网络,用于给其他服务器提供文件服务。如当前公司使用的华为N8000存储就是一款商业级的NAS存储,更高端一些的公司这边用的如EMC VNX5800、6700等,当然出于成本考虑可以通过开源的freenas将一台普通的PC server变成一台NAS服务器。

NAS的应用场景较多,如文档、图片、影视等文件共享。其也可以为oracle RAC提供共享存储,不过一般不建议给高IO要求的业务使用。由于以太网即要处理普通的网络数据,又要处理NAS数据流 ,所以其速度高度依赖实际的以太网络使用情况。其并不像DAS和SAN有单独的链路。

NAS由于有自身的OS(多根据LINUX或Freebsd修改过的mini系统),所以其不需要服务器再使用过多的资源过IO等进行单独的处理,在备份时不会出像像DAS中遇到先将IO请求回流到服务器再流转到备份磁带上的情况。同时其具有统一管理的优点,NAS可以后面外挂DAS为服务器提供服务。

三、SAN(Storage Area Network and SAN Protocols)存储区域网络

SAN可以细分为FC-SAN、iSCSI、iSER,后面两种都是IP-SAN,iSER 是及于iSCSI 的一个变种。FC-SAN和硬件iSCSI-SAN都需要专门的卡和交换机进行支持,所以其对网络的改造较大,成本较高,但速度很快。单模光纤的传输距离(50公里左右)较以太网要高的多,所以很多大的异地机房容灾多是SAN级别容灾。其价位一般也较高,代表型号如:IBM DS8000、EMC VMAX 10K/20k/30k、HP XP24000等。

FC-SAN 这个不多说,基于FC光纤连接的;

iSCSI 也分两种一种是基于软件实现的,一种是基于硬件实现的。基于软件实现的传输速度不高,其还是基于当前以太网络 ,这部分后面具体会讲到。 基于硬件的iSCSI 卡如Infiniband(简单IB卡),其速度非常快,但需要传用的交换机支持,使用起来时和普通网卡没有区别,可以配置IP并和其他主机互传文件等。

iSER(iSCSI over RDMA) 是iSCSI的一个变种,该协议在一些高要求的方案中都有使用,一般配合ib卡、Fusion-io卡(后面简称fio卡)配合使用。如现网中两套数据库方案沃趣科技的Qdata方案和Symantec的数据库方案中为解决fio卡做共享文件系统,都 使用的iSER协议进行实现。

四、容灾

不要把鸡蛋放到一个篮子里,容灾是企业数据安全比较重要的一部分,不过个人对存储也只是了解些皮毛。一般的存储提供商都有相应的存储容灾方案,一般常用技术有Mirror镜像、flashcopy、块复制等 。除存储提供商的容灾方案外,也可以考虑使用专业的备份厂商的方案,如飞康的CDP容灾。

参考文档:

DAS, SAN, NAS, NAS Gateways,Fibre Channel, and iSCSI

IBM DS8000容灾方案