磁盘阵列方案

磁盘阵列介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 1页 共 26页 公司 磁盘阵列建设方案简述 （初稿） 美承集团 上海美承电子商务有限公司 技术部 版本 1.0 2009 一 3 一 2 版权声明：未经作者许可，任何人不得复制或仿造本文档内容 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 2页 共 26页 文档控制 建设方案 版本信息： 提交方 上海美承电子商务有限公司 提交日期 2009 一 3 一 2 日期 版本 撰写者 审核者 描述 2009 一 3 一 2 1 . 0 杨小红 肖柏章 吴兵 初稿 所有权声明 文档里的资料版权归上海美承电子商务有限公司（技术部）所有。未经上海美承 电子商务有限公司事先书面允许，不得复制或散发任何部分的内容。任何团体或个人 未经批准，擅自观看建议书将被认为获取了上海美承电子商务公司的私有信息而遭受 法律的制裁。 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 3页 共 26页 目目目目 录录录录 前 言........................................................................................................................................................4 第一章 磁盘阵列简介...................................................................................................................... 5 1.1 、磁盘阵列原理................................................................................................................ 5 1.2 、RAID 的对比：............................................................................................................. 11 1.3 、RAID 的概述：............................................................................................................. 12 1.4 、磁盘阵列优势：.......................................................................................................... 13 第二章 磁盘阵列的选型........................................................................................................................ 14 2.1 、硬件磁盘阵列还是软件磁盘阵列.............................................................................. 14 2.2 、IDE、SCSI、FC 磁盘阵列........................................................................................... 15 2.3 、磁盘阵列卡还是磁盘阵列控制器.............................................................................. 16 第三章 磁盘阵列配置安装.................................................................................................................... 17 3.1 、典型用户网络结构：.................................................................................................. 17 3.2 、 双机热备方案：........................................................................................................ 19 3.3 、集群存储服务方案：.................................................................................................. 22 第四章 附件配置....................................................................................................................................24 4.1 机房建设.......................................................................................................................... 24 4.2 机架配置.......................................................................................................................... 26 4.3 后备电源.......................................................................................................................... 26 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 4页 共 26页 前 言 如何增加磁盘的存取(access)速度,如何防止数据因磁盘的故障而 失落及如何有效的利用磁盘空间,一直是电脑专业人员和用户的困扰;而 大容量磁盘的价格非常昂贵,对用户形成很大的负担。磁盘阵列技术的产 生一举解决了这些问题。 过去十几年来,CPU的处理速度增加了五十倍有多,内存(memory)的 存取速度亦大幅增加,而数据储存装置--主要是磁盘(hard disk)--的存 取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体 性能(through put),若不能有效的提升磁盘的存取速度,CPU、内存及磁 盘间的不平衡将使CPU及内存的改进形成浪费。 目前改进磁盘存取速度的的方式主要有两种。 一是磁盘快取控制(disk cache controller),它将从磁盘读取的数 据存在快取内存(cache memory)中以减少磁盘存取的次数,数据的读写都 在快取内存中进行,大幅增加存取的速度,如要读取的数据不在快取内存 中,或要写数据到磁盘时,才做磁盘的存取动作。这种方式在单工环境 (single- tasking envioronment)如DOS之下,对大量数据的存取有很好 的性能(量小且频繁的存取则不然),但在多工(multi-tasking)环境之下 (因为要不停的作数据交换(swapping) 的动作)或数据库(database)的 存取(因为每一记录都很小)就不能显示其性能。这种方式没有任何安全 保障。 其二是使用磁盘阵列的技术。磁盘阵列是把多个磁盘组成一个阵列, 当作单一磁盘使用,它将数据以分段(striping)的方式储存在不同的磁 盘中,存取数据时,阵列中的相关磁盘一起动作,大幅减低数据的存取时 间,同时有更佳的空间利用率。磁盘阵列所利用的不同的技术,称为RAID level,不同的level针对不同的系统及应用,以解决数据安全的问题。 一般高性能的磁盘阵列都是以硬件的形式来达成,进一步的把磁盘 快取控制及磁盘阵列结合在一个控制器(RAID controler或控制卡上,针 对不同的用户解决人们对磁盘输出入系统的四大要求: (1)增加存取速度, (2)容错(fault tolerance),即安全性 (3)有效的利用磁盘空间; 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 5页 共 26页 (4)尽量的平衡 CPU,内存及磁盘的性能差异,提高电脑的整体工作性能。 第一章第一章第一章第一章 磁盘阵列简介磁盘阵列简介磁盘阵列简介磁盘阵列简介 1.1 、磁盘阵列原理 磁盘阵列中针对不同的应用使用的不同技术,称为RAID level, RAID 是Redundant Array of Inexpensive Disks的缩写,而每一level代表一 种技术,目前业界公认的标准是RAID 0~RAID 5。这个level并不代表技术 的高低,level 5并不高于level 3,level 1也不低过level 4,至于要选择 那一种RAID level的产品,纯视用户的操作环境(operating environment) 及应用(application)而定,与level的高低没有必然的关系。 RAID 0及RAID 1适用于PC及PC相关的系统如小型的网络服务器 (network server)及需要高磁盘容量与快速磁盘存取的工作站等,因为比 较便宜,但因一般人对磁盘阵列不了解,没有看到磁盘阵列对他们价值, 市场尚未开; RAID 2及RAID 3适用于大型电脑及影像、CAD/CAM等处理; RAID 5多用于OLTP,因有金融机构及大型数据处理中心的迫切需要, 故使用较多而较有名气,但也因此形成很多人对磁盘阵列的误解,以为磁 盘阵列非要RAID 5不可; RAID 4较少使用,因为两者有其共同之处,而RAID 4有其先天的限制。 其他如RAID 6,RAID 7,乃至RAID 10等,都是厂商各做各的,并无一致的标 准,在此不作说明。 介绍各个RAID level之前,先看看形成磁盘阵列的两个基本技术: 译为磁盘延伸,能确切的表示disk spanning这种技术的含义。如下 图所示,DFTraid 磁盘阵列控制器,联接了四个磁盘: 这四个磁盘形成一个阵列(array),而磁盘阵列的控制器(RAID controller)是将此四个磁盘视为单一的磁盘,如DOS环境下的C:盘。这是 disk spanning的意义,因为把小容量的磁盘延伸为大容量的单一磁盘,用 户不必规划数据在各磁盘的分布,而且提高了磁盘空间的使用率。 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 6页 共 26页 DFTraid的SCSI磁盘阵列更可连接几十个磁盘，形成数十GB到数百GB的阵 列,使磁盘容量几乎可作无限的延伸;而各个磁盘一起作取存的动作,比 单一磁盘更为快捷。很明显的,有此阵列的形成而产生RAID的各种技术。 我们也可从上图看出inexpensive(便宜)的意义,因为四个250MBbytes的 磁盘比一个1GBytes的磁盘要便宜,尤其以前大磁盘的价格非常昂贵,但 在磁盘越来越便宜的今天,inexpensive已非磁盘阵列的重点,虽然对于 需要大磁盘容量的系统,仍是考虑的要点。 磁盘 因为磁盘阵列是将同一阵列的多个磁盘视为单一的虚拟磁盘 (virtual disk),所以其数据是以分段(block or segment)的方式顺序存 放在磁盘阵列中,如下图1.1: 磁盘0 磁盘1 磁盘2 磁盘3 A0-A1 B0-B1 C0-C1 D0-D1 A2-A3 B2-B3 C2-C3 D2-D3 A4-A5 B4-B5 C4-C5 D4-C5 A6-A7 B6-B7 C6-C7 D6-D7 图1.1 数据按需要分段,从第一个磁盘开始放,放到最后一个磁盘再回到第 一个磁盘放起,直到数据分布完毕。至于分段的大小视系统而定,有的系 统或以1KB最有效率,或以4KB,或以6KB,甚至是4MB或8MB的,但除非数据 小于一个扇区(sector,即521bytes),否则其分段应是512byte的倍数。因 为磁盘的读写是以一个扇区为单位,若数据小于512bytes,系统读取该扇 区后,还要做组合或分组(视读或写而定)的动作,浪费时间。从上图我们 可以看出,数据以分段于在不同的磁盘,整个阵列的各个磁盘可同时作读 写,故数据分段使数据的存取有最好的效率,理论上本来读一个包含四个 分段的数据所需要的时间约=(磁盘的access time +数据的transfer time)X4次,现在只要一次就可以完成。 若以N表示磁盘的数目,R表示读取,W表示写入,S表示可使用空间,则 数据分段的性能为: R:N(可同时读取所有磁盘) W:N(可同时写入所有磁盘) S:N(可利用所有的磁盘,并有最佳的使用率) Disk striping也称为RAID 0,很多人以为RAID 0没有甚么,其实这是 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 7页 共 26页 非常错误的观念,因为RAID 0使磁盘的输出入有最高的效率。而磁盘阵列 有更好效率的原因除数据分段外,它可以同时执行多个输出入的要求,因 为阵列中的每一个磁盘都能独立动作,分段放在不同的磁盘,不同的磁盘 可同时作读写,而且能在快取内存及磁盘作并行存取(parallel access) 的动作,但只有硬件的磁盘阵列才有此性能表现。 从上面两点我们可以看出,disk spanning定义了RAID的基本形式,提 供了一个便宜、灵活、高性能的系统结构,而disk striping解决了数据 的存取效率和磁盘的利用率问题,RAID 1至RAID 5是在此基础上提供磁盘 安全的方案。 RAID 1 RAID 1是使用磁盘镜像(disk mirroring)的技术。磁盘镜像应用在 RAID 1之前就在很多系统中使用,它的方式是在工作磁盘(working disk) 之外再加一额外的备份磁盘(backup disk),两个磁盘所储存的数据完全 一样,数据写入工作磁盘的同时亦写入备份磁盘。磁盘镜像不见得就是 RAID 1,如Novell NetWare亦有提供磁盘镜像的功能,但并不表示NetWare 有了RAID 1的功能。一般磁盘镜像和RAID 1有二点最大的不同: RAID 1无工作磁盘和备份磁盘之分,多个磁盘可同时动作而有重叠 (overlapping)读取的功能,甚至不同的镜像磁盘可同时作写入的动作, 这是一种最佳化的方式,称为负载平衡(load-balance)。例如有多个用户 在同一时间要读取数据,系统能同时驱动互相镜像的磁盘,同时读取数据, 以减轻系统的负载,增加I/O的性能。 RAID 1的磁盘是以磁盘延伸的方式形成阵列,而数据是以数据分段的 方式作储存,因而在读取时,它几乎和RAID 0有同样的性能。从RAID的结 构就可以很清楚的看出RAID 1和一般磁盘镜像的不同。 下图为RAID 1,每一笔数据都储存两份 磁盘0 磁盘1 磁盘0 磁盘1 A0 A2 A4 B1 A1 A3 B0 B2 A0 A2 A4 B1 A1 A3 B0 B2 图1.2 从上图1.2可以看出: 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 8页 共 26页 R:N(可同时读取所有磁盘) W:N/2(同时写入磁盘数) S:N/2(利用率) 读取数据时可用到所有的磁盘,充分发挥数据分段的优点;写入数据 时,因为有备份,所以要写入两个磁盘,其效率是N/2,磁盘空间的使用率 也只有全部磁盘的一半。 很多人以为RAID 1要加一个额外的磁盘,形成浪费而不看好RAID 1, 事实上磁盘越来越便宜,并不见得造成负担,况且RAID 1有最好的容错 (fault tolerance)能力,其效率也是除RAID 0之外最好的。我们可视应 用的不同,在同一磁盘阵列中使用不同的RAID level,如华艺科技公司的 DFTraid系列都可同一磁盘阵列中定义八个逻辑磁盘(logic disk),分别 使用不同的RAID level,分为C:,D:及E:三个逻辑磁盘(或 LUN0,LUN1,LUN2). RAID 1完全做到了容错包括不停机(non-stop),当某一磁盘发生故障, 可将此磁盘拆下来而不影向其他磁盘的操作;待新的磁盘换上去之后,系 统即时做镜像,将数据重新复上去,RAID 1在容错及存取的性能上是所有 RAID level之冠。 在磁盘阵列的技术上,从RAID 1到RAID 5,不停机的意思表示在工作 时如发生磁盘故障,系统能持续工作而不停顿,仍然可作磁盘的存取,正 常的读写数据;而容错则表示即使磁盘故障,数据仍能保持完整,可让系 统存取到正确的数据,而SCSI的磁盘阵列更可在工作中抽换磁盘,并可自 动重建故障磁盘的数据。磁盘阵列之所以能做到容错及不停机,是因为它 有冗余的磁盘空间可资利用,这也就是Redundant的意义。 RAID 2 RAID 2是把数据分散为位元(bit)或块(block),加入海明码Hamming Code,在磁盘阵列中作间隔写入(interleaving)到每个磁盘中,而且地址 (address)都一样,也就是在各个磁盘中,其数据都在相同的磁道 (cylinder or track)及扇区中。RAID 2的设计是使用共轴同步(spindle synchronize)的技术,存取数据时,整个磁盘阵列一起动作,在各作磁盘 的相同位置作平行存取,所以有最好的存取时间(access time),其总线 (bus)是特别的设计,以大带宽(band wide)并行传输所存取的数据,所以 有最好的传输时间(transfer time)。在大型档案的存取应用,RAID 2有 最好的性能,但如果档案太小,会将其性能拉下来,因为磁盘的存取是以 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 9页 共 26页 扇区为单位,而RAID 2的存取是所有磁盘平行动作,而且是作单位元的存 取,故小于一个扇区的数据量会使其性能大打折扣。RAID 2是设计给需要 连续且大量数据的电脑使用的,如大型电脑(mainframe to supercomputer)、作影像处理或CAD/CAM的工作站(workstation)等,并不 适用于一般的多用户环境、网络服务器(network server),小型机或PC。 RAID 2的安全采用内存阵列(memory array)的技术,使用多个额外的 磁盘作单位错误校正(single-bit correction)及双位错误检测 (double-bit detection);至于需要多少个额外的磁盘,则视其所采用的 及结构而定,例如八个数据磁盘的阵列可能需要三个额外的磁盘,有 三十二个数据磁盘的高档阵列可能需要七个额外的磁盘。 RAID 3 RAID 3的数据储存及存取方式都和RAID 2一样,但在安全方面以奇偶 校验(parity check)取代海明码做错误校正及检测,所以只需要一个额外 的校检磁盘(parity disk)。奇偶校验值的计算是以各个磁盘的相对应位 作XOR的逻辑运算,然后将结果写入奇偶校验磁盘,任何数据的修改都要 做奇偶校验计算,如下图: 磁盘0 磁盘1 磁盘2 磁盘3 磁盘4 A0 A4 B3 C2 A1 B0 B4 C3 A2 A1 C0 C4 A3 A2 C1 D0 P P P P 图1.3 如某一磁盘故障,换上新的磁盘后,整个磁盘阵列(包括奇偶校验磁 盘)需重新计算一次,将故障磁盘的数据恢复并写入新磁盘中;如奇偶校 验磁盘故障,则重新计算奇偶校验值,以达容错的要求. 较之RAID 1及RAID 2,RAID 3有85%的磁盘空间利用率,其性能比RAID 2稍差,因为要做奇偶校验计算;共轴同步的平行存取在读档案时有很好 的性能,但在写入时较慢,需要重新计算及修改奇偶校验磁盘的内容。 RAID 3和RAID 2有同样的应用方式,适用大档案及大量数据输出入的应用, 并不适用于PC及网络服务器。 RAID 4 RAID 4也使用一个校验磁盘,但和RAID 3不一样,如下图: 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 10页 共 26页 磁盘0 磁盘1 磁盘2 磁盘3 磁盘4 A0-A1 B3-B4 D1-D2 E4-F0 A2-A3 C0-C1 D3-D4 F1-F2 A4-B0 C2-C3 B0-B1 F3-F4 B1-B2 C4-D0 B2-B3 G0-G1 P P P P 图1.4 RAID 4是以扇区作数据分段,各磁盘相同位置的分段形成一个校验磁 盘分段(parity block),放在校验磁盘。这种方式可在不同的磁盘平行执 行不同的读取命今,大幅提高磁盘阵列的读取性能;但写入数据时,因受 限于校验磁盘,同一时间只能作一次,启动所有磁盘读取数据形成同一校 验分段的所有数据分段,与要写入的数据做好校验计算再写入。即使如此, 小型档案的写入仍然比RAID 3要快,因其校验计算较简单而非作位(bit level)的计算;但校验磁盘形成RAID 4的瓶颈,降低了性能,因有RAID 5而 使得RAID 4较少使用。 RAID 5 RAID5避免了RAID 4的瓶颈,方法是不用校验磁盘而将校验数据以循 环的方式放在每一个磁盘中,如下图: 磁盘0 磁盘1 磁盘2 磁盘3 磁盘4 P B3-B4 D1-D2 E4-F0 A0-A1 P D3-D4 F1-F2 A2-B3 C0-C1 P F3-F4 A4-B0 C2-C3 B0-B1 P B2-B2 C4-D0 B2-B3 G0-G1 磁盘阵列的第一个磁盘分段是校验值,第二个磁盘至后一个磁盘再 折回第一个磁盘的分段是数据,然后第二个磁盘的分段是校验值,从第三 个磁盘再折回第二个磁盘的分段是数据,以此类推,直到放完为止。图中 的第一个parity block是由A0,A1...,B1,B2计算出来,第二个parity block是由B3,B4,...,C4,D0计算出来,也就是校验值是由各磁盘同一位 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 11页 共 26页 置的分段的数据所计算出来。这种方式能大幅增加小档案的存取性能,不 但可同时读取,甚至有可能同时执行多个写入的动作,如可写入数据到磁 盘1而其parity block在磁盘2,同时写入数据到磁盘4而其parity block 在磁盘1,这对联机交易处理(OLTP, on-line Transaction Processing) 如银行系统、金融、股市等或大型数据库的处理提供了最佳的解决方案 (solution),因为这些应用的每一笔数据量小,磁盘输出入频繁而且必须 容错。 事实上RAID 5的性能并无如此理想,因为任何数据的修改,都要把同 一parity block的所有数据读出来修改后,做完校验计算再写回去,也就 是RMW cycle(Read-Modify-Write cycle,这个cycle没有包括校验计算); 正因为牵一而动全身,所以: R:N(可同时读取所有磁盘) W:1(可同时写入磁盘数) S:N-1(利用率) RAID 5的控制比较复杂,尤其是利用硬件对磁盘阵列的控制,因为这 种方式的应用比其他的RAID level要掌握更多的事情,有更多的输出入需 求,既要速度快,又要处理数据,计算校验值,做错误校正等,所以价格较 高;其应用最好是OLTP,至于用于PC等,不见得有最佳的性能。 1.2 、RAID 的对比： 下面几个表列是RAID的一些性质: 操作 工作模式 最少硬盘需求量 可用容量 RAID 0 磁盘延伸和数据分布 2 T RAID 1 数据分布和镜像 2 T/2 RAID 2 共轴同步,并行传 输,ECC 3 T*(n-1)/n RAID 3 共轴同步,并行传 输,Parity 3 T*(n-1)/n 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 12页 共 26页 RAID 4 数据分布，固定Parity 3 T*(n-1)/n RAID 5 数据分布，分布Parity 3 T*(n-1)/n RAID的性能与可用性： RAID Level 用户数据 利用率 Bandwidth Performance Transaction Performance 数据可 用性 RAID 0 1 0.25 1 0.0005 RAID 1 0.5 0.25 0.85 1 RAID 2 0.67 1 0.25 0.9999 RAID 3 0.75 1 0.25 0.9999 RAID 4 0.75 0.25 0.61 0.9999 RAID 5 0.75 0.25 0.61 0.9999 以上数据基于4个磁盘，传输块大小1K，75%的读概率，数据可用性 的计算基于同样的损坏概率 1.3 、RAID 的概述： RAID 0 没有任何额外的磁盘或空间作安全准备,所以一般人不重视它,这是 误解,其实它有最好的效率及空间利用率,对于追求效率的应用,非常理 想,可同时用其他的RAID level或其他的备份方式以补其不足,保护重要 的数据。 RAID 1 有最佳的安全性,100%不停机,即使有一个磁盘损坏也能照常作业而 不影向其效能(对能并行存取的系统稍有影响),因为数据是作重复储存。 RAID1的并行读取几乎有RAID 0的性能,因为可同时读取相互镜像的磁盘; 写入也只比RAID 0略逊,因为同时写入两个磁盘并没有增加多少工作。虽 然RAID 1要增加一倍的磁盘做镜像,但作为采用磁盘阵列的进入点,它是 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 13页 共 26页 最便宜的一个方案,是新设磁盘阵列的用户之最佳选择。 RAID 5 在不停机及容错的表现都很好,但如有磁盘故障,对性能的影响较大, 大容量的快取内存有助于维持性能,但在OLTP的应用上,因为每一笔数据 或记录(record)都很小,对磁盘的存取频繁,故有一定程度的影响。某一 磁盘故障时,读取该磁盘的数据需把共用同一parity block的所有数据及 校验值读出来,再把故障磁盘的数据计算出来;写入时,除了要重覆读取 的程序外,还要再做校验值的计算,然后再写入更新的数据及校验值;等 换上新的磁盘,系统要计算整个磁盘阵列的数据以回复故障磁盘的数据, 时间要很长,如系统的工作负载很重的话,有很多输出入的需求在排队等 候时,会把系统的性能拉下来。但如使用硬件磁盘阵列的话,其性能就可 以得到大幅度的改进,因为硬件磁盘阵列如DFTraid系列本身有内置的 CPU与主机系统并行运作,所有存取磁盘的输出入工作都在磁盘阵列本身 完成,不花费主机的时间,配合磁盘阵列的快取内存的使用,可以提高系 统的整体性能,而优越的总线控制更能增加数据的传输速率,即使在磁盘 故障的情况下,主机系统的性能也不会有明显的降低。RAID 5要做的事情 太多,所以价格较贵,不适于小系统,但如果是大系统使用大的磁盘阵列 的话,RAID 5却是最便宜的方案。 总而言之,RAID 0及RAID 1最适合PC及图形工作站的用户,提供最佳 的性能及最便宜的价格,所以RAID 0及RAID 1多是使用IDE界面,以低成本 符合PC市埸的需求。RAID 2及RAID 3适用于大档案且输入输出需求不频 繁的应用如影像处理及CAD/CAM等;而RAID 5则适用于银行、金融、股市、 数据库等大型数据处理中心的OLTP应用;RAID 4与RAID 5有相同的特性及 应用方式,但有其先天的限制,所以并不受推荐。 1.4 、磁盘阵列优势： 磁盘阵列的额外容错功能：Spare or Standby driver 事实上容错功能已成为磁盘阵列最受青睐的特性,为了加强容错的 功能以及使系统在磁盘故障的情况下能迅速的重建数据,以维持系统的 性能,一般的磁盘阵列系统都可使用热备份(hot spare or hot standby driver)的功能,所谓热备份是在建立(configure) 磁盘阵列系统的时候, 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 14页 共 26页 将其中一磁盘指定为后备磁盘,此一磁盘在平常并不操作,但若阵列中某 一磁盘发生故障时,磁盘阵列即以后备磁盘取代故障磁盘,并自动将故障 磁盘的数据重建(rebuild)在后备磁盘之上,因为反应快速,加上快取内 存减少了磁盘的存取, 所以数据重建很快即可完成,对系统的性能影响 很小。对于要求不停机的大型数据处理中心或控制中心而言,热备份更是 一项重要的功能,因为可避免晚间或无人值守时发生磁盘故障所引起的 种种不便。 另一个额外的容错功能是坏扇区转移(bad sector reassignment)。 坏扇区是磁盘故障的主要原因,通常磁盘在读写时发生坏扇区的情况即 表示此磁盘故障,不能再作读写,甚至有很多系统会因为不能完成读写的 动作而死机,但若因为某一扇区的损坏而使工作不能完成或要更换磁盘, 则使得系统性能大打折扣,而系统的维护成本也未免太高了。坏扇区转移 是当磁盘阵列系统发现磁盘有坏扇区时,以另一空白且无故障的扇区取 代该扇区, 以延长磁盘的使用寿命,减少坏磁盘的发生率以及系统的维 护成本。所以坏扇区转移功能使磁盘阵列具有更好的容错性,同时使整个 系统有最好的成本效益比。其他如可外接电池备援磁盘阵列的快取内存, 以避免突然断电时数据尚未写回磁盘而损失;或在RAID 1时作写入一致性 的检查等,虽是小技术,但亦不可忽视。 第二章第二章第二章第二章 磁盘阵列的选型磁盘阵列的选型磁盘阵列的选型磁盘阵列的选型 2.1 、硬件磁盘阵列还是软件磁盘阵列 市面上有所谓硬件磁盘阵列与软件磁盘阵列之分,因为软件磁盘阵 列是使用一块 SCSI 卡与磁盘连接,一般用户误以为是硬件磁盘阵列。以 上所述主要是针对硬件磁盘阵列,其与软件磁盘阵列有几个最大的区别: ◆一个完整的磁盘阵列硬件与系统相接。 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 15页 共 26页 ◆内置 CPU,与主机并行运作,所有的 I/O 都在磁盘阵列中完成,减轻主 机的工作负载,增加系统整体性能。 ◆有卓越的总线主控(bus mastering)及 DMA(Direct Memory Access) 能力,加速数据的存取及传输性能。 ◆与快取内存结合在一起,不但增加数据的存取及传输性能,更因减少 对磁盘的存取而增加磁盘的寿命。 ◆能充份利用硬件的特性,反应快速。 软件磁盘阵列是一个程序,在主机执行,透过一块SCSI卡与磁盘相接 形成阵列,它最大的优点是便宜,因为没有硬件成本(包括研发、生产、维 护等),而 SCSI 卡很便宜(亦有的软件磁盘阵列使用指定的很贵的SCSI 卡);它最大的缺点是使主机多了很多进程(process),增加了主机的负担, 尤其是输出入需求量大的系统。目前市面上的磁盘阵列系统大部份是硬 件磁盘阵列,软件磁盘阵列较少。 2.2 、IDE、SCSI、FC 磁盘阵列 目前使用在磁盘输出入的界面主要有两种: 1. IDE (Integrated Drive Electronics) 是广泛使用在PC上的磁盘驱动器界面,一般而言,其传输速度从磁盘到磁 盘缓冲器(medium to drive buffer)是 1.5-2.5MB/Sec,从缓冲器到界面 (drive buffer to drive interface)约 4.0-6.0MB/Sec,而且新的设计其 速率有大幅的改进,如增强型 IDE 界面(mode 4)在 PCI(Peripheral Component Interconnect)总线上的传输速率可达33MB/Sec。 2. SCSI (Small Computer Standard Interface) SCSI 是较高级(high level)的界面,可用于主机,磁盘,磁带,打印机 等,因为是高阶的界面,规格较为复杂,一般自带控制器,也较为复杂,这 就是 SCSI 磁盘为什么比 IDE 磁盘费的原因。但 SCSI 界面能较有效的利 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 16页 共 26页 用硬件特性而提高其速度。其控制器还能对主机发给SCSI 磁盘的命令进 行缓冲、排队,并进行优化处理(命令队列)。现在较流行的是标准SCSI-2 和 SCSI-3。有两种规格,FAST SCSI(SCSI-2)的同步传输速率为10MB/Sec, 数据传输宽度为 8 bit, WIDE SCSI 的数据传输宽度可达16-bit。Ultra SCSI(SCSI-3)的同步传输速率为20MB/Sec,Ultra Wide SCSI 的同步传输 速率为 40MB/Sec,数据传输宽度可达32-bit。SCSI 磁盘有虽有较高的传 输速度,但受限于磁盘的存取速度及磁盘至SCSI 界面的传输速度而不能 充分发挥其性能(因为磁盘的机械动作难于有大幅度的改进);其命令分 析程序(command phase)也较复杂。对单机来言，磁盘数量越多,主机找 到特定的数据的时间越长,但对磁盘阵列来言,由于是多个磁盘一起并行 处理,则表现为磁盘数量越多,速度越快。 以上界面的直接反应是单任务时IDE比SCSI快,多任务时SCSI较快, 这可从用 IDE 盘和 SCSI 盘做多用户、多任务的操作系统(如 UNIX、 Windows/NT 等)的系统盘时的启动时间的差别中明显看出。在单机时则不 一定。我们看一个界面是否较快,不应只看其传崐输速度的高低而应就整 个输入/输出的流程看,因为磁盘存取的机械动作比不上电脑的传输速 率。IDE 界面简单,反应快速,用于 PC 单机的小型的磁盘阵列其效果可能 比 SCSI 为佳;但较大型的磁盘阵列就非SCSI 界面莫属,因为阵列中的各 个磁盘一起作存取的动作,能充分发挥SCSI的传输速率快及多工的特点。 此外 IDE 因为其配线规格的关系,不能作热插拔(hot swap),也就是 不能在工作中带电插拔磁盘,而其线缆即使是增强型IDE也只有 18寸,不 能接在机箱之外,难于形成大的阵列,也就是只适用于 PC低层次的用户。 SCSI 缆线在差分传输模式(differential transmission mode)下最大长 度为 25 米,单端传输模式(single-ended transmission mode)时最大长 度为 6米,而一条 SCSI总线可连接8台系统或各种不同的装置,扩充性很 强,可形成很大的磁盘阵列空间;SCSI 规格完备,容错能力很好,可带电插 拔磁盘,是外接式装置无可取代的界面。 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 17页 共 26页 2.3 、磁盘阵列卡还是磁盘阵列控制器 磁盘阵列控制卡一般用于小系统，供单机使用。与主机共用电源， 在关闭主机电源时存在丢失Cache 中的数据的的危险。磁盘阵列控制卡 只有常用总线方式的接口，其驱动程序与主机、主机所用的操作系统都 有关系，有软、硬件兼容性问题并潜在地增加了系统的不安定因素。在 更换磁盘阵列卡时要冒磁盘损坏，资料失落，随时停机的风险。 独立式磁盘阵列控制一般用于较大型系统,可分为两种： 单通道磁盘阵列和多通道式磁盘阵列，单通道磁盘阵列只能接一台 主机，有很大的扩充限制。多通道磁盘阵列可接多个系统同时使用,以群 集(cluster)的方式共用磁盘阵列,这使内接式阵列控制及单接式磁盘阵 列无用武之地。DFT数据容错公司的DFTraid Rack Mount和DFTraid Tower 等系统,都是独立形式的磁盘阵列子系统，其本身与主机系统的硬件及操 作环境无关，只通过SCSI 线缆与主机相接，主机把它当作一般的磁盘， 所有的输出入动作都在磁盘阵列上完成，与主机的操作无关，所以可接 任何可使用 SCSI 界面的主机。DFTraid Rack Mount 和 DFTraid Tower 两 系统最多可有六个SCSI 通道，可同时连接5 台主机;而 DFTraid 5000 系 列则有 9个通道,可同时连接多达 8台主机，使之一起共用磁盘阵列子系 统。这种方式的磁盘阵列既可给单机使用，又可给群集多机使用，对用 户对增加阵列中的磁盘数量限制较小，并可用于备援及并行的容错电脑 系统，特别适合较大的系统用户，使这些用户可从封闭的环境中解放出 来。 第三章第三章第三章第三章 磁盘阵列配置安装磁盘阵列配置安装磁盘阵列配置安装磁盘阵列配置安装 据统计60%的企业关键数据都存储在企业内部员工的PC机和笔记本 电脑上。对这部分的数据的存储管理及备份管理本应是一个重要问题， 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 18页 共 26页 但因为用户过于分散及管理工作过于琐碎等原因，反而疏忽了对这些机 器上的数据的管理，由于各种原因造成数据丢失。 磁盘阵列的使用方式根据具体需求的不同，连接和配置的方式可谓 是多种多样，都具有各自的特点和功能。 本方案将采用 IBM DS4200 磁盘阵列柜为模型，列举目前最具代表性 的配置安装方式供客户参考。 3.1 、典型用户网络结构： 连接示意图如下： 图 3.1 如图所示，公司内网有文件服务器１台、WEB 服务器１台、OA 服务器一 台、MIS 服务器１台、SQL 数据库服务器１台、共有办公电脑X台左右 存储服务器及 磁盘阵列 应用服务器 PC 客户机 以太网交换机 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 19页 共 26页 客户需求 ： 1. 公司需对企业局域网内的PC及工作站终端重要数据备份至服务器 2. 将服务器上的数据备份到磁盘阵列 3. 服务器系统备份、重要PC系统备份 4. 保证公司文件资料的安全性 硬件需求： 1. 服务器一台 2. 磁盘阵列柜一台 综合分析： 此方案硬件连接方便，只需增加存储设备，和一台服务器就能建立 硬件平台，成本小且组建迅速。 典型用户网络结构是目前大多数企业公司现行的网络结构，增加此 方案中磁盘阵列容易实现，能满足客户的多重基本需求，有立竿见影的 作用且使用效率高，硬件方面设备维护简单，数据集中管理，唯独各种 数据（邮件，myserver等）的备份都需要手动操作。但可以使用恰当的 软件弥补该缺点，智能自动备份各种数据。 3.2 、 双机热备方案： 根据ds4300磁盘阵列具有双控制卡的特定本节采用全冗余建议方案 采用 2 台 IBM p5 520 服务器运行应用，分别运行 HACMP 软件， 保证系统的高可靠性。 采用 2 台 2005 － H08 光纤交换机建立存储局域网环境，分别连 接两台 p5 520 服务器和磁盘阵列。2 台光纤交换机可以避免单点故障。 采用 IBM DS4300 保证数据存储的可靠性和读取效率。 2 台 p5 520 分别通过 2 根光纤连接到 2 台存储光纤交换机， DS4300 通过 4 根光纤连接到 2 台存储光纤交换机，如此连接即保证了 可靠性，又提高了数据访问的效率。 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 20页 共 26页 连接示意图如下： 图 3.2 硬件需求：（所有配置只提供参考，具体根据需求提供详细配置） 服务器： IBM p5 520 2 台；2 颗 1.5GHz/1.65GHz 的 power5 处 理器， 4GB 内存。 2 块 73GB 内置硬盘 : 用于安装操作系统 2 块以太网卡；典型的，一个服务器应至少提供两块网卡 ( 一个服 务网卡和一个备份网卡 ) 。服务网卡是服务器和网络之间的主连接。备 份网卡用于备份服务网卡，当本地的服务网卡失效时， HACMP 软件将就 备份用网络地址和服务用网络地址进行交换。如果另一个服务器失效时， 备份用网卡将恢复失效节点的服务网络适配器的 IP 地址。 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 21页 共 26页 2 块光纤卡；分别与两台光纤交换机相连，提高可靠性，避免单点 故障。 1 块 2 口异步卡；提供串口，连接心跳线。提供在两个节点间的点 到点的连接，用于在 TCP/IP 子网失效事件发生时控制信息和心跳信息 的传递。 HACMP 软件 AIX 操作系统 光纤交换机 IBM Total Storage SAN Switch 2005-H08 2 台 8 口光纤交换机，用于连接服务器和磁盘阵列。 2 台光纤交 换机提高整个系统的可靠性，避免单点故障。 磁盘阵列 IBM Total Storage DS4300 用于存储用户数据。磁盘阵列分别与两台光纤交换机相连，提高可 靠性和访问效率 从上一种配置方案可见 利用磁盘阵列组建全冗余建议方案为应用数据提供一个安全严密的 运行环境（因无单点故障点），同时也可以看到所需大量的软件和硬件 支持连接复杂，维护繁琐。 根据 ds4300 磁盘阵列的硬件配置，我们还可以使用如下廉价的连接 方式： 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 22页 共 26页 需要磁盘阵列具备双控制卡就能实现如下的连接方式 图 3.2 此方式的连接，如同上文中，典型网络的连接的升级版，上文中的 网络连接，只能提供一台服务器的硬盘服务，此方式却能最多为四台服 务器提供硬盘支持。充分利用了磁盘阵列的多重连接功能。 3.3 、集群存储服务方案： 磁盘阵列可以组建磁盘阵列柜为集群服务器提供储存备份解决方案 （FC-SAN连接方式）： 连接示意图如下： 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 23页 共 26页 图 3.4 图中的连接方式根据光纤交换机的特性可以连接16台服务器，并提供相 应磁盘存储服务。 在 FC-SAN 中存在着其灵活的连接方式，通过链路层交换提供及时、 多路的点对点的连接。通过专用、高性能的光纤通道交换机进行连接， 同时可进行多对设备之间点对点的通信，从而使整个系统的总带宽随设 备的增多而相应增大，在增多的同时丝毫不影响这个系统的性能。 在链路中使用光纤介质，不仅完全可以避免因传输过程中各种电磁 干扰，而且可以有效达到远距离的I/O 通道连接 在 FC-SAN 中所使用的核心交换设备-光纤交换机均带具有高可靠性 及高性能的 ASIC 芯片设计，使整个处理过程完全基于硬件级别的高效处 理。 同样在连接至主机的 HBA 设计中，绝大多数操作独立处理，完全不 耗费主机处理资源。 IP-SAN：使用通用的 IP 网络及设备 在传输介质中使用铜缆、双绞线、光纤等介质进行信号的传输，但在普 通的廉价介质存在信号衰减严重等缺点，而使用光纤也同样需要特有的 光电转换设备等。在 IP网络中，可借助 IP路由器进行传输,但根据其距 离远近，会产生相应的传输延迟。 核心使用各种性能的网络交换机，受传输本身的限制，其实际 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 24页 共 26页 处理效率不高。 在主机端通常使用廉价的各种速率的网卡，大量耗费主机的应用处 理资源。 可得出如下光纤通道（FC）与网络（IP）的对比表，该对比表可清 晰表明使用光纤通道进行大数据量的信息存储传输与处理中在其性能有 着网络在现阶段无法比拟的优势。 表 3.1 第四章第四章第四章第四章 附件配置附件配置附件配置附件配置 4.1 机房建设 机房环境、电源及防雷接地应满足《建筑与建筑群综合布线系统工程 设计》（CECS 72:97）的要求。计算机机房的设计应符合下列规定： ★设备间内所有设备应有足够的安装空间，其中包括计算机主机，网络 连接设备等。 ★设备间的地面面层材料应能防静电。 ★设备间至少提供离地板255CM 高度的空间，门的高度应大于210CM，门 宽应大干 90CM，地板的平均荷载应大于5kN／m2。凡是安装综合布线硬 件的地方，墙壁和天棚应涂阻燃漆。 ★设备间应采用全封闭房间，防止有害气体（如 SO2、H2S、NH3、NO2 等） 侵入，并应有良好的防尘措施。 面向连接的模式 数据传输通道 信号传输校验方式 特点 传输延迟 传输距离 RAIDRAIDRAIDRAID方式 光纤通道（FC） 连接业务 物理电路 可靠的硬件传输 高速 低延迟 较短距离 基于硬件 网络（IP） 无连接 逻辑电路 不可靠的传输 高连接 更高的延迟 更远的距 离 基于硬件 磁盘阵列方案介绍 本电子书源于网络，由网金号 http://www.egship.com 搜集整理，严禁任何商业用途！ 第 25页 共