2021年为VMwareESXi主机添加本地存储的过程及注意项目

为VMwareESXi主机添加当地存放过程及注意事项在计划数据中心时候，除了考虑目前实际情况下，还要考虑未来二至三年可能出现问题。但有时候，即使已经做了多个考虑，但在信息化实施过程中，仍然会碰到问题，这时就需要管理员依据实际情况进行处理。比如，在计划虚拟化数据中心时候，作为群集中虚拟化主机，通常不配置当地硬盘，而是采取共享存放，以实现系统高可用性。即时为服务器配置当地硬盘，通常也只是配置一个较小磁盘，比如60～120GB固态硬盘安装系统。相信这是大多数虚拟化数据中心选择和计划。对于早期计划没有考虑配置当地存放服务器，假如在后期需要在服务器安装大容量存放，而且需要在现有业务不中止情况下进行，应该怎么做？在添加当地存放中碰到问题怎么处理，本文将讨论这个问题。 1己有数据中心服务器添加当地存放思绪及方法1.1现有数据中心拓扑近期有一个vSphere数据中心，该中心有三台IBM3650安装VMwareESXi5.5服务器、1台IBMV3500存放，在服务器和存放之间使用SAS连接，拓扑图1所表示。图1 存放、服务器连接示意图这三台服务器原来当地没有配置硬盘，是使用存放分配空间用于系统及数据。现在用户需求是：为每台服务器添加6块硬盘，作为当地存放。因为这三台ESXi组成一个HA，而且已经有虚拟机运行，所以要求在添加当地硬盘过程中，业务不能中止。另外，因为在开始计划时候，没有考虑为服务器添加当地硬盘，所以没有选择配置支持RAID5RAID卡，故在添加当地硬盘时，需要一同添加RAID卡。1.2处理思绪及原理在VMwarevSphere数据中心中，当全部虚拟机运行在共享存放上、而且为vSphere数据中心配置了"群集"后，当群集中主机多于2台时，假如要对其中主机进行维护，包含关机检修、添加配件等，能够将检修主机置于"维护模式"，此时该主机上运行虚拟机会自动"迁移"到其它主机，然后能够重新开启或关闭处于"维护模式"ESXi主机，在关机后能够为服务器添加硬件（比如添加RAID卡、添加硬盘、重新配置RAID卡）。在本中，就使用这一功效，能够确保业务不中止前提下，关闭虚拟化主机（安装了VMwareESXi5.5系统），为主机添加RAID卡、当地硬盘，甚至为主机重新安装VMwareESXi5.5系统并重新加入现有群集，全部不会造成业务中止。关键步骤以下：（1）使用vSphereClient（或vSphereWebClient），登录vCenterServer，将其中一台主机，比如第1台主机置于"维护模式"，等该主机上全部虚拟机，全部迁移到其它主机上以后，关闭该主机。（2）等主机关闭后，断开该主机电源。拆开机箱，插入RAID卡。（3）安装好硬盘，重新开机，进入RAID卡配置界面，为添加硬盘，配置RAID。配置完RAID以后，重新开启主机。（4）重新进入VMwareESXi系统，将新添加磁盘，添加到ESXi当地存放。然后将目前主机退出"维护模式"。（5）以后参考（1）～（4）步骤，将其它主机进入维护模式，关机，添加RAID卡、硬盘，并配置RAID，重新开启系统并退出维护模式，这些不一一介绍。（6）最终检验服务器、存放、及软件系统，没有故障以后，添加存放完成。下面较为具体介绍整个过程及注意事项。1.3将主机进入维护模式使用vSphereClient将要维护主机进入维护模式，以后关闭主机并断开电源，添加RAID卡，打开电源、添加硬盘。关键步骤以下。（1）使用vSphereClient，登录vCenterServer，右击要维护主机，在弹出快捷菜单中选择"进入维护模式"，图1-1-1所表示。图1-1-1进入维护模式（2）将主机置于维护模式后，目前主机上正在运行虚拟机，会迁移到其它主机，图1-1-2所表示。在迁移过程中，目前正在运行业务不会中止。在"近期任务"中能够看到，虚拟机正在迁移到其它主机。图1-1-2 虚拟机正在迁移（3）当全部虚拟机迁移到其它主机后（即使没有运行虚拟机，也会从目前主机取消注册，并在其它正在运行主机上重新注册。当然，保留在主机当地存放上虚拟机例外），目前主机进入"维护模式"，右击该主机名称，在弹出快捷菜单中选择"关机"或"重新引导"，图1-1-3所表示。在此选择"关机"，因为我们要关闭主机电源以后，安装新RAID卡。图1-1-3主机进入维护模式2为服务器添加硬件并重新计划RAID2.1添加RAID卡及硬盘当主机关闭以后，拔下电源线，戴上IBM服务器随机带防静电手套，打开服务器机箱，在服务器机箱右上角，插上RAID缓存卡（实际上是一个缓存，用于IBM3650M4主板集成ServeRAID-M5110e扩展。标配是无缓存，能够支持RAID0/1/10，在插上缓存时，可升级支持RAID5/6）。图1-1-4是我们要插缓存卡，图1-1-5是插入后相片（在服务器右上角位置）。图1-1-4RAID缓存图1-1-5插入缓存卡后链接资料：这是此次要安装硬盘，图1-1-6所表示。此次安装是1TB、2.5寸一般笔记本硬盘（能够用在服务器上）。计划在每台服务器上安装6块硬盘。图1-1-6要安装硬盘在IBM3650M4中，最多能够配16块2.5寸硬盘，其中只有8个硬盘位有接线底座，硬盘位标号为0～7，另8个硬盘位没有接线底府，图1-1-7这是有硬盘接线底座拍照截图。在这个服务器上，实际上已经安装了一个120GB固态硬盘，还剩下7个硬盘位。图1-1-7要安装硬盘位置这是安装硬盘架，图1-1-8所表示。将硬盘装好以后图1-1-8所表示。2.2配置RAID装好RAID卡及硬盘后，打开服务器电源，进入RAID卡配置界面，开始配置磁盘，关键步骤以下。（1）在服务器开机以后，当出现RAID卡配置信息时“PressforWebBIOS”时，按Ctlr+R热键，进入RAID卡配置界面，图1-3-1所表示。图1-3-1RAID卡配置信息【说明】假如不能出现上述界面，而是直接进入系统，则能够插入一个开启U盘或光盘，重新开启服务器，等出现提醒后按F12键，选择开启项，选择U盘或光盘开启，才会出现进入RAID卡配置界面。（2）进入RAID卡配置界面，目前界面显示了RAID卡型号（目前为ServerRAIDM5110e）、版本（23.12.0-0019），图1-3-2所表示。单击“Start”按钮进入配置界面。图1-3-2选择适配器界面（3）进入RAID卡配置界面后，在右侧显示目前配置信息。在本示例中，有6块930.390GB硬盘（1TB）硬盘没有配置，图1-3-3所表示。有一个110.827GB硬盘已经配置为，是RAID0（单块硬盘只能配置为RAID0）。我们这个图并不是添加RAID卡以后第一次截图。假如原来没有添加RAID5卡（或升级缓存），在添加RAID5卡以后，原来配置硬盘全部要重新配置。图1-3-3显示逻辑磁盘信息（4）在图1-3-3中，单击“ConfigurationWizard（配置向导）”，进入RAID配置向导，图1－3-4所表示。选择“ClearConfiguration”能够清除目前RAID配置，假如已经配置了RAID，选择此项将会删除配置、数据会丢失。选择“NewConfiguration”，在清除目前RAID配置以后，再创建新配置，此项一样会丢失数据（假如你要清除目前配置，并重新配置，请选择此项）。假如你已经有了RAID配置，要创建多个不一样RAID配置信息，则选择“AddConfiguration”，添加一个新配置。在此我们选择此项。图1-3-4配置向导（5）在“SelectConfigurationMethod”，选择“ManualConfiguration”，手动配置，图1-3-5所表示。图1-3-5手动配置（6）在左侧“Drives”列表中，选择未分配磁盘，将其添加到“DriveGroups”中。假如已经有了一个磁盘组，则需要将这些磁盘，加到另一个磁盘组，图1-3-6所表示。在本示例中，原来120G固态硬盘在“DriveGroups0”中，则能够选中目前6个1TB磁盘，单击“AddtoArray”，加到“DriveGroups1”中。图1-3-6选中磁盘加到阵列（7）当全部磁盘添加到磁盘组后，单击“AcceptDG”，接收配置，图1-3-7所表示。图1-3-7接收配置（8）假如还有其它磁盘，或其它配置，能够从左侧选择磁盘，将其添加到右侧磁盘组中。假如全部磁盘已经选择完成，单击“Next”按钮继续，图1-3-8所表示。图1-3-8磁盘选择完成（9）在“SpanDefinition”对话框，在“ArrayWithfreeSpace”列表中，显示了上一步添加磁盘总空间，以前目前支持RAID模式，单击“AddtoSPAN”，将其添加到右侧“Span”列表中，图1-3-9所表示。图1-3-9添加到SPAN【说明】Span是在逻辑上把多个物理磁盘一个接一个串联到一起，从而提供一个大逻辑磁盘。Span上数据简单从第一个磁盘开始存放，当第一个磁盘存放空间用完后，再依次从后面磁盘开始存放数据。Span存取性能完全等同于对单一磁盘存取操作。Span也不提供数据安全保障。它只是简单提供一个利用磁盘空间方法，Span存放容量等于组成Span全部磁盘容量总和。（10）假如还有其它空间，能够继续添加。当添加完成后，单击“Next”按钮，图1-3-10所表示。图1-3-10添加完成（11）在接下来界面中，选择RAID等级、Strip大小、逻辑卷大小等。在“RAIDLevel”选择RAID等级，目前可供选择是RAID0、RAID10（显示为RAID1）、RAID5。图1-3-11所表示。在右下角显示了不一样RAID等级时，可用容量。比如，在本示例中，有6个1TB硬盘（每个硬盘是930.390GB），在选择RAID0等级时，可用容量是5.451TB（6个硬盘容量）；在选择RAID10时，可用容量是2.725TB（3个硬盘容量）；在选择RAID5时，可用容量是4.542TB（5个硬盘容量）。图1-3-11RADI等级及容量假如是大容量一般硬盘，比如本示例中5400转、1TB硬盘，提议使用RAID10，因为这么有很好性能；假如是10KSAS硬盘，比如600G、10000转SAS硬盘，在兼顾性能、容量同时，提议选择RAID5。在做RAID5时，通常提议每组中最多是5～6块硬盘。比如，在有10块硬盘时，能够各选5块做两组RAID5。这么兼顾安全性及性能。（12）在“StripSize”，可供选择值是8KB、16KB、32KB、64KB、128KB、256KB、512KB、1MB。对于较大IO读写，选择较大值；对于较小IO读写，则选择较小值。在本示例中，存放用于虚拟化应用，存放空间是先分配给ESXi，由ESXi再分配给虚拟机。在以虚拟机为单位应用中，提议选择较大数值，在此选择1MB，图1-3-12所表示。图1-3-12StripSize（13）其它选项通常选择默认值即可，在“SelectSize”处，选择要划分逻辑磁盘容量。假如要创建多个逻辑磁盘，能够在此输入第1个逻辑磁盘容量，然后单击“Accept”创建第一个逻辑磁盘。以后能够创建第2个、第3个等你需要逻辑磁盘。在此我们用全部空间，创建一个逻辑磁盘，此时能够单击“UpdateSize”按钮，使用全部空间，然后单击“Accept”按钮，图1-3-13所表示。图1-3-13使用整个空间创建逻辑磁盘（14）创建以后逻辑磁盘显示在右侧列表中，单击“Next”按钮继续，图1-3-14所表示。图1-3-14创建逻辑磁盘完成（15）在“ConfigurationPreview”对话框中，单击“Accept”按钮，接收并保留这个配置，图1-3-15所表示。图1-3-15保留配置（16）在“SavethisConfiguration”对话框，单击“Yes”按钮，保留设置，图1-3-16所表示。图1-3-16保留设置（17）RAID配置程序会提醒“全部在新虚拟磁盘上数据全部会丢失，要初始化吗”，单击“Yes”按钮，图1-3-17所表示。图1-3-17提醒数据丢失，是否初始化（18）以后新创建虚拟磁盘会开始初始化，默认是“快速初始化”。在初始化完成后，能够单击左下角“Home”按钮，返回主菜单。假如有多个虚拟磁盘，假如要选择引导驱动器，能够在“VirtualDrives”列表中，选择要做引导虚拟磁盘，单击“SetTootDrive”，设置引导驱动器。在设置之前，在右侧有“Current＝1”之类提醒，表示目前引导磁盘是“VD1：RAID0：110.827GB”，图1-3-18所表示。图1-3-18实施初始化并设置引导磁盘（19）返回到主界面以后，在右侧能够看到，全部磁盘已经配置，图1-3-19所表示。目前一共有两个配置，分别是120G固态硬盘做RAID0，和6块1TB硬盘做RAID10。配置完成后，单击“Exit”按钮退出。图1-3-19配置完成（20）在“ExitApplication”对话框，单击“Yes”按钮，图1-3-20所表示。图1-3-20退出应用程序（21）在“PleaseRebootyourSystem”对话框，按“Ctrl+Alt+Del”，重新开启计算机。图1-3-21所表示。图1-3-21重新引导系统以后服务器将重新开启。3为服务器添加存放及注意事项3.1退出维护模式并添加当地存放当主机再次进入VMwareESXi以后，使用vSphereClient登录vCenterServer，将置于维护模式主机“退出维护模式”并添加当地存放，关键步骤以下。（1）当主机开机以后，进入VMwareESXi后，在vSphereClient中，能够看到主机已经连接上。右键单击主机，在弹出快捷菜单中选择“退出维护模式”，图1-4-1所表示。图1-4-1退出维护模式（2）在“配置→存放器”中，单击“添加存放器”链接，图1-4-2所表示。图1-4-2添加存放器（3）在“选择存放器类型”中选择“磁盘/LUN”，图1-4-3所表示。图1-4-3添加当地磁盘（4）在“选择磁盘/LUN”对话框中，在右侧会显示出目前能够添加磁盘，并显示驱动器类型及容量，图1-4-4所表示，目前是6块1TB硬盘划分为RAID0，所以容量是2.73TB左右（3个1TB硬盘容量）。图1-4-4选择要添加磁盘（5）在“文件系统版本”对话框，选择“VMFS-5”文件系统，只有VMFS-5文件系统才支持2TB以上大小，图1-4-5所表示。图1-4-5文件系统版本（6）在“目前磁盘布局”对话框，显示了目前磁盘全部可用空间情况，目前硬盘为2.73TB，硬盘为空白，图1-4-6所表示。图1-4-6目前磁盘布局（7）在“属性”对话框中，指定数据存放属性，在“输入数据存放名称”文本框中，输入要添加数据存放名称，该名称将会添加在目前ESXi主机中。在有多台主机时，要为存放计划统一名称。计划能够有多个方法，通常我是使用主机名+存放名+序号。比如，这是在第2台ESXi主机上添加第一个当地存放，则能够将名称命名为esx02-d1，图1-4-7所表示。图1-4-7命名存放（8）添加存放以后，在“配置→存放器”右侧能够看到添加存放，图1-4-8所表示。图1-4-8添加后存放对于另外两台主机，也要参考上面步骤进行操作，即：l将主机置于待机模式l关闭主机电源，并断开电源线l打开服务器主机，插上RAID卡，并添加硬盘l插上电源线，打开服务器电源，进入RAID配置界面l使用vSphereClient，将主机退出维护模式，并添加当地存放。大家要注意，当vSphere数据中心中主机数量少于3台时，只能将其中1台主机置于维护模式。假如数据中心有多个主机，能够将其中多台主机同时置于维护模式，这要看数据中心中故障主机容量设置。所以，在大多数情况下，一台一台安装配置是相对安全可靠。3.2假如系统安装在当地硬盘需要重新设置开启磁盘即使我们介绍简单，但在实际使用、安装配置过程中，总是会碰到问题。下面我们将在为IBM服务器添加RAID卡、配置硬盘中，可能碰到问题介绍一下，并给出对应处理方法。假如在添加RAID卡之前，服务器安装了硬盘（比如安装了一个固态硬盘），而且在这个硬盘上安装了系统。那么，在添加RAID卡以后，这个当地硬盘需要初始化、配置为RAID才能使用。以后能够将系统安装在这个固态硬盘上，并重新添加到vCenterServer。关键步骤以下。（1）进入RAID卡配置，将这个单独固态硬盘配置为RAID0，并划分一个逻辑盘。图2-1-1将固态硬盘配置为RAID0（2）在“VirtualDrives”选项中，选中新配置为RAID0固态硬盘，选择“SetBootDrive”，然后单击“GO”按钮，将固态硬盘RAID设置为引导磁盘，图2-1-2所表示。设置以后显示目前引导盘为VD1或是VD0（只有在有多个逻辑分区时才需要设置，假如只有一个逻辑磁盘则不需要这么做）。图2-1-2设置引导磁盘（3）使用VMwareESXi安装光盘（或安装U盘），重新开启服务器，在“SelectaDisktoInstallorUpgrade”对话框，选择要存放操作系统位置，图2-1-3所表示。在此列表中，“Local”列表显示是服务器当地磁盘或当地存放，“Remote”显示是服务器远程存放，通常是经过FC或SAS连接存放设备。在目前服务器中，当地硬盘有一个2.27TB（这是6块硬盘做RAID10后磁盘）、一个110.83GB（这是单个120GB固态硬盘做RAID0）、一个28.89GB（这是用来引导安装VMwareESXi5.5引导U盘）；远程有三个磁盘，分别为10GB、3TB、2.14TB，其中10GB这个是单独分配给目前服务器，用于安装系统用，另两个则是分配给目前阵列中全部服务器共享存放，操作系统不能安装在这两个大容量存放上，不然会丢失数据。在本示例中，假如操作系统原来安装在固态硬盘上，则选择110.83GB这个当地硬盘，将系统安装在当地存放上即可。图2-1-3选择要安装磁盘（4）在安装以后，进入VMwareESXi控制台界面，为服务器设置原来IP地址，并使用vSphereClient登录vCenterServer，将VMwareESXi添加到原有群集中，重新配置网卡，而数据、其它设置不需要配置，即可。3.3修改系统开启次序假如在添加RAID卡以后，重新开启服务器不能引导（系统安装在远程共享存放上时），这是开启次序不对，进入CMOS设置，修改后装SAS卡最先引导即可。关键步骤以下。（1）重新开启服务器，当出现图2-2-1所表示菜单时，按F1热键。图2-2-1开机热键菜单（2）进入系统配置界面后，移动光标到“SystemSettings”并按回车键，图2-2-2所表示。图2-2-2系统设置（3）在系统设置界面，移动光标到“DevicesandI/OPorts”并按回车键，图2-2-3所表示。图2-2-3设置和IO端口（4）在设备和IO端口配置页，移动光标到“SetOptionROMExecutionOrder”并按回车键，图2-2-4所表示。图2-2-4设置实施次序（5）默认开启次序依次是当地SAS控制器、网卡、Slot插槽设备，而RAID磁盘则属于当地SAS（RAID）设备，而远程存放（经过FC或SAS连接）则是属于Slot插槽上开启设备。图2-2-5所表示。假如要修改开启次序，在此按回车键。图2-2-5默认开启次序（6）在此次选择中，是将Slot插槽调整到前面。能够移动光标分别到Slot1、2、3，然后按+号将其向前调整（按-则是向后调整），图2-2-6所表示。将三个Slot插槽调整到前面。图2-2-6选中设备后按+、-调整开启次序（7）调整以后，图2-2-7所表示。按ESC返回。图2-2-7调整开启次序后（8）返回到系统设置页后，移动光标到“SaveSettings”按回车键，保留设置，图2-2-8所表示。图2-2-8保留设置（9）然后按ESC退出CMOS设置，按Y确定，图2-2-9所表示。图2-2-9退出CMOS设置4在添加当地存放中碰到问题及处理方法4.1添加RAID卡后出现PCI故障报警假如添加RAID卡以后，服务器面板报警，显示“PCI”故障，图2-2-10所表示，则需要进入CMOS进行设置，关键步骤以下。图2-2-10PCI故障灯（1）开机按F1进入系统设置，选择“LoadDefaultSettings”加载默认设置，图2-2-11所表示。图2-2-11恢复默认设置（2）然后进入“SystemSettings”（系统设置）对话框，选择“Network”进入网卡设置，图2-2-12所表示。图2-2-12网络设置（3）在网络设置对话框中，选择“NetworkBootConfiguration”（网络开启配置），图2-2-13所表示。图2-2-13网卡开启配置（4）在“NetworkBootConfiguration”页中，将1、2、3网卡PXE引导功效严禁（保留编号为0网卡PXE引导功效，用来安装系统）。本例以配置标号为2网卡为例。移动光标到“MAC：40:F2:E9:XX:XX:XXOnboardPFA6:0:2”按回车键，图2-2-14所表示。图2-2-14选择网卡（5）进入网卡配置页，在“PXEMode”处按回车键，在弹出对话框中选择“Disabled”，图2-2-15所表示。图2-2-15严禁PXE功效（6）设置以后图2-2-16所表示。以后移动光标到“SaveChanges”保留设置。图2-2-16保留设置以后参考（4）～（6）6设置，将标号为1、3网卡也严禁PXE功效，并保留设置。这些不一一介绍。（7）以后返回“SystemSettings”，选择“DevicesandI/OPorts”，图2-2-17所表示。图2-2-17设备和IO端口配置（8）在设备和端口配置页面，选择“Enable/DisableAdapterOptionROMSupport”，图2-2-18所表示。图2-2-18设置适配器ROM支持（9）在默认情况下，“ROMSupport”全部是许可“Enable”状态，图2-2-19所表示。图2-2-19默认情况下为许可（10）在此项中，要分别为Legacy及UEFI选项进行设置，通常情况下将以太网卡2、3设置为禁用即可，图2-2-20所表示。假如设置此项，保留设置退出后，仍然出现PCI错误提醒，则还需要在此界面中将Slot1、2、3设置为禁用。图2-2-20禁用网卡（11）设置以后返回系统配置页，选择“SaveSettings”，保留设置并退出，图2-2-21所表示。图2-2-21保留设置再次开启以后，在开始时候仍然出现故障提醒，在经过RAID卡配置检测以后（显示图2-2-22页），故障警告提醒清除，至此PCI故障处理。图2-2-22RAID卡配置此时服务器前面板指示灯变为“绿色”，图2-2-23所表示。图2-2-23指示灯变绿此时打开面板能够看到PCI指示灯已经不亮，图2-2-24所表示。图2-2-24面板具体信息没有故障指示在实际使用中，假如要使用共享存放，提议为服务器配置两个SAS或FC卡连接到存放。在这种情况下，能够提供“冗余”功效。假如为服务器配置了两个SAS或FC卡，在系统检测中，为服务器分配存放会显示两次，图2-2-25所表示。图2-2-25SLOT1及SLOT2上各有一个FC卡，并连接到存放4.2其它问题假如没有硬盘托架，能够用服务器自带“档板”（图3-1-1所表示），将前端加工去掉一截，图3-1-2所表示。图3-1-1服务器档板图3-1-2加工去掉然后将硬盘放在这个临时托架上，图3-1-3所表示。图3-1-3卡住硬盘临时能够使用这个托架放置硬盘。但最好不要长时间使用。图3-1-4是使用硬盘架及使用自制托架对比，自制托架要长出服务器一截。图3-1-4两种托架对比IBM3650M4能够配置16块2.5寸硬盘，但只有前8个硬盘位有底座，以后8个硬盘位则是“空”，假如需要使用则要添加模块，图3-1-5所表示。图3-1-5第8～15个硬盘位里面是空图3-1-4是IBM服务器包装箱，在服务器拆机以后，先不要着急扔掉，等服务器使用一段时间以后，假如没有问题再扔。图3-1-4IBM服务器包装图3-1-5是放置服务器机柜、UPS，及调试用笔记本截图。图3-1-5服务器机柜、UPS图3-1-6是交换机、电信光纤。图3-1-6光纤收发器及关键交换机