為VMware ESXi主機添加本地存儲的過程及注意事項.doc

學習資料收集于網絡，僅供參考為VMware ESXi主機添加本地存儲的過程及注意事項在規(guī)劃數據中心的時候，除了考慮當前的實際情況下，還要考慮將來二至三年的可能出現的問題。但有的時候，雖然已經做了多種考慮，但在信息化實施的過程中，仍然會碰到問題，這時就需要管理員根據實際情況進行處理。例如，在規(guī)劃虛擬化數據中心的時候，作為群集中的虛擬化主機，一般不配置本地硬盤，而是采用共享存儲，以實現系統的高可用性。即時為服務器配置本地硬盤，一般也只是配置一個較小的磁盤，例如60120GB的固態(tài)硬盤安裝系統。相信這是大多數虛擬化數據中心的選擇與規(guī)劃。對于初期規(guī)劃沒有考慮配置本地存儲的服務器，如果在后期需要在服務器安裝大容量的存儲，并且需要在現有業(yè)務不中斷的情況下進行，應該怎么做？在添加本地存儲中碰到問題怎么解決，本文將討論這個問題。1 己有數據中心服務器添加本地存儲思路及方法1.1 現有數據中心拓撲近期有一個vSphere數據中心，該中心有三臺IBM 3650安裝VMware ESXi 5.5的服務器、1臺IBM V3500存儲，在服務器與存儲之間使用SAS連接，拓撲如圖1所示。圖1 存儲、服務器連接示意圖這三臺服務器原來本地沒有配置硬盤，是使用的存儲分配的空間用于系統及數據。現在用戶的需求是：為每臺服務器添加6塊硬盤，作為本地的存儲。因為這三臺ESXi組成一個HA，并且已經有虛擬機運行，所以要求在添加本地硬盤的過程中，業(yè)務不能中斷。另外，由于在開始規(guī)劃的時候，沒有考慮為服務器添加本地硬盤，所以沒有選擇配置支持RAID5的RAID卡，故在添加本地硬盤時，需要一同添加RAID卡。1.2解決思路及原理在VMware vSphere數據中心中，當所有的虛擬機運行在共享存儲上、并且為vSphere數據中心配置了群集后，當群集中主機多于2臺時，如果要對其中的主機進行維護，包括關機檢修、添加配件等，可以將檢修的主機置于維護模式，此時該主機上運行的虛擬機會自動遷移到其他主機，然后可以重新啟動或關閉處于維護模式的ESXi主機，在關機后可以為服務器添加硬件（例如添加RAID卡、添加硬盤、重新配置RAID卡）。在本案例中，就使用這一功能，可以保證業(yè)務不中斷的前提下，關閉虛擬化主機（安裝了VMware ESXi 5.5系統），為主機添加RAID卡、本地硬盤，甚至為主機重新安裝VMware ESXi 5.5系統并重新加入現有群集，都不會造成業(yè)務的中斷。主要步驟如下：（1）使用vSphere Client（或vSphere Web Client），登錄vCenter Server，將其中一臺主機，例如第1臺主機置于維護模式，等該主機上的所有虛擬機，都遷移到其他主機上之后，關閉該主機。（2）等主機關閉后，斷開該主機電源。拆開機箱，插入RAID卡。（3）安裝好硬盤，重新開機，進入RAID卡配置界面，為添加的硬盤，配置RAID。配置完RAID之后，重新啟動主機。（4）重新進入VMware ESXi系統，將新添加的磁盤，添加到ESXi本地存儲。然后將當前主機退出維護模式。（5）之后參照（1）（4）的步驟，將其他主機進入維護模式，關機，添加RAID卡、硬盤，并配置RAID，重新啟動系統并退出維護模式，這些不一一介紹。（6）最后檢查服務器、存儲、及軟件系統，沒有故障之后，添加存儲完成。下面較為詳細的介紹整個過程及注意事項。1.3 將主機進入維護模式使用vSphere Client將要維護的主機進入維護模式，之后關閉主機并斷開電源，添加RAID卡，打開電源、添加硬盤。主要步驟如下。（1）使用vSphere Client，登錄vCenter Server，右擊要維護的主機，在彈出的快捷菜單中選擇進入維護模式，如圖1-1-1所示。圖1-1-1 進入維護模式（2）將主機置于維護模式后，當前主機上正在運行的虛擬機，會遷移到其他主機，如圖1-1-2所示。在遷移的過程中，當前正在運行的業(yè)務不會中斷。在近期任務中可以看到，虛擬機正在遷移到其他主機。圖1-1-2 虛擬機正在遷移（3）當所有的虛擬機遷移到其他主機后（即使沒有運行的虛擬機，也會從當前主機取消注冊，并在其他正在運行的主機上重新注冊。當然，保存在主機本地存儲上的虛擬機例外），當前主機進入維護模式，右擊該主機名稱，在彈出的快捷菜單中選擇關機或重新引導，如圖1-1-3所示。在此選擇關機，因為我們要關閉主機電源之后，安裝新的RAID卡。圖1-1-3 主機進入維護模式2 為服務器添加硬件并重新規(guī)劃RAID2.1 添加RAID卡及硬盤當主機關閉之后，拔下電源線，戴上IBM服務器隨機帶的防靜電手套，打開服務器的機箱，在服務器機箱的右上角，插上RAID緩存卡（實際上是一個緩存，用于IBM 3650 M4主板集成的Serve RAID-M5110e的擴展。標配是無緩存，可以支持RAID0/1/10，在插上緩存時，可升級支持RAID5/6）。圖1-1-4是我們要插的緩存卡，圖1-1-5是插入后的相片（在服務器的右上角位置）。圖1-1-4 RAID緩存圖1-1-5 插入緩存卡后鏈接資料：/link?url=CqhDFplYn-_jslfnKO6IdS_iw4WnPUoDPLrOiP6qIhrrfUdBKLFXe3qgpzBQsvbdOKojRMDyPS1ow5hGlnTlbOv7FBu1ZUjjz_kpZ5DZfIm這是本次要安裝的硬盤，如圖1-1-6所示。本次安裝的是1TB、2.5寸普通筆記本硬盤（可以用在服務器上）。計劃在每臺服務器上安裝6塊硬盤。圖1-1-6 要安裝的硬盤在IBM 3650M4中，最多可以配16塊2.5寸硬盤，其中只有8個硬盤位有接線底座，硬盤位標號為07，另8個硬盤位沒有接線底府，如圖1-1-7這是有硬盤接線底座的拍照截圖。在這個服務器上，實際上已經安裝了一個120GB的固態(tài)硬盤，還剩下7個硬盤位。圖1-1-7 要安裝的硬盤位置這是安裝的硬盤架，如圖1-1-8所示。將硬盤裝好之后如圖1-1-8所示。2.2 配置RAID裝好RAID卡及硬盤后，打開服務器的電源，進入RAID卡配置界面，開始配置磁盤，主要步驟如下。（1）在服務器開機之后，當出現RAID卡配置信息時“Press for WebBIOS”時，按Ctlr+R熱鍵，進入RAID卡配置界面，如圖1-3-1所示。圖1-3-1 RAID卡配置信息【說明】如果不能出現上述界面，而是直接進入系統，則可以插入一個啟動U盤或光盤，重新啟動服務器，等出現提示后按F12鍵，選擇啟動項，選擇U盤或光盤啟動，才會出現進入RAID卡配置界面。（2）進入RAID卡配置界面，當前界面顯示了RAID卡的型號（當前為ServerRAID M5110e）、版本（23.12.0-0019），如圖1-3-2所示。單擊“Start”按鈕進入配置界面。圖1-3-2 選擇適配器界面（3）進入RAID卡配置界面后，在右側顯示當前的配置信息。在本示例中，有6塊930.390GB的硬盤（1TB）的硬盤沒有配置，如圖1-3-3所示。有一個110.827GB硬盤已經配置為，是RAID0（單塊硬盤只能配置為RAID0）。我們這個圖并不是添加RAID卡之后的第一次截圖。如果原來沒有添加RAID5卡（或升級緩存），在添加RAID5卡之后，原來配置的硬盤都要重新配置。圖1-3-3 顯示邏輯磁盤信息（4）在圖1-3-3中，單擊“Configuration Wizard（配置向導）”，進入RAID配置向導，如圖13-4所示。選擇“Clear Configuration”可以清除當前RAID配置，如果已經配置了RAID，選擇此項將會刪除配置、數據會丟失。選擇“New Configuration”，在清除當前RAID配置之后，再創(chuàng)建新的配置，此項同樣會丟失數據（如果你要清除當前配置，并重新配置，請選擇此項）。如果你已經有了RAID配置，要創(chuàng)建多個不同的RAID配置信息，則選擇“Add Configuration”，添加一個新的配置。在此我們選擇此項。圖1-3-4 配置向導（5）在“Select Configuration Method”，選擇“Manual Configuration”，手動配置，如圖1-3-5所示。圖1-3-5 手動配置（6）在左側“Drives”列表中，選擇未分配的磁盤，將其添加到“Drive Groups”中。如果已經有了一個磁盤組，則需要將這些磁盤，加到另一個磁盤組，如圖1-3-6所示。在本示例中，原來的120G固態(tài)硬盤在“Drive Groups 0”中，則可以選中當前6個1TB的磁盤，單擊“Add to Array”，加到“Drive Groups 1”中。圖1-3-6 選中磁盤加到陣列（7）當所有磁盤添加到磁盤組后，單擊“Accept DG”，接受配置，如圖1-3-7所示。圖1-3-7 接受配置（8）如果還有其他磁盤，或者其他配置，可以從左側選擇磁盤，將其添加到右側的磁盤組中。如果所有磁盤已經選擇完畢，單擊“Next”按鈕繼續(xù)，如圖1-3-8所示。圖1-3-8 磁盤選擇完畢（9）在“Span Definition”對話框，在“Array With free Space”列表中，顯示了上一步添加的磁盤的總空間，以前當前支持的RAID模式，單擊“Add to SPAN”，將其添加到右側的“Span”列表中，如圖1-3-9所示。圖1-3-9 添加到SPAN【說明】Span是在邏輯上把幾個物理磁盤一個接一個串聯到一起，從而提供一個大的邏輯磁盤。Span上的數據簡單的從第一個磁盤開始存儲， 當第一個磁盤的存儲空間用完后， 再依次從后面的磁盤開始存儲數據。Span存取性能完全等同于對單一磁盤的存取操作。Span也不提供數據安全保障。它只是簡單的提供一種利用磁盤空間的方法，Span的存儲容量等于組成Span的所有磁盤的容量的總和。（10）如果還有其他空間，可以繼續(xù)添加。當添加完成后，單擊“Next”按鈕，如圖1-3-10所示。圖1-3-10 添加完畢（11）在接下來的界面中，選擇RAID級別、Strip大小、邏輯卷大小等。在“RAID Level”選擇RAID級別，當前可供選擇的是RAID0、RAID10（顯示為RAID 1）、RAID5。如圖1-3-11所示。在右下角顯示了不同RAID級別時，可用的容量。例如，在本示例中，有6個1TB的硬盤（每個硬盤是930.390GB），在選擇RAID 0級別時，可用容量是5.451TB（6個硬盤容量）；在選擇RAID10時，可用容量是2.725TB（3個硬盤容量）；在選擇RAID 5時，可用容量是4.542TB（5個硬盤容量）。圖1-3-11 RADI級別及容量如果是大容量的普通硬盤，例如本示例中的5400轉、1TB硬盤，建議使用RAID 10，因為這樣有較好的性能；如果是10K的SAS硬盤，例如600G、10000轉的SAS硬盤，在兼顧性能、容量的同時，建議選擇RAID 5。在做RAID 5時，一般建議每組中最多是56塊硬盤。例如，在有10塊硬盤時，可以各選5塊做兩組RAID 5。這樣兼顧安全性及性能。（12）在“Strip Size”，可供選擇的值是8KB、16KB、32KB、64KB、128KB、256KB、512KB、1MB。對于較大的IO讀寫，選擇較大的值；對于較小的IO讀寫，則選擇較小的值。在本示例中，存儲用于虛擬化應用，存儲空間是先分配給ESXi，由ESXi再分配給虛擬機。在以虛擬機為單位的應用中，建議選擇較大的數值，在此選擇1MB，如圖1-3-12所示。圖1-3-12 Strip Size（13）其他選項一般選擇默認值即可，在“Select Size”處，選擇要劃分邏輯磁盤的容量。如果要創(chuàng)建多個邏輯磁盤，可以在此輸入第1個邏輯磁盤的容量，然后單擊“Accept”創(chuàng)建第一個邏輯磁盤。之后可以創(chuàng)建第2個、第3個等你需要的邏輯磁盤。在此我們用所有的空間，創(chuàng)建一個邏輯磁盤，此時可以單擊“Update Size”按鈕，使用所有空間，然后單擊“Accept”按鈕，如圖1-3-13所示。圖1-3-13 使用整個空間創(chuàng)建邏輯磁盤（14）創(chuàng)建之后的邏輯磁盤顯示在右側的列表中，單擊“Next”按鈕繼續(xù)，如圖1-3-14所示。圖1-3-14 創(chuàng)建邏輯磁盤完成（15）在“Configuration Preview”對話框中，單擊“Accept”按鈕，接受并保存這個配置，如圖1-3-15所示。圖1-3-15 保存配置（16）在“Save this Configuration”對話框，單擊“Yes”按鈕，保存設置，如圖1-3-16所示。圖1-3-16 保存設置（17）RAID配置程序會提示“所有在新虛擬磁盤上的數據都會丟失，要初始化嗎”，單擊“Yes”按鈕，如圖1-3-17所示。圖1-3-17 提示數據丟失，是否初始化（18）之后新創(chuàng)建的虛擬磁盤會開始初始化，默認是“快速初始化”。在初始化完成后，可以單擊左下角的“Home”按鈕，返回主菜單。如果有多個虛擬磁盤，如果要選擇引導驅動器，可以在“Virtual Drives”列表中，選擇要做引導的虛擬磁盤，單擊“Set Toot Drive”，設置引導驅動器。在設置之前，在右側有“Current1”之類的提示，表示當前引導磁盤是“VD1：RAID0：110.827GB”，如圖1-3-18所示。圖1-3-18 執(zhí)行初始化并設置引導磁盤（19）返回到主界面之后，在右側可以看到，所有的磁盤已經配置，如圖1-3-19所示。當前一共有兩個配置，分別是120G的固態(tài)硬盤做的RAID0，以及6塊1TB硬盤做的RAID10。配置完成后，單擊“Exit”按鈕退出。圖1-3-19 配置完成（20）在“Exit Application”對話框，單擊“Yes”按鈕，如圖1-3-20所示。圖1-3-20 退出應用程序（21）在“Please Reboot your System”對話框，按“Ctrl+Alt+Del”，重新啟動計算機。如圖1-3-21所示。圖1-3-21 重新引導系統之后服務器將重新啟動。3 為服務器添加存儲及注意事項3.1退出維護模式并添加本地存儲當主機再次進入VMware ESXi之后，使用vSphere Client登錄vCenter Server，將置于維護模式的主機“退出維護模式”并添加本地存儲，主要步驟如下。（1）當主機開機之后，進入VMware ESXi后，在vSphere Client中，可以看到主機已經連接上。右鍵單擊主機，在彈出的快捷菜單中選擇“退出維護模式”，如圖1-4-1所示。圖1-4-1 退出維護模式（2）在“配置存儲器”中，單擊“添加存儲器”鏈接，如圖1-4-2所示。圖1-4-2 添加存儲器（3）在“選擇存儲器類型”中選擇“磁盤/LUN”，如圖1-4-3所示。圖1-4-3 添加本地磁盤（4）在“選擇磁盤/LUN”對話框中，在右側會顯示出當前可以添加的磁盤，并顯示驅動器類型及容量，如圖1-4-4所示，當前是6塊1TB硬盤劃分為RAID0，所以容量是2.73TB左右（3個1TB硬盤容量）。圖1-4-4 選擇要添加的磁盤（5）在“文件系統版本”對話框，選擇“VMFS-5”文件系統，只有VMFS-5文件系統才支持2TB以上大小，如圖1-4-5所示。圖1-4-5 文件系統版本（6）在“當前磁盤布局”對話框，顯示了當前磁盤所有可用空間的情況，當前硬盤為2.73TB，硬盤為空白，如圖1-4-6所示。圖1-4-6 當前磁盤布局（7）在“屬性”對話框中，指定數據存儲的屬性，在“輸入數據存儲名稱”文本框中，輸入要添加的數據存儲名稱，該名稱將會添加在當前ESXi主機中。在有多臺主機時，要為存儲規(guī)劃統一的名稱。規(guī)劃可以有多種方式，一般我是使用主機名+存儲名+序號。例如，這是在第2臺ESXi主機上添加的第一個本地存儲，則可以將名稱命名為esx02-d1，如圖1-4-7所示。圖1-4-7 命名存儲（8）添加存儲之后，在“配置存儲器”右側可以看到添加的存儲，如圖1-4-8所示。圖1-4-8 添加后的存儲對于另外兩臺主機，也要參考上面的步驟進行操作，即：l 將主機置于待機模式l 關閉主機電源，并斷開電源線l 打開服務器主機，插上RAID卡，并添加硬盤l 插上電源線，打開服務器電源，進入RAID配置界面l 使用vSphere Client，將主機退出維護模式，并添加本地存儲。大家要注意，當vSphere數據中心中主機數量少于3臺時，只能將其中1臺主機置于維護模式。如果數據中心有多個主機，可以將其中的多臺主機同時置于維護模式，這要看數據中心中故障主機的容量設置。所以，在大多數情況下，一臺一臺安裝配置是相對安全可靠的。3.2如果系統安裝在本地硬盤需要重新設置啟動磁盤雖然我們介紹的簡單，但在實際使用、安裝配置的過程中，總是會碰到問題。下面我們將在為IBM服務器添加RAID卡、配置硬盤中，可能碰到的問題介紹一下，并給出對應的解決方法。如果在添加RAID卡之前，服務器安裝了硬盤（例如安裝了一個固態(tài)硬盤），并且在這個硬盤上安裝了系統。那么，在添加RAID卡之后，這個本地硬盤需要初始化、配置為RAID才能使用。之后可以將系統安裝在這個固態(tài)硬盤上，并重新添加到vCenter Server。主要步驟如下。（1）進入RAID卡配置，將這個單獨的固態(tài)硬盤配置為RAID0，并劃分一個邏輯盤。圖2-1-1 將固態(tài)硬盤配置為RAID0（2）在“Virtual Drives”選項中，選中新配置為RAID0的固態(tài)硬盤，選擇“Set Boot Drive”，然后單擊“GO”按鈕，將固態(tài)硬盤的RAID設置為引導磁盤，如圖2-1-2所示。設置之后顯示當前引導盤為VD1或是VD0（只有在有多個邏輯分區(qū)時才需要設置，如果只有一個邏輯磁盤則不需要這樣做）。圖2-1-2 設置引導磁盤（3）使用VMware ESXi安裝光盤（或安裝U盤），重新啟動服務器，在“Select a Disk to Install or Upgrade”對話框，選擇要存儲操作系統的位置，如圖2-1-3所示。在此列表中，“Local”列表顯示的是服務器的本地磁盤或本地存儲，“Remote”顯示的是服務器的遠程存儲，一般是通過FC或SAS連接的存儲設備。在當前服務器中，本地硬盤有一個2.27TB（這是6塊硬盤做RAID10后的磁盤）、一個110.83GB的（這是單個120GB的固態(tài)硬盤做的RAID0）、一個28.89GB（這是用來引導安裝VMware ESXi 5.5的引導U盤）；遠程有三個磁盤，分別為10GB、3TB、2.14TB，其中10GB這個是單獨分配給當前服務器，用于安裝系統用的，另兩個則是分配給當前陣列中所有服務器的共享存儲，操作系統不能安裝在這兩個大容量的存儲上，否則會丟失數據。在本示例中，如果操作系統原來安裝在固態(tài)硬盤上，則選擇110.83GB的這個本地硬盤，將系統安裝在本地存儲上即可。圖2-1-3 選擇要安裝的磁盤（4）在安裝之后，進入VMware ESXi控制臺界面，為服務器設置原來的IP地址，并使用vSphere Client登錄vCenter Server，將VMware ESXi添加到原有的群集中，重新配置網卡，而數據、其他設置不需要配置，即可。3.3修改系統啟動順序如果在添加RAID卡之后，重新啟動服務器不能引導（系統安裝在遠程的共享存儲上時），這是啟動順序不對，進入CMOS設置，修改后裝的SAS卡最先引導即可。主要步驟如下。（1）重新啟動服務器，當出現圖2-2-1所示菜單時，按F1熱鍵。圖2-2-1 開機熱鍵菜單（2）進入系統配置界面后，移動光標到“System Settings”并按回車鍵，如圖2-2-2所示。圖2-2-2 系統設置（3）在系統設置界面，移動光標到“Devices and I/O Ports”并按回車鍵，如圖2-2-3所示。圖2-2-3 設置與IO端口（4）在設備與IO端口配置頁，移動光標到“Set Option ROM Execution Order”并按回車鍵，如圖2-2-4所示。圖2-2-4 設置執(zhí)行順序（5）默認的啟動順序依次是本地SAS控制器、網卡、Slot插槽設備，而RAID磁盤則屬于本地SAS（RAID）設備，而遠程存儲（通過FC或SAS連接）的則是屬于Slot插槽上的啟動設備。如圖2-2-5所示。如果要修改啟動順序，在此按回車鍵。圖2-2-5 默認啟動順序（6）在本次選擇中，是將Slot插槽調整到前面?？梢砸苿庸鈽朔謩e到Slot 1、2、3，然后按+號將其向前調整（按-則是向后調整），如圖2-2-6所示。將三個Slot插槽調整到前面。圖2-2-6 選中設備后按+、-調整啟動順序（7）調整之后，如圖2-2-7所示。按ESC返回。圖2-2-7 調整啟動順序后（8）返回到系統設置頁后，移動光標到“Save Settings”按回車鍵，保存設置，如圖2-2-8所示。圖2-2-8 保存設置（9）然后按ESC退出CMOS設置，按Y確認，如圖2-2-9所示。圖2-2-9 退出CMOS設置4 在添加本地存儲中碰到的問題及解決方法4.1 添加RAID卡后出現PCI故障報警如果添加RAID卡之后，服務器面板報警，顯示“PCI”故障，如圖2-2-10所示，則需要進入CMOS進行設置，主要步驟如下。圖2-2-10 PCI故障燈（1）開機按F1進入系統設置，選擇“Load Default Settings”加載默認設置，如圖2-2-11所示。圖2-2-11 恢復默認設置（2）然后進入“System Settings”（系統設置）對話框，選擇“Network”進入網卡設置，如圖2-2-12所示。圖2-2-12 網絡設置（3）在網絡設置對話框中，選擇“Network Boot Configuration”（網絡啟動配置），如圖2-2-13所示。圖2-2-13 網卡啟動配置（4）在“Network Boot Configuration”頁中，將1、2、3網卡的PXE引導功能禁止（保留編號為0的網卡的PXE引導功能，用來安裝系統）。本例以配置標號為2的網卡為例。移動光標到“MAC：40:F2:E9:XX:XX:XX Onboard PFA 6:0:2”按回車鍵，如圖2-2-14所示。圖2-2-14 選擇網卡（5）進入網卡配置頁，在“PXE Mode”處按回車鍵，在彈出的對話框中選擇“Disabled”，如圖2-2-15所示。圖2-2-15 禁止PXE功能（6）設置之后如圖2-2-16所示。之后移動光標到“Save Changes”保存設置。圖2-2-16 保存設置之后參照（4）（6）6設置，將標號為1、3的網卡也禁止PXE功能，并保存設置。這些不一一介紹。（7）之后返回“System Settings”，選擇“Devices and I/O Ports”，如圖2-2-17所示。圖2-2-17 設備與IO端口配置（8）在設備與端口配置頁面，選擇“Enable / Disable Adapter Option ROM Support”，如圖2-2-18所示。圖2-2-18 設置適配器ROM支持（9）在默認情況下，“ROM Support”都是允許“Enable”的狀態(tài)，如圖2-2-19所示。圖2-2-19 默認情況下為允許（10）在此項中，要分別為Legacy及UEFI的選項進行設置，一般情況下將以太網卡2、3設置為禁用即可，如圖2-2-20所示。如果設置此項，保存設置退出后，仍然出現PCI的錯誤提示，則還需要在此界面中將Slot 1、2、3設置為禁用。圖2-2-20 禁用網卡（11）設置之后返回系統配置頁，選擇