服務器雙機熱備散熱建議方案

龍加飛（第一部分）ROSE雙機熱備解決方案項目方案

前言項目方案數(shù)字化建設是一個龐大而復雜的系統(tǒng)工程，其整體系統(tǒng)由上百個業(yè)務子系統(tǒng)組建而成，而這些系統(tǒng)間又有頻繁的數(shù)據(jù)交換和業(yè)務聯(lián)動，數(shù)據(jù)/信息中心系統(tǒng)的建設和部署是整個數(shù)字化系統(tǒng)建設的核心和基礎，其架構設計是一項復雜的工作。本方案提出雙機熱備硬件平臺基礎架構的概述。本方案針對數(shù)字化基礎架構，幫助各個層次上保持正常、健康的運行。具體方案如下：高可用性評估：對IT可用性計劃、流程、過程、角色、職責、報告、控制和服務水平實現(xiàn)情況進行分析；通過事后分析、故障成本或組件故障影響分析技術，對可能發(fā)生的故障進行分析；高可用性規(guī)劃與設計對高可用性進行規(guī)劃，包括計劃、計劃管理、報告和服務水平管理、高可用性流程和過程設計，包括角色和職責。高可用性實施各種服務器優(yōu)化與整合服務規(guī)劃、設計和實施。容災規(guī)劃與實施服務數(shù)據(jù)中心和災備中心連續(xù)性接管服務，災難恢復演練計劃制定與實施。一．系統(tǒng)環(huán)境1.1方案業(yè)務簡述本方案的核心是統(tǒng)一的高性能的NAS架構，大部分數(shù)據(jù)都存儲在NAS的環(huán)境中，通過交換機連接不同的數(shù)據(jù)庫服務和應用服務器進行各種業(yè)務處理。為支持越來越高的業(yè)務連續(xù)性要求。二．關健業(yè)務連續(xù)性系統(tǒng)設計2.1基礎架構2.2系統(tǒng)設計說明1.服務器、存儲和軟件系統(tǒng)本方案的核心是統(tǒng)一的高性能的NAS架構，大部分數(shù)據(jù)都存儲在NAS的環(huán)境中，通過交換機連接不同的數(shù)據(jù)庫服務和應用服務器進行各種業(yè)務處理。根據(jù)我們對業(yè)務系統(tǒng)的分析，充分滿足對系統(tǒng)數(shù)據(jù)容量的規(guī)劃，建議配置如下：2兩臺服務器建議選擇IBMX3650，每臺建議配置如下：IBMSystemX3650服務器類型2U機架式CPU四核至強E5150（2.0G主頻/20MB三級緩存/最高支持1600MHz內存頻率），可擴展至2個處理器內存(RAM)4*4GB1333MHzRDIMM內存硬盤2*1TB2.5"HDD網絡4口千兆網卡光驅DVD光驅HBA卡IBM6GbSASHBA*2電源雙電源冗余磁盤陣列建議選擇IBMDS3512，建議配置如下：IBMDS4200控制器類型單控制器硬盤配置1TB7.2K3.5"NLHDDSAS*6互聯(lián)線3mSASCable*2電源雙電源冗余雙機軟件選擇RoseHA一套，配置如下：RoseHA雙機容錯系統(tǒng)RoseHAforWindowsWindows2000/2003/2008Serverforx86-64(Standard/Advanced/DatacenterEdition)操作系統(tǒng)要求選擇支持大內存和硬盤RAID功能。兩臺IBMX3650雙機系統(tǒng)為數(shù)據(jù)庫服務器，兩臺互為備份，這大大提高了系統(tǒng)的可靠性，在任意一臺服務器發(fā)生故障時整個系統(tǒng)能夠繼續(xù)安全良好的運行。數(shù)據(jù)存儲方面，根據(jù)業(yè)務要求，確定了數(shù)據(jù)集中結構、數(shù)據(jù)冗余備份寫入，服務器通過交換機和DS4200磁盤陣列組網。為提供存儲底層可靠性，我們建議配置1臺DS4200陣列柜，陣列各劃分劃分多外邏輯卷—供不同的應用服務器使用。數(shù)據(jù)庫文件和控制文件、應用程序文件全部建議放置在磁盤陣列上，在發(fā)生雙機切換時無需手工同步文件。2.3系統(tǒng)方案特點存儲使用陣列，即穩(wěn)定可靠、絕對數(shù)據(jù)安全而且成本較低，充分節(jié)省用戶投資；服務器、網卡、電源模塊等關健設備全部使用冗余設計，無單點故障；雙機軟件快速反映，錯誤檢測時間小于10秒，故障切換及恢復時間一般在10-20秒；雙機軟件GUI與Server分離，可隨時中斷GUI而不影響Server的運行；支持JOB和BRINGIN/BRINGOUT、在一臺SERVER上停止JOB不會導致FAILOVER在同一塊網卡上建立多個活動的IP地址，支持多個JOB的運行自動切換：當系統(tǒng)出現(xiàn)故障時（如：系統(tǒng)宕機、HA進程/應用進程被殺掉、RS-232、SCSI、光纖、網絡線纜斷開），RoseHA將確定故障原因，并采取相應對策，并將這些應用切換到備份服務器上。而故障服務器中未受影響的應用不會被切換，既不會受任何影響。不需要系統(tǒng)管理員干預。三．附錄3.1RoseHA雙機容錯系統(tǒng)RoseHA是利用共享磁盤陣列實現(xiàn)系統(tǒng)高可用性，保證應用系統(tǒng)7*24不間斷運行的軟件產品。ROSEHA軟件同時安裝在兩臺主機上，用于監(jiān)視系統(tǒng)的狀態(tài)，協(xié)調兩臺主機的工作，維護系統(tǒng)的可用性。它能偵測應用級系統(tǒng)軟件、硬件發(fā)生的故障，及時地進行錯誤隔絕、恢復，以最低成本提供用戶幾乎不停頓的計算機作業(yè)環(huán)境。

RoseHA以其穩(wěn)定、可靠，在windows2000、windows2003、windows2008服務器的容錯軟件中占有絕對的優(yōu)勢，同時也成為國內絕大多數(shù)的磁盤陣列柜廠家的OEM容錯軟件。工作模式主從方式（Active/Standby)

主機工作，從機處于監(jiān)控準備狀態(tài)。當主機宕機時，從機接管從機的工作，待主機恢復正常后，按使用者的預定以自動或手動的方式將服務切換到主機上運行。雙工方式（Active/Active）

兩臺主機同時運行各自的服務工作，且相互監(jiān)測對方的情況。當一臺主機宕機時，另外一臺主機立即接管它的工作，保證工作不間斷。譬如：A機運行ORACLE數(shù)據(jù)庫應用，B機運行IIS網站應用。特點自動切換

當系統(tǒng)出現(xiàn)故障時（如：系統(tǒng)宕機、HA進程/應用進程被殺掉、RS-232、SCSI、光纖、網絡線纜斷開），RoseHA將確定故障原因，并采取相應對策，并將這些應用切換到備份服務器上。而故障服務器中未受影響的應用不會被切換，既不會受任何影響。不需要系統(tǒng)管理員干預。支持多條心跳路徑

可以將網線和RS-232串口線作為在RoseHA軟件的心跳路徑。配置多條心跳路徑可以避免系統(tǒng)的單點故障。兩臺服務器的信息交換可通過：RS232、TCP/IP自動檢測

在集群系統(tǒng)的每一臺服務器內，RoseHA具有兩個核心進程，它們互相監(jiān)控，如果其中一個進程失敗，另一個進程會立即進行恢復。豐富的附加功能提供不同的針對特定應用的Agent程序，使服務監(jiān)控更切實際，更加有效；提供用于開發(fā)Agent程序的應用程序界面（API），使用者可針對特定的服務編寫Agent程序，執(zhí)行與特定服務相關的狀態(tài)診斷及錯誤恢復工作的。RoseHA采取高可靠的錯誤檢測和故障恢復機制減少系統(tǒng)宕機，停機時間并防范錯誤，提供故障警告；RoseHA可設定故障排除后自動或手動回復（switchback）；RoseHA安裝時不需要修改操作系統(tǒng)的核心、更改應用軟件，也無需特殊的硬件；RoseHA提供基于GUI的監(jiān)控中心，管理員能查看ROSEHA的狀態(tài)、檢查錯誤信息和警告、修改系統(tǒng)參數(shù)及從遠程工作站管理ROSEHA系統(tǒng)；RoseHA支持各種數(shù)據(jù)庫，包括ORACLE、Sybase、Informix、DB2、MySQL等。

PrivateNet私用網絡

兩臺服務器通過私用網絡心跳（HeartBeat）信號，使兩臺服務器能夠相互了解對方的運行情況。為了避免不必要的失效切換，最好建立兩條獨立的物理路徑作為通訊路徑。RS-232SocketPrivateNet:配置服務器空閑的串口作為一條通訊路徑。TCP/IPSocketPrivateNet:兩臺服務器的網卡用反線（backtoback)直接或通過LAN建立一條通訊路徑。

如果所有的私用網均失效，服務器仍然可以用公用偵測對方服務器的可用性。如果對方服務器仍然可用，不觸發(fā)接管動作；如果對方服務器不可用，立即接管動作。

PublicNet公用網絡

客戶端通過此網絡與服務器通信，當兩臺服務器互為備份。對于不同的服務，可以用不同的公用網連接到兩臺服務器。ROSEHA支持TCP/IP協(xié)議，可以在EthernetFastEthernet、FDDI和ATM網上運行。

管理工具友好、直觀、易于操作的GUI界面有關ROSEHA的配置都可以在GUI中完成，支持動態(tài)配置和實時同步網卡的狀態(tài)，磁盤的狀態(tài)都可在GUI中顯示出來

監(jiān)控的對象資源VolumeIP地址計算機別名共享文件NT服務用戶自定義工作原理

系統(tǒng)啟動后，ROSEHA首先啟動HAManager管理程序，根據(jù)高可靠性系統(tǒng)的配置結構初始化，然后啟動必要的服務和代理程序來監(jiān)控和管理系統(tǒng)服務。HA代理程序用來監(jiān)控、監(jiān)測、診斷和管理硬件軟件服務。

代理程序檢測到該服務器處于活動狀態(tài)，HAManager就會認為該服務處于活動狀態(tài)，HAManager會定時通知后備服務器上的HAManager，其每項服務處于正常。

當代理程序檢測到某個服務發(fā)生故障時，它就通知HAManager管理程序。HA軟件首先會重新啟動該服務多次（可由用戶設定）。如果啟動不能成功，該服務會由HA轉移到后備服務器上。

HA周期性地檢測系統(tǒng)硬件的狀態(tài)，如果硬件發(fā)生故障，HA會把與該硬件相關的服務轉移到后備服務器上。當某項服務發(fā)生轉移時，HA首先在運行服務器上停止該服務，之后，由備份服務器上的HA在備份服務器上啟動該服務。由于停止和啟動該服務需要一定的時間，所以，當服務被切換（轉移）時，該服務會有短暫的中斷，轉移完成后，服務自動恢復正常運行?？紤]到一些數(shù)據(jù)庫系統(tǒng)（如ORACLE、SYBASE、INFORMIX等）以及其他一些應用軟件（如DominoServer、WWWServer等），ROSEHA在HA管理模塊（HAManager)的基礎上，提供了一系列的Agent軟件模塊。Agent為一個軟件監(jiān)視模塊，監(jiān)控數(shù)據(jù)庫服務或其他應用服務的運行。當運行服務器發(fā)生故障時，由Agent向HA主控軟件請求，進行相應的處理動作。

總之，ROSEHA軟件極大程度上減少了人的介入，提高了系統(tǒng)的可靠性與安全性，使服務能可靠的運行。（第二部分）雙機熱備系統(tǒng)實施方案實施方案實施方案硬件準備1.安裝前檢查服務器IBM3650兩臺（01號、02號表示），陣列柜1臺，雙機互聯(lián)線1根，陣列柜電源線2根，服務器電源線2根，SCSI數(shù)據(jù)連接線2根。2.陣列柜安裝事項先連接SCSI數(shù)據(jù)線，一頭接陣列柜后方數(shù)據(jù)接口，一頭接服務器上方非集成接口(服務器接口有兩個，一個是主板集成，一個是非集成，非集成的在服務器背部上方)，再分別將電源線兩根接陣列柜后方風扇口一側，扣好搭扣。3.網卡連接注意事項雙機互聯(lián)線，一頭插在01服務器非集成網卡上，另一頭插在02服務器上。業(yè)務用的網線一頭插在服務器集成網卡上，另外一頭插在交換機上，01、02都是這樣安裝。4.開機順序先開陣列柜，直到看到上面出現(xiàn)英文提示“StartupCompleted”后再開服務器01，直到出現(xiàn)登錄窗口再開服務器02，到服務器02出現(xiàn)登錄窗口后，雙機開機過程結束。關機:先關服務器02，直到電源完全關閉。再關服務器01，直到電源完全關閉，最后按陣列柜電源開關，則陣列柜關閉。切記:1.不能雙機同時讀寫文件到陣列柜相同分區(qū)，否則可能會造成文件或分區(qū)損壞。2.先保證服務器關機后方可關閉陣列柜，不然會造成陣列柜內數(shù)據(jù)丟失。3.一定要配置UPS，嚴防停電事故發(fā)生。軟件使用雙機容錯的核心是雙機熱備軟件通過互相監(jiān)控來實現(xiàn)熱備的效果。建議采用的軟件是美國ROSE數(shù)據(jù)公司的ROSEHA。ROSEHA可及時地進行錯誤隔絕、恢復，保證服務器在出現(xiàn)意外及有計劃的停機情況下均能為客戶提供連續(xù)有效的服務。將ROSEHA軟件同時安裝在兩臺服務器上，用于監(jiān)視系統(tǒng)的狀態(tài)，協(xié)調兩臺服務器的工作，維護系統(tǒng)的可用性。將軟件分別安裝在01和02服務器上，并輸入正確的授權號。它的安裝很簡單，一路“Next”即可，安裝完成后請注意，要將它的服務改為隨系統(tǒng)啟動。注意:雙機熱備要求雙機須超級用戶密碼相同，因此超級用戶密碼為都為123。服務器01為主機，服務器02為從機，當01出現(xiàn)中斷或意外不能工作時，雙機熱備軟件會自動切換到另一臺服務器即02，直到服務器01恢復，軟件會自動切換回01機。1.狀態(tài)顯示說明主界面中，兩臺PC機呈亮色，表示雙機開啟，中間綠線表示雙機心路線(即藍色網線)通訊正常，紅色表示線路有故障或雙機中有一臺無響應!雙機中屏幕有ZZZ標示的為從機，屏幕中有圖標的是主機(圖2)。主機工作時能看到陣列柜分區(qū)，即G、H盤。從機不能看到這兩個分區(qū)。圖22.資源界面說明圖3所示server01(01機)和server02(02機)兩邊現(xiàn)在已經建立好了相應的同步資源，它們是IP地址、服務器名、NT服務、共享文件和磁盤卷。現(xiàn)在分別列出相關信息:資源工作狀況說明，呈現(xiàn)亮色的為主機資源，綠色的為從機資源，黃色驚嘆號的表示該資源有異常(如主機死機，從機就會顯示此信息)。灰色表示資源剛建立但未激活。原則上兩邊的資源名稱和數(shù)量是相同的，陣列柜資源必須全部包含在內。圖3其中server表示虛擬服務器，它是由雙機熱備軟件自動產生的PC機。server的特性基本與主機相同，如輸入\server\c$，可以訪問的是server01的C盤，但它使用自己的IP地址，共享目錄也是自己的，如\server\test能夠訪問的前提是server01和server02都創(chuàng)建了test目錄共享，且兩個共享是指向同一個目錄，如G:\test，而不能建立在各自的獨有盤符中，要建立在公用盤符(一般是陣列柜)上。當雙機的共享都建立成功后，再使用雙機軟件創(chuàng)建一個虛擬共享資源如\server\test即可。開設用戶名為管理用賬號“toway”，密碼“toway”，如果新賬號要求在server01中進行，它是主域控制器。數(shù)據(jù)庫用戶名system/twsa2004_comein.(注意后面有小數(shù)點)。出現(xiàn)意外時的處理方法1.雙機配置時雙機熱備程序已經備份了注冊表文件，分別對應在各自機器的administrator\我的文檔中文件名為01.reg和02.reg，恢復時先停止雙機服務，步驟為:進雙機軟件，點擊快捷菜單中的紅色圖標，依次點→Tools→Restoreclusterconfigur01tion，選中相應的備份文件即可。2.資源丟失，如陣列柜盤符消失先停止雙機服務，再分別在雙機中使用磁盤管理器加入相應盤符，保證雙機盤符相同再重啟雙機服務，點擊失效的資源(一般呈灰色)，右鍵選擇“bringincluster”，稍后即會恢復正常。3.切換服務器的主從順序點擊需要停止機器名，進入菜單選擇resource→serverf01ilover。4.意外停電事故的處理如果遇到意外停電事故，可能會產生陣列柜分區(qū)丟失，雙機不能正常工作的情況。請按下面的方式處理:1)先停止雙機服務。2)使用磁盤管理器加入相應盤符，看此時是哪個盤符丟失，直接點擊盤符在右鍵菜單中選擇“更改驅動器名和路徑”，分配原來正確的路徑即可。3)重啟服務器01，在我的電腦中查看陣列柜盤符是否已經出現(xiàn)，里面的內容是否還有。由于相關的備份內容已經全部拷貝到01機的E、F盤中，主要是mssql、server和toway等3個關鍵目錄。如果損壞嚴重，可以用備份進行拷貝來恢復。不過最好是重啟后仔細觀察，不要輕易進行拷貝恢復，因為可能會丟失一些數(shù)據(jù)!一般來說，G盤存放mssql(SQL安裝路徑)、server(程序共享路徑)、towayhis(數(shù)據(jù)庫日志)等文件夾，H盤放數(shù)據(jù)庫的目錄和towayhis(數(shù)據(jù)庫文件)文件夾。重啟服務器01后，將服務器02也重啟一遍，查看陣列柜分區(qū)是否正常。4)如果一切正常就可以啟動雙機程序，把服務恢復。檢查資源窗口中的狀態(tài)是否正常，如果呈現(xiàn)灰色，一般是陣列柜的盤符，可以手工啟動它，啟動方法是右鍵點擊盤符選擇“bringin”即可。提示:雙機程序可以手工切換指定誰為主機，默認是01，如果想改為02，在資源界面中選中01機，再點擊快捷菜單中“?”左邊的第一個按鈕即可。切換后原來的01機資源呈現(xiàn)綠色，02機資源呈現(xiàn)亮色，即表示切換成功!（第三部分）Windows下Rose軟件的安裝與測試軟件平臺安裝軟件平臺安裝RoseHAforwindows安裝操作指南第一部分：準備工作確認兩臺服務器操作系統(tǒng)及相應補丁安裝正常；服務器網卡間通訊正常確認磁盤陣列與主備機連接正常，對應的磁盤陣列上的數(shù)據(jù)分區(qū)在主備機上所分配的盤符一致，并且可以同時進行讀寫操作。主備機都是以相同的管理員（administrator）的用戶名登陸，并且口令不為空。4．心跳連接線，包括串口線（如果需要）連接正確。第二部分：安裝步驟1．放入光盤，執(zhí)行光盤中Setup.exe2.選擇Next，3．選擇Yes，4．輸入相應的用戶名稱及公司名稱，選擇下一步，5．輸入本地機器名稱及遠程機器名稱，6．選擇軟件安裝路徑，默認即可，選擇Next，7．默認即可，選擇Next，8．安裝完成，選擇Finish。注：主備機上都需要進行軟件安裝，步驟相同，只是在輸入機器名稱時，需要根據(jù)實際情況輸入。第三部分：配置步驟1．選擇桌面，執(zhí)行開始=>程序=>NTCluster=>ClusterAdministrationTool，進入到如下界面，提示軟件可以試用31天，2．點擊菜單欄Tools的License，3．可以得到如下界面，如果已經申請到RoseHA的正式注冊碼，可以在這里根據(jù)注冊碼的內容逐項填入SerialNo.Data及License，然后點擊OK，既可提交License；如果沒有申請License，或者試用軟件，則直接點擊OK即可。4．點擊菜單欄PrivateNet中TCP/IPSocket,配置心跳連接，建議配置兩條TCP/IP的心跳連接，優(yōu)先選擇心跳直連網卡的IP地址，其次為連接交換機的網卡地址，如果需要，也可以創(chuàng)建RS232串口心跳連接，點擊PrivateNet中RS232SerialPort進行配置即可。以上1－4步，在主備機上均需要進行操作，才可以完成心跳連接的建立。5．點擊菜單欄View中ResourceObjects，進行資源配置。6．選中主機，點擊菜單欄中Create，可以看到我們可以建立的相應的資源，這里選