版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
機房搬遷方案(供電公司)1.機房搬遷概述1.1項目概述XXXXXX供電公司目前有信息和通信兩個機房,是全XX的電力調(diào)度、實時監(jiān)控、XX公司與鄉(xiāng)鎮(zhèn)變電所和XX公司與XX公司通信的核心,由于老辦公大樓已無法滿足目前的辦公需求,根據(jù)目前以及今后的公司發(fā)展需求按照要求重新規(guī)劃建設(shè)新的辦公場所。同時根據(jù)XXXX供電公司要求需要將現(xiàn)有的機房搬遷到新大樓。其中,該公司機房是全XX的信息網(wǎng)絡(luò)中心、應(yīng)用系統(tǒng)運行中心、數(shù)據(jù)存儲備份中心、信息應(yīng)用服務(wù)中心、網(wǎng)絡(luò)和信息安全管理中心、運行維護保障中心。隨著某信息化建設(shè)和應(yīng)用的不斷深化,某業(yè)務(wù)對信息系統(tǒng)的依賴性不斷增強,很多關(guān)鍵應(yīng)用系統(tǒng)的可用性要求是7X24小時不間斷運行,但由于受硬件設(shè)施的限制,此次機房搬遷不能采用在線搬遷,但會盡可能考慮到關(guān)鍵應(yīng)用的可用性,最大程度減少系統(tǒng)停機時間。1.2原機房現(xiàn)狀1.2.1設(shè)備分布情況XXXX供電公司現(xiàn)有信息機房和通信機房,其中信息機房為老辦公大樓4樓,通信機房位于老辦公大樓7樓。1.2.2供電系統(tǒng)情況原機房采用市電UPS雙供電,每個機柜分別有一路市電和UPS電源為IT設(shè)備供電,制冷設(shè)備直接使用市電供電。1.2.3制冷系統(tǒng)情況由于目標(biāo)機房采用全新的制冷設(shè)備,故原機房空調(diào)不必搬遷。1.3搬遷后目標(biāo)機房規(guī)劃目標(biāo)信息中心按照B級機房建設(shè)標(biāo)準(zhǔn)進行建設(shè),主機房面積120平方米,可容納約32多個服務(wù)器及設(shè)備機柜,整個主機房按信息中心三層體系架構(gòu)劃分為3個區(qū)域:分別是信息機房、通信機房和操作室。機房綜合布線采用兩層結(jié)構(gòu)(設(shè)備柜+列頭柜),所有設(shè)備機柜的網(wǎng)絡(luò)配線經(jīng)列頭柜匯聚到網(wǎng)絡(luò)區(qū)的總配線區(qū)。光纖獵頭柜到每個分機柜12芯多模光纖。1.3.1新機房基礎(chǔ)環(huán)境機房電氣基礎(chǔ)情況信息機房和通信機房采用兩路不同回路的市電供電,并通過兩臺20KVAUPS電源與原機房兩臺20KW(電池供電時間不小于3小時)UPS電源組成1+1冗余結(jié)構(gòu)進行供電。機房配電回路由總配電柜分配至各列機柜的電源列頭柜,再有電源列頭柜分輻射式敷設(shè)到設(shè)備機柜。配電回路均采用雙路冗余方式。設(shè)備機柜內(nèi)配置帶有指示燈及防雷功能的PDU。每機柜配備兩個PDU,分別供電。綜合布線基礎(chǔ)情況機房綜合布線要求采用多模千兆光纜+六類銅纜系統(tǒng),布線采用分布式布線方式。機房內(nèi)綜合布線線纜均采用上走線方式。綜合布線系統(tǒng)滿足KVM系統(tǒng)、環(huán)境與設(shè)備監(jiān)控系統(tǒng)等其他智能化系統(tǒng)設(shè)備對聯(lián)網(wǎng)的要求。設(shè)備機柜根據(jù)所在功能分區(qū)不同設(shè)置有多模千兆光纜及六類非屏蔽銅纜。各列設(shè)備機柜的線纜先匯聚到該列網(wǎng)絡(luò)列頭柜,再通過交換設(shè)備匯聚至機房網(wǎng)絡(luò)區(qū)設(shè)備機柜。本系統(tǒng)對機房內(nèi)的供配電系統(tǒng)、UPS電源、精密空調(diào)、新風(fēng)機、安防系統(tǒng)、環(huán)境、漏水、消防、避雷器等系統(tǒng)實行監(jiān)測。精密空調(diào)在信息機房和通信機房分別布置一臺20KW精密空調(diào)和一臺輔助柜式空調(diào)。1.3.2目標(biāo)機房網(wǎng)絡(luò)環(huán)境XXXX供電公司新機房采用分區(qū)、扁平化組網(wǎng)設(shè)計。機房設(shè)計未千兆網(wǎng)絡(luò),其他核心交換機或接入層交換機采用千兆傳輸。1.4搬遷路線1.4.1樓外搬遷路線由原XXXX供電公司大樓機房將所有計算機、網(wǎng)絡(luò)設(shè)備、通信設(shè)備從正門口運輸至新辦公大樓大樓,整個路程約4公里,道路平坦。如下圖:
1.4.2樓內(nèi)搬遷線路信息機房設(shè)備下架完成打包后,從4樓信息中心機房走電樓梯以人工方式運輸?shù)綐窍卵b車,到綜合辦大樓后再以人工方式搬運到8樓機房預(yù)訂位置安裝。通信設(shè)備下架打包完成后從7樓通信機房走電樓梯以人工方式運輸?shù)綐窍卵b車,到綜合辦大樓后再以人工方式搬運到8樓機房預(yù)訂位置安裝。2.搬遷要求及規(guī)范2.1應(yīng)用系統(tǒng)搬遷要求1、各應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器,各應(yīng)用系統(tǒng)終端應(yīng)不需要修改任何配置(包括IP地址)。2、對于本次搬遷所必須的硬件、軟件,在用戶不能提供的情況下,我公司負(fù)責(zé)提供相應(yīng)的設(shè)備、軟件,軟件應(yīng)為正版軟件,且在搬遷結(jié)束及后期駐場服務(wù)期內(nèi)能正常使用。3、搬遷前做好設(shè)備軟件、配置及數(shù)據(jù)備份工作。搬遷前將現(xiàn)有應(yīng)用系統(tǒng)進行數(shù)據(jù)備份,避免由于設(shè)備搬遷過程中故障導(dǎo)致數(shù)據(jù)受損;
對于使用內(nèi)置磁盤的系統(tǒng),增加備份份數(shù),保障數(shù)據(jù)的完整性和可靠性。網(wǎng)絡(luò)設(shè)備方面,搬遷前應(yīng)完成對搬遷設(shè)備IOS及配置文件的備份。4、搬遷后做好測試驗證工作,以保證應(yīng)用系統(tǒng)在搬遷后快速恢復(fù)正常運行。應(yīng)用系統(tǒng)搬遷指標(biāo)要求描述如下:
1、網(wǎng)絡(luò)中斷時間控制在24小時鐘內(nèi);
2.業(yè)務(wù)系統(tǒng)分為核心業(yè)務(wù)系統(tǒng)和非核心業(yè)務(wù)系統(tǒng),核心業(yè)務(wù)系統(tǒng)停機時間控制在12小時內(nèi),非核心業(yè)務(wù)系統(tǒng)停機時間控制在24小時內(nèi);
4.相關(guān)數(shù)據(jù)庫系統(tǒng)情況(停機24小時內(nèi));
2.2設(shè)備搬遷要求搬遷后需要確保硬件的完整性,保證硬件表面無刮花、無損傷現(xiàn)象,保證搬遷后硬件通電測試運行正常,保證軟件的完整性,正常恢復(fù)信息系統(tǒng)硬件環(huán)境正常運行,在甲方指定人員配合下恢復(fù)信息系統(tǒng)上線正常運行。2.3工期要求整個搬遷工期要求控制在7個工作日以內(nèi)(含節(jié)假日)
。2.4設(shè)備搬遷規(guī)范2.4.1標(biāo)記的規(guī)范設(shè)備:型號十用途縮寫十設(shè)備序列號簡稱:型號十字母(以便其他地方引用)
線纜:設(shè)備簡稱+EIA位置十槽位十名稱部件:設(shè)備簡稱+EIA位置十槽位十名稱介質(zhì):型號+用途縮寫十設(shè)備序列號+存儲內(nèi)容標(biāo)題紙箱:設(shè)備簡稱十本箱號/總箱號2.4.2設(shè)備拆卸和包裝規(guī)范1、所有設(shè)備的拆卸均有相當(dāng)經(jīng)驗的工程師拆卸,其他人不得拆卸2、所有設(shè)備的拆卸均用專有的工具拆卸3、各種設(shè)備的配套主輔設(shè)備要成套拆卸,各種連接線裝入塑料貸。4、要按《標(biāo)記的規(guī)范》對設(shè)備進行標(biāo)記。5、備份并打印系統(tǒng)參數(shù)、設(shè)備配置,6、按正常步驟進行關(guān)機7、采取必要的防靜電措施8、拔出連接到插座上的電源9、拔出設(shè)備和外部聯(lián)接的線纜,同時再次檢查并確認(rèn)線纜上是否已按《標(biāo)記的規(guī)范》
做了標(biāo)記,是否完好和正確,否則要按《標(biāo)記的規(guī)范》對線纜進行標(biāo)記。10、建議將重要設(shè)備的CPU板、內(nèi)存板、硬盤拆卸下來,單獨包裝,再集中裝箱運輸。對每一個拆卸的部件要按《標(biāo)記的規(guī)范》對部件進行標(biāo)記。12、將設(shè)備的門鎖和啟動控制的鑰匙取下,并做好標(biāo)記。13、將設(shè)備的門扣鎖住。14、網(wǎng)絡(luò)設(shè)備的包裝對其各種接口加以特別保護,以防止在運輸過程中損壞。15、歸放原則:將屬于此臺設(shè)備的線纜和部件獨立地放在一個或幾個紙箱中,并給這幾個紙箱外部按《標(biāo)記的規(guī)范》進行標(biāo)記。2.4.3設(shè)備安裝規(guī)范1、各種設(shè)備的配套主輔設(shè)備要盡可能成套再安裝2、將涉及此臺設(shè)備的所有包裝箱全部集中在預(yù)定安裝的位置附件。根據(jù)總箱號保證包裝箱未有短缺。3、逐層拆開包裝材料,集中堆放整齊。4、主機及外設(shè)的重新安裝1)采取必要的防靜電措施。2)將設(shè)備擺放到預(yù)先設(shè)定的位置。3)將設(shè)備的CPU板、內(nèi)存板、硬盤等,按規(guī)范和標(biāo)記安裝到位。4)將設(shè)備和外部聯(lián)接的線纜,按規(guī)范和標(biāo)記安裝到位。5)將拆卸的接插件、電路板卡及其他分離的部件,按規(guī)范和標(biāo)記安裝到位。6)將設(shè)備的電源連接到的插座。7)將設(shè)備的門鎖和啟動控制的鑰匙插上8)按正常步驟進行開機9)開機正常后,按規(guī)定的步驟進行機器硬件自檢。10)機器自檢正常后,進行系統(tǒng)自檢。11)系統(tǒng)自檢正常后,查看系統(tǒng)參數(shù)和設(shè)備配置是否和保留的備份一樣。12)若在自檢過程中發(fā)生錯誤,立刻轉(zhuǎn)到故障診斷流程,按規(guī)范進行排故。2.4.4包裝和搬運規(guī)范1、各種設(shè)備的配套主輔設(shè)備要成套搬運,各種連接線和相關(guān)的輔件要集中在一個工作流程中完成,以免遺漏。2、對于包裝完的包裝物,要按《標(biāo)記的規(guī)范》進行標(biāo)記。3、對于有輪腳的設(shè)備,應(yīng)在移動前查看并將輪腳鎖扣松開,以免鎖住產(chǎn)生磨擦震動。4、設(shè)備進行包裝前,應(yīng)對內(nèi)外進行適當(dāng)清潔保養(yǎng)工作,若時間充裕,盡可能的除去設(shè)備上面的灰塵。5、對于重要設(shè)備可用外部表面保護束縛薄膜在內(nèi)、外包裝纏繞三圈。6、事項先確定在最小震動情況下的移動、搬起、抬高、放下,落地的每一步驟的方案。并進行實際模擬操作。7、運輸時,所有的設(shè)備要求立著放。8、可前期搬運的設(shè)備和物品盡量在前期搬運。9、設(shè)備的運輸和搬運應(yīng)該找比較大型的有IT精密設(shè)備運輸經(jīng)驗的運輸公司承擔(dān),包裝也要與運輸公司協(xié)商,運輸公司要有明確的責(zé)任和工作內(nèi)容。運輸使用車況良好的封閉式貨車,技術(shù)人員隨車押運。新舊機房,運輸車輛三點間隨時保持通訊暢通,車速限制在60KM以內(nèi)安全范圍。10、設(shè)備到達(dá)新大樓的機房后,應(yīng)檢查設(shè)備是否完好,并做記錄。2.5集成指標(biāo)我公司將充分考慮甲方應(yīng)用及設(shè)備要求的特殊性、復(fù)雜性和多樣性,達(dá)到以下集成指標(biāo)。(1)我公司負(fù)責(zé)搬遷范圍的設(shè)備安裝、調(diào)試及設(shè)備間系統(tǒng)集成,并按照甲方要求進行安裝調(diào)試、管理維護,并保證應(yīng)用系統(tǒng)能順利上線、穩(wěn)定運行,形成完整的集中系統(tǒng)可用生產(chǎn)環(huán)境。(2)我公司提供詳細(xì)的系統(tǒng)建設(shè)方案,主要包括資源劃分、系統(tǒng)配置、搬遷方案、實施方案、各類意外情況下的應(yīng)急預(yù)案、系統(tǒng)切換演練方案等內(nèi)容。同時協(xié)助完善容災(zāi)備份系統(tǒng)規(guī)劃工作。(3)我公司負(fù)責(zé)完成對系統(tǒng)軟硬件資源的優(yōu)化整合。提供詳細(xì)的優(yōu)化整合和安裝配置方案,重點內(nèi)容:根據(jù)系統(tǒng)特點和設(shè)備的整體情況,提出系統(tǒng)優(yōu)化和配置方案;
詳細(xì)說明系統(tǒng)實施步驟和要點;
制定整個系統(tǒng)優(yōu)化實施方案,確保系統(tǒng)安全、可靠運行;
對整個系統(tǒng)的維護管理、性能配置以及優(yōu)化提出建設(shè)性的意見和建議,并列出詳細(xì)的建議實施步驟和要點。(4)我公司必須積極主動與本項目的相關(guān)單位合作,包括與其他系統(tǒng)集成商、應(yīng)用系統(tǒng)開發(fā)商、咨詢監(jiān)理商等單位的合作,并服從用戶方的協(xié)調(diào)。2.6開工條件2.6.1機房裝修及內(nèi)部布線已經(jīng)完成XXXX供電公司綜合大樓新機房的裝修和強弱電布線由相應(yīng)項目由第三方集成商負(fù)責(zé)。其負(fù)責(zé)完成如下內(nèi)容的施工及測試工作:
1)機房電氣系統(tǒng)已完成(含智能照明系統(tǒng))
2)機房智能化系統(tǒng)已完成機房綜合布線系統(tǒng)機房綜合布線系統(tǒng)已經(jīng)完成,機柜布線相關(guān)的理線器、配線架、線纜、RJ45模塊準(zhǔn)備就緒。?機房環(huán)境與設(shè)備監(jiān)控系統(tǒng)1.UPS系統(tǒng)2.空調(diào)系統(tǒng)3.風(fēng)機系統(tǒng)4.環(huán)境監(jiān)控系統(tǒng)?機房安全防范系統(tǒng)1.視頻安防監(jiān)控系統(tǒng)2.入侵報警系統(tǒng)3.出入口門禁控制系統(tǒng)?機房防雷與接地系統(tǒng)已完成?配電系統(tǒng)要求1.終端用電市電到位后接入市電輸入配電柜,自配電柜至UPS系統(tǒng)、設(shè)備終端供電達(dá)到設(shè)備使用需求;
每路供電能夠承載設(shè)備用電量;
2.電纜需求普通設(shè)備供電電纜保證連線已經(jīng)安裝至PDU位置,并測試正常;
2.6.2目標(biāo)機房網(wǎng)絡(luò)環(huán)境已經(jīng)滿足搬遷要求目標(biāo)機房網(wǎng)絡(luò)環(huán)境需要滿足以下要求,才能實施設(shè)備搬遷?!鲈畔⒅行呐c目標(biāo)信息中心的LAN網(wǎng)絡(luò)已經(jīng)打通。■目標(biāo)數(shù)據(jù)中心的局域網(wǎng)已經(jīng)構(gòu)建并調(diào)試完成,數(shù)據(jù)區(qū)和應(yīng)用區(qū)預(yù)先購買接入層交換機并接入網(wǎng)絡(luò)?!瞿繕?biāo)機房機柜部署就緒。2.6.3滿足《機房場地規(guī)范要求》
搬遷開始條件還需要滿足本方案設(shè)備物理搬遷規(guī)范的《機房場地規(guī)范要求》。3.搬遷總體規(guī)劃3.1搬遷的原則本次機房搬遷涉及到供電公司核心關(guān)鍵業(yè)務(wù)部分,其影響的范圍包括目前供電公司幾乎全部的業(yè)務(wù)信息系統(tǒng),因此在搬遷過程中,怎樣保證整個過程的安全可靠,對相關(guān)業(yè)務(wù)的影響降低到最小,持續(xù)的時間最短是搬遷中重點考慮的問題。下列原則是這次搬遷過程中應(yīng)當(dāng)注意和把握的:
?安全性在搬遷過程中,要保證網(wǎng)絡(luò)的安全,尤其是在網(wǎng)絡(luò)進行設(shè)備的起停過程中,在進行相關(guān)操作時,一定要注意保持網(wǎng)絡(luò)的安全性能。?連續(xù)性由于XXXX供電公司業(yè)務(wù)系統(tǒng)是一個包含廣大內(nèi)、外部用戶的信息服務(wù)系統(tǒng),在搬遷過程中要盡量保持網(wǎng)絡(luò)的穩(wěn)定運轉(zhuǎn),尤其是在規(guī)定的時間內(nèi)要保證業(yè)務(wù)能夠正常運行。因此搬遷的準(zhǔn)備工作應(yīng)盡量在白天進行,實際的搬遷工作建議在晚上進行,而且對搬遷工作要進行周密的部署和安排,留足足夠的應(yīng)急故障處理時間和系統(tǒng)恢復(fù)時間。?組織性整個搬遷工作必須在同一的部署和安排中有條不紊的進行,各個部門要協(xié)調(diào)配合,統(tǒng)一安排、統(tǒng)一部署。注意避免對業(yè)務(wù)造成嚴(yán)重的影響和危害,保證在遇到意外或緊急突發(fā)狀況時可以有條理地回退和恢復(fù)系統(tǒng)功能。?嚴(yán)密性搬遷工作是一個系統(tǒng)工程,要仔細(xì)審查相關(guān)條件的準(zhǔn)備情況,落實到細(xì)小的部分,對各個配置和信息傳遞都要做到準(zhǔn)確無誤,對機房條件、線路狀況等要進行預(yù)先檢查、核實,保證在新的環(huán)境下可以順利實施。3.2搬遷項目目標(biāo)本方案是以盡量不影響XXXX供電公司的日常工作或?qū)⒂绊懡档偷阶畹蜑榍疤岬那闆r下制定的,在目標(biāo)時間內(nèi)完成對服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備的拆卸、搬遷、安裝及測試。保證重要的應(yīng)用系統(tǒng)、設(shè)備停機時間規(guī)定范圍內(nèi),盡量縮小其它系統(tǒng)的停機時間,減少因此帶來的不便和損失。并且在開機以后,繼續(xù)跟蹤系統(tǒng)的運行情況,隨時處理系統(tǒng)運行的異常情況。確保各個系統(tǒng)設(shè)備正常有序的運行。1、現(xiàn)狀梳理:對現(xiàn)有的應(yīng)用系統(tǒng)的現(xiàn)狀進行詳細(xì)系統(tǒng)整理,梳理清楚信息中心的設(shè)備狀況、設(shè)備和應(yīng)用之間的對應(yīng)關(guān)系、數(shù)據(jù)庫和應(yīng)用系統(tǒng)之間的關(guān)系、設(shè)備的連接關(guān)系、應(yīng)用狀況、應(yīng)用系統(tǒng)的架構(gòu)、應(yīng)用系統(tǒng)之間關(guān)聯(lián)關(guān)系、應(yīng)用服務(wù)要求等基礎(chǔ)信息,形成當(dāng)前IT系統(tǒng)的詳細(xì)勘察報告,為本次搬遷策略制定以及后期系統(tǒng)的維護提供重要基礎(chǔ)信息。2、制定搬遷策略:通過前期對各設(shè)備配置情況的整理,對應(yīng)用關(guān)聯(lián)進行分析、業(yè)務(wù)的影響進行分析,制定安全有效的整體的搬遷策略,減少業(yè)務(wù)影響,減少業(yè)務(wù)中斷次數(shù)與時間,將重要應(yīng)用服務(wù)與設(shè)備的中斷時間控制在規(guī)定范圍內(nèi),規(guī)避搬遷的風(fēng)險。3、搬遷方案與實施:制定充分細(xì)致的搬遷方案,進行充分詳細(xì)的準(zhǔn)備工作,根據(jù)搬遷策略,將業(yè)務(wù)系統(tǒng)和各項設(shè)備順利搬遷至目標(biāo)機房,確保搬遷成功。4、項目的控制:對搬遷項目進行整體控制,并進行相應(yīng)的進度控制、質(zhì)量控制、風(fēng)險控制,保證項目按時、順利的完成。?確保業(yè)務(wù)具有連續(xù)性由于受硬件設(shè)備限制,無法采用業(yè)務(wù)系統(tǒng)在線搬遷,為了盡可能的縮短業(yè)務(wù)中斷時間,且不能因為搬遷工作給用戶業(yè)務(wù)造成長期或重大影響,故搬遷過程中的任何工作都必須考慮對業(yè)務(wù)系統(tǒng)的影響,盡量保證業(yè)務(wù)系統(tǒng)連續(xù)服務(wù)的特性。?搬遷過程分步實施因為整個系統(tǒng)功能結(jié)構(gòu)比較復(fù)雜,建議采用分步實施的方式,逐步完成整個系統(tǒng)的搬遷工作,作到有計劃、有條理、準(zhǔn)確、高效,盡量減少或避免搬遷過程中的風(fēng)險。?應(yīng)急回退機制由于在機房搬遷過程中,很可能出現(xiàn)一些意向不到的現(xiàn)象和狀況,在作機房搬遷方案的時候,每一步都制定詳細(xì)的應(yīng)急回退方法,確保在萬不得已的情況下,作必要的回退工作,使業(yè)務(wù)系統(tǒng)保持連續(xù)服務(wù)特性。3.4搬遷規(guī)劃1、實施流程設(shè)備端口標(biāo)記表流程主要根據(jù)搬遷前的需要制定,主要詳細(xì)了解當(dāng)前系統(tǒng)設(shè)備情況,系統(tǒng)運行情況。針對所了解情況制定詳細(xì)搬遷方案以及應(yīng)急方案。2、專業(yè)工程師了解用戶現(xiàn)在機房的現(xiàn)狀以及搬遷后的具體要求。充分考慮在實施過程中可能出現(xiàn)的各種情況,定制詳細(xì)可行性的遷移實施計劃,將機房遷移工作對用戶的影響降至最小。3、編制搬遷前及搬遷后的物理布置表、連接表、線纜號表??筛鶕?jù)用戶情況分為多個系統(tǒng)進行分類。4、為保證搬遷工作順利、有序、安全的進行將制定詳細(xì)的搬遷流程,進行細(xì)致的分工,具體工作安排到人,責(zé)任到人。5、搬遷工作中的每項工作原則最少安排3人,以保證工作的準(zhǔn)確性。4.搬遷實施方案生產(chǎn)系統(tǒng)搬遷具有時間短、系統(tǒng)結(jié)構(gòu)復(fù)雜、測試時間長、設(shè)備繁多昂貴、人員多、層次復(fù)雜等特點。本項目搬遷,時間非常緊,且設(shè)備間的穩(wěn)定性也是一個考驗。因此,必須協(xié)調(diào)好各單位人員的關(guān)系,齊心協(xié)力才可能在預(yù)定時間內(nèi)完成搬遷工程。4.1供電系統(tǒng)搬遷方案根據(jù)原機房以及新機房的情況,目標(biāo)信息中心主機房已經(jīng)采用兩路不同回路的市電及兩組20KVAUPS電源組成1+1冗余結(jié)構(gòu)進行供電。鑒于目標(biāo)機房已經(jīng)具備可靠的供電系統(tǒng),原機房UPS設(shè)備將直接進行搬遷。1、搬遷條件電池間堅固完畢。電池間裝修完成。電池間強電電纜鋪設(shè)到位。搬遷小組各人員到位,并詳細(xì)了解注意事項。2、搬遷安排設(shè)備搬遷工作安排在節(jié)假日進行,持續(xù)時間1~2天。設(shè)備拆除前應(yīng)關(guān)閉UPS主機,UPS的關(guān)閉開啟應(yīng)由UPS廠家技術(shù)人員進行。對于電池架的搬遷,應(yīng)一個電池架一個電池架的搬遷。遇到有明顯老化的電池(鼓出或者漏液)時,應(yīng)即時通知甲方,及時更換。電池搬遷完畢后,UPS開機,檢測是否正常。3、搬遷步驟(1)關(guān)機順序關(guān)機順序如下:先逐個關(guān)閉負(fù)載(確認(rèn)所有負(fù)載均已切斷),再將UPS面板關(guān)機,使UPS處于旁路工作而充電器繼續(xù)對電池組充電。如果需要UPS輸出,將UPS完全關(guān)閉,則再將輸入市電斷開即可。(2)設(shè)備搬運設(shè)備搬運順序如下:可以拆除所有連接線后,可以將UPS主機移到指定位置;
考慮到電池組的重量太重,可以將電池組拆開,打開蓋板,斷開連接線,移出電池搬運至指定位置;
搬運前作好標(biāo)識,電池組有正負(fù)之分,防止安裝時連接錯誤出現(xiàn)問題。(3)開機步驟由于一般負(fù)載在啟動瞬間存在沖擊電流,而UPS內(nèi)部功率元件都有一定的安全工作區(qū)范圍,盡管我們在選用器件時都留有一定的余量,但是過大的沖擊電流還是會縮短元器件的使用壽命,甚至造成元器件損壞。因此,在使用時應(yīng)盡量減小沖擊電流帶來的損害。一般UPS在旁路工作時,抗沖擊能力較強,我們可以利用這一特點在開機時采用以下方式進行:先送市電給UPS,使其處于旁路工作,再逐個打開負(fù)載,先開沖擊電流較大的負(fù)載,再開沖擊電流較小的負(fù)載,然后UPS面板開機,使其處于逆變工作狀態(tài)。開機時千萬不能將所有負(fù)載同時開啟,也不可帶載開機。4、線路連接時應(yīng)注意的問題:
(1)電池連接時電壓極性要正確;
(2)電池與主機之間的連線先不要連接,等UPS市電輸入產(chǎn)生充電電壓后再連接。即UPS先上市電再接電池。4.2網(wǎng)絡(luò)設(shè)備搬遷方案4.2.1網(wǎng)絡(luò)結(jié)構(gòu)XXXX供電公司的網(wǎng)絡(luò)結(jié)構(gòu)主要由和公司內(nèi)外網(wǎng)和與市公司相連接的廣域網(wǎng)組成。其中與市公司相連接的廣域網(wǎng),承擔(dān)所有的數(shù)據(jù)交換任務(wù)?,F(xiàn)在XX公司的核心網(wǎng)絡(luò)設(shè)備為核核心交換H3CS7503,核心交換S7503提供了XXXX供電公司局域網(wǎng)和機房服務(wù)器的數(shù)據(jù)交換任務(wù)。同時該機房內(nèi)還包括到各個鄉(xiāng)鎮(zhèn)的網(wǎng)絡(luò)。局域網(wǎng)包含了域網(wǎng)用戶和服務(wù)器、存儲、視頻及其他相關(guān)網(wǎng)絡(luò)設(shè)備。機房進行搬遷,新機房網(wǎng)絡(luò)需要先行進行架設(shè),由于特殊性,要求的服務(wù)級別較高。所以在考慮搬遷方案的時候要考慮到一下方面:
穩(wěn)定:盡量減少搬遷中網(wǎng)絡(luò)的中斷。網(wǎng)絡(luò)中斷時間控制在24小時內(nèi);
高質(zhì)量:優(yōu)質(zhì)的網(wǎng)絡(luò)優(yōu)化,保障搬遷后的網(wǎng)絡(luò)優(yōu)于搬遷前的方案??焖伲禾崆皽?zhǔn)備,保證工期。安全:服務(wù)穩(wěn)定性和持續(xù)性的保證,將中斷時間減到最短。4.2.3方案概述在搬遷前期,對所有的網(wǎng)絡(luò)設(shè)備進行統(tǒng)計,對配置和主要連接的端口進行備份和標(biāo)示,在搬遷后可以快速的組建網(wǎng)絡(luò),確保傳輸?shù)倪M行。本次搬遷主要信息系統(tǒng)網(wǎng)絡(luò)的連接正常,盡量縮短中斷時間,根據(jù)此次搬遷的特點,設(shè)計了以下方案。在前期準(zhǔn)備完成后,對核心網(wǎng)絡(luò)前期不進行搬遷,租用新辦公地點到舊辦公地點的光纖(客戶已經(jīng)租賃)
,在新辦公地點配置一臺新交換,充當(dāng)前期的核心交換設(shè)備,和原辦公地點的核心交換進行連接,當(dāng)機房服務(wù)器和存儲過去后,能直接與XX鏈接。并且不影響網(wǎng)絡(luò)和其他各變電站、營業(yè)廳的連接。在機房設(shè)備搬遷前,先搬遷一臺S7503,做到和現(xiàn)有設(shè)備相同的配置,在到網(wǎng)絡(luò)的線路切割完成后,直接停止原辦公地點S7503的運行,先搬遷的核心交換S7502直接上線運行,這樣就大大縮短了網(wǎng)絡(luò)的中斷時間。新機房搬遷過程設(shè)備和數(shù)據(jù)較多,涉及面廣,不可能一次性將設(shè)備全部遷移,將采取機房服務(wù)器和存儲設(shè)備的先行搬遷,在設(shè)備搬遷前,現(xiàn)將新機房和原機房核心交換S7503進行相連,連接成局域網(wǎng),所有的三層數(shù)據(jù)交換全部依賴于老機房的S7503,新原機房之間的連接通過租用的光纖線路進行連接,將光纖分別和新機房的交換機和老機房的S7503進行連接,新機房交換機配置和老機房核心一樣的VLAN,當(dāng)作新機房的核心交換所有數(shù)據(jù)通過此臺交換機和老機房核心交換進行數(shù)據(jù)的傳輸。其他的交換機通過TRUNK模式連接到此交換機。在搬遷之前首先根據(jù)現(xiàn)場情況確定交換機位置和IP地址的準(zhǔn)備。在網(wǎng)絡(luò)正常運行后,對辦公網(wǎng)絡(luò)設(shè)備進行搬遷。第一階段:對新機房的設(shè)備擺放位置進行查看,確定新機房核心交換和接入交換機的位置,對光纖線路和機柜間跳線布設(shè)進行規(guī)劃第二階段:光纖從原機房到新機房的架設(shè),用于打通新舊機房通訊鏈路;
第三階段:利用一臺S7503備機安裝在新機房,作為新機房臨時核心交換機,通過光纖與原機房S7503進行連接,原機房S7503對端口進行TRUNK配置,目標(biāo)機房新交換進行端口配置,劃分服務(wù)器和存儲需要的VLAN,對線路的通信情況進行測試。第四階段:安裝多臺接入交換機備機至新機房,并與新機房S7503備機互通,用于先搬過來的PC服務(wù)器等連接;
第五階段:在新機房架設(shè)一臺S7503備機,配置和舊機房的設(shè)備配置相同,并配置與新機房S7503互通;
第六階段:設(shè)備搬運完畢后,停止原辦公地點S7503的運行,新機房核心交換S7503直接與XX通訊。第七階段:將舊機房核心交換機運抵新機房,替換的交機,恢復(fù)網(wǎng)絡(luò)通訊。第八階段:在上述安裝完成后,對網(wǎng)絡(luò)的整體運行情況進行跟蹤測試,對網(wǎng)絡(luò)的連接穩(wěn)定性和連續(xù)性進行測試,對線路可能出現(xiàn)的問題和線路運營商進行溝通和調(diào)整。按照上述搬遷計劃,數(shù)據(jù)區(qū)搬遷完畢之后,為了保證第二天應(yīng)用訪問正常,需要在新舊機房之間建立網(wǎng)絡(luò)通路。需要預(yù)先由電信運營商預(yù)先進行網(wǎng)絡(luò)通路的布設(shè)。租用傳輸設(shè)備,搬遷之前調(diào)通網(wǎng)絡(luò)4.3設(shè)備搬遷方案遷移的準(zhǔn)備工作是整個遷移工作的極其重要的部分,充分的做好本次遷移的準(zhǔn)備工作,是保證遷移工作順利進行的首要條件,并可有效的減少遷移過程中的事故隱患,以下將對遷移前的準(zhǔn)備工作做詳細(xì)描述。4.3.1設(shè)備遷移前的準(zhǔn)備工作1、新機房內(nèi)的準(zhǔn)備工作主要是對于機房環(huán)境的確認(rèn),包括:市電供電系統(tǒng)環(huán)境確認(rèn),供電系統(tǒng)線路情況確認(rèn),各種電壓測量,空調(diào)設(shè)備的正常運轉(zhuǎn)情況。新場地的環(huán)境要達(dá)標(biāo),電壓220V,零地電壓小于1V,溫度在22攝氏度正負(fù)2攝氏度之內(nèi)。電源插座符合小型機及存儲及設(shè)備的要求。4、網(wǎng)絡(luò)環(huán)境確認(rèn)對新機房的外網(wǎng)要提前調(diào)試好,并對測試連通情況進行測試。內(nèi)網(wǎng)布線調(diào)試工作提前做好,保證核心交換上架后各樓層內(nèi)網(wǎng)能正常。并填寫目的機房檢查表:
項目是/否解決方法備注機房UPS功率是否符合要求機房制冷設(shè)備是否符合要求機房防塵是否符合要求設(shè)備電源是否到SDH傳輸設(shè)備PCServer交換機路由器切換器機房寬帶接入是否完成所需IP地址是否到位存儲所用光纖是否到位新機房的環(huán)境準(zhǔn)備工作要提前做好,關(guān)鍵的電源、網(wǎng)絡(luò)準(zhǔn)備充分后,才能進行搬遷,否則一旦某個環(huán)節(jié)出現(xiàn)問題,將影響業(yè)務(wù)正常啟用。按照計劃,小型機及存儲設(shè)備首先搬遷,歷時1個工作日,拆卸、安裝人員不少于8人,對此次搬遷過程中涉及到的所有設(shè)備和相關(guān)配置,要做好搬遷前最新一次的配置備份并妥善保存,對搬遷過程中的配置變更要在搬遷過程中作好相應(yīng)的記錄。以便在搬遷到新機房后配置、故障時的檢查及意外情況下的系統(tǒng)恢復(fù)和回退參考能夠準(zhǔn)確無誤。搬遷工程的實施方案和測試方案必須預(yù)先制定完備,并且通過相關(guān)各方的討論論證,其中的測試方案要保證在搬遷過程中基本能實現(xiàn)監(jiān)測網(wǎng)絡(luò)和業(yè)務(wù)是否能正常運行,在每完成一步后,都要作相應(yīng)的連通性和業(yè)務(wù)運行正常性的測試,便于及時發(fā)現(xiàn)問題并及時處理。此外搬遷過程中的輔助工作也必須準(zhǔn)備到位,比如運輸工具、人員組織、輔助工具準(zhǔn)備等等都應(yīng)提前準(zhǔn)備齊全。4.3.2運輸方案確定1、運輸公司的確定,在當(dāng)?shù)鼗蚓徒刚垯C房專業(yè)的搬家運輸公司。運輸人力在8人以上,并由平推車等。2、搬運線路的勘查。3、木箱、海綿、防震墊、海綿、防靜電袋、硬盤專用箱等準(zhǔn)備。4、陣列硬盤單獨包裝運輸。5、主機采用部分整體搬遷模式運輸。4.3.3搬遷設(shè)備確認(rèn)在此過程中需和用戶方確認(rèn)遷移的服務(wù)器、存儲等硬件設(shè)備及其輔助設(shè)備和材料,并對需遷移的設(shè)備進行分類統(tǒng)計,形成文檔,由用戶方確認(rèn)。4.3.5設(shè)備及接口標(biāo)識遷移工作比較繁瑣,尤其值得注意的是,在系統(tǒng)的再集成過程中,設(shè)備物理連接的恢復(fù)將是系統(tǒng)再集成的首要保證,眾多單位的業(yè)務(wù)系統(tǒng)與及數(shù)量繁多的設(shè)備容易引起現(xiàn)場的混亂,模糊不清或者意義不明確的設(shè)備標(biāo)識、標(biāo)識的丟失等因素將影響系統(tǒng)恢復(fù)運行的時間。標(biāo)識主要內(nèi)容為:
設(shè)備:正式:型號十用途縮寫十設(shè)備序列號簡稱:型號十字母(以便其他地方引用)
線纜:設(shè)備簡稱+EIA位置十槽位十名稱部件:設(shè)備簡稱+EIA位置十槽位十名稱介質(zhì):型號+用途縮寫十設(shè)備序列號+存儲內(nèi)容標(biāo)題紙箱:設(shè)備簡稱十本箱號/總箱號設(shè)備的標(biāo)識工作已經(jīng)按現(xiàn)有機房設(shè)備擺放位置的格局做好的標(biāo)識區(qū)分。在設(shè)備遷移到指定位置后再次做好標(biāo)識,并整理成冊為以后管理做好基礎(chǔ)的依據(jù)。4.4.1系統(tǒng)停機步驟及注意事項遷移前應(yīng)關(guān)閉網(wǎng)絡(luò)設(shè)備及服務(wù)器系統(tǒng),具體步驟及內(nèi)容如下:
(一)停機步驟1、系統(tǒng)停運時間應(yīng)和用戶方協(xié)商決定進行設(shè)備第一次遷移;
2、對網(wǎng)絡(luò)通信設(shè)備、服務(wù)器系統(tǒng)及存儲備份系統(tǒng)停運前應(yīng)事先由用戶、應(yīng)用系統(tǒng)維護單位溝通進行數(shù)據(jù)備份和停機;
3、確認(rèn)設(shè)備配置及系統(tǒng)配置文件已做好記錄和備份;
4、網(wǎng)絡(luò)通信設(shè)備:配置備份,關(guān)閉系統(tǒng),切斷電源5、存儲系統(tǒng)停機:磁盤陣列關(guān)機,切斷電源;
光交換機關(guān)機,切斷電源;
6、備份系統(tǒng)停機:備份服務(wù)器和磁帶庫關(guān)閉系統(tǒng),切斷電源;
(二)注意事項1、設(shè)備停機時應(yīng)按各設(shè)備使用單位,按不同業(yè)務(wù)系統(tǒng)進行有序停機;
2、設(shè)備切斷電源前,應(yīng)確認(rèn)設(shè)備已經(jīng)完全關(guān)閉,部分設(shè)備關(guān)機時間較長,應(yīng)等其風(fēng)扇完全停轉(zhuǎn)后切斷電源;
3、確認(rèn)業(yè)務(wù)系統(tǒng)軟件停運注意事項,嚴(yán)格按照系統(tǒng)軟件停運步驟進行操作;
4、停機順序按照先停運業(yè)務(wù)系統(tǒng),再停運數(shù)據(jù)庫、存儲系統(tǒng)、備份系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)的原則進行;
5、系統(tǒng)停機時如發(fā)生軟件或系統(tǒng)故障,應(yīng)先排除再進行停機操作,不得野蠻停機,確保操作系統(tǒng)和業(yè)務(wù)軟件系統(tǒng)停運時無故障;
6、切斷電源時應(yīng)先關(guān)閉電源插座,再拔設(shè)備電源。4.4.2設(shè)備拆卸步驟及注意事項待機房設(shè)備全部停運并切斷電源后,方可對設(shè)備進行拆卸,設(shè)備拆卸步驟和注意事項如下:
(一)拆卸步驟1、拆卸應(yīng)本著“先外后內(nèi),先周邊再主體”的原則;
先拆卸設(shè)備周邊連接附件及線纜,再拆卸主機;
2、設(shè)備下架時應(yīng)由上自下,對機柜內(nèi)設(shè)備進行逐一拆除,并按照業(yè)務(wù)系統(tǒng)進行分類,待新機柜安裝好后設(shè)備再安裝于指定地點。(二)注意事項1、拆除設(shè)備時確認(rèn)周邊設(shè)備已經(jīng)全部斷開連接,防止線纜下架時拖連;
2、拆卸設(shè)備時應(yīng)注意對設(shè)備保護,對體積和重量較大的設(shè)備需提供托架;
3、設(shè)備拆卸時應(yīng)按照要求佩戴靜電保護設(shè)備,如:靜電護腕等,確保拆卸時靜電不會對設(shè)備造成損害;
4、設(shè)備碼放時應(yīng)嚴(yán)格遵守設(shè)備的放置要求,杜絕將設(shè)備倒置、傾斜等隨意堆放;
5、小型機、存儲、核心交換機等設(shè)備體積大、重量較重,拆卸時應(yīng)注意人員及設(shè)備的保護,確保設(shè)備和人員安全。6、設(shè)備拆卸時,應(yīng)嚴(yán)格按照設(shè)備安裝和拆卸指南進行,不得野蠻拆卸。4.4.3設(shè)備拆卸和包裝設(shè)備的拆卸與包裝將按照甲方技術(shù)要求來執(zhí)行,做到以下幾點:
1、所有設(shè)備的拆卸均有相當(dāng)經(jīng)驗的工程師拆卸,其他人不得拆卸2、所有設(shè)備的拆卸均用專有的工具拆卸3、各種設(shè)備的配套主輔設(shè)備要成套拆卸,各種連接線裝入塑料貸。4、要按《標(biāo)記的規(guī)范》對設(shè)備進行標(biāo)記。5、備份并打印系統(tǒng)參數(shù)、設(shè)備配置,6、按正常步驟進行關(guān)機7、采取必要的防靜電措施8、拔出連接到插座上的電源9、拔出設(shè)備和外部聯(lián)接的線纜,同時再次檢查并確認(rèn)線纜上是否已按《標(biāo)記的規(guī)范》
做了標(biāo)記,是否完好和正確,否則要按《標(biāo)記的規(guī)范》對線纜進行標(biāo)記。10、建議將重要設(shè)備的CPU板、內(nèi)存板、硬盤拆卸下來,單獨包裝,再集中裝箱運輸。對每一個拆卸的部件要按《標(biāo)記的規(guī)范》對部件進行標(biāo)記。12、將設(shè)備的門鎖和啟動控制的鑰匙取下,并做好標(biāo)記。13、將設(shè)備的門扣鎖住。14、網(wǎng)絡(luò)設(shè)備的包裝對其各種接口加以特別保護,以防止在運輸過程中損壞。15、歸放原則:將屬于此臺設(shè)備的線纜和部件獨立地放在一個或幾個紙箱中,并給這幾個紙箱外部按《標(biāo)記的規(guī)范》進行標(biāo)記。4.4.4包裝和搬運搬遷中設(shè)備的包裝,以及途中的搬運將依照甲方技術(shù)要求中相關(guān)規(guī)范執(zhí)行,包括以下幾個方面:
1、各種設(shè)備的配套主輔設(shè)備要成套搬運,各種連接線和相關(guān)的輔件要集中在一個工作流程中完成,以免遺漏。2、對于包裝完的包裝物,要按《標(biāo)記的規(guī)范》進行標(biāo)記。3、對于有輪腳的設(shè)備,應(yīng)在移動前查看并將輪腳鎖扣松開,以免鎖住產(chǎn)生磨擦震動。4、設(shè)備進行包裝前,應(yīng)對內(nèi)外進行適當(dāng)清潔保養(yǎng)工作,若時間充裕,盡可能的除去設(shè)備上面的灰塵。5、對于重要設(shè)備可用外部表面保護束縛薄膜在內(nèi)、外包裝纏繞三圈。6、事項先確定在最小震動情況下的移動、搬起、抬高、放下,落地的每一步驟的方案。并進行實際模擬操作。7、運輸時,所有的設(shè)備要求立著放。8、可前期搬運的設(shè)備和物品盡量在前期搬運。9、設(shè)備的運輸和搬運應(yīng)該找大型的有IT精密設(shè)備運輸經(jīng)驗的運輸公司承擔(dān),包裝也要與運輸公司協(xié)商,運輸公司要有明確的責(zé)任和工作內(nèi)容。運輸使用車況良好的封閉式貨車,技術(shù)人員隨車押運。新舊機房,運輸車輛三點間隨時保持通訊暢通,車速限制在60KM以內(nèi)安全范圍。10、設(shè)備到達(dá)新大樓的機房后,應(yīng)檢查設(shè)備是否完好,并做記錄。到達(dá)目的地后需要填寫設(shè)備運輸交接清單:
序號箱號目的位置(安裝點位)外觀是否完好雙方簽名4.4.6機柜、橋架安裝與設(shè)備遷移協(xié)調(diào)步驟1、機柜安裝新機柜進場替換原有機柜的安裝步驟:
1)拆除原有機柜內(nèi)的設(shè)備,并將老機柜搬移出機房,將新機柜安裝在設(shè)計好的位置。3)新機柜按規(guī)劃好的位置順序替換老機柜,新機柜中設(shè)備擺放按同一網(wǎng)內(nèi)同一區(qū)域的設(shè)備在一起集中部署的原則進行。4)對于外網(wǎng)網(wǎng)絡(luò)機柜更換的步驟是:首先將外網(wǎng)的服務(wù)器設(shè)備遷移到新機柜,并繼續(xù)使用原有老線路,待新的布線系統(tǒng)完成后將接入交換機安裝在網(wǎng)絡(luò)列頭柜中,再更換互聯(lián)網(wǎng)的網(wǎng)絡(luò)機柜。2、上走線橋架安裝在機柜、服務(wù)器重新部署就位后開始安裝上走線橋架,當(dāng)上走線橋架安裝完畢,新布線系統(tǒng)敷設(shè)完成后,再使用新的線路替換原有線路。保證各服務(wù)器設(shè)備在更換機柜時可以在很短的時間內(nèi)恢復(fù)工作。4.4.7安裝步驟及注意事項1、設(shè)備安裝上架(一)設(shè)備上架步驟新機柜安裝在指定位置;
1)檢查設(shè)備接口及組件,確定無故障隱患后方可安裝;
2)按同一種應(yīng)用、同一網(wǎng)內(nèi)、同一使用單位的設(shè)備進行集中布置,按照網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲及備份設(shè)備順序?qū)ο到y(tǒng)進行恢復(fù)安裝;
3)按照支架/導(dǎo)軌、設(shè)備的順序安裝至機架上,使用安裝螺絲固定牢固;
4)按照拓?fù)鋱D對設(shè)備進行線纜的連接;
(二)注意事項1)設(shè)備在安裝時采取必要的防靜電措施,佩戴防靜電手環(huán)或在操作前采用洗手、握鐵制器具等以釋放操作人員身上靜電荷,以免發(fā)生由于靜電導(dǎo)致的故障。2)設(shè)備安裝時需嚴(yán)格按照設(shè)備安裝步驟及注意事項進行,避免在設(shè)備安裝過程中出現(xiàn)設(shè)備故障。3)設(shè)備安裝包括線纜及其他輔助設(shè)備的安裝,安裝線纜時,需對應(yīng)設(shè)備接口和線纜接口,對應(yīng)拓?fù)鋱D,將設(shè)備線纜按圖連接。4.4.8設(shè)備加電在設(shè)備安裝完成,線纜連接完成后,需對設(shè)備進行加電,設(shè)備加電前應(yīng)確保設(shè)備電纜等已經(jīng)連接就位;
設(shè)備加電前應(yīng)對機房供電系統(tǒng)進行檢測,確保供電系統(tǒng)正常。4.4.9設(shè)備運行檢測設(shè)備加電后,整個網(wǎng)絡(luò)系統(tǒng)應(yīng)已處于運行狀態(tài),此時需對網(wǎng)絡(luò)系統(tǒng)的運行狀況進行檢測。檢測步驟如下:
(一)物理線路檢測:
1、對物理線路進行檢測,確保線路連接正常,接口無松動;
2、確保物理線路連接時按照網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接。(二)設(shè)備運行狀態(tài)檢測:
1、對網(wǎng)絡(luò)系統(tǒng)進行檢測,通過PING、TRACERT工具等,對網(wǎng)絡(luò)路由及通暢情況做檢測,確保網(wǎng)絡(luò)路由通暢;
2、按照網(wǎng)絡(luò)新拓?fù)浣Y(jié)構(gòu),對相應(yīng)的網(wǎng)絡(luò)設(shè)備,如路由器,交換機等進行配置,以符合新網(wǎng)絡(luò)的運行需求;
3、通過對應(yīng)的網(wǎng)絡(luò)管理軟件或遠(yuǎn)程登錄系統(tǒng),檢測系統(tǒng)運行狀態(tài),確定系統(tǒng)運行正常;
4、配合軟件廠家及用戶對業(yè)務(wù)軟件運行狀態(tài)做檢測,確保業(yè)務(wù)系統(tǒng)運行正常。4.5設(shè)備搬遷流程以上為系統(tǒng)遷移的流程圖,各單位數(shù)據(jù)中心分系統(tǒng)均按該流程進行,做到系統(tǒng)遷移的有序進行。4.6停機時間估算項目大約中斷時間原因網(wǎng)絡(luò)24小時原機房核心與目標(biāo)機房核心組成冗余環(huán)境數(shù)據(jù)庫12-24小時進行邏輯備份及設(shè)備搬遷業(yè)務(wù)系統(tǒng)12-24小時受數(shù)據(jù)庫停機時間影響總體72小時4.7分工界面為確保機房設(shè)備遷移的順利完成,以及系統(tǒng)再集成的順利實施,在工程的實施過程中要明確工作內(nèi)容和相關(guān)責(zé)任,以便于明確的工作界面、工作內(nèi)容和相關(guān)責(zé)任。除此之外,對各系統(tǒng)的維護人員也需做統(tǒng)一協(xié)調(diào),在機房進行遷移的過程中伴隨服務(wù),為系統(tǒng)順利上線提供保障,根據(jù)這樣一個要求,我公司根據(jù)項目建設(shè)內(nèi)容、以工作任務(wù)為基礎(chǔ)進行了工程界面的劃分。5.設(shè)備間弱電布線規(guī)劃根據(jù)招標(biāo)文件技術(shù)要求,本部分只對綜合樓8樓機房布線系統(tǒng)進行了規(guī)劃,具體的規(guī)劃和建設(shè)需要由機房建設(shè)中標(biāo)單位完成。5.1雙絞線布線機房內(nèi)雙絞線配線采用超五類非屏蔽雙絞線及配線架,走線全部采用新機房金屬橋架,強電、弱電單獨走線,彼此不交叉,機房內(nèi)弱電布線采用上走線方式。各列設(shè)備機柜的線纜先匯聚到該列網(wǎng)絡(luò)列頭柜,再通過交換設(shè)備匯聚至機房網(wǎng)絡(luò)區(qū)設(shè)備機柜。設(shè)備之間互聯(lián)線纜通過橋架鋪設(shè);
并保證線纜鋪設(shè)的美觀、整齊;
5.2光纖布線各種網(wǎng)絡(luò)設(shè)備連接光纖線纜通過光配線間接入信息中心主機房的網(wǎng)絡(luò)區(qū),網(wǎng)絡(luò)區(qū)中各網(wǎng)絡(luò)類型分別采用獨立的網(wǎng)絡(luò)機柜。數(shù)據(jù)區(qū)和網(wǎng)絡(luò)區(qū)設(shè)備連接是光纖布線的兩個匯集區(qū),分別主要用于LAN網(wǎng)絡(luò)(SAN網(wǎng)絡(luò)也可以使用,需要在網(wǎng)絡(luò)區(qū)跳線)和SAN網(wǎng)絡(luò)(LAN網(wǎng)絡(luò)也可以使用,需要在數(shù)據(jù)區(qū)跳線)連接。網(wǎng)絡(luò)區(qū)與主機房各分區(qū)設(shè)備采用光纖連接,并為LAN和SAN網(wǎng)絡(luò)預(yù)留。數(shù)據(jù)區(qū)存儲設(shè)備光纖交換機與數(shù)據(jù)庫服務(wù)器、服務(wù)器采用光纖直連,通過上走線橋架走線。利用集成商提供的光纖配線,通過簡單的跳線,實現(xiàn)任何兩個設(shè)備的光纖連接可能。5.3線纜布放的工藝(1)線纜布放完成后,機房井道、孔洞必須用防火材料封堵嚴(yán)實,走線架、電纜溝內(nèi)無雜物。(2)信號線布放要求布放線纜的規(guī)格、路由、截面和位置應(yīng)符合有關(guān)圖紙要求,線纜排列必須整齊,外皮無損傷。電纜轉(zhuǎn)彎應(yīng)均勻圓滑,彎弧外部應(yīng)保持垂直或水平成直線,電纜轉(zhuǎn)彎的最小曲率半徑應(yīng)大于50毫米。布放在走線架上的線纜必須綁扎。綁扎后的線纜應(yīng)互相緊密靠攏,外觀平直整齊,線扣間距均勻,松緊適度。綁帶余下部分應(yīng)剪斷,余量長度不能超過1厘米。布放在槽道內(nèi)的線纜可不綁扎,但槽內(nèi)線纜應(yīng)順直,不宜交叉。在線纜進出槽道部位和線纜轉(zhuǎn)彎處應(yīng)綁扎或用塑料卡捆扎固定。線纜在機柜內(nèi)布放時不能繃緊,應(yīng)留有適當(dāng)余量,綁扎力度適宜,布放順直、整齊,不應(yīng)交叉纏繞。上走線的機房,走線架上線纜較少時可將交、直流電源線和信號線在同架上隔離布放;
線纜較多的,要求將交、直流電源線和信號線分架走線。6.風(fēng)險控制與識別6.1工程特點根據(jù)技術(shù)要求,信息中心機房在線搬遷工作具備以下特點。(1)實施時間緊迫。運行單位可接受的中斷服務(wù)時間限定為業(yè)務(wù)系統(tǒng)運行休息時間,如一個晚上或周末。因此搬遷的時間只能集中在夜間進行。(2)實施質(zhì)量要求高。運行單位要求搬遷后各類IT設(shè)備均正常工作,搬遷前、后期間,應(yīng)用系統(tǒng)須連續(xù)提供服務(wù)。(3)實施組織難度大。因需拆除、拆分和重新組裝,并建立所有設(shè)備及連接,對于大中型機房和較復(fù)雜的應(yīng)用系統(tǒng),常常涉及運行、建設(shè)、場地、系統(tǒng)維護、搬運、機房裝修等各責(zé)任方,參加人員多,實施組織難度大。6.2風(fēng)險類型信息中心機房在線搬遷的風(fēng)險主要包括以下幾種。(1)管理風(fēng)險。其表現(xiàn)為“沒想到”“來不及”、,組織管理不善,準(zhǔn)備不充分,流程考慮不細(xì)致,工序銜接不順暢,時間分配不合理。一旦某一工作環(huán)節(jié)出現(xiàn)問題,會造成不能按時完成預(yù)定工作任務(wù),不能按時恢復(fù)生產(chǎn)運行的情況。(3)實施風(fēng)險。其表現(xiàn)為“差一個”“不小心”,,工作細(xì)節(jié)考慮不夠,準(zhǔn)備不足,如工具、插頭、線纜不夠,設(shè)備組裝、連接不上,實施質(zhì)量不高,IT設(shè)備損壞;
電氣設(shè)施不合格,嚴(yán)重時甚至可能燒壞設(shè)備,造成慘重?fù)p失。6.3風(fēng)險分析經(jīng)過風(fēng)險識別,風(fēng)險列表、定性分析本項目中,需要重點關(guān)注和規(guī)避的風(fēng)險有服務(wù)器、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備搬遷意外風(fēng)險、核心交換機故障風(fēng)險、網(wǎng)絡(luò)運行中斷超出計劃中斷時間風(fēng)險、因設(shè)備損壞導(dǎo)致數(shù)據(jù)丟失風(fēng)險、與集成商接口不清的風(fēng)險。6.4規(guī)避措施通過定性分析,得出的結(jié)論是:信息中心機房搬遷風(fēng)險規(guī)避的關(guān)鍵是避免數(shù)據(jù)丟失和設(shè)備損壞。1)防止數(shù)據(jù)丟失的措施搬遷實施前進行系統(tǒng)備份和數(shù)據(jù)備份的調(diào)研,進行系統(tǒng)和數(shù)據(jù)備份量化統(tǒng)計(各系統(tǒng)和生產(chǎn)數(shù)據(jù)備份的數(shù)量,備份一次的時間);
選擇適合的備份日期和時間,進行備份;
備份數(shù)據(jù)雙份,并專人登記、安全保管;
有客戶提供了由一臺PC服務(wù)器(1.5T存儲空間)的公共備份空間,用于網(wǎng)絡(luò)和數(shù)據(jù)庫保留額外的備份副本。對于網(wǎng)絡(luò)系統(tǒng)的備份,除了由系統(tǒng)負(fù)責(zé)人保管一個副本外,公共備份空間保留一個副本,7X24小時不間斷運行的系統(tǒng)至少擁有兩個集群節(jié)點。對于數(shù)據(jù)庫,除了備份數(shù)據(jù)到虛擬帶庫外,另保存一份導(dǎo)出副本到公共存儲空間(因為存儲空間的限制,只能保留一個工作包相關(guān)數(shù)據(jù)庫的副本,工作包完畢后,數(shù)據(jù)清除)。2)設(shè)備拆、裝和運輸過程的措施設(shè)備的搬遷過程要有某局相關(guān)人員和我公司運維人員的全程監(jiān)督,杜絕不符合搬遷規(guī)范的事情發(fā)生,一旦發(fā)生事故或設(shè)備丟失或設(shè)備損壞,通過我公司的備件支持體系獲取備件或備機。我公司將聘用專業(yè)的設(shè)備搬運公司,做好設(shè)備包裝的減震,運輸時車速控制在每小時60公里以內(nèi);
如遇天氣問題,采用防護措施,并將運輸車速控制在每小時20公里以內(nèi);
選擇好行車路線,盡量在夜間運輸(路上車輛比較少);
根據(jù)搬遷設(shè)備列表,由我公司負(fù)責(zé)提供主要應(yīng)急備品備件;
制定好各系統(tǒng)的應(yīng)急預(yù)案,系統(tǒng)恢復(fù)人員到位;
在條件許可的情況下,按照先移備機,備份機安裝調(diào)試正常后再移生產(chǎn)機的原則進行搬遷;
做好搬遷拆、裝工作培訓(xùn)和演練,在條件許可的情況下,做各系統(tǒng)的備份恢復(fù)測試及應(yīng)用的啟停測試;
3)目標(biāo)機房停電風(fēng)險的措施在目標(biāo)機房試運行時,建議進行UPS電池放電試驗;
在目標(biāo)機房試運行時,若目標(biāo)機房出現(xiàn)供電系統(tǒng)停電事故,UPS電池應(yīng)該維持30分鐘以上。最好有后備電源提供供電。7.備件支持體系我公司在本次搬遷工程準(zhǔn)備階段,我們將根據(jù)設(shè)備的統(tǒng)計情況在本地備件庫事先準(zhǔn)備充足的服務(wù)器、存儲、網(wǎng)絡(luò)等備機和配件。7.1服務(wù)目標(biāo)備件支持服務(wù)的唯一目標(biāo)是保證系統(tǒng)7X24小時平穩(wěn)、無故障、高效運行,它不僅僅是在系統(tǒng)硬件設(shè)備出現(xiàn)故障后進行救火式的緊急故障處理,而且系統(tǒng)運行維保服務(wù)應(yīng)實現(xiàn)和達(dá)到以下目標(biāo):
主機系統(tǒng)的7X24高可用性存儲系統(tǒng)的7X24高可用性網(wǎng)絡(luò)系統(tǒng)的7X24高可用性傳輸通信系統(tǒng)的7X24高可用性因此,為實現(xiàn)維保服務(wù)的目標(biāo),就需要維保服務(wù)商提供集成式的維保服務(wù)來保障。我公司維保服務(wù)的具體目標(biāo)是:
1、由我們的工程師提供系統(tǒng)整體的維保服務(wù)工作,幫助用戶防患于未然。2、盡可能幫助用戶減少花費在主機維護上的時間和精力,讓用戶有更多的時間和精力去創(chuàng)造附加價值。3、當(dāng)客戶的系統(tǒng)出現(xiàn)故障時,用最短的時間排除故障,保障系統(tǒng)的順暢運行,使客戶的損失降到最低。4、當(dāng)客戶遇到意料之外的問題時不會措手不及,不會感到力不從心,我們的技術(shù)服務(wù)部們會給用戶滿意的解決措施。5、將客戶從日常繁鎖的系統(tǒng)維護工作中解放出來,幫助用戶提高其核心業(yè)務(wù)的竟?fàn)幠芰Α.?dāng)客戶對系統(tǒng)狀態(tài)有疑問時,我公司工程師亦應(yīng)到現(xiàn)場對系統(tǒng)進行診斷。小型機、存儲設(shè)備、PC服務(wù)器配件更換在24小時內(nèi)完成。非緊急配件(設(shè)備正在提供服務(wù)情況)在用戶允許的條件下在72小時內(nèi)到達(dá)現(xiàn)場。7.3組織結(jié)構(gòu)我公司備件支持體系的組織機構(gòu)如下圖所示:
主管技術(shù)副總(客戶關(guān)系管理)→技術(shù)部經(jīng)理(人員調(diào)配管理)→技術(shù)總監(jiān)(技術(shù)支持組織)
→技術(shù)及備件支援中心、二線技術(shù)支持和原廠商專家平臺→一線(運維)工程師7.4備件庫我司在宣城市設(shè)有備件支援中心,公司統(tǒng)一管理,統(tǒng)一調(diào)度的管理模式能確保在遇到緊急需要時,能夠在最短時間內(nèi)調(diào)度配件向客戶提供服務(wù)。隨時提供備件需求信息銷售人員在與客戶簽署了運維或搬遷合同后,要在第一時間向技術(shù)部提供維保設(shè)備的詳細(xì)配置清單;
在備件用掉之后,要立即向技術(shù)部匯報備件的使用情況,以便商務(wù)及庫管部門及時補充。及時更新備件需求信息技術(shù)部接到銷售人員和商務(wù)提供的維保設(shè)備詳細(xì)配置清單后,要立即根據(jù)所提供設(shè)備的備件庫存情況,擬寫要增添備件的品種和數(shù)量,提供給商務(wù)作為備件采購的依據(jù);
根據(jù)現(xiàn)場工程師提供的備件需求情況,核實備件的庫存情況,以便商務(wù)及庫管部門及時補充。及時訂購備件商務(wù)部根據(jù)技術(shù)部提出的備件需求清單,及時通過國內(nèi)或國外供應(yīng)商訂貨,并且要保證備件的及時到位。暢通的備件采購渠道我公司與國內(nèi)以及國外備件供貨商之間簽有嚴(yán)格的協(xié)議和考核標(biāo)準(zhǔn),能夠充分保證準(zhǔn)確、及時、安全供貨。對突發(fā)性的故障,我公司有應(yīng)急采購流程,可以在客戶方機器出現(xiàn)問題時,在第一時間內(nèi)得到急需的備件。規(guī)范的備件庫管理備件庫由專人專職負(fù)責(zé),遵照備件庫的管理流程,隨時對客戶備件需求進行分析,隨時補充新備件;
采購、出入庫等的規(guī)范管理以及流程化作業(yè)都會使客戶感受到備件供應(yīng)的及時性會直接提高服務(wù)質(zhì)量。7.5相應(yīng)流程根據(jù)在搬遷期間系統(tǒng)運行維護中遇到的技術(shù)問題,按照緊急程度,將設(shè)備備件支持服務(wù)的響應(yīng)級別劃分為如下4級。四級:屬于普通問題;
其具體現(xiàn)象為:系統(tǒng)技術(shù)功能、安裝或配置咨詢,或其他顯然不影響業(yè)務(wù)的預(yù)約服務(wù)。三級:屬于較嚴(yán)重問題;
其具體現(xiàn)象為:系統(tǒng)能繼續(xù)運行且性能不受影響,但出現(xiàn)系統(tǒng)報錯或部分部件故障,存在較大安全隱患。二級:屬于嚴(yán)重問題;
其具體現(xiàn)象為:部分部件失效、系統(tǒng)性能下降但不影響正常業(yè)務(wù)運作。一級:屬于緊急問題;
其具體現(xiàn)象為:系統(tǒng)故障導(dǎo)致業(yè)務(wù)停止、數(shù)據(jù)丟失。我方工程師接到呼叫,立即趕往故障現(xiàn)場,同時匯報技術(shù)總監(jiān)與公司總經(jīng)理室。同時,技術(shù)總監(jiān)與后備工程師根據(jù)接到的故障現(xiàn)象,攜帶可能損壞的部件也趕至故障現(xiàn)場。然后我方工程師在故障現(xiàn)場進行問題診斷分析,進行故障排除,或更換有故障的配件,恢復(fù)故障設(shè)備系統(tǒng)運行。最后協(xié)助恢復(fù)應(yīng)用、協(xié)助恢復(fù)數(shù)據(jù),以使業(yè)務(wù)系統(tǒng)在盡可能短的時間內(nèi)恢復(fù)運行。故障處理完畢后,編寫故障處理匯報及預(yù)防措施并實施,填寫故障技術(shù)報告進行記錄,雙方歸檔。8.搬遷應(yīng)急方案8.1應(yīng)急方案目的系統(tǒng)搬遷過程中,可能會出現(xiàn)各種各樣的故障問題,我方會盡量做好各項準(zhǔn)備工作將風(fēng)險降低到最小的限度。我方會配合用戶不斷的預(yù)測風(fēng)險,加強風(fēng)險分析,盡量規(guī)避風(fēng)險,從而成功完成系統(tǒng)搬遷工程。網(wǎng)絡(luò)運行過程中,各種專線鏈路的正常運行也是必須的,希望鏈路提供方可以隨時跟蹤網(wǎng)絡(luò)鏈路運行情況。為了降低設(shè)備變遷風(fēng)險,設(shè)備搬遷一定按照步驟來進行,有備份設(shè)備的情況先將備份設(shè)備在新機房安裝,然后測試通過后再中斷舊辦公樓內(nèi)的設(shè)備和服務(wù);
沒有備份設(shè)備的情況搬遷時間一定選擇對業(yè)務(wù)影響最小的時間。設(shè)備搬遷前各項備份設(shè)備以及配件一定要到位,而且廠家保修盡量也與廠家進行提前溝通,保證備件更換的流程縮短。搬遷過程中可能出現(xiàn)的風(fēng)險主要存在于幾個方面:
l設(shè)備停機、開機過程中由于電流等因素對設(shè)備造成危害;
l設(shè)備拆裝和運輸過程中可能出現(xiàn)的意外因素;
l設(shè)備配置更改過程中可能出現(xiàn)的配置問題以及對業(yè)務(wù)的影響;
l系統(tǒng)安裝調(diào)試過程中可能出現(xiàn)的硬、軟件故障;
l其他不可預(yù)料的因素及不可抗外力因素對搬遷過程的影響;
8.3應(yīng)急措施如果在搬遷過程中遇到不能預(yù)料的意外情況和故障,影響到現(xiàn)有業(yè)務(wù)的正常進行,應(yīng)采取必要的回退措施,將系統(tǒng)恢復(fù)到原來的狀態(tài)及環(huán)境下。8.4注意事項1、特別注意人身安全:首先注意不要觸電;
其次由于機柜、機架等都是金屬,有較鋒利邊緣,易劃傷手;
機器等都很重易砸傷腳,要特別注意。2、搬遷前的準(zhǔn)備工作一定要細(xì)致,對各個設(shè)備的布局和線纜的位置要了解清楚,并做詳細(xì)的標(biāo)注,包括出具結(jié)構(gòu)拓?fù)鋱D,位置示意圖,設(shè)備和線纜的標(biāo)記,系統(tǒng)重要數(shù)據(jù)的備份等等。3、搬遷時,盡量避免劇烈的碰撞,要做到輕拿輕放,在裝車時,各個設(shè)備和設(shè)備與車廂之間要放置泡沫塑料或紙板來減輕運輸途中的碰撞。4、搬遷前和搬遷后都要根據(jù)設(shè)備清單對設(shè)備進行清點,避免遺漏。5、整個搬遷過程中,和各個應(yīng)用系統(tǒng)和設(shè)備負(fù)責(zé)人、服務(wù)商做好溝通協(xié)調(diào)工作。6、UPS的搬遷可能耗時較長,設(shè)備加電測試時可以先用市電進行。單位最好在新機房留用電工及時配合。7、搬遷前通知網(wǎng)絡(luò)運營商提供線路切割。9.搬遷驗收方案9.1驗收目的驗收是項目從實施到維護的一個過渡階段,驗收通過之后實施的項目正式實施完成,項目進入系統(tǒng)維護階段。驗收是項目建設(shè)過程的一個里程碑,說明項目建設(shè)完成了實施這一過程,進入了下一個階段。為使機房搬遷項目建設(shè)按照要求進行,確保項目完成后達(dá)到有關(guān)要求和標(biāo)準(zhǔn),正常運行平穩(wěn),必須進行項目驗收。9.3驗收方法項目驗收,是項目開發(fā)建設(shè)中有組織的主動性行為,它是對項目建設(shè)高度負(fù)責(zé)的體現(xiàn),也是項目建設(shè)成功的重要保證。切實做好項目建設(shè)中的驗收工作至關(guān)重要,應(yīng)當(dāng)采取有效措施,實實在在做好。為保證項目驗收質(zhì)量,建議采用的驗收方法是:運行項目系統(tǒng)軟件,檢驗其應(yīng)用軟件的實際能力是否與合同規(guī)定的一致;
運行應(yīng)用軟件,實際操作,
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024-2030年中國城市公共汽車客運行業(yè)發(fā)展前景及投資規(guī)劃研究報告版
- 2024-2030年中國地毯行業(yè)競爭格局及未來投資趨勢分析報告
- 2024-2030年中國國際貨代行業(yè)未來發(fā)展趨勢及投資風(fēng)險分析報告
- 2024年度物聯(lián)網(wǎng)(IoT)設(shè)備控制系統(tǒng)軟件開發(fā)合同技術(shù)集成與擴展2篇
- 茂名職業(yè)技術(shù)學(xué)院《國學(xué)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2024年深圳子女撫養(yǎng)權(quán)協(xié)議書樣本3篇
- 中國日報2019年9月25日
- 馬鞍山職業(yè)技術(shù)學(xué)院《美術(shù)基礎(chǔ)與欣賞》2023-2024學(xué)年第一學(xué)期期末試卷
- 呂梁學(xué)院《信息安全綜合》2023-2024學(xué)年第一學(xué)期期末試卷
- 2024年度醫(yī)院護工工作環(huán)境與職業(yè)健康保護協(xié)議下載3篇
- 《高效能人士的七個習(xí)慣》PPT演講模板
- 布雷頓森林體系課件
- 滬教版三年級下冊課件銀色的樺樹林 (共17張PPT)
- 讀書分享-《傾聽幼兒-馬賽克方法》
- 六年級上冊數(shù)學(xué)期末總復(fù)習(xí)課件
- 人美版高中美術(shù)必修“美術(shù)鑒賞”第二單元主題三《現(xiàn)實與理想-西方古典繪畫》說課稿
- 采用新工藝新技術(shù)新設(shè)備新材料BIM等的程度
- 獨領(lǐng)風(fēng)騷的古代技術(shù)創(chuàng)造
- 國開2023春幼兒文學(xué)形考任務(wù)1~4參考答案
- 2023年湖南長沙仲裁委員會招考聘用筆試題庫含答案詳解
- 實用俄語會話知到章節(jié)答案智慧樹2023年山東交通學(xué)院
評論
0/150
提交評論