網(wǎng)絡(luò)項目割接方案

1、中煙集團數(shù)據(jù)中心網(wǎng)絡(luò)項目割接方案華為技術(shù)服務(wù)有限公司Huawei Technologies Co., Ltd.2017年6月文檔 名稱I1n we n wtb s-ara btb :-! 十文檔類別I技術(shù)文檔中煙集團數(shù)據(jù)中心網(wǎng)絡(luò)項目設(shè)備割接方案工程文檔 口培訓(xùn)文檔口運維文檔口項目文檔 口 服務(wù)文檔 口 其他當(dāng)前版本I創(chuàng)建日期！文檔主送部門;中煙集團數(shù)據(jù)中心 者作檔文聯(lián) 系方式修訂記錄修改記錄日期修改人審閱人摘要建立文檔建立文檔第一章割接說明總體說明人員安排物料備件準備組網(wǎng)結(jié)構(gòu)割接前組網(wǎng)結(jié)構(gòu)割接后組網(wǎng)結(jié)構(gòu) 第二章割接規(guī)劃設(shè)備端口規(guī)劃設(shè)備標簽以及描述 第三章割接步驟離線測試運行情況信息收集 備份數(shù)

2、據(jù)割接動作第四章測試驗證測試驗證內(nèi)容設(shè)備狀態(tài)檢查 第五章回退機制故障判斷緊急回退第六章風(fēng)險評估風(fēng)險評估第七章守局方案1、守局目的：2、職守方式 3、管理制度4、守局值班安排錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書

3、簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。錯誤！未定義書簽。第八章配置模板第一章割接說明1.1 總體說明建設(shè)單位集團施工單位華為技術(shù)有限公司、北 京銀信長遠科技股份有限公司割接局點中煙集團數(shù)據(jù)中心網(wǎng)絡(luò)和營銷中心涉及設(shè)備及版本號CE12804 V200R001USG6600 V500R001CE6851 V200R001割接及測試時間段2017-6-17 08:00 至 2017-6-18 13:00回退時間段13:00-21:00升級/割接簡述：本次設(shè)備替換為，我司的 CE12804替換現(xiàn)網(wǎng)的 Cisco Catalyst 6509 設(shè)備，USG6600 替換

4、現(xiàn)網(wǎng)的juniper設(shè)備。對原有硬件設(shè)備進行替換，涉及業(yè)務(wù)改變，原來的OTV各采用VXALNBW代，其它配置原則上采用原有配置，接口地址有部分改變，由于設(shè)備軟件版本不同命令會有變化，不對網(wǎng)絡(luò)結(jié)構(gòu)以及流量走向做改變。升級/割接影響：此次操作將會影中斷網(wǎng)絡(luò)約 2天。1.2 人員安排客戶配合人員:小組編號割接人員單位聯(lián)系電話123華為公司人員:小組編號割接人員施工單位聯(lián)系電話1234北京銀信人員:小組編號割接人員施工單位聯(lián)系電話1234其它人員:小組編號割接人員施工單位聯(lián)系電話12245678后端保障人員小組編號保障人員施工單位聯(lián)系電話1231.3 物料備件準備物料名稱數(shù)量提供方備注（物料Bom編碼

5、）光纖跳線若干條客戶需要根據(jù)現(xiàn)場機房情況確 定（單模/多模/長度/接口光功率計1客戶/集成商備用光模塊10客戶使用本期米購未使用模塊備用網(wǎng)線客戶/集成商原有網(wǎng)線長度不夠或失效 情況卜使用線纜標簽集成商1.4 組網(wǎng)結(jié)構(gòu)1.4.1 割接前組網(wǎng)結(jié)構(gòu)原中煙數(shù)據(jù)中心和營銷中心現(xiàn)有核心交換機 Cisco Catalyst 6509和廣域網(wǎng)路由器 Cisco 7606已運行多年，系統(tǒng)容量不足、故障率升高。組網(wǎng)如下圖：1.4.2 割接后組網(wǎng)結(jié)構(gòu)核心區(qū)兩臺CE12804（數(shù)據(jù)中心級交換機）橫向堆疊成一臺設(shè)備，然后虛擬成兩臺 VG 數(shù)據(jù)中心VS與園區(qū)網(wǎng)VS與數(shù)據(jù)中心中間通過兩臺 USG665M聯(lián)，中間USG665

6、08"火墻 進行安全控制，USG665魴火墻雙機熱備；數(shù)據(jù)中心VS設(shè)備通過波分鏈路與CE6851對接, 實現(xiàn)VXLAN勺分步式網(wǎng)關(guān)。園區(qū)網(wǎng)部署一個VS作為匯聚交換機，與互聯(lián)網(wǎng)USG665色聯(lián), 提供安全控制。割接后組網(wǎng)圖如下：1、數(shù)據(jù)中心組網(wǎng)圖：VXLANS計圖:第二章割接規(guī)劃VLAN策略等沿用原有數(shù)據(jù)不做新規(guī)劃，IP設(shè)備端口互聯(lián)用原有互聯(lián)地址，根據(jù)網(wǎng)絡(luò) 拓撲做部分規(guī)劃，具體見附件：中煙集團數(shù)據(jù)中心網(wǎng)絡(luò)和營銷中心網(wǎng)絡(luò)項目。2.1 設(shè)備端口規(guī)劃具體接口連接根據(jù)中煙集團數(shù)據(jù)中心網(wǎng)絡(luò)和營銷中心網(wǎng)絡(luò)項目，現(xiàn)場配置再做具體調(diào) 整；2.2 設(shè)備標簽以及描述設(shè)備標簽根據(jù)現(xiàn)有條件制定例如：XXX機房

7、設(shè)備編碼：設(shè)備用途：安裝位置：管理地址：xxxxxxx xxxxxx線纜標簽?zāi)０?集團集團Fr:設(shè)備名稱接口To:設(shè)備名稱接口例如:集團集團Fr: HW_CE12804 X1/0/1/0To: 6F_HW_USG6650 2/0/0第三章 割接步驟3.1 離線測試在割接前對可預(yù)料的風(fēng)險進行了離線測試，在割接前做好了充足準備規(guī)避相關(guān)風(fēng)險，在未通過以下測試情況下不進行割接：1, 驗證Cisco 4506千兆光口與CE1280肝兆光口對接是否成功。2, CE1280CK備多模萬兆單板千兆模塊與 USG6650多模千兆光口對接是否成功3, 驗證萬兆模塊在千兆多模/多模鏈路運行情況。4, 接口地址對應(yīng)是

8、否正確。5, 板卡熱插拔，電源模塊熱插拔。6, VXLAN步式網(wǎng)關(guān)測試，倒換測試，檢查測試是否正常。7，Cisco 4506 生成樹協(xié)議與華為生成樹協(xié)議對接。3.2 運行情況信息收集1, 收集現(xiàn)網(wǎng)C6509 C4506 juniper C7606 ASA5580 配置2，接口狀態(tài)3, ARPS, MACS,路由表3.3 備份數(shù)據(jù)保存現(xiàn)網(wǎng)設(shè)備配置至計算機。3.4 割接人員分組及安排由于割接工作跨越了兩個機房，需要安排兩組人員在兩個機房實施，3.5 割接動作序號時間實施內(nèi)容操作步驟預(yù)期結(jié)果、檢查方 法人員安排1割接前一周割接前準備工作1、設(shè)備安裝、調(diào)試。2、線路鋪設(shè)，完成本部與卷煙 廠機房的線路布

9、放，并且在割接 前一周確認需要布放的線纜無 誤。割接前一周光纖跳線鋪設(shè)，線纜做好標簽，設(shè)備腳本 導(dǎo)入加電待命。1、檢查設(shè)備配置，確認配置無 誤。2、將需要替換的光纖跳線鋪設(shè) 至相應(yīng)機柜，割接線纜做好標 簽。細化網(wǎng)線和尾纖的標記方 法：網(wǎng)線在配線架側(cè)均做好標 簽，光纖在主機側(cè)做好標簽且要 與需要割接的光纖的綁在 T, 方便力一回滾。割接前一周CE12804 CE6851防火墻、各接入交換機聯(lián)通，設(shè)備狀態(tài)正常1、設(shè)備安裝，線路連接。需要 在割接確認完全無任何問題，例如OSPF BG吟2、波分設(shè)備安裝配置完成，且 完成與卷煙廠機房對接完成。3、光纖交換機需放線至新的OSN18001完成）EMC人員負

10、責(zé)成功/PING通對 端設(shè)備，OSPFBGF 鄰居關(guān)系正常。（華為）208:00-09:30Vxlan割接完成，集成商、華 為、數(shù)據(jù)庫/主機人 員08:00-08 : 10C6509,N7000SK端口 shutdown,與電。將C6509,N7000互聯(lián)端口 shutdown o08:10-08 : 30CE6851 N5548對接，N5000二層、生成樹 數(shù)據(jù)配置更改。完成CE6851 N5548線路對接，將新布線接至N500Q生成樹狀 態(tài)檢測08:30-09 : 00Vxlan 調(diào)通后，安排一組 ORACLE RAC/DB 群集，首先聯(lián)機進行測試，測試內(nèi)容包括 系統(tǒng)狀態(tài)和切換措施，確認

11、RAO群集可 正常工作（在此之后需把網(wǎng)口速率升成 10GE）Oracle RAC、HA環(huán)境接入2、Vxlan聯(lián)通后，將網(wǎng)口連至新 裝交換機，oracle工程師確 認RAC#群狀態(tài)及業(yè)務(wù)是否 正常。2、確認業(yè)務(wù)正常后，需要把IBM P750網(wǎng)口速率開成10GE09:00-09:30ORACLRAC/DB2lf集業(yè)務(wù)觀察，測試結(jié)果 確認Oracle RAC、HA 環(huán)境測試。視情況處理問題，時間/、超過2 小時如第步測試業(yè)務(wù)/、止常，進行問題排查。對數(shù)據(jù)進行對比，路由、MAC ARPS項查看。如不能排除，將進行回退，后面步驟/、再 執(zhí)行建議在配置更改時不做保存，等 業(yè)務(wù)正常后保存，便于回退回退測試割

12、接終止39:30-11 : 30服務(wù)器遷移部分服務(wù)器把網(wǎng)卡升至10GE1、部分服務(wù)器把網(wǎng)卡升至10GE, 需廠家和集成商完成配置，更換 光模塊，修改服務(wù)器配置。9:30-10:30線纜遷移，服務(wù)器接入。1、數(shù)據(jù)中心，服務(wù)器接至接入 交換機上。PC-SERVER配線 架側(cè)依次跳線。2、小型機需要主機側(cè)完成換線 操作，有些小型機運行雙機 業(yè)務(wù)，需維保廠家在完成換 線操作后確認主機狀態(tài)。9:30-11:00業(yè)務(wù)觀察，測試結(jié)果確認檢查各項業(yè)務(wù)的運行情況。視情況處理問 題，時間為1小 時如第步中ERP SEhM有超過30臺服務(wù)器 測試業(yè)務(wù)/、止常，進行問題排查。對數(shù)據(jù)進行對比，路由、MAC ARPS項查

13、看。如不能排除，將進行回退，后面步驟/、再 執(zhí)行建議在配置更改時不做保存，等 業(yè)務(wù)正常后保存，便于回退回退測試割接終止410:00-12 : 00互聯(lián)網(wǎng)割接完成（深信服，集 成商、華為）10:00-10:30互聯(lián)網(wǎng)設(shè)備線路連接完成 USG6650 AD4000 Cisco3560連線與配置成功/PING通對端設(shè)備，OSPF令口 居關(guān)系正常。（深 信服,集成商、華 為）10:30-11:00AD4000酉己置將原有ISG1000的PAT/NAT配置轉(zhuǎn)移到AD4000 （周末做好配置，不啟用）深信服11:00-12:00互聯(lián)網(wǎng)業(yè)務(wù)測試（各業(yè)務(wù)測試人 員）如互聯(lián)網(wǎng)業(yè)務(wù)測試不通過，預(yù)計在1個小 時內(nèi)不

14、能排除，將進行互聯(lián)網(wǎng)割接項目的 單獨回退建議在配置更改時不做保存，等 業(yè)務(wù)正常后保存，便于回退成功/PING通對 端設(shè)備，OSPFBGP 鄰居關(guān)系正常。（華為、集成商）回退測試回退后，業(yè)務(wù)檢查 （各業(yè)務(wù)測試人員）512:30-14:00廣域網(wǎng)割接12:30-13:00進行廣域網(wǎng)USG6650廣域網(wǎng)設(shè)備的割接。將新布線接至 CE12804 Cisco 7606成功/PING通對端 設(shè)備，OSPF鄰居 關(guān)系正常。（C7606人員安 排、華為）13:00-13:30網(wǎng)絡(luò)測試測試廣域網(wǎng)鏈路，檢查鄰居關(guān)系 和鏈路。華為、集成商、各 卷煙J網(wǎng)絡(luò)管理 人員13:00-14:00業(yè)務(wù)測試檢查各項業(yè)務(wù)的運行情況

15、。（各業(yè)務(wù)測試人 員）視情況處理問 題，時間為1小 時如第12步測試業(yè)務(wù)/、止常，進行問題排 查。對數(shù)據(jù)進行對比，路由、MAC ARPS項查看。是否能解決如不能排除，將進行回退，后面步驟不在 執(zhí)行建議在配置更改時不做做存，等 業(yè)務(wù)正常后保存，便于回退回退后，業(yè)務(wù)檢查 （各業(yè)務(wù)測試人員）614:00-園區(qū)網(wǎng)割接14:00-14:30園區(qū)網(wǎng)設(shè)備聯(lián)線與配置樓層接入交換機、CE12804無 線控制器聯(lián)線華為、集成商14:30-15:00園區(qū)網(wǎng)網(wǎng)絡(luò)測試測試 WLANk務(wù)正常上網(wǎng)，出口業(yè)務(wù) 訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪聯(lián) 網(wǎng)訪問園區(qū)網(wǎng)與數(shù)據(jù)中心華為、集成商、客 戶安排人員測試15:00-16:00園區(qū)網(wǎng)業(yè)

16、務(wù)測試檢查各項業(yè)務(wù)的運行情況。成功（各測試人 員）視情況處理問 題，時間為1小 時對數(shù)據(jù)進行對比，路由、MAC ARPS項查看。是否能解決建議在配置更改時不做做存，等 業(yè)務(wù)正常后保存，便于回退回退后，業(yè)務(wù)檢查 （各業(yè)務(wù)測試人員）716:00-17:00對各業(yè)務(wù)觀察，再次確認業(yè)務(wù)是否正常所有測試結(jié)果用表格形勢反饋割接完成割接時間窗為2017-6-17 08:00 到 2017-06-18 17 ： 00，保留序號1-7 進行 , 具體時間根據(jù)現(xiàn)場情況作調(diào)整。其中分別為 VxLan、服務(wù)器、互聯(lián)網(wǎng)、廣域網(wǎng)、園區(qū)網(wǎng)各保留2小時、1小時、1小時、1小時、1小時排故時間，總計保留 6個小時的排故時間，因

17、此，本次實施原則上斷網(wǎng)時間為D日上午8點至D+1日1點， D+1 日 1 點至 17： 00為意外應(yīng)急時間。第四章測試驗證4.1 測試驗證內(nèi)容目前了解的有數(shù)據(jù)業(yè)務(wù)，廣域網(wǎng)接入業(yè)務(wù)等。序 號測試項目操作及預(yù)期備注1互聯(lián)網(wǎng)業(yè)務(wù)互聯(lián)網(wǎng)正常訪問各大網(wǎng)站，收發(fā)郵件，登陸各業(yè)務(wù)系統(tǒng)辦公，測試 WLA業(yè)務(wù)正常上網(wǎng)，出口業(yè)務(wù) 訪問與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪2數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)中心VXLANE常訪問，斷開主鏈路后，VXLAN業(yè)務(wù)是否正常切換開會時選擇3-4個應(yīng) 用3廣域網(wǎng)接入業(yè)務(wù)PING®對端網(wǎng)關(guān)IP。4視頻會議業(yè)務(wù)實際使用視頻會議系統(tǒng)，圖形無卡頓亂碼，語音 清晰。5Vxlan業(yè)務(wù)ORACLE RAC/D由集

18、，聯(lián)機進行測 試，測試內(nèi)容包括系統(tǒng)狀態(tài)和切換措 施，確認RA儂群集可止常工作4.1.1 設(shè)備狀態(tài)檢查1,設(shè)備cpUt用率/內(nèi)存占用率2,接口錯包統(tǒng)計，接口 UP, MACS, ARP對比路由表與割接前收集數(shù)據(jù)對比。接 口錯包統(tǒng)計：display this interface brief在鏈路端口下查看端口狀態(tài)是否 UP display this interface查看接口下MAW址學(xué)習(xí)情況：display mac-address查看接口下 AR時項:display arp對比路由表:dis ip route-table第五章回退機制為防止割接過程中出現(xiàn)不可預(yù)料的異常，我們制定了相應(yīng)的回退機制。

19、 針對割接時間窗內(nèi)操作預(yù)期可能存在的風(fēng)險項定義應(yīng)對方案。如果出現(xiàn)以下情況在預(yù)定時間窗內(nèi)不能恢復(fù)，則進行回退操作。變更失敗定義：1 ,波分鏈路、以太網(wǎng)鏈路無法 UR2,各路由協(xié)議狀態(tài)不正常。3,驗證測試不通過。4,所帶業(yè)務(wù)出現(xiàn)中斷或者時延較大，在60分鐘之內(nèi)如不能恢復(fù)正常。5、割接計劃中說明的其他事項5.1故障判斷故障情況操作步驟預(yù)期結(jié)果、檢查 方法波分鏈路、以太網(wǎng)鏈路無法 UP檢查鏈路光功率，端口協(xié)商狀態(tài)， 更換模塊。檢查網(wǎng)線連通性，更換 網(wǎng)線。時間窗內(nèi)由卜除直接回退。業(yè)務(wù)恢復(fù)/回退路由協(xié)議不止常檢查配置，根據(jù)狀態(tài)信息排查。時 問囪內(nèi)省卜除直接回退。業(yè)務(wù)恢復(fù)/回退出現(xiàn)單個電源模塊失效、主控 板

20、、業(yè)務(wù)板失效。單模塊運行，在24小時內(nèi)更換。時 間窗內(nèi)由日除直接回退。業(yè)務(wù)恢復(fù)/回退業(yè)務(wù)出現(xiàn)中斷或者時延較大時間窗內(nèi)由卜除直接回退。業(yè)務(wù)恢復(fù)/回退VXLAN寸接不成功檢查配置，根據(jù)狀態(tài)信息排查。時 間窗內(nèi)由日除直接回退。業(yè)務(wù)恢復(fù)/回退VXLAN寸接成功ORACLE RAC/DB2I,首先聯(lián)機進 行測試，測試內(nèi)容包括系統(tǒng)狀態(tài)和 切換措施，確認RA或群集可止常工 作業(yè)務(wù)恢復(fù)/回退互聯(lián)網(wǎng)USG665副接測試 WLANk務(wù)正常上網(wǎng)，出口業(yè)務(wù)訪問 與園區(qū)網(wǎng)與數(shù)據(jù)中心的互訪聯(lián)網(wǎng)訪問園 區(qū)網(wǎng)與數(shù)據(jù)中心，時間窗內(nèi)排除直接 回退。業(yè)務(wù)恢復(fù)/回退廣域網(wǎng)設(shè)備的割接。測試廣域網(wǎng)業(yè)務(wù)，測試不成功，時間 窗內(nèi)排除直接回退。業(yè)務(wù)恢復(fù)/回退5.2 緊急回退具體回退步驟：1 線纜拆除恢復(fù)原有設(shè)備線纜連接。2 原設(shè)備互聯(lián)端口打開。5.3 應(yīng)急計劃：廣域網(wǎng)、園區(qū)網(wǎng)割接時出現(xiàn)以下情況且無法在1 個小時內(nèi)解決將考慮進行應(yīng)急：1、 、 多個廣域網(wǎng)節(jié)點無法接入2、 園區(qū)網(wǎng)接入交換機出現(xiàn)故障導(dǎo)致多個樓層無法連接網(wǎng)絡(luò)3、WLAN（統(tǒng)失效，wifi用戶無法連入4、 出現(xiàn)設(shè)備不穩(wěn)定或用戶訪問系統(tǒng)速度慢的問題5、 其他尚未預(yù)見的問題主要措施：1 、 系統(tǒng)暫時放棄主備架構(gòu)修改為單