柳州東城投資開發(fā)有限公司信息化基礎(chǔ)平臺建設(shè)方案_第1頁
柳州東城投資開發(fā)有限公司信息化基礎(chǔ)平臺建設(shè)方案_第2頁
柳州東城投資開發(fā)有限公司信息化基礎(chǔ)平臺建設(shè)方案_第3頁
柳州東城投資開發(fā)有限公司信息化基礎(chǔ)平臺建設(shè)方案_第4頁
柳州東城投資開發(fā)有限公司信息化基礎(chǔ)平臺建設(shè)方案_第5頁
已閱讀5頁,還剩26頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

柳州東城投資開發(fā)有限公司信息化基礎(chǔ)平臺建設(shè)方案北京時(shí)代凌宇科技股份有限公司2015年4月

目錄1 項(xiàng)目概述和需求分析 31.1 項(xiàng)目概述 31.2 總體規(guī)劃要求 31.3 未來服務(wù)器需求估算 42 服務(wù)器資源需求測算 52.1 tpmC硬件測算方法論 52.2 tpmC方法論測算CPU資源 62.3 內(nèi)存及存儲資源測算方法 92.4 服務(wù)器資源需求結(jié)論 123 技術(shù)選型方案 123.1 技術(shù)概要 123.2 技術(shù)體系架構(gòu) 133.3 系統(tǒng)拓?fù)鋱D 143.4 具體方案描述 153.4.1 服務(wù)器設(shè)計(jì) 153.4.2 存儲設(shè)計(jì) 163.4.3 網(wǎng)絡(luò)設(shè)計(jì) 163.4.4 備份設(shè)計(jì) 173.4.5 容災(zāi)規(guī)劃 183.4.6 VMware功能設(shè)計(jì) 193.4.7 軟硬件清單 193.5 方案優(yōu)勢 203.5.1 從最小規(guī)模起步 203.5.2 橫向擴(kuò)展優(yōu)勢 203.5.3 性能優(yōu)勢 213.5.4 數(shù)據(jù)保護(hù)和可靠性 223.5.5 與傳統(tǒng)架構(gòu)的對比 223.5.6 P2V遷移的優(yōu)勢 234 附錄:Nutanix產(chǎn)品介紹 254.1 Nutanix的發(fā)展歷程 254.2 Nutanix架構(gòu)和軟件定義存儲 264.3 Nutanix與傳統(tǒng)架構(gòu)的差別 274.4 Nutanix區(qū)塊和Nutanix節(jié)點(diǎn) 284.5 Nutanix的支持 29

項(xiàng)目概述和需求分析項(xiàng)目概述柳州東城投資開發(fā)有限公司(以下簡稱“東城公司”)信息化建設(shè)應(yīng)符合東城公司“產(chǎn)業(yè)化發(fā)展”、“專業(yè)化運(yùn)營”的發(fā)展模式的目標(biāo)。為此,東城公司整體信息化規(guī)劃的長期愿景為:以公司“服務(wù)于政府的市場化開發(fā)運(yùn)營主體”的轉(zhuǎn)型為出發(fā)點(diǎn),打造“數(shù)字化、信息化和智能化”的東城公司,使信息化能力成為東城公司核心競爭能力的重要組成部分。具體而言,通過制定公司信息化建設(shè)的規(guī)劃和全公司的信息標(biāo)準(zhǔn),同時(shí)要對公司現(xiàn)有的系統(tǒng)進(jìn)行整合集成和優(yōu)化,并在此基礎(chǔ)上開發(fā)一些適合公司業(yè)務(wù)開展和公司管理的特色應(yīng)用,為集團(tuán)公司提供高效、便捷、豐富的一站式信息服務(wù),為公司領(lǐng)導(dǎo)提供實(shí)時(shí)有效的各類數(shù)據(jù),使公司各部門實(shí)現(xiàn)協(xié)同化辦公,讓信息化真正為公司核心競爭力提供強(qiáng)有力的支撐。結(jié)合東城公司戰(zhàn)略及業(yè)務(wù)的目標(biāo),以及信息化建設(shè)的愿景、目標(biāo)及原則,未來東城公司信息化建設(shè)的總體架構(gòu)如下圖所示,簡稱為“1368”,即通過一套信息化管控體系,構(gòu)筑三大基礎(chǔ)平臺,支撐六類應(yīng)用,服務(wù)八大板塊。而隨著東城未來電子業(yè)務(wù)應(yīng)用和服務(wù)在不斷增加,集團(tuán)和員工對業(yè)務(wù)應(yīng)用信息化內(nèi)容的多樣化需求,導(dǎo)致其IT基礎(chǔ)設(shè)施平臺的規(guī)模后續(xù)會日益龐大,這也帶來了相應(yīng)的運(yùn)行維護(hù)和管理上的挑戰(zhàn)。同事,海量數(shù)據(jù)的大量涌現(xiàn),對IT基礎(chǔ)設(shè)施平臺要求越來越高。多數(shù)單位一直都在追求低成本高效率的IT服務(wù)運(yùn)營。IT團(tuán)隊(duì)在被要求提高生產(chǎn)力和靈活性以應(yīng)對多變的商業(yè)需求的同時(shí),也要不斷降低投入。IT部門向公司高層展示優(yōu)化的預(yù)算管理時(shí),節(jié)約成本和資源整合也始終是最先擺出的問題。為了能在保證業(yè)務(wù)可靠性和連續(xù)性得到提升的同事節(jié)約成本和資源整合、同時(shí)降低IT部門的運(yùn)維工作量,東城公司決定采用服務(wù)器虛擬化作為整個(gè)信息化系統(tǒng)的基礎(chǔ)支撐平臺??傮w規(guī)劃要求為保證實(shí)施效果,東城公司信息化建設(shè)采用分步推進(jìn)的策略進(jìn)行。信息化業(yè)務(wù)系統(tǒng)初步規(guī)劃通過三階段建設(shè),在五年內(nèi)逐步建立集團(tuán)化的信息體系。未來服務(wù)器需求估算根據(jù)咨詢調(diào)研結(jié)果,東城公司對未來各應(yīng)用系統(tǒng)數(shù)據(jù)量及對服務(wù)器需求進(jìn)行了預(yù)估,避免盲目投資造成損失。該預(yù)估數(shù)據(jù)將是整個(gè)技術(shù)體系和方案制訂的方向和依據(jù),具體見下表:表:未來各應(yīng)用系統(tǒng)數(shù)據(jù)量及服務(wù)器需求預(yù)估項(xiàng)目名稱系統(tǒng)用戶數(shù)高峰并發(fā)用戶數(shù)預(yù)計(jì)數(shù)據(jù)總量(GB/每年)預(yù)計(jì)服務(wù)器需求C.總部應(yīng)用建設(shè)ERP(工程/物資/合同/財(cái)務(wù)/資產(chǎn)/主數(shù)據(jù))200409002*高配資金管理20550利舊土地管理205200中配人力資源管理30030200中配戰(zhàn)略績效管理2058低配全面計(jì)劃和預(yù)算20520低配投資管理2055低配招商管理20510外部門戶2000200502*低配電子商務(wù)2002040報(bào)銷管理500100100中配決策支持50103002*高配綜合管理(內(nèi)部門戶/移動辦公)3006050低配綜合管理(OA/督辦/檔案/情報(bào)/審計(jì)/法務(wù))30030300D.分子公司應(yīng)用建設(shè)客戶關(guān)系管理10030200低配產(chǎn)品管理20510低配物業(yè)及租賃管理50520利舊交投公司系統(tǒng)建設(shè)(綜合運(yùn)營及客戶管理)205100低配交投公司系統(tǒng)建設(shè)(港口作業(yè)系統(tǒng))50201200中配小貸擔(dān)保系統(tǒng)建設(shè)5010600中配會展管理平臺5010200中配建開公司系統(tǒng)建設(shè)205100低配服務(wù)器資源需求測算tpmC硬件測算方法論本項(xiàng)目根據(jù)之前預(yù)估的服務(wù)器需求,建議采取tpmC硬件選型法,估算出每個(gè)應(yīng)用對服務(wù)器CPU、內(nèi)存和硬盤的需求量。以便為進(jìn)一步技術(shù)方案選型提供幫助和參考。借用IBM公司在金融綜合業(yè)務(wù)系統(tǒng)的實(shí)際應(yīng)用中總結(jié)的經(jīng)驗(yàn)方法論,采用以下公式:TPM=TASKx80%xSxF/(TxC),其中:TASK:為每日業(yè)務(wù)統(tǒng)計(jì)峰值交易量T:為每日峰值交易時(shí)間,假設(shè)每日80%交易量集中在每天的4小時(shí),即240分鐘內(nèi)完成:T=240S:為實(shí)際銀行業(yè)務(wù)交易操作相對于標(biāo)準(zhǔn)TPC-C測試基準(zhǔn)環(huán)境交易的復(fù)雜程度比例。由于實(shí)際的金融業(yè)務(wù)交易的復(fù)雜程度與TPC-C標(biāo)準(zhǔn)測試中的交易存在較大的差異,須設(shè)定一個(gè)合理的對應(yīng)值。以普通儲蓄業(yè)務(wù)交易為例,一筆交易往往需要同時(shí)打開大量數(shù)據(jù)庫表,取出其相關(guān)數(shù)據(jù)進(jìn)行操作,相對于TPC-C標(biāo)準(zhǔn)交易的復(fù)雜度,要復(fù)雜很多;根據(jù)科學(xué)的統(tǒng)計(jì)結(jié)果,每筆交易操作相比較于TPC標(biāo)準(zhǔn)測試中的每筆交易的復(fù)雜度此值可設(shè)定為10~20。C:為主機(jī)CPU處理余量。實(shí)際應(yīng)用經(jīng)驗(yàn)表明,一臺主機(jī)服務(wù)器的CPU利用率高于80%則表明CPU的利用率過高會產(chǎn)生系統(tǒng)瓶頸,而利用率處于75%時(shí),是處于利用率最佳狀態(tài)。因此,在推算主機(jī)性能指標(biāo)時(shí),必須考慮CPU的冗余,設(shè)定C=70%。F:為系統(tǒng)未來3~5年的業(yè)務(wù)量發(fā)展冗余預(yù)留。綜上所述,為保障聯(lián)機(jī)業(yè)務(wù)處理性能要求,我們可推算得出主機(jī)所需的處理能力,據(jù)此得出相應(yīng)的機(jī)型和配置。tpmC計(jì)算公式:tpmC=峰值在線用戶數(shù)*每分鐘每個(gè)用戶數(shù)請求*每個(gè)請求事務(wù)數(shù)(增刪查)/(操作系統(tǒng)冗余系數(shù)*CPU冗余系數(shù))tpmC方法論測算CPU資源以ERP應(yīng)用系統(tǒng)為例:用戶數(shù):200高峰并發(fā)用戶:40數(shù)據(jù)增長量:900GB/年根據(jù)以上條件,我們做出如下假設(shè):用戶每分鐘提出6個(gè)請求,每個(gè)請求產(chǎn)生20個(gè)事務(wù),操作系統(tǒng)預(yù)留30%冗余、CPU預(yù)留30%冗余。則系統(tǒng)的tpmC值=40×6×20÷((1-0.3)*(1-0.3))≈9800如果選擇物理服務(wù)器,只需要參考事務(wù)處理性能委員會(TransactionProcessingPerformanceCouncil)于2014年12月22日發(fā)布的結(jié)果(TPC-CBENCHMARKRESULTS)選擇tpmC值大于9800的服務(wù)器便可。通過查詢得到tpmC大于9800的服務(wù)器為IBMeServerxSeries220c/s,服務(wù)器CPU為一顆IntelPentiumIII1.4GHz。由于這是老服務(wù)器CPU型號,我們建議采用一顆大于該性能需求的CPU便可,如E5-26202.0GHz。根據(jù)測算所有應(yīng)用系統(tǒng)得出結(jié)論:需要26顆CPU。(具體應(yīng)用測算數(shù)據(jù)見下頁表單)表:CPU測算建議配置單項(xiàng)目名稱預(yù)計(jì)服務(wù)器需求tpmC值參考服務(wù)器CPUC.總部應(yīng)用建設(shè)需求實(shí)際品牌型號實(shí)際配置選型配置ERP(工程/物資/合同/財(cái)務(wù)/資產(chǎn)/主數(shù)據(jù))2*高配9,7969,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*12*E5-26202.0GHz資金管理利舊土地管理中配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz人力資源管理中配7,3479,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz戰(zhàn)略績效管理低配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz全面計(jì)劃和預(yù)算低配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz投資管理低配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz招商管理1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz外部門戶2*低配48,98052,587IBMeServerxSeries360/2.0GHz/4pIntelXeonMP2.00GHz*44*E5-26202.0GHz電子商務(wù)4,8989,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz報(bào)銷管理中配24,49031,910IBMeServerxSeries235/3.2GHz/1PIntelXeon-3.2GHz2*E5-26202.0GHz決策支持2*高配2,4499,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*12*E5-26202.0GHz綜合管理(內(nèi)部門戶/移動辦公)低配14,6949,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz綜合管理(OA/督辦/檔案/情報(bào)/審計(jì)/法務(wù))7,3479,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHzD.分子公司應(yīng)用建設(shè)客戶關(guān)系管理低配7,3479,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz產(chǎn)品管理低配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz物業(yè)及租賃管理利舊交投公司系統(tǒng)建設(shè)(綜合運(yùn)營及客戶管理)低配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz交投公司系統(tǒng)建設(shè)(港口作業(yè)系統(tǒng))中配4,8989,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz小貸擔(dān)保系統(tǒng)建設(shè)中配2,4499,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz會展管理平臺中配2,4499,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz建開公司系統(tǒng)建設(shè)低配1,2249,112IBMeServerxSeries220c/sIntelPentiumIII1.4GHz*1E5-26202.0GHz

內(nèi)存及存儲資源測算方法以ERP應(yīng)用系統(tǒng)為例:用戶數(shù):200高峰并發(fā)用戶:40數(shù)據(jù)增長量:900GB/年根據(jù)以上條件,我們對內(nèi)存使用做出如下假設(shè):每個(gè)并發(fā)占用內(nèi)存0.03GB操作系統(tǒng)占用內(nèi)存2GB其他應(yīng)用軟件占用內(nèi)存0.5GB合理內(nèi)存利用率70%由此計(jì)算得出所需內(nèi)存為:(40*0.03+2+0.5)/0.70=5.29GB,根據(jù)實(shí)際情況,該服務(wù)器內(nèi)存配置建議值為6GB根據(jù)以上條件,我們對存儲使用做出如下假設(shè):操作系統(tǒng)占用150GB空間合理存儲占用率70%由此計(jì)算得出5年存儲數(shù)據(jù)量為(900*5+150)/0.70≈6643GB根據(jù)測算得出結(jié)論:應(yīng)用系統(tǒng)內(nèi)存需求為144GB5年存儲需求為37451GB表:內(nèi)存及存儲測算建議配置單項(xiàng)目名稱預(yù)計(jì)服務(wù)器需求內(nèi)存(GB)存儲(GB)C.總部應(yīng)用建設(shè)測算數(shù)值建議數(shù)值測算數(shù)值ERP(工程/物資/合同/財(cái)務(wù)/資產(chǎn)/主數(shù)據(jù))2*高配5.292*66643資金管理利舊土地管理中配3.7941643人力資源管理中配4.8661643戰(zhàn)略績效管理低配3.794271全面計(jì)劃和預(yù)算低配3.794357投資管理低配3.794250招商管理3.794286外部門戶2*低配12.142*16571電子商務(wù)4.432*6500報(bào)銷管理中配7.868929決策支持2*高配4.002*42357綜合管理(內(nèi)部門戶/移動辦公)低配6.148571綜合管理(OA/督辦/檔案/情報(bào)/審計(jì)/法務(wù))4.8662357D.分子公司應(yīng)用建設(shè)客戶關(guān)系管理低配4.8661643產(chǎn)品管理低配3.794286物業(yè)及租賃管理利舊357交投公司系統(tǒng)建設(shè)(綜合運(yùn)營及客戶管理)低配3.794929交投公司系統(tǒng)建設(shè)(港口作業(yè)系統(tǒng))中配4.4368786小貸擔(dān)保系統(tǒng)建設(shè)中配4.0044500會展管理平臺中配4.0041643建開公司系統(tǒng)建設(shè)低配3.794929

服務(wù)器資源需求結(jié)論經(jīng)過之前詳細(xì)計(jì)算,獲得硬件總需求如下:CPU:26顆內(nèi)存:144GB存儲:37451GB技術(shù)選型方案技術(shù)概要在機(jī)房空間、輔助設(shè)施等進(jìn)行擴(kuò)容相對成本較高且施工困難的情況下,要解決有限資源與日益增長的業(yè)務(wù)需求的矛盾,就需要通過提高現(xiàn)有資源的利用率,降低單系統(tǒng)資源投入,提高單設(shè)備的負(fù)載能力實(shí)現(xiàn)。通過對業(yè)界相關(guān)技術(shù)的了解與比較,針對東城公司的技術(shù)解決方案為采用服務(wù)器虛擬化技術(shù)。虛擬化技術(shù)改變在以往的單服務(wù)器上直接安裝操作系統(tǒng)并進(jìn)行應(yīng)用系統(tǒng)等安裝,直接提供單一操作系統(tǒng)平臺、業(yè)務(wù)平臺使用的模式,而是利用支持硬件虛擬化的服務(wù)器硬件安裝底層虛擬機(jī)系統(tǒng),在虛擬機(jī)系統(tǒng)之上安裝多個(gè)操作系統(tǒng),將服務(wù)器物理資源抽象成邏輯資源,讓一臺服務(wù)器變成幾臺甚至上百臺相互隔離的虛擬服務(wù)器,不再受限于物理上的界限,而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動態(tài)管理的“資源池”。使用該技術(shù)避免了單一操作系統(tǒng)環(huán)境下布署不同應(yīng)用系統(tǒng)可能造成的互相影響,也避免了單物理服務(wù)器僅用于單個(gè)應(yīng)用系統(tǒng)形成的資源浪費(fèi),能夠更合理的統(tǒng)籌分配物理設(shè)備的資源,提高資源的利用率,簡化系統(tǒng)管理,實(shí)現(xiàn)服務(wù)器整合,讓IT對業(yè)務(wù)的變化更具適應(yīng)力。技術(shù)體系架構(gòu)為了更好的滿足上述要求,全球虛擬化產(chǎn)品領(lǐng)先廠商VMware公司與融合基礎(chǔ)架構(gòu)廠商路坦力公司通力合作,共同為用戶推薦了采用VMware虛擬架構(gòu)軟件的服務(wù)器虛擬架構(gòu)解決方案,該方案將極大的提供服務(wù)器整合的效率,大幅度簡化了服務(wù)器群管理的復(fù)雜性,提高了整體系統(tǒng)的可用性,同時(shí)還明顯的減少了投資成本,具有很好的技術(shù)領(lǐng)先性和性價(jià)比。 + 路坦力提供的“虛擬化計(jì)算平臺”是采用內(nèi)嵌企業(yè)級“存儲”的可擴(kuò)展的基礎(chǔ)服務(wù)平臺,可以為VM提供最優(yōu)化的運(yùn)行環(huán)境。真正融合:無縫的將計(jì)算、存儲資源進(jìn)行整合,提供真正的一體化設(shè)備;線性擴(kuò)展:每次增加一個(gè)節(jié)點(diǎn),實(shí)現(xiàn)性能、容量的線性擴(kuò)展;軟件定義:基于通用的X86硬件,由軟件提供所有服務(wù);混合資源:在單一的架構(gòu)中,為企業(yè)內(nèi)的所有虛擬機(jī)、云提供統(tǒng)一的資源調(diào)配;該方案包括VMware以下組件:VMwarevSphere企業(yè)版VMwarevCenterServer系統(tǒng)拓?fù)鋱D在系統(tǒng)建設(shè)中,對于基礎(chǔ)硬件設(shè)施選擇的主要考慮是可靠性、可用性,以及高性能、安全性和可管理性,還要考慮可擴(kuò)展性和開放性。因此,我們強(qiáng)烈建議客戶方融合計(jì)算資源、存儲資源以及虛擬化平臺于一體路坦力系列產(chǎn)品,完美的實(shí)現(xiàn)正真意義上的整合的虛擬化架構(gòu)。拓?fù)鋱D如下:內(nèi)部邏輯架構(gòu)如下:具體方案描述服務(wù)器設(shè)計(jì)按照服務(wù)器資源需求結(jié)論中得出,東城公司5年的硬件資源需求如下:CPU:26顆內(nèi)存:144GB存儲:37451GB由于路坦力設(shè)備的技術(shù)特性,至少需要有3臺節(jié)點(diǎn)構(gòu)成,為確保整體系統(tǒng)的高可用性和穩(wěn)定性,建議采取N+1做冗余,所以選擇4臺NX-1050-64GB節(jié)點(diǎn)作為基礎(chǔ)架構(gòu)。考慮到項(xiàng)目投資保護(hù),我們采取首階段滿足基本架構(gòu)功能和前期部分性能要求,后期根據(jù)應(yīng)用的擴(kuò)展和東城公司自身要求,可逐步單獨(dú)增加節(jié)點(diǎn)服務(wù)器的服務(wù)器設(shè)計(jì)方案。預(yù)估資源需求狀況對應(yīng)的設(shè)備清單如下表:階段型號數(shù)量總資源可用資源CPU(core)內(nèi)存(GB)存儲CPU(core)內(nèi)存(GB)存儲TB基礎(chǔ)架構(gòu)

(必備)NX-1050-64GB4482561600GSSD

16TBHDD161767.59二期增加

(預(yù)估)NX-6020-64GB11264800SSD

20TB4449.45三期增加

(預(yù)估)NX-6020-64GB224128800SSD

20TB88818.91總資源合計(jì)2830835.95由于自身分布式存儲的特性,總資源并不是具體可用資源。A.CPU可用資源計(jì)算公式(CPU核數(shù)-2[分布式文件系統(tǒng)消耗])*節(jié)點(diǎn)臺數(shù)如:(12-8)*4=16B.Cache可用資源計(jì)算公式(節(jié)點(diǎn)內(nèi)存容量-16G[分布式虛擬控制器消耗]-4G[虛擬化層預(yù)留])*節(jié)點(diǎn)臺數(shù)如:(64-16-4)*4=176C.存儲資源由于路坦力采用多節(jié)點(diǎn)分布式存儲,可以理解為網(wǎng)絡(luò)Raid1的模式,可用存儲基本上為硬件存儲資源的一半。具體見3.4.6軟硬件配置清單章節(jié)。存儲設(shè)計(jì)Nutanix分布式文件系統(tǒng)(NDFS)可以將一組節(jié)點(diǎn)組成一個(gè)統(tǒng)一的分布式存儲平臺。NDFS對于虛擬化平臺軟件而言就是一個(gè)集中存儲,與任何其他集中式存儲陣列一樣工作,且提供更為簡單便捷的存儲管理,無需像傳統(tǒng)集中存儲那樣再配置LUN、卷、或者Raid組。虛擬化環(huán)境中所有的IO操作都將由本地節(jié)點(diǎn)上的NutanixCVM接管,以提供極高的性能。下圖顯示的是Nutanix分布式系統(tǒng)邏輯示意圖:例如使用4個(gè)NX-1050系列節(jié)點(diǎn),每臺NX-1050系列節(jié)點(diǎn)本地配置1塊400GBSSD磁盤、4塊1TBSATA磁盤??偣泊疟P裸容量為17.6TB。按照默認(rèn)數(shù)據(jù)2副本方式保存,整個(gè)集群提供的實(shí)際可用容量為8TB左右。存儲性能需求據(jù)以往經(jīng)驗(yàn)及用戶習(xí)慣分析,一般用戶對IO性能要求在50IOPS左右,以200個(gè)用戶計(jì)算,共需要1000IOPS。單個(gè)Nutanix節(jié)點(diǎn)可提供12000的IOPS,3節(jié)點(diǎn)集群可提供將近36000的IOPS。完全可以滿足需求。網(wǎng)絡(luò)設(shè)計(jì)下圖為Nutanix推薦的網(wǎng)絡(luò)拓?fù)鋱D:網(wǎng)絡(luò)設(shè)計(jì)考慮如下表:類型設(shè)計(jì)備注物理服務(wù)器之間的通訊網(wǎng)絡(luò)10Gb以太網(wǎng)雙鏈路冗余每個(gè)節(jié)點(diǎn)通過兩條萬兆鏈路分別連接兩臺萬兆交換機(jī),保證網(wǎng)絡(luò)設(shè)備和鏈路的冗余度。Nutanix建議用戶使用萬兆網(wǎng)絡(luò)互聯(lián)物理節(jié)點(diǎn),當(dāng)發(fā)生密集的寫IO時(shí),萬兆網(wǎng)絡(luò)能保證提供足夠帶寬滿足節(jié)點(diǎn)之間的IO同步流量??蛻舳伺c虛擬服務(wù)器之間的通訊網(wǎng)絡(luò)、虛擬服務(wù)器對外服務(wù)網(wǎng)絡(luò)1Gb以太網(wǎng)雙鏈路冗余每個(gè)節(jié)點(diǎn)通過兩條千兆鏈路分別連接兩臺千兆交換機(jī),保證網(wǎng)絡(luò)設(shè)備和鏈路的冗余度。用戶訪問桌面,或者虛擬服務(wù)器對外提供服務(wù)時(shí),通過千兆鏈路可以實(shí)現(xiàn)與后端存儲流量隔離。硬件管理網(wǎng)絡(luò)(IPMI)100Mb以太網(wǎng)每個(gè)節(jié)點(diǎn)都有獨(dú)立的百兆鏈路,用于連接專門的管理網(wǎng)絡(luò),實(shí)現(xiàn)管理網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)分離??梢宰畲笙薅缺WC管理的靈活性和安全性。備份設(shè)計(jì)TimeStream備份是Nutanix平臺自帶的存儲層面、基于虛擬機(jī)粒度的備份恢復(fù)功能。用戶可以針對每個(gè)虛擬機(jī)設(shè)置不同的備份策略,包括備份計(jì)劃和備份保留周期,TimeStream會自動通過存儲快照方式對虛擬機(jī)進(jìn)行備份。所有TimeStream的快照均是基于存儲層面的,與虛擬化層面(例如vSphere)的快照不同,存儲層面的快照不會影響虛擬機(jī)的性能,對于虛擬化軟件是完全透明的。傳統(tǒng)的備份方式通過網(wǎng)絡(luò)傳輸備份數(shù)據(jù),需要特定的備份窗口以免影響業(yè)務(wù)正常運(yùn)行。TimeStream備份可以與傳統(tǒng)的備份策略互補(bǔ),既能保證對于重要的虛擬機(jī)進(jìn)行高頻度備份又不會占用額外的網(wǎng)絡(luò)帶寬。例如:對于普通應(yīng)用虛擬機(jī)可以使用傳統(tǒng)的備份方式每周進(jìn)行全備,將備份數(shù)據(jù)保留在外部存儲(例如磁帶庫中);同時(shí)使用TimeStream備份進(jìn)行每天甚至每12小時(shí)的備份,數(shù)據(jù)直接保留在存儲上以便快速恢復(fù)。對于比較重要的應(yīng)用虛擬機(jī)可以使用傳統(tǒng)備份每周全備、每天增量的方式,將備份數(shù)據(jù)保留在外部存儲(例如磁帶庫中);同時(shí)使用TimeStream備份進(jìn)行每2小時(shí)甚至每小時(shí)的備份,數(shù)據(jù)直接保留在存儲上以便快速恢復(fù)。容災(zāi)規(guī)劃Nutanix容災(zāi)功能,分為兩個(gè)級別:MetroDR和DR。都是基于虛擬機(jī)快照的方式將更新數(shù)據(jù)異步復(fù)制到遠(yuǎn)程的Nutnaix集群中。MetroDR可以實(shí)現(xiàn)RPO接近于“零”(需要裸光纖支持),即便是標(biāo)準(zhǔn)DR也能實(shí)現(xiàn)RPO為1小時(shí)(基于網(wǎng)絡(luò)帶寬和更新數(shù)據(jù)量),滿足絕大多數(shù)異地容災(zāi)的業(yè)務(wù)需求。Nutanix容災(zāi)支持雙向、一對多、多對一各種不同的復(fù)制模式。并且可以通過Nutanix自帶的管理界面激活容災(zāi)中心的虛擬機(jī)進(jìn)行容災(zāi)演練。不再需要額外繁瑣的災(zāi)難恢復(fù)計(jì)劃,基于鼠標(biāo)點(diǎn)擊即可完成容災(zāi)切換。下圖顯示的是多個(gè)數(shù)據(jù)中心之間使用Nutanix容災(zāi)方案的全局拓?fù)洌菏褂肗utanix解決方案可以在項(xiàng)目初始即確定今后的容災(zāi)規(guī)劃,而無需在今后專門立項(xiàng)重復(fù)設(shè)計(jì)整體容災(zāi)架構(gòu)。依據(jù)用戶規(guī)模和分支機(jī)構(gòu)數(shù)量,通過簡單靈活的軟件配置,將已有分支機(jī)構(gòu)的虛擬化環(huán)境遠(yuǎn)程容災(zāi)到總部數(shù)據(jù)中心,逐步形成星型的容災(zāi)架構(gòu)。VMware功能設(shè)計(jì)本方案中,選擇VMwarevSphere企業(yè)版和VMwarevCenterServer。其主要功能參考下圖:軟硬件清單考慮到本項(xiàng)目的實(shí)際情況,從投資保護(hù)的角度來考慮,我們僅提供基礎(chǔ)架構(gòu)所需要的設(shè)備軟硬件清單,今后根據(jù)實(shí)際情況,由東城公司自行選擇增加服務(wù)器節(jié)點(diǎn)和VMware授權(quán)便可。根據(jù)上述需求,選擇4節(jié)點(diǎn)NX-1050-64GB,每節(jié)點(diǎn)包含CPU12核,64G內(nèi)存,1*400GBSSD,4*1TBHDDs。產(chǎn)品和配置數(shù)量NX-1050(4個(gè)節(jié)點(diǎn))1臺每節(jié)點(diǎn)配置:CPU:2顆6核E5-2620/2.0GHzMEM:64GBDISK:1塊400GBSSD+4塊1TBHDDNET:2個(gè)10GbE+2個(gè)1GbE+1個(gè)10/100BASE-TArista系列萬兆以太網(wǎng)交換機(jī)2臺Arista7050-52萬兆以太網(wǎng)交換機(jī),支持52個(gè)10GBase-XSFP+端口VMware軟件費(fèi)用vSphereEnterpriseEdition6CPU+1vCenter1套方案優(yōu)勢從最小規(guī)模起步Nutanix集群可以從3個(gè)節(jié)點(diǎn)起步,并最終擴(kuò)展至上百個(gè)節(jié)點(diǎn)。3個(gè)節(jié)點(diǎn)的入門包就位之后,集群能夠以一次添加一個(gè)節(jié)點(diǎn)的方式逐步進(jìn)行擴(kuò)展。給集群添加節(jié)點(diǎn)是一個(gè)完全動態(tài)的過程,無須停機(jī),并可在2次點(diǎn)擊之后完成。Nutanix產(chǎn)品手冊上針對每個(gè)型號的節(jié)點(diǎn)都明確標(biāo)注了可以容納的虛擬機(jī)數(shù)量,用戶可以以此為參考非常輕松地預(yù)測虛擬化環(huán)境的投入規(guī)模。例如,入門級產(chǎn)品每個(gè)節(jié)點(diǎn)支持15個(gè)虛擬機(jī),最小集群規(guī)??梢灾С?5個(gè)虛擬機(jī);中端產(chǎn)品每個(gè)節(jié)點(diǎn)支持100-115個(gè)虛擬機(jī),最小集群規(guī)模可以支持300-345個(gè)虛擬機(jī)。并且Nutanix產(chǎn)品支持在同一集群中混合不同型號節(jié)點(diǎn),使得用戶能靈活掌握并輕松規(guī)劃整個(gè)虛擬化環(huán)境的基礎(chǔ)架構(gòu)。橫向擴(kuò)展優(yōu)勢Nutanix給虛擬化環(huán)境帶來的重要差異化因素之一就是,基礎(chǔ)設(shè)施在進(jìn)行擴(kuò)展時(shí)其性能仍然保持不變。在大多數(shù)傳統(tǒng)的存儲環(huán)境中,最佳性能僅出現(xiàn)在第一天,因?yàn)閼?yīng)用程序或工作負(fù)載越來越多,導(dǎo)致性能隨著時(shí)間的推移不斷下降,直至需要進(jìn)行叉車式升級,采用全新的存儲陣列。下圖說明了Nutanix的橫向擴(kuò)展的優(yōu)勢,當(dāng)集群中桌面數(shù)量從300個(gè)擴(kuò)展到3000個(gè)時(shí),應(yīng)用程序的打開時(shí)間保持不變:性能優(yōu)勢Nutanix解決方案在數(shù)據(jù)中心虛擬化環(huán)境中的主要優(yōu)勢之一就是性能,而性能優(yōu)勢是通過傳統(tǒng)的服務(wù)器和存儲架構(gòu)實(shí)現(xiàn)的。在傳統(tǒng)的架構(gòu)中,時(shí)延是因?yàn)槊看卧L問存儲都需要通過網(wǎng)絡(luò)而造成的。通過NFS和iSCSI等協(xié)議提供存儲本身沒有問題,但網(wǎng)絡(luò)會增加時(shí)延。Nutanix可提供NFS協(xié)議的優(yōu)勢及其易用性,而通過所謂的“無網(wǎng)絡(luò)NFS”消除了網(wǎng)絡(luò)時(shí)延。Nutanix分布式文件系統(tǒng)直接對虛擬機(jī)進(jìn)行檢測,然后將特定虛擬機(jī)的所有數(shù)據(jù)存放到本地物理服務(wù)器上。因此,虛擬機(jī)不是通過網(wǎng)絡(luò)、而是通過高速內(nèi)部總線訪問其數(shù)據(jù)。并且所有節(jié)點(diǎn)標(biāo)配SSD磁盤,提供極高的IOPS以滿足虛擬化環(huán)境各種類型應(yīng)用需求,無論是虛擬桌面還是服務(wù)器虛擬化場景。更為重要的是,每個(gè)節(jié)點(diǎn)的SSD磁盤并非有每個(gè)節(jié)點(diǎn)單獨(dú)使用,而是在整個(gè)集群范圍內(nèi)作為一個(gè)整體使用。言下之意,不會由于單個(gè)節(jié)點(diǎn)本地的SSD耗盡而導(dǎo)致其性能急劇下降。當(dāng)出現(xiàn)這種極端情況時(shí),節(jié)點(diǎn)會使用集群中其他節(jié)點(diǎn)的SSD空間。因?yàn)榧词箍缇W(wǎng)絡(luò)訪問其他節(jié)點(diǎn)SSD磁盤也會比訪問本地SATA磁盤快很多。因此極端最差情況時(shí)性能也與使用傳統(tǒng)集中存儲架構(gòu)時(shí)服務(wù)器通過網(wǎng)絡(luò)訪問數(shù)據(jù)的場景相當(dāng)。其實(shí)不會出現(xiàn)這種極端情況,因?yàn)楫?dāng)SSD利用率超過一定閾值后,Nutanix的CVM會自動發(fā)現(xiàn)并將最少訪問的數(shù)據(jù)從SSD遷移到SATA上,以保證SSD有足夠容量滿足突發(fā)的IO請求。這一自動熱分層技術(shù)對虛擬化主機(jī)而言完全透明。用戶無需關(guān)心數(shù)據(jù)保存在哪里,這完全由CVM依據(jù)數(shù)據(jù)訪問頻度而自動調(diào)度。新西蘭塔拉那基(TaranakiDistrictCouncilofNewZealand)利用這種技術(shù)對傳統(tǒng)的服務(wù)器和存儲基礎(chǔ)設(shè)施進(jìn)行改造,創(chuàng)建起了自己的虛擬化環(huán)境,極大地提高了性能。數(shù)據(jù)保護(hù)和可靠性Nutanix平臺使用復(fù)制因子(RF-ReplicationFactor)和校驗(yàn)和(checksum)來保證當(dāng)節(jié)點(diǎn)或者磁盤失效時(shí),數(shù)據(jù)的冗余度和可用性。當(dāng)數(shù)據(jù)寫入SSD時(shí),會被“同步”復(fù)制到另1個(gè)或者2個(gè)NutanixCVM的SSD之中(依賴RF設(shè)置為2或者3),當(dāng)這個(gè)操作完成之后,此次寫操作才被確認(rèn)(Ack)。這樣能確保數(shù)據(jù)至少存在于2個(gè)或者3個(gè)獨(dú)立的節(jié)點(diǎn)上,保證數(shù)據(jù)的冗余度。所有節(jié)點(diǎn)都參與數(shù)據(jù)的復(fù)制操作,這樣能消除“熱點(diǎn)節(jié)點(diǎn)”,并保證線性的性能擴(kuò)展。當(dāng)數(shù)據(jù)被寫入時(shí),同時(shí)計(jì)算該數(shù)據(jù)塊的校驗(yàn)和,并且作為數(shù)據(jù)塊元數(shù)據(jù)中的一部分進(jìn)行存儲。隨后數(shù)據(jù)塊在保證滿足RF的前提下,被“異步”推送到HDD中。當(dāng)發(fā)生節(jié)點(diǎn)或者磁盤失效,數(shù)據(jù)塊會重新在所有節(jié)點(diǎn)間進(jìn)行復(fù)制以滿足復(fù)制因子的設(shè)置。任何時(shí)候,讀取數(shù)據(jù)塊并同時(shí)計(jì)算其校驗(yàn)和以確保數(shù)據(jù)塊有效。當(dāng)數(shù)據(jù)塊檢查結(jié)果不匹配校驗(yàn)和時(shí),副本數(shù)據(jù)將會覆蓋該無效數(shù)據(jù)塊。在Nutanix分布式文件系統(tǒng)中(NDFS),我們使用了一些關(guān)鍵技術(shù)來確保:數(shù)據(jù)在100%時(shí)間內(nèi)都是可用的(即“強(qiáng)一致性”),并且保證NDFS擴(kuò)展到超大規(guī)模數(shù)據(jù)量時(shí)依然可靠。這就是文件系統(tǒng)元數(shù)據(jù)強(qiáng)一致性的Paxos算法。NDFS使用一種“環(huán)狀”的Key-Value結(jié)構(gòu)的分布式數(shù)據(jù)庫來保存重要的元數(shù)據(jù)。為了確保元數(shù)據(jù)的可用性和冗余度,也同樣引入了復(fù)制因子(RF)。一旦一條Metadata記錄被寫或者更新后,這條記錄將同時(shí)寫到“環(huán)”中的另一個(gè)節(jié)點(diǎn),然后被復(fù)制到n個(gè)其他節(jié)點(diǎn)(n決定與集群的大?。<褐写蠖鄶?shù)(majority)節(jié)點(diǎn)必須同意才能commit一條記錄,這就是強(qiáng)一致性的Paxos算法。這確保了Nutanix平臺數(shù)據(jù)的“可靠性”。與傳統(tǒng)架構(gòu)的對比使用Nutanix計(jì)算存儲融合的一體化平臺,替代了傳統(tǒng)的服務(wù)器加集中存儲的架構(gòu),使得整個(gè)架構(gòu)更清晰簡單。下表列舉了使用Nutanix產(chǎn)品和傳統(tǒng)集中式存儲架構(gòu)的對比:Nutanix計(jì)算存儲融合平臺傳統(tǒng)集中存儲架構(gòu)性能盡可能提供本地吞吐,并使用SSD保證應(yīng)用IO需求。不存在性能瓶頸隨著訪問集中存儲的服務(wù)器越來越多,性能瓶頸將日益凸顯橫向擴(kuò)展可以簡單的在集群中增加節(jié)點(diǎn)以擴(kuò)展集群規(guī)模和性能由于架構(gòu)限制,無法實(shí)現(xiàn)橫向擴(kuò)展高可用性可以通過三副本的方式容忍最多兩個(gè)節(jié)點(diǎn)同時(shí)故障,并且硬件故障時(shí)數(shù)據(jù)重建速度快,性能幾乎不受影響通過raid技術(shù)實(shí)現(xiàn)高可用性,但面對硬件故障時(shí),性能下降嚴(yán)重。安裝配置開箱即用的部署方式,只需20分鐘即可完成安裝配置需要準(zhǔn)備大量安裝實(shí)施前的信息收集和整理工作,并且由專人進(jìn)行安裝部署,最少需要2天時(shí)間管理維護(hù)統(tǒng)一WEB界面管理,維護(hù)方便無需配置LUN、卷、Raid組需要專門存儲管理軟件,配置復(fù)雜。需要廠商支持??臻g占用使用Nutanix架構(gòu):4臺NX-1050,包含4節(jié)點(diǎn)(包含服務(wù)器和存儲)總共占用空間2U使用傳統(tǒng)架構(gòu):4臺2路服務(wù)器至少占用4U,存儲至少需要3U總共占用空間7U耗電使用Nutanix架構(gòu):4臺NX-3050,耗電1150W電費(fèi):0.8元/千瓦時(shí)運(yùn)行五年電費(fèi)支出約:4萬元使用傳統(tǒng)架構(gòu):4臺服務(wù)器平均每臺服務(wù)器耗電800W計(jì)算,存儲耗電1500w,總共耗電4700W電費(fèi):0.8元/千瓦時(shí)運(yùn)行五年電費(fèi)支出約為:16萬元P2V遷移的優(yōu)勢VMwarevCenterConverter可將物理機(jī)轉(zhuǎn)換為虛擬機(jī)。借助這種P2V轉(zhuǎn)換軟件,可以將基于Windows和Linux的物理機(jī)及第三方映像格式自動轉(zhuǎn)換為VMware虛擬機(jī)。對于本項(xiàng)目中的NC服務(wù)器及其他服務(wù)器的遷移,可以采用該工具軟件進(jìn)行P2V轉(zhuǎn)換。使用轉(zhuǎn)換向?qū)гO(shè)置轉(zhuǎn)換任務(wù),使用ConverterStandalone組件執(zhí)行所有克隆任務(wù)。以下工作流程是遠(yuǎn)程熱克隆的流程,在此流程中克隆的物理機(jī)不會停機(jī)。第一步:ConverterStandalone為轉(zhuǎn)換準(zhǔn)備源計(jì)算機(jī)。ConverterStandalone在源計(jì)算機(jī)上安裝代理,該代理創(chuàng)建源卷的快照。第二步:ConverterStandalone在目標(biāo)計(jì)算機(jī)上準(zhǔn)備虛擬機(jī)。ConverterStandalone在目標(biāo)計(jì)算機(jī)上創(chuàng)建了一個(gè)虛擬機(jī),然后代理將源計(jì)算機(jī)中的卷復(fù)制到目標(biāo)計(jì)算機(jī)中。第三步:ConverterStandalone完成轉(zhuǎn)換過程。代理會安裝所需的驅(qū)動程序來允許操作系統(tǒng)在虛擬機(jī)中引導(dǎo),并且會對虛擬機(jī)進(jìn)行自定義(例如,更改IP信息)。第四步:ConverterStandalone從源計(jì)算機(jī)卸載該代理(可選)。虛擬機(jī)準(zhǔn)備在目標(biāo)服務(wù)器上運(yùn)行。附錄:Nutanix產(chǎn)品介紹Nutanix的發(fā)展歷程N(yùn)utanix的創(chuàng)始人正是創(chuàng)建谷歌分布式系統(tǒng)的那些人,該公司為企業(yè)數(shù)據(jù)中心提供云環(huán)境中常見的可擴(kuò)展性、可用性、簡單性和高性能。下圖顯示了傳統(tǒng)數(shù)據(jù)中心與谷歌數(shù)據(jù)中心的外觀差異。大多數(shù)云提供商實(shí)施的是所謂的軟件定義數(shù)據(jù)中心。在傳統(tǒng)的數(shù)據(jù)中心,當(dāng)管理員需要更多存儲器時(shí),便購買存儲器;當(dāng)需要更多計(jì)算能力時(shí),便購買服務(wù)器;當(dāng)需要安全性時(shí),便購買防火墻;諸如此類。而在軟件定義數(shù)據(jù)中心,你只有服務(wù)器:當(dāng)你需要更多存儲容量時(shí),便調(diào)用存儲服務(wù);當(dāng)你需要更多計(jì)算能力時(shí),同樣的服務(wù)器便為你調(diào)出各種應(yīng)用程序;當(dāng)你需要其它基礎(chǔ)設(shè)施服務(wù)時(shí),便可按照自己的需要調(diào)用和停用各種服務(wù)。因此,在軟件定義數(shù)據(jù)中心,硬件不再是至關(guān)重要的組件,數(shù)據(jù)中心的所有事項(xiàng)均在軟件層進(jìn)行控制和界定,因此能夠?qū)崿F(xiàn)前所未有的簡便性、可擴(kuò)展性和自動化。圖SEQFigure\*ARABIC1:傳統(tǒng)數(shù)據(jù)中心對比谷歌數(shù)據(jù)中心Nutanix架構(gòu)和軟件定義存儲Nutanix將融合基礎(chǔ)設(shè)施、橫向擴(kuò)展架構(gòu)和軟件定義存儲的各種優(yōu)勢結(jié)合在一起,可提供極佳的數(shù)據(jù)中心虛擬化體驗(yàn),而其成本僅為傳統(tǒng)服務(wù)器和存儲器的一小部分。每一臺Nutanix服務(wù)器均包含CPU、內(nèi)存、網(wǎng)絡(luò)、SSD或閃存、以及HDD存儲功能。Nutanix存儲控制器是一臺虛擬機(jī),運(yùn)行于每臺服務(wù)器上,可將本地存儲轉(zhuǎn)換成為共享存儲。Nutanix完整集群中的所有可用存儲均作為單一的文件系統(tǒng)提供,稱為Nutanix分布式文件系統(tǒng)。圖2:Nutanix計(jì)算存儲完整架構(gòu)盡管沒有專門的SAN或NAS,Nutanix仍然能夠無縫提供高可用性、DRS和容錯(cuò)等企業(yè)虛擬化功能。為了將性能最大化,Nutanix存儲控制器將特定虛擬機(jī)的所有數(shù)據(jù)保存在同一服務(wù)器上,從而將時(shí)延最小化,而將SSD閃存的優(yōu)勢最大化。圖3:Nutanix軟件定義型存儲控制器Nutanix與傳統(tǒng)架

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論