14存儲系統(tǒng)利舊云化改造方案V1.0

第第頁共12頁存儲利舊云化改造方案2015-10

更新記錄序號日期新版本號更新說明作者1V1.0方案編寫臧磊2V1.0方案審核目錄TOC\o"1-2"\h\uHYPERLINK1.方案概述 2HYPERLINK2.現(xiàn)狀分析與挑戰(zhàn) 2HYPERLINK2.1.現(xiàn)狀分析 2HYPERLINK2.2.面臨挑戰(zhàn) 2HYPERLINK3.解決方案設(shè)計 4HYPERLINK3.1.指導思想 4HYPERLINK3.2.總體框架 4HYPERLINK3.3.系統(tǒng)組成 5HYPERLINK3.4.系統(tǒng)優(yōu)勢 7HYPERLINK4.客戶價值 9HYPERLINK5.案列分享 10方案概述隨著國家對社會治安的越來越重視，在平安城市的建設(shè)中視頻圖像也越來越高清化，原來視頻點位已不能滿足現(xiàn)實需求，因此有了平安城市二期和三期的建設(shè)。在大量視頻點投入和視頻高清化后，原有的存儲系統(tǒng)也不能滿足現(xiàn)實需求，如果重新建設(shè)新的存儲系統(tǒng)就會占用大量資源，而且原有資源也不能再利用造成大量的浪費，基于對城市存儲系統(tǒng)的深入分析，我們推薦使用云存儲改造為公安局架設(shè)統(tǒng)一云存儲系統(tǒng)，通過其高性能、高IO、高可靠、易擴展、易管理的五大特性，從存儲底層來保障公安行業(yè)相關(guān)應用的安全穩(wěn)定可靠的運行。現(xiàn)狀分析與挑戰(zhàn)現(xiàn)狀分析舊存儲為XX品牌，XX年采購，共計XXT存儲容量，架構(gòu)為SAN+NAS，一個機頭+3個盤柜，F(xiàn)C交換機為XX品牌。目前放到分局使用，容量已不夠，現(xiàn)階段迫切需要解決的問題是存儲空間擴容的問題，同時對陳舊設(shè)備整合有一定要求，保護現(xiàn)有投資。面臨挑戰(zhàn)警務平臺現(xiàn)階段用戶所面臨的瓶頸依然是性能問題、安全性問題、擴展性問題以及管理問題1、性能瓶頸針對智能分析等應用數(shù)以萬計的小文件使得存儲系統(tǒng)針對個別文件的索引速度降低，往往查找數(shù)據(jù)和讀取數(shù)據(jù)需要等待很長的時間。2、安全隱患視頻監(jiān)控平臺，智能分析平臺等海量數(shù)據(jù)下，傳統(tǒng)Raid安全難以保證在磁盤故障率越來越高的情況下數(shù)據(jù)的安全，且硬盤級別的安全機制已不適用于大規(guī)模的數(shù)據(jù)存儲平臺。3、擴展問題長時間保存的視頻文件，案件資料等海量數(shù)據(jù)占用空間每時每刻都在增長，越來越龐大的數(shù)據(jù)規(guī)模如果擴展存儲平臺將是越來越多警務平臺存儲所面臨的問題。4、管理問題海量數(shù)據(jù)下如何做到統(tǒng)一管理和統(tǒng)一分配空間是傳統(tǒng)存儲所不能及的。5、投資保護新設(shè)備的加入無法保證舊設(shè)備的高利用率，無法保護現(xiàn)有建設(shè)的投資。 現(xiàn)階段存儲容量已不夠，迫切需要解決的問題是存儲空間擴容的問題，同時對陳舊設(shè)備整合有一定要求，保護現(xiàn)有投資。解決方案設(shè)計指導思想充分利用原有存儲設(shè)備不浪費。新存儲設(shè)備和原有存儲設(shè)備通過云平臺改造可以通用，實現(xiàn)一體化管理。云平臺建設(shè)要突出安全性高、高性能、擴展性強、高可用性強、操作簡便、易整合等特點?？傮w框架云存儲平臺架構(gòu)應用了國際領(lǐng)先的分布式HxStor全局文件系統(tǒng)作為支撐，可支持海量的環(huán)境信息數(shù)據(jù)處理。計算性能與數(shù)據(jù)處理規(guī)?？梢詣討B(tài)伸縮。未來可以自由的擴展，滿足不斷增長的應用需求。將所有硬件資源構(gòu)建成一個大的集群資源池，將處理性能、緩存、帶寬聚合按需分配資源。服務應用不再與硬件一一綁定，即一個硬件不再單獨為一個硬件服務，資源從專有獨占的方式轉(zhuǎn)變?yōu)橥耆蚕矸绞?，現(xiàn)實自動化的管理，故障自動遷移恢復，不需人工干涉。通過DRS技術(shù)自動合理分配資源，自動休眠。透明的IT資產(chǎn)管理，清晰的網(wǎng)絡(luò)運維情況，在線人數(shù)檢測，設(shè)備使用率在線檢測。原有存儲云改造：原有存儲兩臺SNA設(shè)備分別掛接到兩臺PC服務器和新增兩臺X86架構(gòu)存儲一體機構(gòu)成云節(jié)點，PC服務器和X86架構(gòu)存儲一體機上分別部署互信HxStor云存儲平臺軟件共同組成云存儲池，為應用平臺提供存儲空間。系統(tǒng)組成原有存儲SAN設(shè)備掛到PC服務器下，作為云改造節(jié)點。X86架構(gòu)存儲一體機（16、24、32等盤位）做為新增云節(jié)點。云平臺軟件(HxStor)構(gòu)成：元數(shù)據(jù)服務集群管理模塊：存放整個文件系統(tǒng)的元數(shù)據(jù)，管理整個文件系統(tǒng)的名字空間。提供單一的系統(tǒng)映像，部署在一組通用X86結(jié)構(gòu)的PC服務器上。對象存儲集群管理模塊：存儲應用系統(tǒng)的文件數(shù)據(jù)，具有故障探測、自我修復功能，內(nèi)置獨特的文件存儲與備份機制，每個文件被系統(tǒng)分割成多塊后按一定規(guī)則存放在多個存儲服務器中，并且每塊文件在其他服務器中至少有1份備份（根據(jù)安全和性能需求可設(shè)定為多份），這些軟件部署在一組通用X86結(jié)構(gòu)的PC服務器上。訪問客戶端：對上層提供標準POSIX語義的訪問接口和統(tǒng)一的文件系統(tǒng)映像，響應上層應用對文件訪問請求并通過內(nèi)部私有協(xié)議高速訪問后端集群存儲上的文件數(shù)據(jù)，形成對上層統(tǒng)一的虛擬存儲池。訪問客戶端軟件可以安裝在應用系統(tǒng)服務器上，對應用系統(tǒng)提供訪問存儲的文件支撐，也可以單獨安裝在一組服務器上并與NFS或iSCSI系統(tǒng)結(jié)合。為了更好的支持高性能計算或虛擬機應用場景下對高IOPS的要求，（HxStor）提供高速緩存模塊SOCache（SuperIOCache），利用高性能的SSD盤做訪問客戶端的二級緩存，大幅提高性能，同時在兩個訪問客戶端之間使用InfiniBand實現(xiàn)高速緩存同步，即時備份和保護用戶數(shù)據(jù)。SOCache部署在HxStorAP的服務器上，可根據(jù)用戶實際需求進行選擇。系統(tǒng)優(yōu)勢在線擴容能力A、存儲支持在線擴展，當存儲空間不夠后，直接增加新的存儲設(shè)備，就可以看到存儲空間的增加，應用不用進行停機操作。而傳統(tǒng)存儲，由于提供的為卷設(shè)備，無法進行方便的擴展，擴展的時候需要將大量數(shù)據(jù)導出－增加設(shè)備－數(shù)據(jù)倒入的操作，在擴容的時候需要停止應用且擴容周期較長。B、隨擴容性能提升，HxStor的架構(gòu)對決定其存儲訪問效率與存儲設(shè)備數(shù)量有直接關(guān)系，隨著存儲設(shè)備的增多其訪問效率也將近線性增加。傳統(tǒng)磁盤陣列，架構(gòu)所限，后端盤柜的擴展并不能影響機頭的能力，無法實現(xiàn)存儲性能的近線性增加。原有存儲改造可以將現(xiàn)有磁盤陣列接入系統(tǒng)。對于磁盤陣列起到利舊作用，同時依靠數(shù)據(jù)副本技術(shù)提高其可靠性，同時可以對所有納入HxStor存儲的空間進行統(tǒng)一管理。數(shù)據(jù)副本高可用存儲系統(tǒng)采用數(shù)據(jù)副本技術(shù)，準許1～5臺設(shè)備同時故障而不影響應用訪問。例如有10臺我們當存儲設(shè)備，對于關(guān)鍵數(shù)據(jù)我們做了6份副本，如果有5臺存儲設(shè)備完全故障，對于該關(guān)鍵應用來說也將不受任何影。HxStor存儲系統(tǒng)可以輸出多種接口LinuxPosix接口，用于Linux系統(tǒng)應用使用，文件級別接口，效率高。ISCSI接口，用于支持桌面虛擬化，特點為高IOPS?？蒒FS、CIFS，windows、unix操作系統(tǒng)訪問使用，windows、unix操作系統(tǒng)可以獲得海量數(shù)據(jù)存儲能力?？蛻魞r值保護原有投資針對原有存儲系統(tǒng)有效整合，讓原有投資不浪費，繼續(xù)發(fā)揮存儲作用。數(shù)據(jù)高安全性HxStor系統(tǒng)不僅可以把存儲安全級別從硬盤RAID級別提升到物理節(jié)點級安全，徹底顛覆了傳統(tǒng)存儲系統(tǒng)架構(gòu)，更加有力的保障了存儲數(shù)據(jù)的安全性。滿足高性能要求在實際應用環(huán)境中，多臺應用服務器同時并發(fā)訪問存儲時，對存儲的性能要求十分高，本套集群存儲系統(tǒng)聚合所有網(wǎng)絡(luò)帶寬，對外提供服務，正好滿足了對存儲系統(tǒng)性能的要求。提高業(yè)務連續(xù)性在存儲系統(tǒng)安全性得到保障的同時，大大的提高了前端應用服務器訪問后端存儲設(shè)備的安全，減少了故障發(fā)生的概率，大大的提高了業(yè)務連續(xù)性。應用場景介紹平安城市 公安分局存儲擴容改造、市局存儲擴容改造、公安網(wǎng)、視頻專網(wǎng)、社會資源接入網(wǎng)存儲擴容改造、智能分析等海量數(shù)據(jù)存儲。案列分享HxStor在CNGI科學數(shù)據(jù)云中云存儲改造的應用:項目背景概述面向科學數(shù)據(jù)管理的云存儲環(huán)境（簡稱科學數(shù)據(jù)云）作為中國下一代互聯(lián)網(wǎng)示范工程(CNGI項目)的CNG-CstNet的重要組成部分，主要為科學院系統(tǒng)遍布全國的100多個科研院所、八萬多科研人員以及上萬個課題組服務，為這些單位用戶、個人用戶、集體用戶提供基礎(chǔ)的虛擬資源存儲服務，同時考慮各地現(xiàn)在存儲設(shè)備利用通過云存儲改造逐步建設(shè)適應科學數(shù)據(jù)管理的數(shù)據(jù)交互、數(shù)據(jù)處理、數(shù)據(jù)備份服務，為將來科學數(shù)據(jù)歸檔中心建設(shè)奠定基礎(chǔ)。項目總體結(jié)構(gòu)在CNGI國家科學數(shù)據(jù)云項目中北京互信互通信息技術(shù)有限公司根據(jù)現(xiàn)實情況充分利用了各區(qū)域的現(xiàn)在存儲設(shè)備，通過和PC服務器對接和新增X86架構(gòu)造體機一起成為云存儲平臺節(jié)點，全面采用了HxStor集群存儲系統(tǒng)，為科學數(shù)據(jù)云平臺提供方便高效的存儲支撐、應用訪問支撐。目前已經(jīng)采購HxStor集群文件系統(tǒng)多套（共計容量5PB），形成了比較完善的協(xié)議棧，滿足不同類型用戶的需要和未來應用擴展的需要。應用與部署情況分布式集群存儲系統(tǒng)HxStor將根據(jù)需求部署中科院多個分院數(shù)據(jù)中心。每套HxStor集群存儲系統(tǒng)均基于標準X86存儲服務器構(gòu)建。數(shù)據(jù)中心間通過科技網(wǎng)（I