能源大數(shù)據(jù)中心建設方案

大數(shù)據(jù)實驗室建設方案大數(shù)據(jù)實驗室建設方案目錄TOC\o”1-3"\h\z\uHYPERLINK\l”_Toc497233433"1概述3HYPERLINK\l”_Toc497233434”1.1建設背景3HYPERLINK\l”_Toc497233435”1.2建設現(xiàn)狀32。2分步實施方案6_Toc497233440”2.2.2二期：基于大數(shù)據(jù)領(lǐng)域的深入拓展研究7HYPERLINK\l”_Toc497233441”3詳細設計9HYPERLINK\l”_Toc497233442”3.1一期建設內(nèi)容9HYPERLINK\l”_Toc497233443”3。1.1機房裝修建議方案9HYPERLINK\l”_Toc497233444”3.1.2云存儲平臺25HYPERLINK\l”_Toc497233445"3.1.3大數(shù)據(jù)實驗平臺303.2二期建設內(nèi)容117HYPERLINK\l”_Toc497233449"3。2。1深度學習平臺117HYPERLINK\l”_Toc497233450"3。2。2數(shù)據(jù)立方大數(shù)據(jù)庫121HYPERLINK\l”_Toc497233451”3.2。3數(shù)據(jù)挖掘平臺1273。2.4數(shù)據(jù)可視化1354建設意義145HYPERLINK\l”_Toc497233455”5規(guī)格配置147概述建設背景隨著移動互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)的快速發(fā)展，特別是智能手機端博客、社交網(wǎng)絡、位置服務(LBS）等信息發(fā)布方式的不斷涌現(xiàn)，數(shù)據(jù)正以前所未有的速度在不斷地增長和累積，全球在2010年正式進入ZB時代,根據(jù)IDC監(jiān)測，人類自有史以來所有數(shù)據(jù)量大約每18個月翻一番,意味著人類在最近18個月產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量，預計到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，是2010年的近30倍，大數(shù)據(jù)時代已經(jīng)來到。在海量數(shù)據(jù)面前,大數(shù)據(jù)人才無疑是其中最關(guān)鍵環(huán)節(jié)之一，然而，不論國內(nèi)外，大數(shù)據(jù)人才卻緊缺相當稀缺，在未來5—10年，我國大數(shù)據(jù)市場規(guī)模年均增速將超過30％，而大數(shù)據(jù)人才缺口將突破150萬，目前大數(shù)據(jù)人才平均月薪達1。5萬,在BAT發(fā)布的招聘職位中，大數(shù)據(jù)人才超過60%.我校為順應新形式的發(fā)展,著手建立大數(shù)據(jù)學院，創(chuàng)建大數(shù)據(jù)實驗室、大數(shù)據(jù)實驗平臺，開設大數(shù)據(jù)教學培訓，實現(xiàn)我校教學科研一體化流程,將為我校增加學生就業(yè)機會和薪資水平，提高師資水平，逐步培養(yǎng)當今互聯(lián)網(wǎng)時代IT行業(yè)的大數(shù)據(jù)人才起到至關(guān)重要的作用。而大數(shù)據(jù)學科方向是一門交叉專業(yè)方向,與不同專業(yè)相結(jié)合可以發(fā)展成特定方向的專業(yè)或研究領(lǐng)域。經(jīng)濟金融學、應用數(shù)學、統(tǒng)計學、計算機科學等傳統(tǒng)專業(yè)方向與大數(shù)據(jù)學科方向相結(jié)合表現(xiàn)出多樣化的差異特征，包括專業(yè)研究方向與社會需求崗位在內(nèi).除了課堂學習，通過實驗來加深理解和提高實際應用操作能力也是主要途徑。調(diào)查表明，當前大數(shù)據(jù)涉及到很多內(nèi)容，如大數(shù)據(jù)實驗、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等,其中的很多實驗，都無法在我?，F(xiàn)有的實驗室中完成。因此，我校建設專門的大數(shù)據(jù)實驗室就顯得非常重要.建設現(xiàn)狀雖然目前我校也意識到開設大數(shù)據(jù)專業(yè)及相關(guān)課程,但是在專業(yè)課程開設的過程中也遇到了諸多問題，因此，我校著眼于未來，著手從全球的技術(shù)重點難點-大數(shù)據(jù)教學出發(fā)，擬打造高校大數(shù)據(jù)教學的標桿，建設新一代的大數(shù)據(jù)研究教學基地，建立一套具有高可靠、可在線彈性伸縮，提供數(shù)據(jù)內(nèi)在關(guān)系和價值的大數(shù)據(jù)教學平臺,目前我校大數(shù)據(jù)實驗平臺建設具體現(xiàn)狀如下：基礎(chǔ)實驗環(huán)境薄弱，大數(shù)據(jù)實訓開展難目前我校的大數(shù)據(jù)教學大都卡在了實驗環(huán)節(jié)，缺乏相應的基礎(chǔ)實驗環(huán)境,無法為每一個學生都提供一套實驗集群，而虛擬化的網(wǎng)絡配置與運維又十分復雜,同時大數(shù)據(jù)分布式軟件系統(tǒng)安裝、配置難度較大，在實驗過程中很容易造成實驗環(huán)境的破壞,實驗數(shù)據(jù)、實驗教案、實驗手冊缺乏，難以開展相關(guān)的實驗教學。課程體系待完善，大數(shù)據(jù)教學科研入門難當前我校的大數(shù)據(jù)專業(yè)處于起步階段，人才培養(yǎng)課程體系缺乏系統(tǒng)性,大數(shù)據(jù)教學資源匱乏，可配置和指導實驗環(huán)境的專業(yè)師資不足.項目實訓缺失，教學效果與就業(yè)率打折扣在大數(shù)據(jù)教學過程中，缺乏相應的實訓項目，只有理論教育，難以培養(yǎng)實用型人才所需的專業(yè)項目能力,存在專業(yè)學習與實際應用脫軌的情況，使得教學效果與就業(yè)率打折扣.總體設計總體架構(gòu)大數(shù)據(jù)實驗室總體架構(gòu)主要包括四個層面：（1）基礎(chǔ)環(huán)境設施建設大數(shù)據(jù)實驗室基礎(chǔ)環(huán)境建設主要是支撐實驗室教學運行的基本環(huán)境配套建設,包括實驗室機房裝修、綜合布線、網(wǎng)絡通信、配電UPS、安防監(jiān)控、實驗室空調(diào)、學生實驗桌椅、教學用投影音響器材等。通過這些基礎(chǔ)支撐環(huán)境的建設，才能保證大數(shù)據(jù)實驗室的建設提供基礎(chǔ)。(2)IT環(huán)境配套建設在基礎(chǔ)環(huán)境搭建完善的基礎(chǔ)上，需要建設滿足大數(shù)據(jù)實驗平臺的配套環(huán)境,主要包括：各類服務器、交換機、路由器、投影儀、終端電腦等。（3)大數(shù)據(jù)實驗平臺層建設在滿足大數(shù)據(jù)平臺層所需的IT環(huán)境配套資源之上，建設存儲資源池和計算處理資源池,提供大數(shù)據(jù)實驗平臺和深度學習平臺，供師生科研教學使用，建立在數(shù)據(jù)立方大數(shù)據(jù)庫高速運算、秒級處理基礎(chǔ)上，數(shù)據(jù)挖掘分析平臺對現(xiàn)有數(shù)據(jù)進行智能分析，最終通過數(shù)據(jù)可視化能將數(shù)據(jù)以更加直觀的方式展現(xiàn)出來，使獲取的數(shù)據(jù)更加客觀、更具說服力。（4)服務層大數(shù)據(jù)平臺的最終目的是為學校、師生提供服務,因此利用平臺搭建可供大量老師、學生完成大數(shù)據(jù)科研、教學實驗的集成環(huán)境,該平臺同步提供了配套的培訓服務，對于科研教學組件的安裝、配置，教材、實驗手冊等具體應用提供一站式服務，有助于高校更好地滿足課程設計、課程上機實驗、實習實訓、科研訓練等多方面需求，并在一定程度上緩解大數(shù)據(jù)師資不足的問題。對于各大高校而言，即使沒有任何大數(shù)據(jù)實驗基礎(chǔ),該平臺也能助其輕松開展大數(shù)據(jù)的教學、實驗與科研.分步實施方案我校大數(shù)據(jù)實驗室建設的各個環(huán)節(jié)相互關(guān)聯(lián)，在建設的過程中，需要有計劃、有步驟地實施，以確保各項內(nèi)容的協(xié)調(diào)發(fā)展;基于xxx股份有限公司在云計算、大數(shù)據(jù)領(lǐng)域積累的豐富經(jīng)驗并且結(jié)合學校的實際需求和業(yè)務特點，制定以下合理的分步實施方案.本次方案主要圍繞大數(shù)據(jù)專業(yè)課程的開展，搭建大數(shù)據(jù)實驗相關(guān)的軟硬件平臺，分期進行建設。一期:實現(xiàn)大數(shù)據(jù)教學實驗入口，建立穩(wěn)定可靠的大數(shù)據(jù)實驗平臺利用大數(shù)據(jù)、云計算技術(shù)構(gòu)建統(tǒng)一的大數(shù)據(jù)實驗平臺,完善大數(shù)據(jù)教學課程體系，培養(yǎng)大數(shù)據(jù)實戰(zhàn)型人才。主要建設內(nèi)容如下：（1）云存儲平臺提供一套存儲資源管理系統(tǒng),采用分布式的存儲機制,將數(shù)據(jù)分散存儲在多臺獨立的存儲服務器上；具有低功耗、超高性價比、高可靠、通用、免維護等優(yōu)勢。（2）大數(shù)據(jù)實驗平臺大數(shù)據(jù)實驗平臺通過應用容器技術(shù)，以少量機器虛擬大量實驗集群，可供大量學生同時擁有多套集群進行Hadoop相關(guān)試驗，而每個學生的實驗環(huán)境不僅相互隔離，方便高效地完成實驗,而且實驗彼此不干擾，即使某個實驗環(huán)境被破壞，對其他人也沒有影響，一鍵重啟就可以擁有一套新集群，大幅度節(jié)省了硬件和人員管理的投入成本.同時配套提供大數(shù)據(jù)實驗教材、PPT、視頻、操作手冊、實驗數(shù)據(jù)等配套資源。（3）教學云盤通過教學云盤為師生構(gòu)建私有云平臺,為用戶提供了安全、穩(wěn)定、高效、性價比高的數(shù)據(jù)管理服務。(4）桌面虛擬化針對學校日常辦公、大數(shù)據(jù)教學等環(huán)境建立一體化桌面虛擬化解決方案,學生師生用戶可跨平臺、跨終端、跨協(xié)議按需彈性配置自己的桌面、應用和數(shù)據(jù).具有高可靠、高安全、多兼容、易管理等優(yōu)勢。二期:基于大數(shù)據(jù)領(lǐng)域的深入拓展研究在一期大數(shù)據(jù)實驗平臺的建設基礎(chǔ)上，突出大數(shù)據(jù)領(lǐng)域的多應用建設，進一步提升學校在大數(shù)據(jù)專業(yè)的核心競爭力和影響力。主要建設內(nèi)容如下：（1)深度學習平臺的建設根據(jù)國家和地方社會經(jīng)濟發(fā)展需要，結(jié)合區(qū)域相關(guān)產(chǎn)業(yè)和行業(yè)特點，以我校優(yōu)勢學科和特色專業(yè)為基礎(chǔ)，重點從圖像處理、視頻挖掘、生物識別和人工智能方面的創(chuàng)新實驗、實習、實訓以及深度學習為重點研究出發(fā)進行建設。提供一套涵蓋大數(shù)據(jù)算法、接口、工具、平臺等多方面內(nèi)容,從大數(shù)據(jù)監(jiān)測與收集、大數(shù)據(jù)存儲與處理、大數(shù)據(jù)分析與挖掘直至大數(shù)據(jù)創(chuàng)新，幫助高校構(gòu)建完善的大數(shù)據(jù)課程體系。（2)數(shù)據(jù)挖掘及可視化分析建立數(shù)據(jù)立方大數(shù)據(jù)庫，實現(xiàn)EB級的數(shù)據(jù)能夠秒級處理，支持數(shù)據(jù)倉庫存儲、數(shù)據(jù)深度挖掘和商業(yè)智能分析等業(yè)務。建立數(shù)據(jù)可視化,將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示,可以從不同的維度觀察數(shù)據(jù)，從而對數(shù)據(jù)進行更深入的觀察和分析.（3）物聯(lián)網(wǎng)智能硬件平臺提供一個免費的物聯(lián)網(wǎng)設備和應用的數(shù)據(jù)托管平臺。學校現(xiàn)有的智能設備可使用多種協(xié)議輕松安全地向萬物云提交所產(chǎn)生的設備數(shù)據(jù)，在服務平臺上進行存儲和處理,并通過數(shù)據(jù)應用編程接口向各種物聯(lián)網(wǎng)應用提供可靠的跨平臺的數(shù)據(jù)查詢和調(diào)用服務。通過使用物聯(lián)網(wǎng)智能硬件平臺所提供的各項服務，學校可以收集、處理和分析互連智能設備生成的數(shù)據(jù)，在物聯(lián)網(wǎng)應用中方便地調(diào)用這些設備數(shù)據(jù)，而無需投資，安裝和管理任何基礎(chǔ)設施，不僅大大降低了項目開發(fā)的技術(shù)門檻，縮短開發(fā)周期，而且研發(fā)和營運成本也成倍降低.詳細設計一期建設內(nèi)容機房裝修建議方案系統(tǒng)概述機房環(huán)境特點設計的機房參數(shù)如下：溫度：21℃——25℃，最佳為23℃。相對濕度為45％——65％，最佳為55％。溫度的變化率〈5℃/h，不得結(jié)露。塵埃：機房在靜態(tài)條件下，粒度≥0.5nm,個數(shù)〈18000/m3。噪音:計算機停機時，主機房中心位置處<68db。靜電電位≤1KV。照度：機房區(qū)≥300LX；其他房間≥200LX；應急照明＞5LX。交、直流工作地≤1Ω。設計思路現(xiàn)代機房通常采用大面積的開敞空間，輔以功能完善的輔助設施，構(gòu)成寬敞明亮的設備環(huán)境,具有工作交流迅捷、信息傳遞快、工作效率高、易于管理的特點。機房工程是以保證設備運行的安全性、可靠性為主要目的綜合性項目，它包括建筑裝修、電氣工程、綜合布線、安防系統(tǒng)、監(jiān)控系統(tǒng)、空調(diào)系統(tǒng)等幾大系統(tǒng)。機房工程的目標：保證計算機設備運行的可靠性；保證機房運行的安全性；延長計算機設備的使用壽命；滿足用戶的特殊要求；保證場地工作人員的身心健康。我們的工作就是圍繞這些根本任務來進行,在設計過程中采用超越的設計思想和先進的技術(shù)，并著眼于未來的發(fā)展,把各個系統(tǒng)等有機的結(jié)合起來，通過采用優(yōu)質(zhì)材料、合理的配置和先進的工藝確保環(huán)境指標的實現(xiàn),為計算機設備和工作人員創(chuàng)造一個安全、可靠、寬松、舒適的工作場地。設計規(guī)劃本次機房工程擬對學校已有的機房（約xx平米）改造,建設成為新的數(shù)據(jù)機房,主要涉及以下幾個分項(可根據(jù)實際需要調(diào)整）:序號名稱位置面積1中心機房約xx平米2監(jiān)控室約xx平米3會議室約xx平米4辦公室約xx平米機房裝修（建議）機房吊頂?shù)蹴斒菣C房中重要的組成部分。吊頂上部安裝著強電、弱電、線槽和管線,也安裝著消防滅火的氣體管路及新風系統(tǒng)風管等。在吊頂面層上安裝著嵌入式燈具、風口、消防報警探測器、氣體滅火噴頭等?？紤]機房吊頂必須防火、防塵、吸音性能好、無有害氣體釋放、抗腐蝕不變形、美觀和易于拆裝等方面.在安裝天花之前，將原樓板底清理干凈及刷環(huán)氧聚氨脂（防塵漆）.吊頂應該具有一定的承載能力,應能夠承受住全部安裝設備的重量及作為專用空調(diào)回風靜壓箱時的負壓影響，并要留有一定的空間。所選用的吊頂板及其構(gòu)件還應具有質(zhì)輕、防火（A級）、防潮、吸音、不起塵、不吸塵等特點。架空地板工程在各類計算機房的組建中，活動地板是個很重要的結(jié)構(gòu)件之一，可使機房地板下組建成一個地下空間。在活動地板上可安裝各類計算機等設備，而在地板下的空間則可用來敷設聯(lián)結(jié)各設備的電源、網(wǎng)絡互聯(lián)管線、集成監(jiān)控信號線管等設施。同時可作為精密空調(diào)的送風靜壓風庫.通過地板上設置的送風口，利用靜壓復得法，把冷卻空氣送至計算機設備，保障計算機的安全運行。活動地板因其具有可拆性，所以對網(wǎng)絡的建設、設備的檢修及更換都很方便。所有連接電纜都從地板下進入設備，便于設備的布局調(diào)整，同時減少了因設備擴充或更新而帶來的建筑設施的改造.活動地板高度活動地板可以在活動地板下形成空調(diào)送風靜壓箱。為了獲得最佳的通風效果，我們所建議的從機房地板到地面的高度為250mm,這樣就可以有充足的通風空間。地板抗震動方面地板的質(zhì)量和地板的施工保證：1。地板平整度和尺寸精度高,以保證活動地板的整體抗震性。2.地板支架應一次沖壓成型,避免底座和支腿焊接降低其抗震性。3。地板與墻面交接處應用柔性接觸，采用減震橡膠墊作間隔。設備抗震動方面計算機設備、精密空調(diào)、UPS、配電柜等設備，建議采用角鋼支架做為底座，角鋼支架用地腳鏍栓與地面固定，并采用強力減震橡膠墊。活動地板選擇活動地板的抗靜電技術(shù)指標及地板的質(zhì)量好壞將直接影響到計算機系統(tǒng)的運行安全。在機房的建設中，活動地板的正確應用及使用，可以提高計算機及其微電子設備的運行可靠性和延長設備的使用壽命。地板樓面保溫計算機機房的冬季保溫、夏季隔熱以及防凝露等技術(shù)問題是機房設計重要考慮的因素，尤其夏季室外溫度較高，空氣的相對濕度也很高,由于機房內(nèi)外存在較大的溫差，機房的保溫處理不當，會造成機房區(qū)域兩個相鄰界面產(chǎn)生凝露，更重要的是下層天花結(jié)構(gòu)面層的凝露會給相鄰部分設施造成損壞而影響工作。同時會使機房區(qū)域的精密空調(diào)的負荷加大，造成能源的浪費。在冬季，由于機房的溫/濕是恒定值,此時相對濕度高于室外,機房的內(nèi)立面墻及天地平面產(chǎn)生凝露,使機房受潮，造成墻立面及天地平面建筑結(jié)構(gòu)造成損壞，而影響機房的潔凈度。由于界面的凝結(jié)水蒸發(fā)，造成局部區(qū)域空氣含濕增大，給計算機及微電子設備的元器件和線纜插件造成損壞。因此，為了節(jié)約能源,減少日后的運行費用,根據(jù)以上分析計算機房相鄰界面凝露應按其起因而采取相應的措施來控制平面、立面隔熱及熱量的散失。對于本方案計算機房的特點，采用在機房專用空調(diào)區(qū)域內(nèi)房間的樓面鋪設帶防水防火的隔熱材料來提高樓面的隔熱功能。地板下面做保溫層既能保持機房的溫度恒定，又不至于使下一層樓頂結(jié)冷凝水，同時地板的灰塵又不至于被風吹進機器內(nèi)。機房內(nèi)墻、柱面機房內(nèi)墻、柱面裝修的目的是為了保證室內(nèi)環(huán)境使用條件,創(chuàng)造一個舒適美觀而整潔的環(huán)境.在一般的普通裝修工程中,內(nèi)飾面不承擔墻體熱工功能,但在計算機房裝修過程中,當墻體本身熱工性能不能滿足計算機房環(huán)境使用要求時，就得在室內(nèi)內(nèi)側(cè)面增加一道保溫層來增加墻體的熱工性能，避免出現(xiàn)結(jié)露現(xiàn)象。另外,機房內(nèi)窗戶由于其縫隙容易滲進灰塵和有害氣體而引起計算機的故障。同時透過玻璃進入機房的太陽輻射熱將會增加機房的熱負荷，并影響機房內(nèi)的照度控制和對顯示設備的觀測.在冬天,通過窗戶散出的熱量較大，而且機房內(nèi)溫度較高,室外溫度較低，這樣還會在玻璃上結(jié)露。因此，為了防止外界的干擾，在能確保諸機房空調(diào)和照明的情況下，在機房內(nèi)不設窗戶，而主要采用人工照明.該墻飾板在生產(chǎn)過程中，由于在其表面噴涂了一種有機高分子涂層，使得采用了該墻板裝飾過的計算機房不但增強了機房的防靜電、防火性能，更由于這種墻板為高強度優(yōu)質(zhì)材料，在計算機房內(nèi)安裝使用后，它能與金屬吊頂天花以及金屬活動地板金屬結(jié)構(gòu)網(wǎng)架,經(jīng)有效接地處理后,能初步形成一個六面都有屏蔽效果的屏蔽網(wǎng)，增強機房的屏蔽效果。在機房內(nèi)增強屏蔽性能后,并具有以下特點:防止外界較強的電磁場干擾計算機房內(nèi)計算機及其它電子信息處理設備;防止計算機房內(nèi)的計算機及其它電子信息處理設備所產(chǎn)生的信息以電磁波形式泄漏出去，造成機密的丟失。機房防火門的設計門的開起方向要符合消防要求,大小要適于設備運裝或人員出入，開門的位置要方便人員出入及設備的擺放，不影響設備操作，占用空間小，防火、防盜、隔音、隔熱、美觀、實用、經(jīng)濟.機房入口大門設置鋼質(zhì)壓紋防火、防盜門，并安裝閉門器,增加壓紋后,不僅滿足防火門要求，同時也更為美觀。機房配電及ups系統(tǒng)機房供電為一級負荷，從大樓配電室引雙路電源（TN—S系統(tǒng))至機房UPS室,經(jīng)互投開關(guān)切換后供給機房UPS、空調(diào)、照明及輔助插座供電。UPS(UninterruptiblePowerSupply），即不間斷電源，是一種儲能的裝置（常用蓄電池儲能），以逆變器為主要組成部分的恒壓、恒頻電源設備，主要用于給計算機、服務器、計算機網(wǎng)絡系統(tǒng)、通信系統(tǒng)或其它電力電子設備提供不間斷的電力供應。一種常見的錯誤概念認為:一般使用的市電除了偶爾發(fā)生斷電事故之外,通常是連續(xù)而且穩(wěn)定的。其實不然，市電系統(tǒng)作為公共電網(wǎng)，連接著成千上萬個各種各樣的負載，其中，一些較大的感性、容性、開關(guān)電源等負載不僅從電網(wǎng)獲取電能,而且還會反過來對電網(wǎng)造成影響，惡化電網(wǎng)（或局部電網(wǎng))的供電品質(zhì)，造成市電電壓波形畸變或頻率漂移.另外，意外的自然或人為事故，如地震、雷擊、輸變電系統(tǒng)斷路或短路都會危害電力的正常供應，從而影響負載的正常工作。根據(jù)電力專家的測試,電網(wǎng)中經(jīng)常發(fā)生并且對計算機或精密儀器產(chǎn)生干擾或造成損壞的情況主要有以下幾種：電涌、高壓尖脈沖、暫態(tài)過電壓、電壓下陷、電線噪聲、頻率漂移、持續(xù)低電壓、市電中斷等。對計算機來說，其顯示器和主機工作都需要正常的電力供應，突然的非正常斷電可能會對計算機硬盤造成損壞,過高的電壓可能會造成計算機整流電源燒毀，而且電壓尖脈沖和暫態(tài)過電壓及電源雜波等干擾都可能通過計算機整流器進入主板,影響計算機的正常工作，甚至燒毀主板?？傊?，供電問題對于計算機工作的影響很大。因此,隨著計算機和網(wǎng)絡應用的日益重要和廣泛，安全可靠的電源已是網(wǎng)絡涉及和管理人員不得不認真面對的重要問題。在這種背景下,UPS應運而生，并伴隨電力電子技術(shù)的發(fā)展不斷推陳出新。本項目需要UPS電源的區(qū)域包括網(wǎng)絡中心機房、監(jiān)控中心機房.網(wǎng)絡中心機房的UPS電源保護系統(tǒng)主要為網(wǎng)絡設備及服務器主機提供統(tǒng)一的不間斷電源供應。監(jiān)控中心的UPS電源保護系統(tǒng)主要為弱電井設備、安防系統(tǒng)、一卡通系統(tǒng)、樓宇自控系統(tǒng)提供不間斷電源供電。根據(jù)項目需求，要求在斷電后，UPS應滿足滿負載供電2小時的要求,也為后期增加的設備留有的余量。防雷接地系統(tǒng)為了保護人的安全、供電的可靠性以及計算機設備、電子產(chǎn)品、電氣設備等正常準確運行，必須要有良好的接地系統(tǒng)來保證。為保證大樓內(nèi)計算機設備、電子產(chǎn)品等安全可靠的運行,大樓內(nèi)應有穩(wěn)定可靠的接地系統(tǒng)，才能避免因接地系統(tǒng)不可靠而損壞設備及傷害人員的事故發(fā)生。本次在每個機房內(nèi)均設置防雷器及接地裝置,每個機房設置一級防雷器1臺,二級防雷器2臺，三級防雷器2臺，插座采用防浪涌插座。敷設田字形紫銅排。整個機房敷設?；摲漓o電地板.機房防雷設計由于電子設備雷電防護系統(tǒng)對所保護系統(tǒng)的業(yè)務正常運行具有非常重要的作用，因此，雷電防護系統(tǒng)應具備先進性、可靠性、易維護、易升級等方面的突出特性。防雷工程設計及設備的選擇應遵從以下的原則:1)可靠性原則設計系統(tǒng)雷電防護工程應最先考慮的問題就是可靠性。防雷保護技術(shù)是不斷發(fā)展變化的，所選產(chǎn)品必須符合國際標準、國家標準及行業(yè)標準。這樣才能對網(wǎng)絡的未來發(fā)展提供保證。2）先進性、可擴充性原則采用當今國內(nèi)、國際上最先進和成熟的技術(shù)，使新建立的系統(tǒng)能夠最大限度地適應今后技術(shù)發(fā)展變化和業(yè)務發(fā)展變化的需要,從目前國內(nèi)發(fā)展來看,系統(tǒng)總體設計的先進性原則主要體現(xiàn)在以下幾個方面：采用的系統(tǒng)結(jié)構(gòu)應當是先進的、開放的體系結(jié)構(gòu);采用的技術(shù)應當是可擴充的，能滿足今后日益擴充的需要。3）經(jīng)濟實用性原則本著一切從用戶實際角度出發(fā)，配置防雷保護系統(tǒng)的目的，在保證系統(tǒng)的正常運行下，整個防雷保護的建設要堅持實用為主，根據(jù)投資的強度結(jié)合實用價值，應盡可能選擇可靠性高,可維護性好的性能價格比高的產(chǎn)品,以便節(jié)省投資，以最低成本來完成系統(tǒng)設備雷電防護的建設。防雷保護對象目前，經(jīng)實際運行經(jīng)驗驗證，由電源系統(tǒng)耦合進入的感應雷擊造成設備的損壞占雷災損失60％以上的概率.因此，對電源系統(tǒng)的避雷保護措施是整個防雷工程中必不可少的而且是非常重要的一個環(huán)節(jié)。1）電源系統(tǒng)第一級保護供電系統(tǒng)采用架空電纜（電纜未穿鋼管做屏蔽)將一路市電引入至大樓總配電箱,大樓總配電箱又引出一路出線至機房或所在樓層配電箱，然后通過插排與機房用電設備連接。因機房所在建筑物總配電箱進線路大多從戶外架空引入，所以極易遭感應雷擊及遠端的傳導雷擊，應加裝電涌保護器加以保護，根據(jù)《建筑物防雷設計規(guī)范》和《建筑物電子信息系統(tǒng)防雷技術(shù)規(guī)范》的要求,在從室外引來的線路上安裝的電源防雷器，其標稱放電電流≥80kA(8/20μs）。因此，本方案設計在每個機房所在建筑物的總配電箱進線端各加裝一套一級電源防雷模塊,以此作為對樓層總電源的一級防護。其技術(shù)要求及配置情況如下:（1）安裝位置:機房所在建筑物的總配電箱進線端（2）選用產(chǎn)品：三相電源防雷模塊(如下圖所示)。一級電源防雷模塊(3）安裝方法：將一級防雷器并聯(lián)于電源系統(tǒng)中，L1、L2、L3為相線，N為零線，PE為地線，切勿錯接。安裝完成后，合上自動斷路器開關(guān)，檢查工作狀態(tài)是否正常。防雷模塊在使用期間,應定期檢測并查看故障顯示窗口狀態(tài),當故障顯示窗口呈紅色或遙信端子輸出報警信號時，表示防雷模塊出現(xiàn)故障，應及時維修或更換。（4）一級防雷器設備參數(shù)：保護級別B級工作電壓Un（V)380V標稱放電電流In（KA）40KA（8/20μs）最大放電電流Imax(KA）80KA（8/20μs)電壓保護水平Up(V)≤2500V最大持續(xù)運行電壓Uc(V）385V響應時間（ns)＜20ns漏電流(μA)≤30μA保護模式L-PE、N—PE（4P）劣化指示劣化指示窗工作環(huán)境溫度：-40℃~+80℃，相對濕度＜95%外殼材料阻燃材料規(guī)格尺寸90ⅹ72ⅹ62mm（5）接線示意圖：一級防雷模塊接線示意圖2）電源系統(tǒng)第二級保護雖然在機房所在大樓總配電箱內(nèi)加裝了電源系統(tǒng)第一級電涌保護器，但是機房與總配室距離較遠，雷電仍然會在連接總配電室與機房的電纜上產(chǎn)生感應過電壓，擊壞設備,故根據(jù)《建筑物防雷設計規(guī)范》的要求，本方案設計在機房或所在樓層配電箱內(nèi)加裝一套二級電源防雷模塊，以此作為對機房電源的二級防雷保護。其技術(shù)要求及配置情況如下：(1）安裝位置：機房配電箱或機房所在樓層配電箱.（2）選用產(chǎn)品：單相電源防雷模塊（如下圖所示）。二級電源防雷模塊圖（3）安裝方法:將二級防雷器并聯(lián)于電源系統(tǒng)中，L為相線，N為零線，PE為地線,切勿錯接。安裝完成后，合上自動斷路器開關(guān),檢查工作狀態(tài)是否正常。防雷模塊在使用期間,應定期檢測并查看故障顯示窗口狀態(tài)，當故障顯示窗口呈紅色或遙信端子輸出報警信號時,表示防雷模塊出現(xiàn)故障,應及時維修或更換。(4）二級防雷器產(chǎn)品參數(shù)：保護級別C級工作電壓Un（V)220V標稱放電電流In（KA)20KA(8/20μs）最大放電電流Imax(KA)40KA(8/20μs)電壓保護水平Up（V)≤1800V最大持續(xù)運行電壓Uc(V）385V響應時間（ns）＜20ns漏電流（μA)≤30μA保護模式劣化指示劣化指示窗工作環(huán)境溫度：-40℃～+80℃，相對濕度＜95%外殼材料阻燃材料規(guī)格尺寸90ⅹ36ⅹ62mm（5)接線示意圖：二級電源防雷模塊接線示意圖3）電源系統(tǒng)第三級保護因為機房內(nèi)都是一些精密的電子設備，耐沖擊電壓都比較低,一般在1。5KV以下，為了進一步降低殘壓,根據(jù)國標《建筑物防雷設計規(guī)范》的要求，本方案設計在UPS電源后端加裝一套三級電源防雷模塊，以此作為對信息機房電源的三級防雷保護。其技術(shù)要求及配置情況如下：(1）安裝位置：UPS電源后端（2）選用產(chǎn)品：單相電源防雷模塊（如下圖所示).三級電源防雷模塊（3）安裝方法：將三級防雷器并聯(lián)于電源系統(tǒng)中，L為相線，N為零線，PE為地線，切勿錯接。安裝完成后，合上自動斷路器開關(guān)，檢查工作狀態(tài)是否正常。防雷模塊在使用期間，應定期檢測并查看故障顯示窗口狀態(tài),當故障顯示窗口呈紅色或遙信端子輸出報警信號時，表示防雷模塊出現(xiàn)故障，應及時維修或更換。（4)三級防雷器產(chǎn)品參數(shù)：保護級別D級工作電壓Un（V）220V標稱放電電流In（KA）10KA（8/20μs）最大放電電流Imax（KA)20KA(8/20μs)電壓保護水平Up（V)≤1200V最大持續(xù)運行電壓Uc（V）385V響應時間（ns）＜20ns漏電流(μA）≤30μA保護模式L—PE、N—PE（2P）劣化指示劣化指示窗工作環(huán)境溫度:-40℃～+80℃，相對濕度＜95％外殼材料阻燃材料規(guī)格尺寸90ⅹ36ⅹ62mm（5）接線示意圖：三級電源防雷模塊接線示意圖4）、終端防雷因服務器耐沖擊電壓比較低，一般在1。5KV以下，根據(jù)《建筑物防雷設計規(guī)范》)的要求,本方案設計在終端設備前端即各墻壁插座處各加裝一套電源防雷插座。其技術(shù)要求及配置情況如下：(1）安裝位置：終端用電設備前端。(2）選用產(chǎn)品：電源防雷插座（如下圖所示）.終端防雷模塊（3）安裝方法:應用于配電系統(tǒng)為220V電源第四級雷電防護，應用于設備前端，使用方法和一般插排相同.（4)防雷插座技術(shù)參數(shù)：保護級別D級額定電壓Un（V）220V標稱放電電流In（KA）10KA（8/20μs)最大放電電流Imax(KA）20KA（8/20μs)電壓保護水平Up(KV)≤1.0KV（20KV8/20μs）最大持續(xù)運行電壓Uc（V）320V電壓保護水平(V）≤700V響應時間(ns)＜20ns漏電流(μA)≤20μA最大負載電流（A）13A保護模式L-PE、N—PE接口形式六孔三項工作環(huán)境溫度:-40℃~+80℃，相對濕度＜95%規(guī)格尺寸（長×寬×高)393×67×35mm機房接地接地系統(tǒng)在機房是至關(guān)重要的,可以說沒有良好的接地系統(tǒng)就沒有好的防雷系統(tǒng)。接地系統(tǒng)建設做不好，不但會引起設備故障,燒毀元器件,嚴重的還強危害工作人員的生命安全。并且接地系統(tǒng)的接地技術(shù)如果處理不當,還會造成地電位反擊.一個良好的接地系統(tǒng)又是計算機設備可靠工作的需要，防干擾的屏蔽系統(tǒng)的問題也要靠良好的接地系統(tǒng)來解決。機房接地系統(tǒng)是消除公共耦合阻抗,以及防止寄生電容耦合的干擾，保護設備和人身安全、減少火災發(fā)生隱患、保證機房設備穩(wěn)定可靠的運行的重要手段。計算機機房是弱電設備的核心所在地,機房所連接的均為數(shù)據(jù)處理系統(tǒng)，對電位的變化較為敏感，容易導致設備的損壞及系統(tǒng)運行的不穩(wěn)定，因此對接地系統(tǒng)有較高要求。根據(jù)國家標準《計算機站場地技術(shù)要求》的規(guī)定，接地系統(tǒng)應包括計算機系統(tǒng)的直流工作地、交流工作地、安全保護地、防雷保護地這四種.設計將機房各個金屬物件（如主機金屬外殼，UPS及電池柜金屬外殼，金屬地板,金屬框架，設施管路，電纜橋架，金屬吊頂，輕鋼龍骨）和系統(tǒng)都進行等電位連接，等電位連接的目的，在于減小防雷的空間內(nèi)的各金屬物件的和系統(tǒng)之間的電位差，必要時,采用電涌(SPD）保護器做等電位連接，加強防電涌保護.機房接地一般應包括計算機系統(tǒng)的直流工作地、交流工作地、安全保護地、防雷保護地這四種。四種接地宜共用一組接地裝置,其接地電阻按其中最小值確定;若防雷接地單獨設置接地裝置時,其余三種接地宜共用一組接地裝置,其接地電阻不應大于其中最小值，并應按現(xiàn)行國標準《建筑防雷設計規(guī)范》要求采取防止反擊措施。并且電子計算機系統(tǒng)的接地應采取單點接地并宜采取等電位措施。現(xiàn)行國標推薦計算機機房采用聯(lián)合接方式,機房聯(lián)合接地電阻應≤1Ω。我公司建議對大樓地實際測量后再采取相應的措施.如果現(xiàn)在大樓地合格，則直接將機房內(nèi)的均壓設備通過BVR10平方毫米電線接入機房所在樓層匯流排.如果大樓地不合格則重新進行防雷地的建設，措施有兩種:一是打接地樁；二是用防雷接地模塊或接地極制作高質(zhì)量防雷地。機房內(nèi)的接地網(wǎng)有三種接地敷設方法，串聯(lián)接法、匯集法和并聯(lián)接法。并聯(lián)接法的優(yōu)點在于既有匯集法的邏輯電位參考點一致的優(yōu)點，又有串聯(lián)法連接簡單的優(yōu)點，而且還大大降低了計算機系統(tǒng)的內(nèi)部噪聲和外部干擾。因此計算機的工作接地系統(tǒng)中，機房內(nèi)部一般采用并聯(lián)接法。本機房內(nèi)接地網(wǎng)采用并聯(lián)接法。在監(jiān)控機房和網(wǎng)絡機房防靜電活動地板下設專用均壓環(huán)接地網(wǎng),接地銅網(wǎng)采用30mm×3mm銅帶連接.并從均壓環(huán)通過接地引下線接至樓層匯流排，以起到等電位連接作用.機房安防監(jiān)控為保證機房的安全，防止無關(guān)人員進入機房，需要對通訊機房總?cè)肟谠O置感應卡門禁系統(tǒng),以及獨立的視頻監(jiān)控系統(tǒng)。通過門禁管理系統(tǒng)可以實時讀取門禁記錄的資料。通過發(fā)卡器設置卡號、姓名、進出權(quán)限，并根據(jù)事件記錄查看持卡人員的進出情況.本次機房門禁可在一卡通系統(tǒng)中綜合考慮。機房空調(diào)系統(tǒng)設計本次機房空調(diào)設計采用VRV多聯(lián)機空調(diào)一拖五，對整個項目的4個部分整體接入:中心機房采用2臺VRV/5P空調(diào),根據(jù)流體力學原理考慮到冷熱風流向,安裝位置如圖所示；監(jiān)控室采用1臺VRV/2P空調(diào)；會議室采用1臺VRV/2P空調(diào);辦公室1臺VRV/2P空調(diào)。根據(jù)計算機機房A級建設標準及規(guī)范，機房對溫度濕度及潔凈度的要求如下:機房溫度：要求溫度在21℃每小時溫度變化不能超過5℃.溫度過高,半導體內(nèi)離子的擴散或漂移加劇，會改變半導體的性能，并且會使半導體和機械裝置內(nèi)的腐蝕過程加速。高溫亦會使磁介質(zhì)導磁率發(fā)生變化,磁帶、磁盤數(shù)據(jù)發(fā)生錯誤甚至于丟失。機房濕度：機房要求相對濕度在40％至70%之間,濕度過高和過低對計算機會產(chǎn)生下列影響:1.高溫度引起水蒸氣附著于元件表面,影響元件電氣性能2.高濕度會影響磁性材料導磁率，造成讀/寫數(shù)據(jù)的瞬時錯誤3。濕度過大,會使某些機械裝置打滑，硬性規(guī)定穩(wěn)定性4。濕度過大，會使接插及各接觸部分氧化生銹,造成接觸不良5.低濕度產(chǎn)生靜電，人亦容易帶電，以使信息丟失和破壞半導體元件機房潔凈度：潔凈度是指空氣中塵埃,空氣中所含有害氣體也是機房潔凈度指標之一.大氣中灰塵呈布朗運動狀態(tài)，在靜止的空氣中幾乎完全不沉淀或者緩慢沉降。而漂浮在大氣中的灰塵粒子很小，約99%的粒子其大小都在1微米以下0。5微米以下的粒子又占大約91%這種粒子對精密機械和接插影響最大。不管計算機機房的結(jié)構(gòu)形式如何,機房內(nèi)仍存在著大量的灰塵，原因如下：1。機房不斷補充鮮風，通過空調(diào)將灰塵帶入2.機房工作人員出入機房帶進塵埃3.機房墻壁、地面、天花或涂層脫落產(chǎn)生灰塵4。計算機外圍設備如打印機等產(chǎn)生的塵屑灰塵的危害有以下幾點：1.對磁盤、磁帶等精密機械造成損壞2。使集成電路和電子元件散熱能力降低3。灰塵容易吸潮,使元件潮濕而腐蝕故機房場地的塵埃粒子應達到B級標準，即每升不超過1000個，而機房場地應遠離化學等有害氣體污染的地方.從消防角度考慮,上述材料須阻燃或難燃，加裝保溫棉后，整個機房也增加了隔音能力。機房氣體滅火系統(tǒng)機房氣體滅火目前常規(guī)的做法是先用七氟丙烷滅火系統(tǒng)，也叫FM200來進行保護,它分為有管網(wǎng)和無管網(wǎng)二種型式，即小的機房或獨立的保護區(qū)我們一般用一個柜式的七氟丙烷滅火裝置，也叫七氟丙烷無管網(wǎng)滅火裝置來保護；若是區(qū)域較大或較多，而且比較分散我們一般會用管網(wǎng)式的組合方式來進行保護,這樣可以充分的利用資源，節(jié)約成本。對環(huán)境無污染，是安全有效的滅火系統(tǒng)。滅火速度快,能在十秒內(nèi)迅速滅火.對敏感設備無損害。優(yōu)異性能，是其他滅火系統(tǒng)無法比擬的。經(jīng)全面的測試，無毒性.滅火時候不用屏住呼吸,氣體滅火對人體更安全。節(jié)省時間，快速無比，當貴重的財產(chǎn)面臨危險，每一秒鐘都至關(guān)重要。解除隱憂，解決后顧之憂。價格優(yōu)勢，與火災造成的財產(chǎn)與資料損失相比,氣體滅火價值是顯而易見的.每個保護區(qū)的地板下、室內(nèi)空間層及吊頂天花內(nèi)需設置噴嘴、煙感探測器和溫感探測器。為了節(jié)省投資成本，保護區(qū)之間的氣體采用共享設計，減少了滅火藥劑用量，而煙感探測器和溫感探測器則仍然保持警報的功效.所有間隔必須密閉固定，藥劑噴放時無泄漏。系統(tǒng)采用組合分配方式，當某個保護區(qū)有火情發(fā)生時，煙、溫兩路探頭把火警信號傳至氣體滅火控制盤及控制室，聲、光自動報警并按照預定模式自動延時，啟動電磁閥及方向閥,使FM—200儲氣鋼瓶噴放氣體至發(fā)生火情的保護區(qū),也可以手動放氣或進行機械緊急啟動。氣體噴放的延遲時間0—30秒可調(diào),表示系統(tǒng)狀態(tài)的所有信號都可以傳輸?shù)疆數(shù)氐臍怏w滅火控制盤或傳到消防中央控制室。鋼瓶的瓶頭閥部位設有安全閥,在超壓時可以自動泄壓,從而起到保護作用。鋼瓶的放氣啟動頭及方向閥均采用24VDC電磁閥控制，由氣體滅火控制屏給出放氣信號,啟動鋼瓶。在斷電或緊急情況下，可通過鋼瓶上的手動啟動頭施行手動啟動。手動及電動啟動方式作用在鋼瓶的瓶頭閥上，而從屬鋼瓶則用主氣瓶的壓力通過壓力啟動頭控制啟動。系統(tǒng)噴放氣體后，連接在管路系統(tǒng)上的噴氣壓力開關(guān)會給出放氣返回信號到中心控制室。防護區(qū)應以固定的封閉空間劃分,防護區(qū)內(nèi)應有疏散信道和出口，保證人員在30秒內(nèi)能撤離防護區(qū)，防護區(qū)內(nèi)的疏散信道和出口，設應急照明與疏散指示標記,防護區(qū)內(nèi)和防護區(qū)的人口處裝有火災聲、光報警器。滅火系統(tǒng)設自動控制、手動控制和機械應急操作，手動控制裝置、手動與自動轉(zhuǎn)換裝置設在防護區(qū)內(nèi)和防護區(qū)疏散出口邊便于操作的地方,機械應急操作裝置設在儲瓶間內(nèi)。防護區(qū)的門應向外開啟，并能自行關(guān)閉，疏散出口的門，必須能從防護區(qū)內(nèi)打開，滅火時應保持封閉條件，除泄壓口以外的開口以及用于該防護區(qū)的通風機和通風管道中的防火閥在噴放FM—200前應做到關(guān)閉。故防護區(qū)的門可做成裝有外開門閉門器或彈簧的門，這樣保護區(qū)可不設泄壓口，而通風機和防火閥的關(guān)閉可通過氣體滅火控制屏輸出接口達到。防護區(qū)的圍護構(gòu)件和門的耐火極限不應低于0。5小時。云存儲平臺云存儲簡介cStor云存儲系統(tǒng)是xxxx技股份有限公司自主研發(fā)的高科技產(chǎn)品，是一種軟件與硬件相結(jié)合的系統(tǒng)，其中專有技術(shù)和軟件是高附加值部分。與目前國際上知名的云存儲技術(shù)相比，具有低功耗、超高性價比、高可靠、通用、免維護的優(yōu)勢，可以廣泛應用于需要存儲大量數(shù)據(jù)的應用場合，cStor每個標準機架的最高容量可達1024TB以上,是國際最高水平的3倍，擁有成本和運營成本都僅為同類產(chǎn)品的幾分之一。cStor系列產(chǎn)品存儲機柜云存儲架構(gòu)設計存儲資源管理系統(tǒng)采用分布式的存儲機制，將數(shù)據(jù)分散存儲在多臺獨立的存儲服務器上。它采用包括卷管理服務器、元數(shù)據(jù)管理服務器（MasterServer）、數(shù)據(jù)存儲節(jié)點服務器（ChunkServer)和掛接訪問客戶端以及管理監(jiān)控中心服務器的結(jié)構(gòu)構(gòu)成虛擬統(tǒng)一的海量存儲空間。在每個服務器節(jié)點上運行存儲資源管理系統(tǒng)相應的軟件服務程序模塊，系統(tǒng)架構(gòu)框圖如下：存儲資源管理系統(tǒng)架構(gòu)圖其中，MasterServer保存系統(tǒng)的元數(shù)據(jù)，負責對整個文件系統(tǒng)的管理，MasterServer在邏輯上只有一個，但采用主備雙機鏡像的方式,保證系統(tǒng)的不間斷服務；ChunkServer負責具體的數(shù)據(jù)存儲工作，數(shù)據(jù)以文件的形式存儲在ChunkServer上,ChunkServer的個數(shù)可以有多個,它的數(shù)目直接決定了存儲系統(tǒng)的規(guī)模；掛接訪問客戶端即為服務器對外提供數(shù)據(jù)存儲和訪問服務的窗口,通常情況下，客戶端可以部署在ChunkServer上，每一個塊數(shù)據(jù)服務器，既可以作為存儲服務器同時也可以作為客戶端服務器.由一對元數(shù)據(jù)服務器及其管理的存儲服務器節(jié)點所提供的存儲空間稱為一個卷空間,不同的卷空間由卷管理服務器虛擬化統(tǒng)一管理，對外可提供統(tǒng)一的海量存儲空間。管理監(jiān)控中心提供統(tǒng)一易用的WEB配置管理監(jiān)控平臺,提供設備監(jiān)控、空間監(jiān)控、文件監(jiān)控、服務監(jiān)控、用戶認證管理、配額管理、故障告警及預警等功能，實現(xiàn)智能化管理。這種分布式系統(tǒng)最大的好處是有利于存儲系統(tǒng)的擴展和實現(xiàn)，在小規(guī)模的數(shù)據(jù)擴展時，只需要添加具體的ChunkServer即可,而不需要添加整套設備。在實現(xiàn)大規(guī)模擴展時也可方便地添加整個卷設備。管理監(jiān)控中心管理監(jiān)控中心為系統(tǒng)管理員配置和維護cStor云存儲資源管理系統(tǒng)的有效工具，充分體現(xiàn)了系統(tǒng)的可維護性。管理監(jiān)控中心提供帳戶管理、設備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。以下為部分系統(tǒng)管理界面。設備管理系統(tǒng)監(jiān)控告警信息平臺優(yōu)勢特性高度可靠存儲系統(tǒng)采用云架構(gòu),數(shù)據(jù)被分塊存儲在不同的存儲節(jié)點上，數(shù)據(jù)采用先進的1：1容錯機制進行容錯，可在任意損壞一個存儲服務器節(jié)點的情況下實現(xiàn)數(shù)據(jù)完整可靠,系統(tǒng)對外存儲訪問服務不間斷。云存儲的管理節(jié)點采用了主備雙機鏡像熱備的高可用機制，在主管理節(jié)點出現(xiàn)故障時,備管理節(jié)點自動接替主管理節(jié)點的工作，成為新的主管理節(jié)點，待故障節(jié)點修復并重啟服務后，它則成為新的備管理節(jié)點，保障系統(tǒng)的7×24小時不間斷服務.優(yōu)異性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲或讀取實際上是與各個存儲節(jié)點上并行讀寫，這樣隨著存儲節(jié)點數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，cStor采用負載均衡技術(shù)，自動均衡各服務器負載,使得各存儲節(jié)點的性能調(diào)節(jié)到最高，實現(xiàn)資源優(yōu)化配置。無限容量系統(tǒng)容量僅受限于卷管理服務器內(nèi)存，可支撐的容量接近無限，經(jīng)推算，理論容量為1024×1024×1024PB（1G個PB容量）.在線伸縮cStor云存儲資源管理系統(tǒng)擴容非常方便,支持不停止服務的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作,即實現(xiàn)擴容;同時，無需人為干預，也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點上的數(shù)據(jù)將會重新備份到其他節(jié)點上。通用易用cStor云存儲系統(tǒng)提供符合POSIX標準的通用文件系統(tǒng)接口,無論是哪種操作系統(tǒng)下的應用程序，都可以不經(jīng)修改將云存儲當成自己的海量磁盤來使用。同時,也提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由cStor管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng).通過管理平臺，可以對cStor中的所有節(jié)點實行實時監(jiān)控,用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點和磁盤的運行情況；同時也可以實現(xiàn)對文件級別的系統(tǒng)監(jiān)控,支持損壞文件的查找和修復功能。系統(tǒng)提供用戶安全認證及對不同用戶進行配額設置與權(quán)限管理功能,滿足應用的日常維護和安全管理需求.大數(shù)據(jù)實驗平臺平臺簡介大數(shù)據(jù)實驗平臺通過應用容器技術(shù)，以少量機器虛擬大量實驗集群，可供大量學生同時擁有多套集群進行Hadoop相關(guān)試驗,而每個學生的實驗環(huán)境不僅相互隔離,方便高效地完成實驗，而且實驗彼此不干擾,即使某個實驗環(huán)境被破壞，對其他人也沒有影響，一鍵重啟就可以擁有一套新集群，大幅度節(jié)省了硬件和人員管理的投入成本。大數(shù)據(jù)實驗平臺秉承“產(chǎn)、學、研、用”一體化的思路和模式,從教學、實踐、科研和使用多方面注重專業(yè)人才和特色人才的培養(yǎng).從理論與實踐雙管齊下，提升高校信息化管理水平和實驗項目研究水平,真正在產(chǎn)業(yè)、學校、科研及實踐項目中相互配合，發(fā)展優(yōu)勢，形成生產(chǎn)、學習、科學研究、實踐運用的系統(tǒng)運作模式，從而建設大數(shù)據(jù)特色專業(yè).大數(shù)據(jù)實驗平臺實物圖硬件方面大數(shù)據(jù)實驗平臺采用cServer機架式服務器,其英特爾?至強?處理器E5產(chǎn)品家族的性能比上一代提升多至80％,并具備更出色的能源效率。通過英特爾E5家族系列CPU及英特爾服務器組件，可滿足擴展I/O靈活度、最大化內(nèi)存容量、大容量存儲和冗余計算等需求。整機一體化交付，系統(tǒng)根據(jù)學校的專業(yè)人數(shù)規(guī)模進行不同規(guī)格的配置,可進行同時滿足30人、60人、150人實驗規(guī)模的選擇.軟件層面有Hadoop、HBase、Ambari、HDFS、YARN、MapReduce、ZooKeeper、Spark、Storm、Hive、Pig、Oozie、Mahout、R語言等不同的大數(shù)據(jù)應用組件供各大高校根據(jù)具體應用進行選擇實驗部署.此外，作為一個可供大量學生完成大數(shù)據(jù)與云計算實驗的集成環(huán)境，大數(shù)據(jù)實驗平臺同步提供了配套的培訓服務,對于教學組件的安裝、配置,教材、實驗手冊等具體應用提供一站式服務，有助于高校更好地滿足課程設計、課程上機實驗、實習實訓、科研訓練等多方面需求，并在一定程度上緩解大數(shù)據(jù)師資不足的問題.對于各大高校而言，即使沒有任何大數(shù)據(jù)實驗基礎(chǔ)，該平臺也能助其輕松開展大數(shù)據(jù)與云計算的教學、實驗與科研。架構(gòu)設計產(chǎn)品架構(gòu)大數(shù)據(jù)實驗平臺架構(gòu)大數(shù)據(jù)實驗平臺從軟硬件、客戶端及實驗配套教材培訓等方面考慮，針對大數(shù)據(jù)專業(yè)建設的課程體系不完善、基礎(chǔ)實驗環(huán)境薄弱、缺乏實訓項目三大難題，為各大高校量身定制的大數(shù)據(jù)軟硬件一體化的教學科研解決方案.大數(shù)據(jù)實驗平臺整體設計是基于Docker容器集群技術(shù)搭建的Hadoop實驗平臺,并針對大數(shù)據(jù)實驗的需求提供了完善的使用環(huán)境,可一鍵創(chuàng)造隨時運行的實驗環(huán)境，其中采用Mesos+ZooKeeper+Mrathon架構(gòu)管理Docker集群，Docker平臺架構(gòu)如下圖所示:Docker容器設計架構(gòu)其中，Mesos是Apache下的開源分布式資源管理框架,它被稱為是分布式系統(tǒng)的內(nèi)核；ZooKeeper用來做主節(jié)點的容錯和數(shù)據(jù)同步；Marathon則是一個Mesos框架，為部署提供RESTAPI服務,實現(xiàn)服務發(fā)現(xiàn)等功能。實驗時，系統(tǒng)預先針對大數(shù)據(jù)實驗內(nèi)容構(gòu)建一系列基于CentOS7的特定容器鏡像，通過Docker在集群主機內(nèi)構(gòu)建容器,充分利用容器資源利用率高的特點,為每個使用平臺的用戶開辟屬于自己完全隔離的Hadoop實驗環(huán)境。容器內(nèi)部，用戶完全可以像使用linux操作系統(tǒng)一樣的使用容器，并且不會被其他用戶的集群造成任何影響，僅僅使用幾臺機器，就可能虛擬出能夠支持幾十個甚至上百個用戶同時使用的隔離集群環(huán)境。Docker容器技術(shù)大數(shù)據(jù)實驗平臺最核心的部分采用Docker容器技術(shù)，Docker是一個開源的應用容器引擎,可以讓開發(fā)者可以打包他們的應用以及依賴包到一個可移植的容器中,然后發(fā)布到任何流行的_blank”虛擬化,容器是完全使用_blank”毫秒為單位的,可以在一瞬間創(chuàng)建隨時運行的實驗環(huán)境。部署簡單將應用和系統(tǒng)“容器化”,不添加額外的HYPERLINK”https：///s？wd=%E6％93%8D％E4％BD%9C%E7％B3%BB％E7％BB％9F＆tn=44039180_cpr＆fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1Y4PvDvrH99nWb4PymdnWIb0ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN—TLwGUv3EnWfsP1n3rjmLnHfvPjTkrHcY”\t”_blank”操作系統(tǒng)，和虛擬機一樣部署非常簡單，支持一鍵創(chuàng)造和銷毀實驗集群，同時實驗環(huán)境互不干擾,如果實驗環(huán)境破壞，一鍵重啟即可建立新集群安全隔離采用Mesos+ZooKeeper+Mrathon架構(gòu)管理集群，實驗集群完全隔離。輕量擁有足夠的“_blank”操作系統(tǒng)”,僅需添加或減小鏡像即可。在幾臺服務器上就可以虛擬出大量的實驗環(huán)境，供上百師生進行教學實驗工作。成本低以容器化應用作為交付的標準，立足于云，為開發(fā)者和企業(yè)提供了一個快速構(gòu)建、集成、部署、運行容器化應用的平臺,幫助高校和企業(yè)提高應用開發(fā)的迭代效率,簡化運維環(huán)節(jié)，降低運維成本。云支持可以為不計其數(shù)的云服務提供創(chuàng)建和管理Linux容器框架。Hadoop實驗平臺Hadoop架構(gòu)Hadoop可以在大數(shù)據(jù)處理應用中廣泛應用，得益于其自身在數(shù)據(jù)提取、變形和加載（ETL）方面上的天然優(yōu)勢。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲，對例如像ETL這樣的批處理操作相對合適，因為類似這樣操作的批處理結(jié)果可以直接走向存儲。Hadoop的MapReduce功能實現(xiàn)了將單個任務打碎，并將碎片任務（Map)發(fā)送到多個節(jié)點上，之后再以單個數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。Hadoop架構(gòu)圖通過上圖我們可以看出，Hadoop由許多元素構(gòu)成。其最底部是HadoopDistributedFileSystem（HDFS），它存儲Hadoop集群中所有存儲節(jié)點上的文件.HDFS（對于本文)的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。通過對Hadoop分布式計算平臺最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過程,以及數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術(shù)核心。Hadoop關(guān)鍵技術(shù)下面我們將從HDFS、MapReduce、HBase三大部分詳細介紹Hadoop的關(guān)鍵指數(shù):HDFSHDFS架構(gòu)圖對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng).可以創(chuàng)建、刪除、移動或重命名文件,等等.但是HDFS的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的(參見圖1)，這是由它自身的特點決定的。這些節(jié)點包括NameNode（僅一個）,它在HDFS內(nèi)部提供元數(shù)據(jù)服務；DataNode,它為HDFS提供存儲塊.由于僅存在一個NameNode，因此這是HDFS的一個缺點(單點失?。４鎯υ贖DFS中的文件被分成塊,然后將這些塊復制到多個計算機中（DataNode）。這與傳統(tǒng)的RAID架構(gòu)大不相同。塊的大?。ㄍǔ?4MB）和復制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標準的TCP/IP協(xié)議。MapReduceMapReduce架構(gòu)圖MapReduce主要功能如下：數(shù)據(jù)劃分和計算任務調(diào)度系統(tǒng)自動將一個作業(yè)（Job)待處理的大數(shù)據(jù)劃分為很多個數(shù)據(jù)塊,每個數(shù)據(jù)塊對應于一個計算任務(Task）,并自動調(diào)度計算節(jié)點來處理相應的數(shù)據(jù)塊。作業(yè)和任務調(diào)度功能主要負責分配和調(diào)度計算節(jié)點（Map節(jié)點或Reduce節(jié)點)，同時負責監(jiān)控這些節(jié)點的執(zhí)行狀態(tài)，并負責Map節(jié)點執(zhí)行的同步控制。數(shù)據(jù)/代碼互定位為了減少數(shù)據(jù)通信，一個基本原則是本地化數(shù)據(jù)處理，即一個計算節(jié)點盡可能處理其本地磁盤上所分布存儲的數(shù)據(jù)，這實現(xiàn)了代碼向數(shù)據(jù)的遷移；當無法進行這種本地化數(shù)據(jù)處理時，再尋找其他可用節(jié)點并將數(shù)據(jù)從網(wǎng)絡上傳送給該節(jié)點（數(shù)據(jù)向代碼遷移）,但將盡可能從數(shù)據(jù)所在的本地機架上尋找可用節(jié)點以減少通信延遲。系統(tǒng)優(yōu)化為了減少數(shù)據(jù)通信開銷，中間結(jié)果數(shù)據(jù)進入Reduce節(jié)點前會進行一定的合并處理;一個Reduce節(jié)點所處理的數(shù)據(jù)可能會來自多個Map節(jié)點,為了避免Reduce計算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點輸出的中間結(jié)果需使用一定的策略進行適當?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個Reduce節(jié)點；此外，系統(tǒng)還進行一些計算性能優(yōu)化處理，如對最慢的計算任務采用多備份執(zhí)行、選最快完成者作為結(jié)果.出錯檢測和恢復以低端商用服務器構(gòu)成的大規(guī)模MapReduce計算集群中，節(jié)點硬件（主機、磁盤、內(nèi)存等）出錯和軟件出錯是常態(tài)，因此MapReduce需要能檢測并隔離出錯節(jié)點，并調(diào)度分配新的節(jié)點接管出錯節(jié)點的計算任務.同時，系統(tǒng)還將維護數(shù)據(jù)存儲的可靠性，用多備份冗余存儲機制提高數(shù)據(jù)存儲的可靠性,并能及時檢測和恢復出錯的數(shù)據(jù)。HBaseHBace架構(gòu)圖HBase即HadoopDatabase,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群.上圖描述HadoopEcoSystem中的各層系統(tǒng).其中,HBase位于結(jié)構(gòu)化存儲層，HadoopHDFS為HBase提供了高可靠性的底層存儲支持,HadoopMapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩(wěn)定服務和failover機制。此外,Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數(shù)據(jù)統(tǒng)計處理變的非常簡單。Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導入功能,使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便.Hadoop優(yōu)勢Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應用程序。它主要有以下幾個優(yōu)點：高可靠性：按位存儲和處理數(shù)據(jù)的能力值得人們信賴。高擴展性:在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務的,這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。高效性：能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非常快.高容錯性：能夠自動保存數(shù)據(jù)的多個副本,并且能夠自動將失敗的任務重新分配。低成本：與一體機、商用數(shù)據(jù)倉庫以及QlikView、YonghongZ-Suite等數(shù)據(jù)集市相比，Hadoop是開源的,項目的軟件成本因此會大大降低。主要功能介紹登錄界面大數(shù)據(jù)實驗平臺登錄首頁,輸入大數(shù)據(jù)實驗平臺訪問地址，輸入相應賬號與密碼，點擊登錄即可.賬號管理系統(tǒng)管理員和教師角色登錄后，可以看到用戶賬戶管理界面。系統(tǒng)管理員用戶可以在該界面中查看或修改所有的教師和學生用戶信息,并可以注冊或銷毀教師或?qū)W生用戶賬戶;教師用戶可以在該界面中查看或修改自己建立的所有學生用戶信息，并可以注冊或銷毀自己的學生用戶賬戶。實驗管理此處的集群管理包含“開始實驗”和“終止實驗”，由于xxxxx據(jù)實驗平臺采用“Docker”技術(shù)，因此能夠在幾乎不占用系統(tǒng)資源情況下,實現(xiàn)大量機器快速創(chuàng)建與銷毀，不必擔心資源消耗高、啟動銷毀慢、管理維護難等問題.（1）開始實驗當需要開始實驗時，直接點擊實驗界面對應實驗面板上的啟動按鈕即可，后臺會快速為用戶新建五臺能夠支撐該實驗的預裝CentOS7操作系統(tǒng)的機器，并配置好各自的主機名和IP地址等。（2）終止實驗若實驗過程中，由于命令敲錯等各種原因?qū)е录簾o法使用，可在實驗頁面中隨時終止您的實驗進程，銷毀失效的集群，之后再重新啟動該實驗,創(chuàng)建新的集群.資源管理系統(tǒng)具備資源監(jiān)控管理功能，可實時展示系統(tǒng)內(nèi)的集群使用情況、人數(shù)上限和當前使用量情況,通過對實驗平臺狀態(tài)的監(jiān)控,以實現(xiàn)對資源的不斷優(yōu)化.學習資料大數(shù)據(jù)實驗平臺提供實驗所需的學習資料,學生在做實驗的同時可查看和下載每個實驗步驟的操作手冊及大數(shù)據(jù)教材配套PPT。我的報告學生通過我的報告查看自己所做的每個實驗過程及最終得分.相關(guān)下載大數(shù)據(jù)實驗平臺的相關(guān)下載界面提供了實驗所需的軟件及插件的下載，為避免軟件版本不同導致實驗環(huán)境配置錯誤，請盡量下載和使用此處指定的軟件版本與插件.配套資源作為一個可供大量學生完成大數(shù)據(jù)與云計算實驗的集成環(huán)境,該平臺同步提供了配套的培訓服務，對于教學組件的安裝、配置,教材、實驗手冊等具體應用提供一站式服務，有助于高校更好地滿足課程設計、課程上機實驗、實習實訓、科研訓練等多方面需求，并在一定程度上緩解大數(shù)據(jù)師資不足的問題.對于各大高校而言，即使沒有任何大數(shù)據(jù)實驗基礎(chǔ)，該平臺也能助其輕松開展大數(shù)據(jù)與云計算的教學、實驗與科研。具體資源如下：內(nèi)容充實的課程體系在《實戰(zhàn)Hadoop2。0—-從云計算到大數(shù)據(jù)》和實驗手冊的指導之下，大數(shù)據(jù)實驗平臺解決方案涵蓋大數(shù)據(jù)算法、接口、工具、平臺等多方面內(nèi)容，從大數(shù)據(jù)監(jiān)測與收集、大數(shù)據(jù)存儲與處理、大數(shù)據(jù)分析與挖掘直至大數(shù)據(jù)創(chuàng)新，幫助高校構(gòu)建完善的大數(shù)據(jù)課程體系.課程體系多元化的大數(shù)據(jù)資源包大數(shù)據(jù)系列教材《實戰(zhàn)Hadoop2。0》：國內(nèi)第一本Hadoop編程書籍的升級版-—《實戰(zhàn)Hadoop2.0》及其配套PPT（國內(nèi)知名云計算專家、中國信息協(xié)會大數(shù)據(jù)分會副會長劉鵬傾力打造）實戰(zhàn)Hadoop2.0在此之前,劉鵬教授帶領(lǐng)編著團隊,相繼出版了《云計算》、《大數(shù)據(jù)》(《云計算》已經(jīng)被全國高校采用，其被引用量排名全國計算機圖書第一名），并在教材之外,輔助提供相應的教學計劃、課件、實驗規(guī)劃等.同時,xxxx數(shù)據(jù)團隊聯(lián)合全國各高校老師，為本科和高職院校分別準備了《大數(shù)據(jù)可視化》、《深度學習》、《數(shù)據(jù)挖掘》、《虛擬化與容器》以及《R語言》、《大數(shù)據(jù)基礎(chǔ)》、《大數(shù)據(jù)實踐》、《大數(shù)據(jù)系統(tǒng)運維》、《數(shù)據(jù)清洗》、《數(shù)據(jù)挖掘基礎(chǔ)》、《云計算基礎(chǔ)》兩個系列教材,目前已經(jīng)陸續(xù)進入定稿出版階段.綜合85個大數(shù)據(jù)實驗的實驗手冊及配套高清視頻課程：涵蓋原理驗證、綜合應用、自主設計及創(chuàng)新的多層次實驗內(nèi)容，每個實驗呈現(xiàn)詳細的實驗目的、實驗內(nèi)容、實驗原理和實驗流程指導，配套相應的實驗數(shù)據(jù)和高清視頻課程，參照手冊即可輕松完成每個實驗.實驗手冊大綱網(wǎng)站資源：國內(nèi)專業(yè)領(lǐng)域排名第一的網(wǎng)站——中國大數(shù)據(jù)、中國云計算、中國存儲、中國物聯(lián)網(wǎng)、中國智慧城市等提供全線支持，一網(wǎng)打盡各類優(yōu)質(zhì)資源。實驗數(shù)據(jù)提供基于大數(shù)據(jù)實驗需求，與大數(shù)據(jù)實驗平臺配套提供的還有各種實驗數(shù)據(jù),其中不僅包含共用的公有數(shù)據(jù)，每一套大數(shù)據(jù)組件也有自己的實驗數(shù)據(jù)，種類豐富，應用性強.實驗數(shù)據(jù)將做打包處理，不同的實驗將搭配不同的數(shù)據(jù)與實驗工具，解決實驗數(shù)據(jù)短缺的困擾，在實驗環(huán)境與實驗手冊的基礎(chǔ)上，做到有設備就能實驗,有數(shù)據(jù)就會實驗。專業(yè)培訓培訓簡介眾所周知，大數(shù)據(jù)迎來黃金發(fā)展期,面對百萬級的大數(shù)據(jù)人才缺口,大數(shù)據(jù)專業(yè)建設早已提上日程.然而，大數(shù)據(jù)專業(yè)的人才培養(yǎng)計劃、課程體系直至師資力量等還處于試錯階段,各高校老師對于相關(guān)專業(yè)的開展仍然處于茫然狀態(tài)。為此，xx大數(shù)據(jù)提供以理論+實戰(zhàn)的培訓形式,為各大高校提供師資力量培訓。xxx大數(shù)據(jù)提供的大數(shù)據(jù)專業(yè)師資力量培訓由金陵科技學院與江蘇省云計算論壇共同主辦，英特爾(中國）公司與電子工業(yè)出版社協(xié)辦，培訓由清華大學博士、中國信息協(xié)會大數(shù)據(jù)分會副會長劉鵬教授傾情授課，致力于用高效的辦法，在幾天內(nèi)為各大高校免費培養(yǎng)一大批大數(shù)據(jù)師資力量,幫助全國教師對大數(shù)據(jù)跨過從理論到實踐、從知道到用過的門檻。往期培訓介紹曹騮博士深度學習培訓平臺優(yōu)勢特性沙箱機制xx數(shù)據(jù)實驗平臺采用Docker容器技術(shù),容器之間采用沙箱機制，相互之間沒有任何接口,因此通過大數(shù)據(jù)實驗平臺創(chuàng)造出的實驗環(huán)境是相互隔離的，即使由于部分學生的誤操作導致實驗環(huán)境被破壞，也不會影響到其他同學的實驗,一鍵重啟就可以擁有新的集群。Docker統(tǒng)一平臺示意圖快速部署xx大數(shù)據(jù)實驗平臺可快速部署實驗環(huán)境，支持一鍵創(chuàng)建和銷毀實驗集群，可在一瞬間創(chuàng)建出供大量學生同時實驗的實驗環(huán)境，同時實驗環(huán)境可快速銷毀和重建，可供老師簡單便捷的進行大數(shù)據(jù)實驗和教學工作，無需花大量時間進行每個學生的實驗環(huán)境部署工作，大幅度的節(jié)省人員管理維護成本.一鍵創(chuàng)建和銷毀實驗集群多機實驗環(huán)境系統(tǒng)采用分布式集群架構(gòu),多節(jié)點冗余架構(gòu)設計，可面向大數(shù)據(jù)的分布式系統(tǒng),為每個學生提供多機實驗環(huán)境，整個系統(tǒng)理論支持用戶數(shù)量無上限,可為每個學生分配5套實驗虛擬集群，可滿足大量學生同時進行多個實驗，并進行各實驗的相互對比學習。資源最大化利用大數(shù)據(jù)實驗平臺通過對Docker容器技術(shù)的深度應用，可將服務器資源的利用率發(fā)揮到最大，通過幾臺服務器便可構(gòu)建出可供上百學生同時實驗的實驗平臺，大幅度的節(jié)省了硬件投入成本.快速高效易擴展大數(shù)據(jù)實驗平臺采用分布式架構(gòu)，支持性能橫向擴展，只需增加節(jié)點服務器即可實現(xiàn)同時上機人數(shù)的擴容，同時也可以通過減少節(jié)點服務來減少同時上機人數(shù)，以實現(xiàn)設備的最高效利用。低運維成本xx數(shù)據(jù)實驗平臺可實現(xiàn)大數(shù)據(jù)實驗集群的秒級創(chuàng)建、銷毀，學生在校期間可獨享自己的多個大數(shù)據(jù)集群；實驗環(huán)境損壞只需銷毀重建即可,無需專人維護,大數(shù)據(jù)實驗平臺只需幾臺服務就可以構(gòu)建，設備運維成本很低。教學體系完善xxx數(shù)據(jù)實驗平臺不僅提供可供上百學生同時實驗的教學平臺,還提供了國內(nèi)第一本Hadoop編程書籍的升級版——《實戰(zhàn)Hadoop2.0》及其配套PPT(國內(nèi)知名云計算專家、中國信息協(xié)會大數(shù)據(jù)分會副會長劉鵬傾力打造），以及實驗相關(guān)的實驗手冊，同時可提供實驗所需的大數(shù)據(jù)資源和企業(yè)實訓項目，幫助高校打造完善的大數(shù)據(jù)教學體系。主要實驗介紹快速搭建大數(shù)據(jù)實驗環(huán)境大數(shù)據(jù)實驗平臺采用Docker容器技術(shù),通過少量機器虛擬出成百上千的Hadoop、HBase、Spark、Storm、HDFS等實驗集群,可快速同時為每個學生提供多套集群進行實驗，搭建可供大量學生完成所有大數(shù)據(jù)實驗的集成環(huán)境。例如，60個學生同時在線做大數(shù)據(jù)實驗，只需要小規(guī)模機器（11臺）就可以同時為每個學生提供至少5套集群，每個學生的實驗環(huán)境不僅相互隔離、彼此互不干擾,即使某個學生的實驗環(huán)境出現(xiàn)問題,對其他人也沒有影響，只需要重啟就可以重新?lián)碛幸惶仔录?。因此在我校中心機房部署的大數(shù)據(jù)實驗平臺可以快速給全校各個院系的學生進行大數(shù)據(jù)的實驗,同時各學科數(shù)據(jù)還可根據(jù)自己的需要導入實驗數(shù)據(jù)進行實驗、分析，大數(shù)據(jù)實驗平臺同時可提供外網(wǎng)地址,可提供校外機構(gòu)使用，滿足全校師生的教學需求。HDFS部署實驗HDFS是一種可在通用硬件上運行的分布式文件系統(tǒng)，具備高容錯性和支持廉價部署等特點,非常適合大規(guī)模數(shù)據(jù)集上的應用，是大數(shù)據(jù)實驗非常重要的一環(huán)。通過HDFS部署的實驗可以讓學生了解和熟悉HDFS,從而實現(xiàn)以下幾點目的:理解HDFS存在的原因理解HDFS體系架構(gòu)理解master/slave架構(gòu)理解為何配置文件里只需指定主服務、無需指定從服務理解為何需要客戶端節(jié)點學會逐一啟動HDFS和統(tǒng)一啟動HDFS學會在HDFS存儲器里新建文件夾，新建文件HDFS相關(guān)的實驗如下圖所示：HDFS實驗過程YARN部署實驗ApacheHadoopYARN(YetAnotherResourceNegotiator，另一種資源協(xié)調(diào)者）是一種新的Hadoop資源管理器,它是一個通用資源管理系統(tǒng)，可為上層應用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。YARN部署實驗，主要分為配置YARN配置文件、統(tǒng)一啟動YRAN、驗證YARN啟動成功和提交簡單的任務。通過實驗可讓學生學會如何搭建YARN分布式集群，并能夠使用YARN集群提交一些簡單的任務，理解YARN作為Hadoop生態(tài)中的資源管理器的意義。YARN部署實驗過程如下圖所示：YARN啟動任務提交實驗終端過程顯示MapReduce實驗MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB)的并行運算.概念”Map（映射）"和”Reduce（歸約)”，是它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性.它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在HYPERLINK”http：///view/991489。htm"\t”_blank”分布式系統(tǒng)上。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（歸約）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce實驗主要分為單詞計數(shù)、二次排序、計數(shù)器、join操作和分布式緩存5個實驗，具體如下:單詞計數(shù)實驗通過實驗可實現(xiàn)以下目的:理解MapReduce編程思想會編寫MapReduce版本W(wǎng)ordCount會執(zhí)行該程序自行分析執(zhí)行過程本實驗主要分為，確認前期準備，編寫MapReduce程序，打包提交代碼。查看運行結(jié)果這幾個步驟，詳細如下:啟動Hadoop執(zhí)行命令啟動前面實驗部署好的Hadoop系統(tǒng)。［root＠m(xù)aster～］＃cd/usr/cstor/hadoop/［root＠m(xù)asterhadoop]#sbin/start—all。sh驗證HDFS上目前沒有生成wordcount的文件夾［root@client~］#cd/usr/local/hadoop/［root＠clienthadoop]#bin/hadoopfs—ls/＃查看HDFS上根目錄文件/此時HDFS上應該是沒有wordcount文件夾。上傳數(shù)據(jù)文件到HDFS[root@client～]＃cd/usr/local/hadoop/[root＠clienthadoop］#bin/hadoopfs-put/root/data/5/word/編寫MapReduce程序主要編寫Map和Reduce類，其中Map過程需要繼承org。apache.hadoop。mapreduce包中Mapper類，并重寫其map方法;Reduce過程需要繼承org.apache。hadoop。mapreduce包中Reduce類,并重寫其reduce方法。importorg。apache。hadoop。conf。Configuration;importorg.apache。hadoop.fs。Path；importorg。apache。hadoop。io。IntWritable；importorg.apache。hadoop。io。Text;importorg。apache。hadoop。mapreduce。Job；importorg.apache.hadoop。mapreduce。Mapper；importorg。apache。hadoop。mapreduce.Reducer；importorg。apache。hadoop。mapreduce。lib.input。TextInputFormat；使用Eclipse開發(fā)工具將該代碼打包假定打包后的文件名為hdpAction.jar,主類WordCount位于包njupt下,則可使用如下命令向YARN集群提交本應用.[root＠client～]#。/yarnjarhdpAction.jarnjupt。WordCount/word/wordcount其中“yarn”為命令，“jar”為命令參數(shù)，后面緊跟打包后的代碼地址,“njupt”為包名,“WordCount"為主類名，“/word”為輸入文件在HDFS中的位置，/wordcount為輸出文件在HDFS中的位置。程序運行成功二次排序通過實驗可實現(xiàn)以下目的：基于MapReduce思想，編寫SecondarySort程序。查看二次排序后結(jié)果。MR默認會對鍵進行排序，然而有的時候我們也有對值進行排序的需求.滿足這種需求一是可以在reduce階段排序收集過來的values，但是，如果有數(shù)量巨大的values可能就會導致內(nèi)存溢出等問題，這就是二次排序應用的場景——將對值的排序也安排到MR計算過程之中，而不是單獨來做.二次排序就是首先按照第一字段排序，然后再對第一字段相同的行按照第二字段排序,注意不能破壞第一次排序的結(jié)果。通過代碼編寫實驗結(jié)果如下：輸入數(shù)據(jù)輸入數(shù)據(jù)如下：secsortdata.txt（’/t'分割）(數(shù)據(jù)放在/root/data/6目錄下)7444399997333422377777555366666038888411輸出顯示在client上執(zhí)行對hdfs上的文件/user/mapreduce/secsort/out/part—r—00000內(nèi)容查看的操作［root＠clienthadoop]#bin/hadoopfs-cat/user/mapreduce/secsort/out/p＊如果屏幕上顯示如下：計數(shù)器通過實驗可實現(xiàn)以下目的：基于MapReduce思想，編寫計數(shù)器程序?；贛apReduce思想,能執(zhí)行計數(shù)器程序和分析執(zhí)行過程。通過代碼編寫和執(zhí)行實驗結(jié)果如下：輸入數(shù)據(jù)輸入數(shù)據(jù)如下:counters。txt(/t分割）（數(shù)據(jù)放在/root/data/7目錄下）輸出顯示屏幕上將會輸出如下信息:join操作通過實驗可實現(xiàn)以下目的：基于MapReduce思想,編寫兩文件join操作的程序?；贛apReduce思想，能執(zhí)行join程序和分析執(zhí)行過程。通過代碼編寫和執(zhí)行實驗結(jié)果如下:輸入數(shù)據(jù)輸入數(shù)據(jù)如下:data。txt(數(shù)據(jù)放在/root/data/8目錄下）:輸入數(shù)據(jù)如下：info。txt(數(shù)據(jù)放在/root/data/8目錄下)：輸出顯示在client上執(zhí)行對hdfs上的文件/user/mapreduce/MRjoin/out/part-r—00000內(nèi)容查看的操作：分布式緩存通過實驗可實現(xiàn)以下目的:理解序列號與反序列化熟悉Configuration類學會使用Configuration類進行參數(shù)傳遞傳遞；學會在Map或Reduce階段引用Configuration傳來的參數(shù)；理解分布式緩存“加載小表、掃描大表”的處理思想通過實驗將一個大為100G的大表big。txt和一個大小為1M的小表small。txt，通過MapReduce思想編程實現(xiàn)判斷小表中單詞在大表中出現(xiàn)次數(shù)。準備數(shù)據(jù)登錄client機，使用“vi"命令新建文件“/root/big.txt”,接著在該文件里寫入“aaa至zzz”，新建好后，使用cat命令確認文件內(nèi)容：上傳數(shù)據(jù)接著，使用命令將client機本地文件“/root/big。txt"和“/root/small。txt”上傳至HDFS的“/user/root/mr/in"目錄:通過編寫和執(zhí)行代碼實現(xiàn)以下實驗結(jié)果:Hive實驗Hive是基于Hadoop的一個HYPERLINK”/view/19711。htm”\t”_blank"數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能,可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。其優(yōu)點是學習成本低,可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用,十分適合_blank”數(shù)據(jù)倉庫的統(tǒng)計分析.HIVE實驗分為部署Hive、新建Hive表