個(gè)人的認(rèn)證官方和考試體系及證書有效期hcie0學(xué)習(xí)參考包it部分hcnp-storage v3.0cbds

1、大數(shù)據(jù)早已成為當(dāng)前最熱門的話題，各個(gè)廠家紛紛推出自己的大數(shù)據(jù)產(chǎn)品，到底什么是大數(shù)據(jù)，各個(gè)領(lǐng)域的根據(jù)自己行業(yè)的應(yīng)用給出了不同的看法。未來(lái)企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己和了解客戶企業(yè)已經(jīng)從依靠自身做判斷向通過(guò)數(shù)據(jù)做判斷轉(zhuǎn)變- 某知名互聯(lián)網(wǎng)企業(yè)CEO傳統(tǒng)的基于集中式或者小規(guī)模分布式和并行系統(tǒng)大數(shù)據(jù)的計(jì)算需求，彈性的計(jì)算能力是大數(shù)據(jù)定義的重要維度，某云服務(wù)提供商對(duì)于運(yùn)營(yíng)商來(lái)說(shuō)，這個(gè)“大數(shù)據(jù)”主要就是指大量的用戶產(chǎn)生的行為數(shù)據(jù)- 某通信商5Volume：非結(jié)構(gòu)化數(shù)據(jù)超大規(guī)模和快速增長(zhǎng)，總量占到總數(shù)據(jù)量80%-90%，比結(jié)構(gòu)化數(shù)據(jù)快10-50倍，是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10-50倍。Variety：大數(shù)據(jù)

2、的異構(gòu)多樣性（數(shù)據(jù)來(lái)源多 結(jié)構(gòu)化 非結(jié)構(gòu)化 半結(jié)構(gòu)化），數(shù)據(jù)種類的多樣性（文本 語(yǔ)音法和定義。圖像等），數(shù)據(jù)排列無(wú)固定模式或模式不明顯，不連貫的語(yǔ)Value：大量不相關(guān)信息，對(duì)未來(lái)趨勢(shì)和模式可能）。（咨詢?nèi)斯ぶ悄躒S商務(wù)智Velocity：數(shù)據(jù)實(shí)時(shí)分析而非批量分析，立刻出結(jié)果而非事后見(jiàn)效。6現(xiàn)有所謂的技術(shù)模型已經(jīng)很難滿足大數(shù)據(jù)處理和分析的要求，作為數(shù)據(jù)的處理流程環(huán)節(jié)，計(jì)算網(wǎng)絡(luò) 數(shù)據(jù)庫(kù)的的等都會(huì)成為新的瓶頸需要新技術(shù)來(lái)匹配。大數(shù)據(jù)時(shí)代：計(jì)算：向集群化發(fā)展：塊設(shè)備和文件設(shè)備都向橫向擴(kuò)展 虛擬化以及提供豐富的軟件對(duì)外接口發(fā)展，但文件橫向擴(kuò)展能力要更高，硬件設(shè)備通常會(huì)擴(kuò)展到百節(jié)點(diǎn)以上，文件系統(tǒng)由本地文

3、件系統(tǒng)向集群文件系統(tǒng)和分布式文件系統(tǒng)發(fā)展網(wǎng)絡(luò)：無(wú)論是網(wǎng)間還是網(wǎng)內(nèi)都開始向更高速，協(xié)議開銷更低，更有效的方向發(fā)展數(shù)據(jù)庫(kù)：由關(guān)系型數(shù)據(jù)庫(kù)向分布式數(shù)據(jù)庫(kù)以及非關(guān)系型數(shù)據(jù)發(fā)展（內(nèi)存性數(shù)據(jù)庫(kù)）這些技術(shù)數(shù)據(jù)庫(kù)中出現(xiàn)了新的機(jī)會(huì)點(diǎn)：關(guān)系型數(shù)據(jù)庫(kù)非關(guān)系型數(shù)據(jù)庫(kù)-混合型數(shù)據(jù)庫(kù)文件系統(tǒng)的：本地文件系統(tǒng)-集群文件系統(tǒng)-分布式文件系統(tǒng)跟隨的技術(shù)廠家通過(guò)大數(shù)據(jù)領(lǐng)域的看到了新的機(jī)會(huì)（這種新技術(shù)的使用上大家起步差不多） 想進(jìn)行，成為新技術(shù)的倡導(dǎo)者 ，技術(shù)廠家有動(dòng)力。810數(shù)據(jù)分析師:傳統(tǒng)分析方法大數(shù)據(jù)的海量數(shù)據(jù)分析的及時(shí)性、效率和實(shí)時(shí)應(yīng)用當(dāng)前技能要求高，需要業(yè)務(wù)驅(qū)動(dòng)的一站式甚至one-Click的閉環(huán)解決方案數(shù)據(jù)集成工快速加

4、載，數(shù)據(jù)加載速度始終是瓶頸數(shù)據(jù)整理復(fù)雜，工作量占大數(shù)據(jù)項(xiàng)目的70如何管理數(shù)據(jù)資產(chǎn)和質(zhì)量運(yùn)維工快速上線：易安裝部署，升級(jí)和配置低成本：可靠、安全、問(wèn)題快速定位/恢復(fù)主動(dòng)運(yùn)維：主動(dòng)進(jìn)行健康/風(fēng)險(xiǎn)/效率開發(fā)工快速上手、高效開發(fā)&DevOps典型場(chǎng)景最好免代碼開發(fā)分析無(wú)縫集成到已有系統(tǒng)和支撐移動(dòng)互聯(lián)網(wǎng)應(yīng)用環(huán)境1119世紀(jì)以來(lái)，當(dāng)大量數(shù)據(jù)時(shí)，社會(huì)都依賴于采樣分析。但是采樣分析是信息缺乏時(shí)代和信息流通受限制的模擬數(shù)據(jù)時(shí)代的產(chǎn)物。以前通常把這看成是理所當(dāng)然的限制，但高性能數(shù)字技術(shù)的流行讓圍相比，使用一切數(shù)據(jù)為，這其實(shí)是一種人為的限制。與局限在小數(shù)據(jù)范帶來(lái)了更高的精確性，也讓看到了一些以前無(wú)法發(fā)現(xiàn)的細(xì)節(jié)大數(shù)據(jù)

5、讓更清楚地看到了樣本無(wú)法揭示的細(xì)節(jié)信息。以前因?yàn)樾枰治龅臄?shù)據(jù)很少，所以須盡可能精準(zhǔn)地量化的。在某些方面，已經(jīng)了差別。例如，一個(gè)小商店在晚上打烊的時(shí)候要把收銀臺(tái)里的每分錢都數(shù)清楚，但是不會(huì)、也不可能用“分”這個(gè)去精確度量國(guó)民生產(chǎn)總值。隨著規(guī)模的擴(kuò)大，對(duì)精確度的癡迷將減弱。達(dá)到精確需要有專業(yè)的數(shù)據(jù)庫(kù)。針對(duì)小數(shù)據(jù)量和特定事情，追求精確性依然是可行的，比如一個(gè)人的賬戶上是否有足夠的錢開具支票。但是，在這個(gè)大數(shù)據(jù)時(shí)代，很多時(shí)候，追求精確度已經(jīng)變得不可行，甚至不受歡迎了。當(dāng)擁有海量即時(shí)數(shù)據(jù)時(shí)，絕對(duì)的精準(zhǔn)不再是追求的主要目標(biāo)。尋找因果關(guān)系是人類長(zhǎng)久以來(lái)的。即使確定因果關(guān)系很而且用途不大，人類還是性地尋找緣

6、由。相反，在大數(shù)據(jù)時(shí)代，無(wú)須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系，這會(huì)給提供非常新穎且有價(jià)值的觀點(diǎn)。相關(guān)關(guān)系也許不能準(zhǔn)確地告知者將來(lái)會(huì)發(fā)生。某件事情為何會(huì)發(fā)生，但是它會(huì)提醒這件事情正在發(fā)生，或12在講大數(shù)據(jù)支撐技術(shù)前，先同過(guò)簡(jiǎn)單的圖表形式來(lái)介紹下大數(shù)據(jù)的一些概念，便于大家理解，這里通過(guò)河流的船運(yùn)來(lái)描述數(shù)據(jù)和大數(shù)據(jù)的技術(shù)變化當(dāng)數(shù)據(jù)量變大只能通過(guò)升級(jí)船的大小來(lái)解決（升級(jí)CPU,內(nèi)存，磁盤容量）但受限于硬件本身這種方式升級(jí)已達(dá)到極限，就像河流里的船一樣水深是一定的，船太大就托底了。所以它的升級(jí)是有限的。它的充分利用了擴(kuò)展性即充分利用河流的寬度，并發(fā)的進(jìn)行處理，它不在是以往那種部件擴(kuò)

7、展（CPU 內(nèi)存等）而是組件級(jí)的擴(kuò)展它的擴(kuò)展性更靈活，承載能力更大，但是需要更強(qiáng)的調(diào)度和協(xié)調(diào)能力，也就是管理上變得復(fù)雜了，當(dāng)然這個(gè)復(fù)雜不是對(duì)外的而是指對(duì)編寫程序的復(fù)雜度和代碼的效率要求更高了。河流：分布式文件系統(tǒng)，決定河流的最大利用率，這條河流上同時(shí)可以并發(fā)跑多少條船，跑什么船即橫向擴(kuò)展能力。系統(tǒng)，決定數(shù)據(jù)的運(yùn)載能力和處理速度。不同的船型，功能上會(huì)有較大的差異（數(shù)據(jù)的保護(hù)級(jí)別，處理性能，增值特性等）數(shù)據(jù)做了粗加工處理，然后傳遞給分析工具。在大數(shù)據(jù)的特征中4V介紹了其中一個(gè)V VALUE 價(jià)值密度，這個(gè)價(jià)值密度是指數(shù)據(jù)的價(jià)值比例，有些數(shù)據(jù)價(jià)值密度會(huì)低一些，但看每一條感覺(jué)用處都不大，需要從大量的低

8、價(jià)值數(shù)據(jù)中整合分析獲得高價(jià)值的結(jié)果（比如互聯(lián)網(wǎng)數(shù)據(jù)），但是對(duì)于企業(yè)的一些數(shù)據(jù)，尤其是數(shù)據(jù)庫(kù)形成的數(shù)據(jù) 它的每一條都恨重要，針對(duì)這些不同類型的大數(shù)據(jù)，他會(huì)采用不同的處理。看到對(duì)不同價(jià)值數(shù)據(jù)處理會(huì)有不同處理方式，那它不僅體現(xiàn)在選擇上（船），在數(shù)據(jù)管理上也會(huì)有所不同，有些數(shù)據(jù)在加載過(guò)程中不做任何處理，直接傳遞給分析工具，由分析工具進(jìn)行那么分析工具據(jù)需要承擔(dān)大量的數(shù)據(jù)篩選工作。數(shù)據(jù)在運(yùn)載過(guò)程中做了分門別類的整理細(xì)加工處理，然后傳遞給分析工具，分析工具直接導(dǎo)入數(shù)據(jù)，給出結(jié)果，分析工具不要承擔(dān)額外的消耗。專心做分析。計(jì)世資訊認(rèn)為：2011年是數(shù)據(jù)市場(chǎng)元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)大數(shù)據(jù)應(yīng)用案例的產(chǎn)

9、生2012-2016年將迎來(lái)大數(shù)據(jù)市場(chǎng)的飛速發(fā)展。計(jì)世資訊模逼近百億。：2012年數(shù)據(jù)市場(chǎng)將迎來(lái)增速為138.3的飛躍到2016年整個(gè)市場(chǎng)規(guī)2012年、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額為138.3的飛躍到2016年整個(gè)市場(chǎng)規(guī)模逼近百億。由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間非?？捎^。20B2C的故事：的一位母親最近總是收到一家電子商務(wù)的廠家寄來(lái)的產(chǎn)品目錄，目錄的內(nèi)容都是針對(duì)孕婦需求的產(chǎn)品，這位單身母親只有一個(gè)未成年的女兒，她本身也沒(méi)有懷孕，氣憤的母親于是把這家電子商務(wù)廠家告到了，結(jié)果是這位母親的孩子懷孕了，原因是她最近一段時(shí)間經(jīng)常在電子商務(wù)中瀏覽一些懷

10、孕婦女經(jīng)常使用的產(chǎn)品和書籍，這些上網(wǎng)的行為孕婦女（但沒(méi)能判斷數(shù)據(jù)被傳到了，經(jīng)過(guò)分析后，判斷其為一位懷），才會(huì)定期向她推送相關(guān)的懷孕婦女使用的一些產(chǎn)品，這就是大數(shù)據(jù)分析的一種應(yīng)用。業(yè)務(wù)推送：運(yùn)營(yíng)商會(huì)通常會(huì)給用戶推送一些增值業(yè)務(wù)或者套餐，那么他們根據(jù)什么來(lái)進(jìn)行推送服務(wù)的呢，其實(shí)它是通過(guò)你打的時(shí)長(zhǎng)（長(zhǎng)話多，還是短話多，還是多），所處的地理位置（國(guó)內(nèi)漫游 國(guó)際漫游 市話），通過(guò)一年或半年的數(shù)據(jù)積累來(lái)判斷你是商務(wù)還是普通工人還是公司白領(lǐng)根據(jù)你的打的來(lái)給出相對(duì)你比較合適的套餐服務(wù)或者增值服務(wù)。傳統(tǒng)業(yè)務(wù)：語(yǔ)音業(yè)務(wù)的數(shù)據(jù)分析挖掘以及行為分析后的推送服務(wù)。新務(wù)：通過(guò)免費(fèi)的云服務(wù)進(jìn)行事件和。信貸業(yè)務(wù)：面向淘寶或者

11、阿里巴巴等普通會(huì)員全面放開，不用提交任何擔(dān)保、抵押，只需憑借企業(yè)的信用資源就可以“微貸”。“微貸”通過(guò)網(wǎng)絡(luò)低成本廣泛客戶的各類數(shù)據(jù)信息，分析挖掘的數(shù)據(jù)，判斷客戶資質(zhì)，用戶可以24小時(shí)隨用隨借、隨借隨還。商務(wù)上的每一筆交易，建行都有并且能偽，可作為客戶授信評(píng)級(jí)的重要依據(jù)。對(duì)消費(fèi)者行為的分析，比如點(diǎn)擊量、跨點(diǎn)擊，訂單流轉(zhuǎn)量甚至聊天信息的收集和分析。未來(lái)互聯(lián)網(wǎng)金融模式下資源配置的特點(diǎn)是：供需信息直接在網(wǎng)上發(fā)布并匹配，供需雙方甚至不需依據(jù)。、券商或交易所等中介，直接匹配完成信評(píng)級(jí)的重要2008年引入數(shù)據(jù)挖掘，高頻率快速分析用電數(shù)據(jù)實(shí)現(xiàn)分時(shí)動(dòng)態(tài)定價(jià)，準(zhǔn)確電荷預(yù)測(cè)，精準(zhǔn)財(cái)務(wù)績(jī)效45%，客戶滿意度上升97%

12、，企業(yè)用電成本下降30%。大數(shù)據(jù)在智能電網(wǎng)應(yīng)用廣泛（涉及發(fā)電、調(diào)度、用電、企業(yè)決策）等將使每年能耗降低10%每年節(jié)省800億新建電廠的費(fèi)用。技術(shù)：把帶，攝像機(jī)，傳輸?shù)榷嗤緩降囊舻?管理系統(tǒng)-輸出為兩路晰及低清晰度素材。及網(wǎng)絡(luò)技術(shù)：采用FC+GE網(wǎng)絡(luò)及高性能。管理技術(shù)：如何安排，近線，離線素材。編碼技術(shù)：什么樣的編碼技術(shù)，能在保證質(zhì)量的前提下壓縮到最小，節(jié)省空間。實(shí)效性：發(fā)生具有時(shí)間、空間的不確定性，但需要在案發(fā)第一時(shí)間在最短時(shí)間內(nèi)對(duì)跨時(shí)間和區(qū)域的海量進(jìn)行處理，這對(duì)分析設(shè)備分析處理能力、設(shè)備的部署方式提出了。準(zhǔn)確性：提高準(zhǔn)確性，降低虛警率，這需要行大量的樣本學(xué)習(xí)和訓(xùn)練，廣泛的案事件的案事件樣本庫(kù)

13、和警務(wù)知識(shí)庫(kù)，需要進(jìn)信息的積累。開放性：查詢的及其結(jié)果應(yīng)能在大范圍內(nèi)共享，便于大案要案的串并案分析和挖掘。專業(yè)性：各級(jí)機(jī)關(guān)受制于財(cái)力和資源的限制，分析工具難以全部具備，精通分析工具的專業(yè)的數(shù)量不能滿足大案要案的需要。大數(shù)據(jù)的應(yīng)用不是取代現(xiàn)有的用戶系統(tǒng)，最終是對(duì)用戶原有系統(tǒng)的補(bǔ)充和優(yōu)化，它可能是 計(jì)算 也可能是和分析。甚至都包含。最終根據(jù)用戶的實(shí)際需求提供不同的產(chǎn)品組合。27架構(gòu)模式：Hadoop + MPP RDB /SMP RDB。處理方式：Hadoop處理非結(jié)構(gòu)化，為輔；RDB處理結(jié)構(gòu)化，為主。非結(jié)構(gòu)化：Hadoop方案，對(duì)服務(wù)器和無(wú)特殊要求，廉價(jià)為主。結(jié)構(gòu)化：MPP RDB /SMP R

14、DB +Hadoop（只負(fù)責(zé)計(jì)算需做修改）或用新分布式文件系統(tǒng)來(lái)替代，對(duì)計(jì)算和有要求（可靠性，高性能，增值應(yīng)用等）。29數(shù)據(jù)分析+分布式文件+歸檔+30FuInsighdoop 提供大數(shù)據(jù)處理環(huán)境，基于社區(qū)開源軟件增強(qiáng)，按照?qǐng)鼍斑x擇業(yè)界最佳實(shí)踐。FuInsight DataFarm提供支撐端到端數(shù)據(jù)洞察，構(gòu)建數(shù)據(jù)到信息到知識(shí)到智慧的數(shù)據(jù)供應(yīng)鏈， 其中包括相對(duì)獨(dú)立的數(shù)據(jù)集成服務(wù)Porter，數(shù)據(jù)挖掘服務(wù)Miner和數(shù)據(jù)服務(wù)框架Farmer。FuInsight Manager是一個(gè)分布式系統(tǒng)管理框架，管理員可以從單一接入點(diǎn)操控分布式集群，包括系統(tǒng)管理（OM/NTP/災(zāi)備）、數(shù)據(jù)安全管理、數(shù)據(jù)治理和

15、作業(yè)調(diào)度管理（oozie）。31息化發(fā)展到，PC成為每個(gè)企業(yè)必備的辦公設(shè)備，然而隨著PC的普及和使用過(guò)程中，越來(lái)越多的問(wèn)題和開始出來(lái)。首先是的問(wèn)題，由于所有的數(shù)據(jù)和信息都分散在PC本地硬盤中，使得數(shù)據(jù)丟失和信息泄露的途徑非常多，付出大量成本來(lái)封堵信息泄露的途徑，收效卻非常有限。其次隨著PC數(shù)量的增加和各種業(yè)務(wù)應(yīng)用的不斷出現(xiàn)，PC的管理工作也逐漸重負(fù)，管理的大量時(shí)間被用于解決各種PC故障，越來(lái)越多的企業(yè)將IT運(yùn)維外包，無(wú)形中增加了成本。資源的導(dǎo)致了另外一種形式的浪費(fèi)，PC每天只有約1/3的時(shí)間處于工作狀態(tài)，另外2/3的時(shí)間處于關(guān)機(jī)或者空閑狀態(tài)，這些空閑的資源無(wú)法被有效利用，另一方面，當(dāng)業(yè)務(wù)變化需

16、要更強(qiáng)的處理能力的時(shí)候，卻受限于硬件限制無(wú)法做到及時(shí)的響應(yīng)。基于PC的辦公桌面對(duì)業(yè)務(wù)發(fā)展的制約逐漸凸顯。做為國(guó)產(chǎn)廠家，F(xiàn)uInsight大數(shù)據(jù)軟件完全研發(fā)，并擁有國(guó)家局頒發(fā)的完全的計(jì)算機(jī)軟件著作權(quán)登記。32Wushan業(yè)界單一最件系統(tǒng)400人歷時(shí)三年開發(fā)而成比HADOOP無(wú)論穩(wěn)定性和代碼效率都優(yōu)秀得多。3334靠的數(shù)據(jù)保護(hù)35將多個(gè)應(yīng)用程序整合到單個(gè) 128條。系統(tǒng)中，消除了數(shù)據(jù)移動(dòng)且簡(jiǎn)化了管理策略最多配置每個(gè)策略都有對(duì)應(yīng)的ID(范圍為0-127),不允許添加相同的策略ID默認(rèn)策略為選用空閑空間最大的分級(jí)，ID為127，對(duì)于遷移不生效各個(gè)策略可以設(shè)置優(yōu)先級(jí)。策略ID越小，優(yōu)先級(jí)越高文件在存放/

17、遷移時(shí)按照能匹配的最高優(yōu)先級(jí)的存放策略執(zhí)行與isilon對(duì)比：Io熱度，元數(shù)據(jù)優(yōu)先存放于高性能節(jié)點(diǎn)36同一數(shù)據(jù)塊所在節(jié)點(diǎn)的緩存只緩存一份任意節(jié)點(diǎn)緩存中的數(shù)據(jù)都能被其他節(jié)點(diǎn)緩存熱點(diǎn)動(dòng)態(tài)遷移時(shí)在緩存中命中37WiseLink與SmartConnect的相同點(diǎn)功能設(shè)計(jì)和分區(qū)管理節(jié)點(diǎn)間的IP failover功能WiseLink與SmartConnect的差異負(fù)載均衡策略（優(yōu)勢(shì)）SmartConnect的均衡策略包括：CPU、網(wǎng)絡(luò)帶寬、TCP/IP連接數(shù)、輪選WiseLink除以上四種策略外，還可以根據(jù)“節(jié)點(diǎn)能力”進(jìn)行均衡選擇。節(jié)點(diǎn)內(nèi)IP的故障切換WiseLink支持節(jié)點(diǎn)內(nèi)網(wǎng)口間浮動(dòng)IP的故障切換Sm

18、artConnect不支持Rebalance功能SmartConnect提供rebalanced功能WiseLink不支持浮動(dòng)IP的回遷38Request件（GB-10GB級(jí)）和小文件（KB級(jí)）并存，件讀寫(單文件可達(dá)200G)。每天產(chǎn)生TB級(jí)的數(shù)據(jù)，總量PB級(jí)。生成圖像產(chǎn)品時(shí)批量作業(yè)，要求原始數(shù)據(jù)不允許丟失。Solution高吞吐。5,000,000+ OPS業(yè)界性能第一，應(yīng)對(duì)每天產(chǎn)生的大量的需求。數(shù)據(jù)動(dòng)態(tài)分級(jí)，效率5倍。3-288節(jié)點(diǎn)超大線性擴(kuò)展能力，業(yè)務(wù)持續(xù)增長(zhǎng)輕松擴(kuò)容。測(cè)繪主要提供高分辨率遙感影像應(yīng)用服務(wù)。通過(guò)觀測(cè)，能完成數(shù)字高程模型制作、測(cè)圖等，生產(chǎn)現(xiàn)實(shí)性強(qiáng)、精度高的基礎(chǔ)地理信息產(chǎn)品

19、。通過(guò)對(duì)比，分析地貌變化，測(cè)量資源，設(shè)計(jì)公/鐵路施工路線等。測(cè)繪原始經(jīng)過(guò)處理生成固定邏輯分片的圖像產(chǎn)品。39Request業(yè)務(wù)量不斷增長(zhǎng)，需要高性能、大容量、擴(kuò)展性好的。Hadoop兼容：需兼容Hadoop環(huán)境。管理復(fù)雜：手動(dòng)將數(shù)據(jù)從計(jì)算集群遷移到二級(jí)，過(guò)程復(fù)雜繁瑣。成本高：傳統(tǒng)備份軟件導(dǎo)入數(shù)據(jù)到磁帶中，成本高。Solution按需擴(kuò)展：按照業(yè)務(wù)需要，擴(kuò)展的性。HDFS接口：兼容Hadoop環(huán)境，無(wú)需二次開發(fā)。系統(tǒng)具備自、分析能力，免除手動(dòng)數(shù)據(jù)遷移，降低管理復(fù)雜度。無(wú)需備份軟件，降低采購(gòu)成本。Hadoop高性能計(jì)算集群：SOAP系列軟件、遺傳變異檢測(cè)軟件、2000個(gè)計(jì)算節(jié)點(diǎn)。數(shù)據(jù)分析、Heca

20、te2及Gaea2。40Request攝像頭（720P/4Mbps以上）廣泛應(yīng)用，需要低成本、大容量、高擴(kuò)展性的。隨著視偵逐漸成為Solution偵破的主要，需要具有更靠性。全生命周期管理：提供基于策略的自動(dòng)化數(shù)據(jù)管理，自動(dòng)實(shí)現(xiàn)數(shù)據(jù)的、離線歸檔等過(guò)程。近線資源池：無(wú)需管理復(fù)雜度。、RAID配置，無(wú)需布局規(guī)劃，極大降低規(guī)劃和411、ABCD2、FOceanStor 9000大數(shù)據(jù)系統(tǒng)包含文件子系統(tǒng)WushanFS，結(jié)構(gòu)化分析子系統(tǒng)WushanSQL和非結(jié)構(gòu)化分析子系統(tǒng)FuInsighdoop，管理子系統(tǒng)，對(duì)外提供針對(duì)大數(shù)據(jù)優(yōu)化的、分析支撐能力。硬件層使用通用化硬件根據(jù)各子系統(tǒng)需求配置的硬件節(jié)點(diǎn)，

21、通過(guò)以太網(wǎng)的ALL IP互聯(lián)：分布式文件系統(tǒng) OceanStor DFS：為了解決傳統(tǒng)體系結(jié)構(gòu)存在的難題（容量不易擴(kuò)展、性能不易擴(kuò)展），WushanFS分布式文件系統(tǒng)應(yīng)運(yùn)而生。WushanFS分布式文件系統(tǒng)將三個(gè)傳統(tǒng)的體系結(jié)構(gòu)層（文件系統(tǒng)、卷管理器和 RAID）組合為一個(gè)統(tǒng)。的軟件層，從而創(chuàng)建一個(gè)系統(tǒng)中所有節(jié)點(diǎn)的單一智能文件系的大數(shù)據(jù)X位一體分析子系統(tǒng)是構(gòu)建在分布式技術(shù)之上，使用分布式SQL查詢技術(shù)，融合Hadoop的創(chuàng)新型分析組件。提供標(biāo)準(zhǔn)SQL接口對(duì)結(jié)構(gòu)化數(shù)據(jù)的直接存取和復(fù)雜關(guān)聯(lián)分析，同時(shí)支持通過(guò)標(biāo)準(zhǔn)文件接口（NFS/CIFS）存入的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，基于企業(yè)級(jí)的FuInsighdo

22、op的MapReduce分析。分布式數(shù)據(jù)庫(kù)WushanSQL和Hadoop 主要提供數(shù)據(jù)分析和查詢功能， 分別部署在不同的節(jié)點(diǎn)上。不是大數(shù)據(jù)技術(shù)課程的內(nèi)容。大數(shù)據(jù)解決方案OceanStor 9000架構(gòu)特點(diǎn)：融合Scale-out NAS、Scale-out Database和Scale-out Backup，實(shí)現(xiàn)多位一體，面向大數(shù)據(jù)的集群系統(tǒng)。在一個(gè)系統(tǒng)內(nèi)實(shí)現(xiàn)了分布式、分布式備份以及分布式數(shù)據(jù)分析的全生命周期管理，在數(shù)據(jù)調(diào)度模塊的調(diào)度下，數(shù)據(jù)在多域間有效。4Wushan SQL 提供分布式架構(gòu)、并行處理技術(shù)和靈活的數(shù)據(jù)組織模型，可以應(yīng)對(duì)企業(yè)不斷增長(zhǎng)的海量數(shù)據(jù)的和快速處理以及靈活的業(yè)務(wù)建模需求

23、。Insight Hadoop：Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache開發(fā)。Fu用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式業(yè)務(wù)應(yīng)用程序，充分利用集群的高速運(yùn)算和。InfoExplorer ： 將文件元數(shù)據(jù)轉(zhuǎn)換成為結(jié)構(gòu)化數(shù)據(jù)，WushanSQL中，根據(jù)常用的檢索條件為元數(shù)據(jù)創(chuàng)建B樹索在OceanStor 9000 的戶可以通過(guò)索引快速的查找目標(biāo)文件。InfoExplorer支持簡(jiǎn)單的統(tǒng)計(jì)分析功能，可以實(shí)現(xiàn)文件的分類查找。OceanStor 9000是針對(duì)大數(shù)據(jù)的特點(diǎn)，使用通用x86架構(gòu)硬件以Scale-out NAS系統(tǒng)為基礎(chǔ)，推出的大數(shù)據(jù)。OceanStor 9000提供

24、多種節(jié)點(diǎn)類型，分別對(duì)應(yīng)多種大數(shù)據(jù)業(yè)務(wù)。全分布式架構(gòu)：傳統(tǒng)的NAS系統(tǒng)由引擎和單元組成。數(shù)據(jù)的全部并發(fā)需要先由NAS引擎處理，因此引擎容易成為性能瓶頸。OceanStor 9000采用全對(duì)稱的分布式邏輯架構(gòu)，每個(gè)節(jié)點(diǎn)均可提供外部業(yè)務(wù)。通過(guò)負(fù)載均衡設(shè)計(jì)，數(shù)據(jù)在集群內(nèi)均勻分布，可大幅系統(tǒng)并發(fā)能力。OceanStor 9000支持10GE高速以太網(wǎng)全I(xiàn)P互聯(lián)，單個(gè)節(jié)點(diǎn)可提供4個(gè)10GE端口。 OceanStor 9000還同時(shí)支持IB（InfiniBand）網(wǎng)絡(luò)，可滿足更加苛刻的性能要求。 OceanStor 9000可適配用戶的不同組網(wǎng)需求，通過(guò)節(jié)點(diǎn)間高速互聯(lián)，降低系統(tǒng)內(nèi)部時(shí)延，提供卓越性能。高性能

25、節(jié)點(diǎn)和大容量歸檔節(jié)點(diǎn)，用于提供巫山文件系統(tǒng)相關(guān)的大數(shù)據(jù)功能，不提供wushan SQL或者企業(yè)級(jí)Hadoop FuInsight 功能。I系列分析節(jié)點(diǎn)，用于提供 wushan SQL或者企業(yè)級(jí)Hadoop Fu析功能。Insight 的大數(shù)據(jù)分InfoProtector功能包含四個(gè)方面：文件數(shù)據(jù)的保護(hù)，元數(shù)據(jù)的保護(hù)，數(shù)據(jù)恢復(fù)以及數(shù)據(jù)分域。數(shù)據(jù)恢復(fù)：當(dāng)硬盤故障或節(jié)點(diǎn)故障時(shí)，OceanStor 9000可將故障硬盤或節(jié)點(diǎn)上的數(shù)據(jù)恢復(fù)到其他工作正常的硬盤上，從而實(shí)現(xiàn)數(shù)據(jù)找回。數(shù)據(jù)在被找回之前，OceanStor 9000可通過(guò)內(nèi)部算法確保用戶正常使用數(shù)據(jù)，但數(shù)據(jù)保護(hù)級(jí)別與讀寫性能將會(huì)降低。物理分域是

26、一種故障的有效。啟用物理分域后，單個(gè)域內(nèi)的硬盤或節(jié)點(diǎn)故障，將不會(huì)導(dǎo)致其他域的數(shù)據(jù)可靠性降級(jí)或失效，也不會(huì)因執(zhí)行數(shù)據(jù)恢復(fù)任務(wù)而影響其他域的讀寫性能。Erasure code冗余技術(shù)又稱為分布式RAID技術(shù)，是RAID的超集，能夠支持比傳統(tǒng) RAID算法更高的可靠性和更靈活的冗余策略。Erasure Code對(duì)文件進(jìn)行原始分片（M份），將對(duì)象分割成固定長(zhǎng)度的數(shù)據(jù)塊，每M個(gè)連續(xù)數(shù)據(jù)塊通過(guò)Erasure Code算法計(jì)算出N個(gè)校驗(yàn)塊（NM），這M個(gè)數(shù)據(jù)塊和N個(gè)校驗(yàn)塊組成一個(gè)數(shù)據(jù)塊組并保存在不同的硬盤上。在Erasure Code模式下，系統(tǒng)最多支持N塊硬盤失效。OceanStor 9000系統(tǒng)可以對(duì)目

27、錄/文件配置不同的數(shù)據(jù)保護(hù)方式。不同的數(shù)據(jù)保護(hù)方式，是通過(guò)不同的數(shù)據(jù)條帶化方式實(shí)現(xiàn)的。使用Erasure Code方式時(shí)，寫入OceanStor9000系統(tǒng)的數(shù)據(jù)，會(huì)先按4G大小切分Ck，Cck再按照128KB為一個(gè)分片，切分為多個(gè)源數(shù)據(jù)分片，然后對(duì)每N個(gè)源數(shù)據(jù)分片，計(jì)算得到M個(gè)冗余數(shù)據(jù)分片，最終每 N+M個(gè)分片組成一個(gè)條帶，寫入到系統(tǒng)中。當(dāng)系統(tǒng)出現(xiàn)故障，丟失了其中的某些分片時(shí)，只要一個(gè)條帶中丟失的分片數(shù)目不超過(guò)M，仍可進(jìn)行正常的數(shù)據(jù)讀寫。通過(guò)數(shù)據(jù)恢復(fù)算法，丟失的分片可從剩余分片中計(jì)算得到。在這種方式下，空間的利用率約為 N/(M+N)，數(shù)據(jù)的可靠性由M值的大小決定，M越大可靠性越高。使用鏡像

28、方式時(shí)，寫入OceanStor 9000的數(shù)據(jù)也將按照128KB進(jìn)行切片，不同的是，系統(tǒng)對(duì)每個(gè)源數(shù)據(jù)分片，都會(huì)按照的方式為多份，只要其中任意一份不損壞，就可進(jìn)行正常地讀寫。執(zhí)行數(shù)據(jù)恢復(fù)時(shí)，丟失的鏡像數(shù)據(jù)直接從完好的數(shù)據(jù)中即可。同樣，系統(tǒng)可以配置不同的鏡像數(shù)目，以得到不同的空間利用率和數(shù)據(jù)可靠性。另外，OceanStor9000的分布式文件系統(tǒng)的元數(shù)據(jù)，采用的就是鏡像的方式，并且對(duì)于配置了N+M保護(hù)方式的文件來(lái)說(shuō)，其元數(shù)據(jù)的鏡像數(shù)自動(dòng)設(shè)定為M+2份，這使得OceanStor 9000分布式系統(tǒng)的元數(shù)據(jù)的可靠性高于其數(shù)據(jù)。Erasure Code的好處：數(shù)據(jù)分片寫到不同的節(jié)點(diǎn)上，不僅可以提高讀寫性

29、能，又能保證數(shù)據(jù)的和服務(wù)的用性，還能保持高的磁盤利用率，節(jié)約投資?？啃栽贠ceanStor 9000集群節(jié)點(diǎn)中，任意不超過(guò)M（冗余份數(shù)）個(gè)硬盤故障后，系統(tǒng)都可以通過(guò)節(jié)點(diǎn)間數(shù)據(jù)重構(gòu)的方式快速恢復(fù)出所損失的數(shù)據(jù)，進(jìn)而恢復(fù)整系統(tǒng)的數(shù)據(jù)可靠性。系統(tǒng)中任意可用空間都可以作為“熱備”空間使用，解決了傳統(tǒng)RAID的熱備盤問(wèn)題，進(jìn)一步提高了利用率。N+M:B的保護(hù)方式，可以支持M個(gè)硬盤故障或者B個(gè)節(jié)點(diǎn)故障，這在節(jié)點(diǎn)數(shù)量較少時(shí)非常有用。對(duì)于用戶來(lái)說(shuō)，只需要對(duì)目錄/文件指定相應(yīng)的+M（或者+M:B）即可，OceanStor 9000系統(tǒng)會(huì)根據(jù)系統(tǒng)當(dāng)前的節(jié)點(diǎn)數(shù)量，自動(dòng)選取最合適的N，N取值范圍2-16，M取值范圍1

30、-4。13N+M指M個(gè)節(jié)點(diǎn)同時(shí)故障仍能繼續(xù)工作。N+M：1指M個(gè)硬盤或1個(gè)節(jié)點(diǎn)故障情況下仍能繼續(xù)工作。其中文件分片數(shù)N必須大于冗余份數(shù)M。系統(tǒng)在冗余配比為16+1時(shí)，可提供最高的磁盤利用率，為95%。14表格體現(xiàn)了當(dāng)冗余度m取值不同值時(shí)的含義和適用場(chǎng)景。數(shù)據(jù)寫的過(guò)程：用戶上傳的對(duì)象數(shù)據(jù)被切分成若干固定長(zhǎng)度的數(shù)據(jù)塊。每M個(gè)數(shù)據(jù)塊通過(guò)Erasure Code算法計(jì)算出N個(gè)冗余校驗(yàn)塊（N 集群NAS系統(tǒng) NAS服務(wù)CIFS共享 右側(cè)操作區(qū)選中需要查看的共享名稱 下方選擇“虛擬IP地址”頁(yè)簽”查看用于該共享的虛擬IP地址?！叭帜Ｊ健睘椤凹骸保哼x擇“所有設(shè)備 集群NAS系統(tǒng) 設(shè)備信息”，選中集群NA

31、S系統(tǒng)的設(shè)備名稱。單擊“網(wǎng)絡(luò)管理”，選擇“IP地址管理”，獲取的虛擬IP地址。任意一個(gè)的虛擬IP地址都可以共享空間。Q：重新啟用CIFS服務(wù)時(shí)需要輸入的是什么？A：當(dāng)集群NAS域用戶的當(dāng)集群NAS系統(tǒng)應(yīng)用于AD域環(huán)境時(shí)，重新啟用CIFS服務(wù)需要輸入已加入AD域的。系統(tǒng)應(yīng)用于無(wú)域環(huán)境時(shí)，重新啟用CIFS服務(wù)不需要輸入。Q：通過(guò)不同的引擎IP地址是否可以同時(shí)讀寫同一共享文件？A：可以同時(shí)讀同一文件，當(dāng)同時(shí)寫同一文件時(shí)，由于集群有鎖機(jī)制，只有一個(gè)IP地址能夠?qū)懗晒Α?、ABC2、T通常，在銷售時(shí)，就需要確定客戶組網(wǎng)中應(yīng)采用的節(jié)點(diǎn)類型和交換機(jī)類型。節(jié)點(diǎn)類型和交換機(jī)類型的選擇是按照客戶的應(yīng)用場(chǎng)景要求，即

32、對(duì)性能，容量，TCO的需求來(lái)進(jìn)行選擇的。4OceanStor 9000組網(wǎng)可以分為：前端業(yè)務(wù)網(wǎng)絡(luò)： OceanStor 9000 與用戶網(wǎng)絡(luò)對(duì)接的組網(wǎng)， 用于客戶端接入OceanStor 9000，簡(jiǎn)稱前端網(wǎng)絡(luò)。后端網(wǎng)絡(luò)：OceanStor 9000內(nèi)部節(jié)點(diǎn)間的組網(wǎng)，用于集群內(nèi)部通信，簡(jiǎn)稱后端網(wǎng)絡(luò)。管理網(wǎng)絡(luò)：OceanStor 9000與客戶管理網(wǎng)絡(luò)對(duì)接的組網(wǎng)，用于客戶終端接入OceanStor 9000。管理網(wǎng)絡(luò)又包括連接Devicemanager的業(yè)務(wù)管理網(wǎng)絡(luò)和進(jìn)行設(shè)備硬件管理的IPMI管理網(wǎng)絡(luò)。5OceanStor 9000按照不同的前后端組網(wǎng)方案劃分不同的部署方案。選擇部署方案時(shí)，應(yīng)根

33、據(jù)不同的應(yīng)用場(chǎng)景需求選擇不同的節(jié)點(diǎn)，選擇相應(yīng)的前后端組網(wǎng)方案。機(jī)柜配置說(shuō)明節(jié)點(diǎn)在機(jī)柜中優(yōu)先從底向上擺放?；A(chǔ)柜內(nèi)的最下面的3個(gè)節(jié)點(diǎn)稱為該系統(tǒng)的前3個(gè)節(jié)點(diǎn)。基礎(chǔ)柜內(nèi)部的節(jié)點(diǎn)通過(guò)網(wǎng)線和SFP+線纜連接到本機(jī)柜中的交換機(jī)，擴(kuò)展柜內(nèi)部的節(jié)點(diǎn)通過(guò)網(wǎng)線和光纖連接到基礎(chǔ)柜中的交換機(jī)。圖中機(jī)柜中擺放的節(jié)點(diǎn)以P36/C36節(jié)點(diǎn)為例，節(jié)點(diǎn)類型不同，每個(gè)機(jī)柜中最多擺放的節(jié)點(diǎn)數(shù)目不同。在實(shí)際項(xiàng)目應(yīng)用中，需要計(jì)算機(jī)柜中節(jié)點(diǎn)、交換機(jī)、KVM的總功耗和總重量，并根據(jù)客戶機(jī)房條件綜合判斷一個(gè)機(jī)柜中可容納的節(jié)點(diǎn)數(shù)量， 確定適合具體項(xiàng)目實(shí)際情況的部署方案 。 能耗計(jì)算， 可參考 HYPERLINK http:/s/ http:/

34、s/onlinetool/datums/ercalc/erCalculator.jsp8910說(shuō)明：非C72節(jié)點(diǎn)包括：P25/P36/P12/C36這里的A0-1和B3-1接口分別分配的1個(gè)前端業(yè)務(wù)網(wǎng)絡(luò)IP地址是指靜態(tài)業(yè)務(wù)IP地址?？偨Y(jié)：每一個(gè)業(yè)務(wù)網(wǎng)口（包括前端和后端）都需要配置1個(gè)后端每一個(gè)IPMI網(wǎng)口都需要配置1個(gè)管理IP地址。網(wǎng)絡(luò)IP地址。NIC0口，前3個(gè)節(jié)點(diǎn)的NIC0口，共個(gè)浮動(dòng)的管理IP地址。說(shuō)明：前端GE組網(wǎng)時(shí)，A0槽位配置10GE網(wǎng)卡，連接后端交換機(jī)；B3槽位和B2槽位（前端配置兩塊網(wǎng)卡時(shí)）配置GE網(wǎng)卡，連接前端交換機(jī)。其它規(guī)則與前端10GE組網(wǎng)相同。C72節(jié)點(diǎn)只提供固定類型的

35、板載接口，不另外提供可更換的接口模塊。P0，P1接口固定為10GE接口，連接后端業(yè)務(wù)組網(wǎng)；NIC0接口固定為GE接口，連接管理網(wǎng)絡(luò)；NIC1，NIC2，NIC3 固定為GE接口，連接前端業(yè)務(wù)網(wǎng)絡(luò)；C72節(jié)點(diǎn)，沒(méi)有IPMI端口。13說(shuō)明：這里的NIC1/NIC2/NIC3接口分別分配的1個(gè)前端業(yè)務(wù)網(wǎng)絡(luò)IP地址是指靜態(tài)業(yè)務(wù)IP地址。每一個(gè)業(yè)務(wù)網(wǎng)口（包括前端和后端）都需要配置1個(gè)IP地址。每個(gè)節(jié)點(diǎn)的兩個(gè)NIC0口，都需要連接到管理網(wǎng)絡(luò)，所有C72節(jié)點(diǎn)共管理IP地址。個(gè)浮動(dòng)的14CE6800的接口，按功能分為：下行接口，預(yù)留接口，堆疊接口，ETH管理接口。圖中部署方案適用于前端業(yè)務(wù)網(wǎng)絡(luò)接入用戶交換機(jī)，

36、當(dāng)前端業(yè)務(wù)網(wǎng)絡(luò)和后端網(wǎng)絡(luò)都接入CE6800交換機(jī)，此時(shí)CE6800交換機(jī)需要?jiǎng)澐諺LAN區(qū)分前端業(yè)務(wù)網(wǎng)絡(luò)和后端絡(luò)。下行接口：網(wǎng)當(dāng)前端業(yè)務(wù)網(wǎng)絡(luò)和后端網(wǎng)絡(luò)均采用10GE組網(wǎng)時(shí)CE6800-1連接到P25/P36/P12/C36節(jié)點(diǎn)B3-0接口。CE6800-2連接到P25/P36/P12/C36節(jié)點(diǎn)A0-0接口。當(dāng)前端業(yè)務(wù)網(wǎng)絡(luò)采用GE組網(wǎng)，后端網(wǎng)絡(luò)采用10GE組網(wǎng)時(shí)CE6800-1連接到P25/P36/P12/C36節(jié)點(diǎn)A0-0接口或C72節(jié)點(diǎn)P0接口。CE6800-2連接到P25/P36/P12/C36節(jié)點(diǎn)A0-1接口或C72節(jié)點(diǎn)P1接口。預(yù)留接口空閑接口稱為預(yù)留接口，建議執(zhí)行shutdown命

37、令，關(guān)閉這些接口。15IPMI下行接口40個(gè)接口順序連接到各節(jié)點(diǎn)的IPMI接口（C72節(jié)點(diǎn)沒(méi)有IPMI接口）。NIC0下行接口部署P25/P36/P12/C36節(jié)點(diǎn)時(shí)，3個(gè)接口順序連接到OceanStor 9000集群最前面的3個(gè)節(jié)點(diǎn)（基礎(chǔ)柜中0103號(hào)節(jié)點(diǎn)）的NIC0接口。部署C72節(jié)點(diǎn)時(shí)，由于每個(gè)C72節(jié)點(diǎn)出2個(gè)NIC0接口，需要在S5752交換機(jī)上規(guī)劃2N（N=節(jié)點(diǎn)數(shù)）個(gè)接口，順序連接到每個(gè)節(jié)點(diǎn)的NIC0接口。10GE交換機(jī)管理口連接到兩臺(tái)CE6800交換機(jī)正面的ETH管理網(wǎng)口。上行接口連接到客戶的管理預(yù)留接口網(wǎng)絡(luò)?？臻e接口，建議執(zhí)行shutdown命令，關(guān)閉這些接口。17非C72節(jié)點(diǎn)指

38、：P25/P36/P12/C36節(jié)點(diǎn)。前端業(yè)務(wù)網(wǎng)絡(luò)：每個(gè)前端業(yè)務(wù)網(wǎng)口，需要有一個(gè)靜態(tài)IP地址，一個(gè)動(dòng)態(tài)IP地址。如果一個(gè)節(jié)點(diǎn)有兩個(gè)前端業(yè)務(wù)網(wǎng)口。因此一個(gè)節(jié)點(diǎn)需要有2個(gè)靜態(tài)IP地址，2個(gè)動(dòng)態(tài)IP地址。如果一個(gè)節(jié)點(diǎn)有4個(gè)前端業(yè)務(wù)網(wǎng)口。因此一個(gè)節(jié)點(diǎn)需要有4個(gè)靜態(tài)IP地址，4個(gè)動(dòng)態(tài)IP地址。無(wú)論部署哪種類型的節(jié)點(diǎn)，都需要規(guī)劃1個(gè)InfoEqualizer DNS IP地址。18非C72節(jié)點(diǎn)指：P25/P36/P12/C36節(jié)點(diǎn)。后端網(wǎng)絡(luò)：每個(gè)后端網(wǎng)口需要配置一個(gè)后端網(wǎng)絡(luò)IP地址，每個(gè)節(jié)點(diǎn)有2個(gè)后端網(wǎng)口。因此，實(shí)際IP地址數(shù)量：節(jié)點(diǎn)數(shù)量2 。臨時(shí)IP地址：每個(gè)節(jié)點(diǎn)一個(gè)，僅用于軟件安裝時(shí)臨時(shí)分配給各節(jié)點(diǎn)。

39、完成軟件安裝后，將自動(dòng)刪除這些地址。這些臨時(shí)規(guī)劃的后端網(wǎng)絡(luò)IP地址不能與節(jié)點(diǎn)實(shí)際規(guī)劃的后端網(wǎng)絡(luò)IP地址。19非C72節(jié)點(diǎn)指：P25/P36/P12/C36節(jié)點(diǎn)。管理網(wǎng)絡(luò)：每個(gè)P25/P36/P12/C36節(jié)點(diǎn)IPMI接口分配1個(gè)。每臺(tái)管理網(wǎng)絡(luò)交換機(jī)分配1個(gè)。OceanStor 9000管理IP地址1個(gè)（在最前面3個(gè)節(jié)點(diǎn)（基礎(chǔ)柜中0103號(hào)節(jié)點(diǎn)）的NIC0接口上浮動(dòng)）。后端網(wǎng)絡(luò)交換機(jī)1個(gè)。OceanStor 9000在軟件安裝過(guò)程中還需要臨時(shí)申請(qǐng)2個(gè)管理網(wǎng)絡(luò)IP地址，分別配置在部署節(jié)點(diǎn)的NIC0接口和部署客戶端上，用于安裝軟件時(shí)登錄部署工具并上傳文件包，部署完成后即可刪除。202122詳細(xì)配置方

40、法見(jiàn)產(chǎn)品文檔“軟件安裝指南”中“配置交換機(jī)”部分。23機(jī)柜配置說(shuō)明節(jié)點(diǎn)在機(jī)柜中優(yōu)先從底向上擺放。初始部署時(shí)如果節(jié)點(diǎn)數(shù)超過(guò)16，則需要根據(jù)實(shí)際組網(wǎng)規(guī)模，確定IB交換機(jī)的型號(hào)?；A(chǔ)柜內(nèi)部的節(jié)點(diǎn)通過(guò)網(wǎng)線和SFP+線纜連接到本機(jī)柜中的交換機(jī)，擴(kuò)展柜內(nèi)部的節(jié)點(diǎn)通過(guò)網(wǎng)線和光纖連接到基礎(chǔ)柜中的交換機(jī)。圖中機(jī)柜中擺放的節(jié)點(diǎn)以P36/C 36節(jié)點(diǎn)為例，節(jié)點(diǎn)類型不同，每個(gè)機(jī)柜中最多擺放的節(jié)點(diǎn)數(shù)目不同。在實(shí)際項(xiàng)目應(yīng)用中，需要計(jì)算機(jī)柜中節(jié)點(diǎn)、交換機(jī)、KVM的總功耗和總重量，并根據(jù)客戶機(jī)房條件綜合判斷一個(gè)機(jī)柜中可容納的節(jié)點(diǎn)數(shù)量， 確定適合具體項(xiàng)目實(shí)際情況的部署方案 。 能耗計(jì)算， 可參考 HYPERLINK http:

41、/s/ http:/s/onlinetool/datums/ercalc/erCalculator.jsp252627當(dāng)用戶的前端業(yè)務(wù)網(wǎng)絡(luò)交換機(jī)使用IB交換機(jī)時(shí)，節(jié)點(diǎn)使用接口變化如下，以增加板卡間的冗余性。A0-0和B3-0連接后端網(wǎng)絡(luò)交換機(jī)。A0-1和B3-1連接前端業(yè)務(wù)網(wǎng)絡(luò)交換機(jī)。下行接口前端為10GE組網(wǎng)時(shí)，IS5023-1交換機(jī)連接各節(jié)點(diǎn)A0-0接口，IS5023-2交換機(jī)連接各節(jié)點(diǎn)A0-1接口。前端為IB組網(wǎng)時(shí)，IS5023-1交換機(jī)連接各節(jié)點(diǎn)B3-0接口，IS5023-2交換機(jī)連接各節(jié)點(diǎn)A0-0接口。交換機(jī)互連接口用于兩臺(tái)IS5023交換機(jī)互連。29IPMI下行接口16個(gè)接口順序連

42、接到各節(jié)點(diǎn)的IPMI接口。NIC0下行接口3個(gè)接口順序連接到集群最前面的3個(gè)節(jié)點(diǎn)（基礎(chǔ)柜中0103號(hào)節(jié)點(diǎn)）。上行接口連接到客戶的管理預(yù)留接口網(wǎng)絡(luò)。空閑接口，建議執(zhí)行shutdown命令，關(guān)閉這些接口。30后端網(wǎng)絡(luò)IP地址：規(guī)劃工具默認(rèn)使用054網(wǎng)段作為后端網(wǎng)絡(luò)的IP地址范圍，默認(rèn)子網(wǎng)掩碼為（至少16位掩碼），只要確認(rèn)與實(shí)際應(yīng)用的IP地址不存在即可直接使用。后端網(wǎng)絡(luò)臨時(shí)IP地址：這些IP地址用于軟件安裝時(shí)臨時(shí)分配給各節(jié)點(diǎn)。完成軟件安裝后，將自動(dòng)刪除這些地址。這些臨時(shí)規(guī)劃的后端網(wǎng)絡(luò)IP地址不能與節(jié)點(diǎn)實(shí)際規(guī)劃的后端網(wǎng)絡(luò)IP地址。軟件安裝臨時(shí)IP地址：分別配置在部署節(jié)點(diǎn)的NIC0接口和部署客戶端上，用

43、于安裝軟件時(shí)登錄部署工具并上傳文件包，部署完成后即可刪除。31詳細(xì)配置方法見(jiàn)產(chǎn)品文檔“軟件安裝指南”中“配置交換機(jī)”部分。32使用方法：工具路徑，默認(rèn)顯示“基礎(chǔ)組網(wǎng)”內(nèi)容，可根據(jù)選擇的產(chǎn)品、組網(wǎng)方式和節(jié)點(diǎn)數(shù)量信息，自動(dòng)繪制典型組網(wǎng)類型的組網(wǎng)連線圖。通過(guò)規(guī)劃指南介紹網(wǎng)絡(luò)規(guī)劃的詳細(xì)原則。34作用：通過(guò)LLD規(guī)劃模板覆蓋網(wǎng)絡(luò)規(guī)劃的所有重點(diǎn)內(nèi)容及樣例。35查看方法：登錄OceanStor DeviceManager后，在首頁(yè)的左下方查看報(bào)表。圖中查看的內(nèi)容為OPS。相同方法可帶寬數(shù)據(jù)。SystemReporter作為OceanStor 9000的性能分析工具，采用、歸檔、分析、等功能，讓用戶能等方法，

44、提供實(shí)時(shí)、歷史趨勢(shì)分析、對(duì)比分析和容量夠更加直觀、簡(jiǎn)單的了解OceanStor 9000的性能并可及時(shí)做出調(diào)整。當(dāng)項(xiàng)目已部署該工具時(shí)，您可以通過(guò)該工具查看報(bào)表，如果沒(méi)有部署該工具，您可以通過(guò)OceanStor DeviceManager較少。SystemReporter功能示意報(bào)表登錄：在地址欄中輸入性能和容量，但DeviceManager提供的功能相對(duì)。并按“Enter”。其中： “IP”為安裝OceanStor SystemReporter的服務(wù)器IP地址。“8088”為HTTPS服務(wù)端口。如果軟件安裝過(guò)程中已手工指定其他HTTPS或HTTP服務(wù)端口，請(qǐng)使用更改后的端口登錄。對(duì)每種資源對(duì)象

45、可的性能指標(biāo)，僅作了解。40對(duì)每種資源對(duì)象可的性能指標(biāo)，僅作了解。41為方便查看和管理，SystemReporter還提供如報(bào)表功能。報(bào)表功能包含：預(yù)置報(bào)表，自定義報(bào)表和任務(wù)報(bào)表。預(yù)置報(bào)表舉例：設(shè)備整體的性能概況，支持對(duì)CPU、網(wǎng)口及硬盤最近1小時(shí)、2小時(shí)、12小時(shí)、24小時(shí)、7天熱點(diǎn)統(tǒng)計(jì)圖。集群、節(jié)點(diǎn)、網(wǎng)口、硬盤和客戶端等對(duì)象統(tǒng)計(jì)過(guò)去24小時(shí)、1周、1個(gè)月、3個(gè)月、1年的性能指標(biāo)數(shù)據(jù)，集群和節(jié)點(diǎn)容量使用情況，可選擇其中Top5報(bào)告給用戶。自定義報(bào)表舉例：統(tǒng)計(jì)對(duì)象過(guò)去自定義時(shí)段的性能指標(biāo)數(shù)據(jù)，選擇其中Top5給用戶。還可對(duì)指定的某幾個(gè)對(duì)象按時(shí)間段/時(shí)間點(diǎn)統(tǒng)計(jì)某些指標(biāo)的最大/最小/平均值，可選取

46、TopN生成。支持對(duì)不同協(xié)議類型（NFS、CIFS、FTP）的客戶端或者對(duì)整個(gè)系統(tǒng)，統(tǒng)計(jì)指定時(shí)間段內(nèi)指定類型文件的量。對(duì)每種報(bào)表可的統(tǒng)計(jì)對(duì)象，僅作了解。42該報(bào)表用于統(tǒng)計(jì)某個(gè)時(shí)間段系統(tǒng)的整體使用情況，可以快速定位物理組件的性能瓶頸。圖中以24小時(shí)為例。43該報(bào)表用于對(duì)集群指定的性能指標(biāo)或容量進(jìn)行實(shí)時(shí)如圖。以指標(biāo)CPU利用率為例，44該報(bào)表用于對(duì)指定節(jié)點(diǎn)上網(wǎng)口的指定性能指標(biāo)進(jìn)行實(shí)時(shí)。以指標(biāo)帶寬為例，報(bào)表呈現(xiàn)。45該報(bào)表用于對(duì)指定節(jié)點(diǎn)上掛載的客戶端的性能指標(biāo)進(jìn)行實(shí)時(shí)。以指標(biāo)平均操作時(shí)延為例，報(bào)表呈現(xiàn)。46客戶端的讀寫請(qǐng)求的處理流程為：“客戶端 業(yè)務(wù)網(wǎng)絡(luò) OceanStor 9000節(jié)點(diǎn)”，性能分析

47、可以根據(jù)數(shù)據(jù)的處理流程，逐一分析?？蛻舳耍簶I(yè)務(wù)應(yīng)用特征：件關(guān)注帶寬性能，小文件關(guān)注OPS性能，件場(chǎng)景的帶寬性能就會(huì)大于票據(jù)影像歸檔的小文件場(chǎng)景，但OPS會(huì)小于票據(jù)影像歸檔的小文件場(chǎng)景。配置：包括傳輸協(xié)議TCP調(diào)整，NFS協(xié)議參數(shù)調(diào)整，CIFS協(xié)議參數(shù)調(diào)整等。網(wǎng)絡(luò)，包括速率協(xié)商，延時(shí)，丟包等。OceanStor 9000配置OceanStor 9000節(jié)點(diǎn)硬件配置：硬件配置對(duì)性能影響很大，比如更高性能的節(jié)點(diǎn)，更高性能的客戶端，更高性能的網(wǎng)卡。OceanStor 9000的配置，包括共享參數(shù)設(shè)置，負(fù)載均衡接入，分級(jí)余配比（數(shù)據(jù)保護(hù)級(jí)別）和條帶大小等。策略，冗如果OceanStor 9000系統(tǒng)硬件

48、配置是與業(yè)務(wù)規(guī)劃性能要求不匹配，本文的調(diào)優(yōu)手段不能完全解決客戶問(wèn)題，必須通過(guò)論范圍。硬件配置來(lái)性能，不在本文檔的討調(diào)優(yōu)思路：做性能分析調(diào)整的時(shí)候，需要根據(jù)性能工具的結(jié)果，按照“排除外部干擾，優(yōu)化配置”的順序逐一調(diào)整，然后觀測(cè)性能工具的報(bào)表調(diào)整后的結(jié)果。這里的外部干擾主要指網(wǎng)絡(luò)。overruns有計(jì)數(shù)，需要檢查對(duì)應(yīng)交換機(jī)接口有沒(méi)有配置flow-control；frame有計(jì)數(shù)，需要抓包確認(rèn)有沒(méi)有重傳。ethtool A0-1：主要看“Speed”速率協(xié)商是否是網(wǎng)口對(duì)應(yīng)速率，“Link detected”是否為 yes，“duplex”是否是full。ethtool -i A0-1： 看網(wǎng)口驅(qū)動(dòng)版

49、本，可以識(shí)別接口類型和廠商，比如cxgb4是Chelsio卡，ixgbe是el 10GE卡。lspci |grep Ether：確認(rèn)用的是什么型號(hào)的網(wǎng)卡。詳細(xì)信息還請(qǐng)參考對(duì)應(yīng)型號(hào)交換機(jī)的故障手冊(cè)。55分析與調(diào)整NAS服務(wù)參數(shù)，通過(guò)分析文件模型調(diào)整NFS與CIFS服務(wù)的傳輸塊大小，關(guān)閉CIFS服務(wù)中的Notify變更通知與簽名功能，以及關(guān)閉針對(duì)文件的時(shí)間功能，可系統(tǒng)性能。分析與調(diào)整客戶端接入負(fù)載分配，InfoEqualizer特性可讓NFS/CIFS客戶端連接以負(fù)載均衡方式分配給多個(gè)InfoEqualizer配置可節(jié)點(diǎn)處理。當(dāng)客戶端接入負(fù)載分配不均時(shí)，通過(guò)調(diào)整系統(tǒng)性能。分析與調(diào)整熱點(diǎn)數(shù)據(jù)布局，當(dāng)

50、啟用分級(jí)統(tǒng)性能。功能時(shí)，通過(guò)調(diào)整熱點(diǎn)數(shù)據(jù)布局可系分析與調(diào)整冗余配比（數(shù)據(jù)保護(hù)級(jí)別）和條帶大小，當(dāng)目錄的冗余配比和條帶大小設(shè)置不當(dāng)時(shí)，通過(guò)調(diào)整設(shè)置可系統(tǒng)性能。NFS傳輸塊大小：缺省為32KB，OceanStor 9000缺省設(shè)置為1MB。取值范圍為1KB1MB。CIFS傳輸塊大小：SMB2.0缺省是64KB，SMB3.0缺省是128KB，OceanStor 9000缺省設(shè)置為1MB。取值范圍為1KB1MB。NFS客戶端調(diào)整請(qǐng)參考Linux客戶端調(diào)優(yōu)，CIFS客戶端調(diào)整請(qǐng)參考Windows客戶端調(diào)優(yōu)。57關(guān)閉CIotify變更通知。1.登錄OceanStor DeviceManager。2.選擇“

51、 設(shè)置 設(shè)置 文件服務(wù) CIFS服務(wù)”。3.去勾選“notify啟用”。4.單擊“保存”。5.關(guān)閉CIFS簽名。錄OceanStor DeviceManager。1.選擇“ 設(shè)置 設(shè)置 文件服務(wù) CIFS服務(wù)”。2.去勾選“簽名啟用”和“強(qiáng)制簽名”。3.單擊“保存”。4.可選：如果客戶端已設(shè)置啟用簽名功能，請(qǐng)恢復(fù)缺省設(shè)置。58關(guān)閉時(shí)間。登錄CLI，請(qǐng)參考OceanStor 9000 管理員指南中“登錄CLI”。1.執(zhí)行命令change file acstime false2.59客戶端接入組網(wǎng)。60“登錄Device Manager”和“在各客戶端中卸載已共享目錄并以分配的新掛載”的方法，不在

52、此描述。重方法：1.選擇“ 系統(tǒng) 設(shè)備視圖”。2.在“節(jié)點(diǎn)列表”下觀察每個(gè)節(jié)點(diǎn)的“讀/寫帶寬（KB/s）”、“CPU利用率”。性能規(guī)格：跟讀寫業(yè)務(wù)形態(tài)，硬件配置，組網(wǎng)強(qiáng)相關(guān)，具體性能規(guī)格請(qǐng)找產(chǎn)品售前人員獲取，此處僅給出一個(gè)樣例，前端業(yè)務(wù)網(wǎng)絡(luò)10GE組網(wǎng)下單P36節(jié)點(diǎn)讀寫性能規(guī)格：順序讀性能：1600MB。順序?qū)懶阅埽篘FS掛載為1100MB，CIFS掛載為1300MB。62方法：1.選擇“設(shè)置 集群設(shè)置 InfoEqualizer 分區(qū)管理”。2.分區(qū)列表中選中一個(gè)分區(qū)后單擊“屬性”，修改行調(diào)整；、負(fù)載均衡策略等信息，執(zhí)3.或者在分區(qū)的節(jié)點(diǎn)列表中執(zhí)行“添加”或“刪除”節(jié)點(diǎn)，進(jìn)行調(diào)整。63P12

53、 SATA硬盤 和 C36 SATA硬盤，性能差異較小，因此不建議在二者間執(zhí)行數(shù)據(jù)遷移。定義文件略方法：1.選擇“ 資源分配 InfoTier 文件略”。2.單擊“創(chuàng)建”，輸入名稱、條件等信息后，單擊“完成”。3.當(dāng)文件略僅定義“文件路徑”、“文件名”和“用戶/用戶組”條件中的一項(xiàng)或幾項(xiàng)時(shí)可以指定儲(chǔ)的分級(jí)，不能指定的節(jié)點(diǎn)池。當(dāng)文件的節(jié)點(diǎn)池。略設(shè)置了其他屬性時(shí)只能指定存OceanStor 9000支持按如下一個(gè)或多個(gè)條件識(shí)別熱點(diǎn)數(shù)據(jù)：文件路徑：如/example。文件名：支持使用“*”代表任意個(gè)字符，使用“?”代表任意一個(gè)字符。用戶/用戶組：文件所屬的用戶/用戶組。文件大?。喝绱笥?MB小于10

54、MB。可定義的為KB/MB/GB。創(chuàng)建時(shí)間：如距當(dāng)前時(shí)間大于12小時(shí)但小于48小時(shí)。修改時(shí)間：如距當(dāng)前時(shí)間大于12小時(shí)但小于48小時(shí)。最后一次時(shí)間：如距當(dāng)前時(shí)間大于2小時(shí)但小于24小時(shí)。I/O次數(shù)：表示在統(tǒng)計(jì)周期內(nèi)的天以內(nèi)。操作次數(shù)，可定義的統(tǒng)計(jì)周期為1天以內(nèi)764說(shuō)明：當(dāng)前系統(tǒng)版本支持條帶大小為：512KB、256KB、128KB、32KB或16KB。只有空目錄才能個(gè)修改冗余配比；修改后的條帶大小只對(duì)新寫入的文件生效，修改前已有文件仍然保持修改前的條帶大小。調(diào)整冗余配比的方法1.登錄OceanStor DeviceManager。2.選擇“資源分配 資源管理器”。3.選中待修改的目錄后，單擊

55、“冗余配比”。4.在下拉列表框中選擇待設(shè)置的冗余配比后，單擊“應(yīng)用”。調(diào)整條帶大小的方法1.登錄OceanStor DeviceManager。2.選擇“資源分配 資源管理器”。3.選中待修改的目錄后，單擊“條帶”。4.在下拉列表框中選擇待設(shè)置的條帶大小后，單擊“應(yīng)用”。66調(diào)整時(shí)都需要使用root用戶或管理員賬號(hào)，避免因權(quán)限不夠無(wú)法執(zhí)行。TCP參數(shù)調(diào)整：NFS使用TCP協(xié)議來(lái)進(jìn)行數(shù)據(jù)的收發(fā)，適當(dāng)增大緩存區(qū)大小可以加快TCP傳輸速度。在10GE網(wǎng)絡(luò)下，TCP收發(fā)緩存區(qū)大小需要調(diào)整，GE網(wǎng)絡(luò)下，可以不做調(diào)整；CIFS使用TCP協(xié)議來(lái)進(jìn)行數(shù)據(jù)的收發(fā)，適當(dāng)增大緩沖區(qū)大小可以加快TCP傳輸速度。支持巨

56、幀：開啟巨幀可以減少TCP損耗，性能。前提是要確認(rèn)從OceanStor 9000前端網(wǎng)絡(luò)接口到客戶端接口之間所有網(wǎng)絡(luò)設(shè)備都要支持巨幀，而且MTU都要配置成匹配的值才可以使用該功能。為了支持巨幀，對(duì)應(yīng)的OceanStor 9000所有節(jié)點(diǎn)同時(shí)也需要執(zhí)行該操作，將前端IP地址對(duì)應(yīng)的配置文件修改為MTU=9000。如果前端網(wǎng)絡(luò)交換機(jī)支持巨幀功能，可開啟客戶端的支持巨幀功能。NFS并發(fā)數(shù)調(diào)整：增大NFS協(xié)議客戶端與服務(wù)讀的并發(fā)消息處理數(shù)，同一時(shí)刻內(nèi)，可以將的客戶端請(qǐng)求傳遞到服務(wù)端，增大業(yè)務(wù)并行度，性能。該值默認(rèn)為16，可以調(diào)整為128。NFS 掛 載 參 數(shù) 調(diào) 整 ： 包 括 參 數(shù) ： rsize

57、/wsize 、 async 、 noatime 、 nodiratime 、 nolock 、nfs.c nt.nfsiod_thread_max 。dirty_bytes參數(shù)調(diào)整：當(dāng)dirty cache到了對(duì)應(yīng)值的時(shí)候，就啟動(dòng)pdflush進(jìn)程，將dirty cache寫回磁盤，適當(dāng)調(diào)整dirty_bytes參數(shù)能夠?qū)懶阅?。CIFS讀寫大小設(shè)置：每次讀寫塊的最大尺寸，建議調(diào)整為128KB即“131072”，來(lái)盡量減少傳輸損耗。TCP參數(shù)調(diào)整：以SUSE11為例，修改TCP收發(fā)緩存區(qū)大小。 執(zhí)行如下命令：sysctl -w net.ipv4.tcp_rmem=4000000 8000000

58、 16000000sysctl -w net.ipv4.tcp_wmem=4000000 8000000 16000000為了重啟后生效，需要修改對(duì)應(yīng)的配置文件。 執(zhí)行如下命令：sudo bash -c echo sysctl -w net.ipv4.tcp_rmem=4000000 8000000 16000000 /etc/sysctl.confsudo bash -c echo sysctl -w net.ipv4.tcp_wmem=4000000 8000000 16000000 /etc/sysctl.conf支持巨幀說(shuō)明：MTU=9000為典型值舉例，現(xiàn)場(chǎng)必須根據(jù)網(wǎng)絡(luò)設(shè)備的支持情況

59、配置成匹配的值。以SUSE11為例，開啟巨幀方法：執(zhí)行如下命令，eth0根據(jù)實(shí)際的網(wǎng)卡執(zhí)行ifconfig eth0查看配置是否生效。ifconfig eth0 mtu 9000調(diào)整。為了重啟后生效，需要修改網(wǎng)卡配置文件。執(zhí)行如下命令修改MTU=9000，如無(wú)該字段，可以增加該字段。ifcfg-eth0根據(jù)實(shí)際的網(wǎng)卡vi /etc/sysconfig/network/ifcfg-eth0調(diào)整。68OceanStor 9000所有節(jié)點(diǎn)同時(shí)也需要執(zhí)行開啟支持巨幀操作，對(duì)所有接入前端業(yè)務(wù)網(wǎng)絡(luò)網(wǎng)口的MTU進(jìn)行設(shè)置，方法同SUSE11中開啟巨幀的操作。69NFS并發(fā)數(shù)：以SUSE11為例，修改并發(fā)消息處

60、理數(shù)值， 執(zhí)行如下命令。echo 128 /proc/synrpc/tcp_slot_table_entries執(zhí)行umount /local_path取消共享目錄掛載。執(zhí)行mount -t nfs -o vers=3,timeo=10 host:/share_path /local_path重新掛載共享目錄。dirty_bytes參數(shù)調(diào)整：以51214400byte為典型值舉例，執(zhí)行如下命令。echo 51214400 /proc/sys/vm/dirty_bytes執(zhí)行umount /local_path取消共享目錄掛載。執(zhí) 行 如 下 命 令 重 新 掛 載 共 享 目 錄 ： moun