HC第一章大數(shù)據(jù)概述

修訂記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEHC1209201OceanStor9000V100R001V2.0開發(fā)/優(yōu)化者時(shí)間審核人開發(fā)類型（新開發(fā)/優(yōu)化）張博2013-09-20羅慶超/余雷新開發(fā)本頁(yè)不打印HC1209201

第一章大數(shù)據(jù)概述目標(biāo)學(xué)完本課程后，您將能夠:描述大數(shù)據(jù)產(chǎn)生、概念和特征；理解大數(shù)據(jù)對(duì)IT的需求和促進(jìn)因素了解大數(shù)據(jù)方案。目漏錄大演數(shù)鳴據(jù)上產(chǎn)央生未與弱特噸點(diǎn)大既數(shù)牽據(jù)銅對(duì)I成T的紛需終求僑與珠促諒進(jìn)大息數(shù)蠻據(jù)遙解擔(dān)決雁方蚊案I巴T戴發(fā)暑展午時(shí)酒代輕的堤數(shù)更據(jù)厭變手遷BigDataCloudBYODMedia&EntertainmentVirtualizationSDS2020年全球數(shù)據(jù)總量40ZB（Gartner）

海舌量梅數(shù)帆據(jù)終產(chǎn)龜生2015年，數(shù)據(jù)將達(dá)到8ZB，數(shù)據(jù)價(jià)值$169億每天2.5億張照片每天2.88萬(wàn)小時(shí)視頻一部3D電影1P以上一個(gè)平安城市200P每天6.3百萬(wàn)訂單每天5千萬(wàn)條消息全球每秒2.9百萬(wàn)郵件每天處理24P數(shù)據(jù)D執(zhí)A叫T悅A海顯量天數(shù)枕?yè)?jù)囑的俗管喜理健難喝題數(shù)據(jù)全周期管理Efficiency效率PB級(jí)的非結(jié)構(gòu)化數(shù)據(jù)和TB級(jí)的結(jié)構(gòu)化數(shù)據(jù)Store存儲(chǔ)海量數(shù)據(jù)如何實(shí)現(xiàn)快速的查找Search檢索數(shù)鍛據(jù)刻類例型移柔動(dòng)險(xiǎn)商作務(wù)C數(shù)R吊M數(shù)胞據(jù)計(jì)的劃?rùn)C(jī)圍會(huì)事捆務(wù)客件戶銷葵售層訂崇單事尊物即貼時(shí)殲消瘦息需剪求庫(kù)宋存大巧數(shù)酬據(jù)銷盯售包訂平單事哀物移眨動(dòng)狂商董務(wù)需另求大態(tài)數(shù)悟據(jù)C支R嚷M數(shù)冒據(jù)客炕戶計(jì)蜂劃事皺務(wù)結(jié)錘構(gòu)內(nèi)化拘數(shù)長(zhǎng)據(jù)牧與講非腥結(jié)簽構(gòu)溉化亞數(shù)宏據(jù)互聯(lián)網(wǎng)：Google,百度Facebook,Twitter,新浪….數(shù)據(jù)以非結(jié)構(gòu)化處理為主在企業(yè)大數(shù)據(jù)中，仍然是以結(jié)構(gòu)化數(shù)據(jù)處理為主平均1個(gè)P數(shù)據(jù)中非結(jié)構(gòu)化為主（原生互聯(lián)網(wǎng)公司）結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化~35%~27%用戶行為軌跡（個(gè)體）UserProfile內(nèi)容（ITEM，圖像、視頻、文本)數(shù)據(jù)21個(gè)歷史詳單查詢社交網(wǎng)絡(luò)數(shù)據(jù)（群體）WebPage&Log~23%~5%~10%結(jié)構(gòu)化為主（電信運(yùn)營(yíng)商）~15%~3%~12%網(wǎng)絡(luò)XDR(探針?lè)@后，含歷史）計(jì)費(fèi)CDR(含歷史）主數(shù)據(jù)（三戶+訂購(gòu)+接觸等含歷史）分析匯總數(shù)據(jù)（含歷史）CUBE和統(tǒng)一視圖~7%互聯(lián)網(wǎng)WebPage&Log(含歷史）~13%社交網(wǎng)絡(luò)數(shù)據(jù)~18%~25%內(nèi)容（圖像、視頻、文本)數(shù)據(jù)~7%Hadoop和分布式文件系統(tǒng)數(shù)據(jù)庫(kù)解割構(gòu)念大覺(jué)數(shù)光據(jù)大鵝數(shù)翻據(jù)戀特濕征ValueVolumeVariety海量的數(shù)據(jù)規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模增長(zhǎng)，IDC預(yù)計(jì)到2020年全球數(shù)據(jù)量將達(dá)到40ZBVelocity快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系實(shí)時(shí)分析而非事后分析，低延時(shí)并發(fā)訪問(wèn)，是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著多樣的數(shù)據(jù)類型文件、電子郵件和視頻等非結(jié)構(gòu)化信息約占未來(lái)十年數(shù)據(jù)產(chǎn)生量的90%巨大的數(shù)據(jù)價(jià)值對(duì)未來(lái)、行為模式等的預(yù)測(cè)分析，一部數(shù)小時(shí)的視頻，可能有用的數(shù)據(jù)只有一兩秒大數(shù)據(jù)四大特征目嗎錄大昆數(shù)文據(jù)盾產(chǎn)靈生繳與析特傷點(diǎn)大摧數(shù)鞠據(jù)他對(duì)I粒T的槍需緩求征和核促綁進(jìn)大含數(shù)緒據(jù)其解券決榮方凈案數(shù)懇據(jù)擇應(yīng)姐用傻中堤的拜性慘能煙與酒容市量存儲(chǔ)性能要求

（每秒對(duì)象數(shù)）應(yīng)用數(shù)據(jù)存儲(chǔ)

（例如，電子郵件、虛擬機(jī)/啟動(dòng)、Sharepoint*）大型關(guān)系數(shù)據(jù)庫(kù)

（例如，NoSQL、非ACID）內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）企業(yè)數(shù)據(jù)庫(kù)

（OLTP、OLAP）小規(guī)模隨機(jī)大規(guī)模順序GigabytesTerabytesPetabytesExabytes高性能

存儲(chǔ)容量

存儲(chǔ)融合

存儲(chǔ)服務(wù)器

備份與歸檔（服務(wù)器與客戶端）大型對(duì)象存儲(chǔ)

（例如，照片/視頻）大型分析工具

（例如，Hadoop*/HDFS）高性能計(jì)算

（例如，pNFS、Luster*）大銀數(shù)捐據(jù)箏對(duì)牛技剃術(shù)旗要川求對(duì)應(yīng)挑戰(zhàn)數(shù)銜據(jù)底挖撒掘貼、磁商些業(yè)舒智束能垃、寺數(shù)訓(xùn)據(jù)淘搜畢索關(guān)鍵技術(shù)V爽o耳l愈u沖m蠢e海大量V刷e頁(yè)l真o怠c拐i盯t礙y快足速V除a主l輩u絞e價(jià)砌值V肺a竹r炮i晃e撫t(yī)佛y多謙樣莊性并犬行嚷計(jì)始算惕（峽批落量真計(jì)救算步、放流鹽計(jì)設(shè)算具）非能結(jié)托構(gòu)沒(méi)化邁：處分朗布牢式查文宋件/對(duì)爛象字系聚統(tǒng)半泄結(jié)緩構(gòu)否化罰：N孝o慘S粱Q故L數(shù)脹據(jù)既庫(kù)結(jié)面構(gòu)岡化沖：背分毛布鏟式媽數(shù)認(rèn)據(jù)立庫(kù)異尚構(gòu)反數(shù)艘據(jù)嫩融鎖合E故T遮L過(guò)引程啊優(yōu)蔽化大嗽數(shù)并據(jù)粱分句析咱技轉(zhuǎn)術(shù)大固數(shù)角據(jù)貿(mào)存卸儲(chǔ)迷技作術(shù)數(shù)據(jù)處理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集數(shù)據(jù)源物聯(lián)網(wǎng)、企業(yè)、社交化網(wǎng)絡(luò)……數(shù)據(jù)分析應(yīng)用及展現(xiàn)數(shù)剃據(jù)凡可誘視萄化大鑼數(shù)思據(jù)貧對(duì)置I凈T蜻系嶼統(tǒng)壯要姓求單恐機(jī)集悲群N跡A甚S單舅機(jī)G形E巧F分CF內(nèi)C關(guān)說(shuō)系襪型炮數(shù)宗據(jù)疏庫(kù)1聯(lián)0通G捉E雹F終C需I傭B分熊布細(xì)式擇數(shù)旦據(jù)昆庫(kù)非向關(guān)喘系涉型冒數(shù)斑據(jù)笨庫(kù)雙它控褲陣福列1當(dāng)0塔G障E腳S攪A球S知I率B橫采向霧擴(kuò)駛展塊錯(cuò)級(jí)店虛構(gòu)擬咳化橫么向阻擴(kuò)飼展分怕布孫式梳文訓(xùn)件壞系閑統(tǒng)計(jì)獵算響瓶撕頸存企儲(chǔ)柜瓶丟頸網(wǎng)掛絡(luò)手瓶裳頸數(shù)克據(jù)掉庫(kù)銀瓶悼頸應(yīng)衰用浮獨(dú)惑占狐主值機(jī)多滴應(yīng)讓用削共蹈享水大磚規(guī)脈模述資襪源導(dǎo)池大割數(shù)級(jí)據(jù)耽推皂動(dòng)拍I顆T槳架諸構(gòu)棕演蕩進(jìn)剃（汗一跑）OSOSOSApp1App2Appn小型機(jī)/服務(wù)器…CloudOSApp1App2Appn云基礎(chǔ)設(shè)施資源池…I卵T基轟礎(chǔ)刪設(shè)亮施諒架轟構(gòu)葉從零以熔計(jì)它算棚為雕中抹心以漿數(shù)貌據(jù)級(jí)為僅中駐心大頑數(shù)呢?fù)?jù)百推獎(jiǎng)動(dòng)財(cái)I短T敞架故構(gòu)舒演艙進(jìn)清（戴二積）大惕規(guī)喪模債并靠行鞏處巨理持勻久殖化漆內(nèi)繡存inputoutput大侵?jǐn)?shù)柴據(jù)聾對(duì)隸存只儲(chǔ)亞技芹術(shù)胖促俘進(jìn)寨（僻一杜）StorageNodeStorageNodeStorageNode數(shù)測(cè)據(jù)桶保懼護(hù)數(shù)鏟據(jù)朵管凳理數(shù)究據(jù)務(wù)流抽動(dòng)JDBC/ODBCNFS/CIFS/HDFSISCSIR搶e摩s呀t快潛照遠(yuǎn)區(qū)程犁復(fù)車制E織C動(dòng)他態(tài)饑分駝層策德略晃驅(qū)湊動(dòng)歸畢檔/節(jié)汁能/鵲W具o嶼r婆m重蓮刪瘡、企壓稈縮快乖速模搜交索燒和愿分尤類臂檢紅索特鞏性接撈口存選儲(chǔ)亦池1（否租豪戶A）存富儲(chǔ)令池2（帆租英戶B）ABB何2B依1A余2CR全驗(yàn)局鈔命篩名絞空暖間基堆礎(chǔ)缸架查構(gòu)A輝1大富數(shù)傾據(jù)巴對(duì)全存悼?jī)?chǔ)菌技逼術(shù)姜促寒進(jìn)粗（沖二蛾）更高效的網(wǎng)絡(luò)傳輸更快的處理存儲(chǔ)介質(zhì)處理器的升級(jí)硬件卸載10GEEthernetRoCE，ToEInfinibandRDMAPCIeFCoESSD非易失性內(nèi)存（NVDIMM）MRAM指令加速大撲數(shù)霞據(jù)浙應(yīng)嫩對(duì)鏈技益術(shù)惰發(fā)抽展主趨馬勢(shì)2中0曲1斯12句0鞋1拼x2住0點(diǎn)1己32永0蔬1聽5生?；罨ㄖ謇頇C(jī)帖器歌人報(bào)挪表陜儀義表蓋盤廣軌告推至薦精屢準(zhǔn)賓營(yíng)漏銷R賤D狀B唇M燒SN白O乞S拖Q緩L爽D陸B(tài)M缸P蒜P壩D表B以棚客餐戶勺畫糟像另為仔基悲礎(chǔ)閉的質(zhì)業(yè)曾務(wù)分軌布?jí)厥巾攦?nèi)墊存申計(jì)編算熊技減術(shù)H返P小廚型拳機(jī)I盜B君M小飲型如機(jī)X鑒8扛6機(jī)街架濫服研務(wù)雀器刀第片貍服民務(wù)劃器統(tǒng)府計(jì)段分濃析O埋L獸A過(guò)P分轟析預(yù)相測(cè)吃分淡析數(shù)旬據(jù)倉(cāng)應(yīng)噴用儲(chǔ)發(fā)玻展蠶趨架勢(shì)數(shù)趕據(jù)癥智鳳能發(fā)光展聚趨紹勢(shì)存似儲(chǔ)削計(jì)曉算發(fā)斧展象趨甚勢(shì)硬叢件發(fā)魚展息趨悲勢(shì)目藥錄大斃數(shù)熄據(jù)腥產(chǎn)飯生例與吊特煮點(diǎn)大圍數(shù)宵據(jù)器對(duì)I托T的矛需財(cái)求料和購(gòu)促婚進(jìn)大凈數(shù)票據(jù)磁解嬸決炊方見案大贊數(shù)置據(jù)濫存姨儲(chǔ)枕解頑決銳方曉案Scale-outNAS存儲(chǔ)Scale-outDBScale-outBackup分析備份數(shù)據(jù)全生命周期管理NFS/CIFS存儲(chǔ)VTL/LTFS備份XDBC/SQL分析ABCScale-out文件系統(tǒng)OceanStor9000分布式存儲(chǔ)通用服務(wù)器網(wǎng)絡(luò)（交換機(jī)，路由器）存儲(chǔ)節(jié)點(diǎn)ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackupHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3CloudOS計(jì)算存儲(chǔ)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)橫向擴(kuò)展（硬件擴(kuò)展）塊虛擬化豐富的增值軟件及對(duì)外接口集群虛擬化10GESASIB橫向擴(kuò)展（硬件+文件系統(tǒng)），文件虛擬化,豐富的增值軟件及對(duì)外接口10GESASIB非關(guān)系型數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)互呀聯(lián)若網(wǎng)隔大舊數(shù)縮慧據(jù)俘解膠決乖方哄案坡-原H栽A勤D權(quán)O沸O早P分析平臺(tái)MapReduce分布式并行處理架構(gòu)Hbase非關(guān)系型數(shù)據(jù)庫(kù)HDFS-分布式文件系統(tǒng)H蝦a飼d甘o次o極p亞大宴數(shù)摩據(jù)拒分融析總炕結(jié)大正數(shù)豪據(jù)鼻產(chǎn)繼生肥與朋特國(guó)點(diǎn)大摩數(shù)睬據(jù)姓對(duì)I黎T的績(jī)需解求永和乓促