大數(shù)據(jù)在水電工程行業(yè)的應(yīng)用v1.1

2015年8月賽迪顧問股份有限公司中國電建貴陽勘測設(shè)計研究院有限公司

大數(shù)據(jù)在水電工程行業(yè)的應(yīng)用研究目錄1大數(shù)據(jù)概述項目背景項目目標(biāo)與內(nèi)容大數(shù)據(jù)應(yīng)用場景項目流程與方法12345大數(shù)據(jù)概念的提出最早提出“大數(shù)據(jù)”時代已經(jīng)到來的機構(gòu)是全球知名咨詢公司麥肯錫。2011年，麥肯錫出版了研究報告《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》，產(chǎn)學(xué)研界對“大數(shù)據(jù)”的關(guān)注達(dá)到歷史性新高度。麥肯錫在研究報告中指出，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?；ヂ?lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算的快速興起以及移動智能終端的快速普及，正使得當(dāng)前人類社會的數(shù)據(jù)增長比以往任何一個時期都要快。越來越大、越來越快、越來越復(fù)雜，數(shù)據(jù)特性的演變和發(fā)展，催生了一個全新的概念——大數(shù)據(jù)。定義大數(shù)據(jù)的3個特征：數(shù)量、種類和速度定義大數(shù)據(jù)的四大特征(4V)：海量的數(shù)據(jù)規(guī)模()多樣的數(shù)據(jù)類型()快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系()巨大的數(shù)據(jù)價值和低密度()定義：量極大，無法用常規(guī)數(shù)據(jù)軟件進行獲取、存儲、

管理和分析的數(shù)據(jù)集1106G11012G大數(shù)據(jù)的定義結(jié)構(gòu)化數(shù)據(jù)：存在于關(guān)系數(shù)據(jù)庫中，多年來一直主導(dǎo)著應(yīng)用；半結(jié)構(gòu)化數(shù)據(jù)：包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為基礎(chǔ)，這也是谷歌和百度存在的理由；非結(jié)構(gòu)化數(shù)據(jù)：廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)不斷產(chǎn)生，有報告稱，超過80%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。更廣的信息范圍新的數(shù)據(jù)與分析類型實時信息來自新技術(shù)的數(shù)據(jù)非傳統(tǒng)形式的媒體大數(shù)據(jù)量社交媒體數(shù)據(jù)最新流行詞*2012年IBM對95個國家中26個行業(yè)的1144名專業(yè)人員調(diào)查結(jié)果大數(shù)據(jù)的范圍描述技術(shù)海量數(shù)據(jù)存儲技術(shù)分布式文件系統(tǒng)實時數(shù)據(jù)處理技術(shù)

流計算引擎數(shù)據(jù)分析技術(shù)

自然語言處理、文本情感分析、機器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型數(shù)據(jù)高速傳輸技術(shù)服務(wù)器/存儲間高速通信

，x86

搜索技術(shù)文本檢索、智能搜索、實時搜索

大數(shù)據(jù)涉及的關(guān)鍵技術(shù)能源與公用事業(yè)智能電表分析資產(chǎn)管理零售全渠道營銷實時促銷司法執(zhí)法多點監(jiān)測網(wǎng)絡(luò)安全檢測交通運輸物流優(yōu)化緩解交通擁堵金融服務(wù)業(yè)欺詐檢測360°客戶視圖數(shù)字媒體實時廣告定位屬性分析健康與生命科學(xué)病歷分析疾病監(jiān)測通訊客戶資料貨幣化網(wǎng)絡(luò)分析&優(yōu)化大數(shù)據(jù)已應(yīng)用于各行各業(yè)目錄7大數(shù)據(jù)概述項目背景項目目標(biāo)與內(nèi)容大數(shù)據(jù)應(yīng)用場景項目流程與方法12345全球進入大數(shù)據(jù)時代，數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢隨著互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)、數(shù)碼設(shè)備、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展，全球數(shù)據(jù)生產(chǎn)在高速增長信息處理技術(shù)的發(fā)展使數(shù)據(jù)價值能夠被更好地挖掘和利用傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法應(yīng)對新的挑戰(zhàn)來源：數(shù)字宇宙研究報告，2011.11據(jù)預(yù)測，未來10年全球數(shù)據(jù)量將以40的速度增長，2020年全球數(shù)據(jù)量將達(dá)到35（35,000,000），為2009年（0.8）的44倍各國政府高度重視大數(shù)據(jù)，上升到國家戰(zhàn)略高度美國：奧巴馬政府3.29宣布“”將投入超過2億美元推動大數(shù)據(jù)提取、存儲、分析、共享、可視化等領(lǐng)域的研究，并將其與歷史上對超級計算和互聯(lián)網(wǎng)的投資相提并論中國：工信部物聯(lián)網(wǎng)十二五規(guī)劃信息處理技術(shù)作為4項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘等貴州省開放政府大數(shù)據(jù)實驗2014年6月,貴州省政府出資1億元,成立云上貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司,專門運營政府搭建的云平臺，并展開招標(biāo)，服務(wù)器選擇了浪潮,機房選擇了中國聯(lián)通,操作系統(tǒng)選擇了阿里。在該平臺中，基礎(chǔ)設(shè)施層、系統(tǒng)平臺層需要政府主導(dǎo)去做；應(yīng)用層、增值服務(wù)層、智能終端層則應(yīng)該更多地交給市場。2015年4月14日，全國首個大數(shù)據(jù)交易所——貴陽大數(shù)據(jù)交易所成立，用于政府、企業(yè)之間的數(shù)據(jù)交易。秉承國有控股、混合所有制、百分百市場化運營管理的體制，不同品種的數(shù)據(jù)根據(jù)品種、時間跨度等實行不同的價格機制。2015貴陽國際大數(shù)據(jù)產(chǎn)業(yè)博覽會暨全球大數(shù)據(jù)時代貴陽峰會（簡稱數(shù)博會）于5月26日在貴陽拉開帷幕，阿里巴巴、惠普、富士康等知名企業(yè)參展。李克強總理在賀信中說：“數(shù)據(jù)是基礎(chǔ)性資源，也是重要的生產(chǎn)力”，“中國是人口大國和信息應(yīng)用大國，擁有海量數(shù)據(jù)資源，發(fā)展大數(shù)據(jù)產(chǎn)業(yè)空間無限”在過去一年里，貴陽奇跡般地創(chuàng)造出五個“中國第一”—中國首個大數(shù)據(jù)戰(zhàn)略重點實驗室、中國首個全域公共免費城市、中國首個塊上集聚的大數(shù)據(jù)公共平臺、中國首個政府?dāng)?shù)據(jù)開放示范城市和中國首個大數(shù)據(jù)交易所。貴陽市已經(jīng)成為國內(nèi)大數(shù)據(jù)應(yīng)用的先頭兵12水電工程行業(yè)遇到大數(shù)據(jù)水電行業(yè)數(shù)據(jù)特征水電勘探設(shè)計工程數(shù)據(jù)的類型眾多，不同類型數(shù)據(jù)包含的信息各具特點，綜合各種數(shù)據(jù)所包含的信息才能得出工程項目真實的地質(zhì)狀況。水電行業(yè)面臨的大數(shù)據(jù)問題水電工程行業(yè)企業(yè)對大數(shù)據(jù)產(chǎn)品和解決方案的需求集中體現(xiàn)在：可擴展存儲、高帶寬、可處理不同格式數(shù)據(jù)的分析方案。

對貴陽院擁有的數(shù)據(jù)，進行全面深入、實時的分析和應(yīng)用，是貴陽院應(yīng)對新形勢下的挑戰(zhàn)，避免淪為大量數(shù)據(jù)，而不是大數(shù)據(jù)的的關(guān)鍵大數(shù)據(jù)為貴陽院帶來新的機遇對數(shù)據(jù)的有效利用日益成為貴陽院進一步發(fā)展的關(guān)鍵知識共享：把項目的數(shù)據(jù)（建成、壩高、材料、建設(shè)工期、造價等）、經(jīng)驗、知識全部共享，提高知識資源利用價值。業(yè)務(wù)創(chuàng)新：對市場保持足夠的敏銳度，及時捕捉市場空白，并迅速作出響應(yīng)決策支持：多角度、多層次、多方面、多維度展示工程過程產(chǎn)生數(shù)據(jù)，為項目決策、生產(chǎn)經(jīng)營提供決策支持。大數(shù)據(jù)將成為貴陽院發(fā)展的核心驅(qū)動引擎目錄14大數(shù)據(jù)概述項目背景項目目標(biāo)與內(nèi)容大數(shù)據(jù)應(yīng)用場景項目流程與方法12345項目目標(biāo)與工作范圍項目目標(biāo)在調(diào)研大數(shù)據(jù)建設(shè)外部經(jīng)驗和內(nèi)部需求的基礎(chǔ)，構(gòu)建水電工程大數(shù)據(jù)框架，梳理貴陽院大數(shù)據(jù)應(yīng)用場景，全面分析貴陽院大數(shù)據(jù)應(yīng)用的可行性，為貴陽院水電工程信息一體化建設(shè)提供新思路。

工作范圍項目范圍如下：1、調(diào)研大數(shù)據(jù)在其他行業(yè)的最佳實踐和建設(shè)案例，分析貴陽院對大數(shù)據(jù)高級應(yīng)用的需求，總結(jié)水電行業(yè)大數(shù)據(jù)應(yīng)用的特征和要求，形成貴陽院大數(shù)據(jù)高級應(yīng)用需求分析報告；2、研究適合水電企業(yè)的水電工程大數(shù)據(jù)框架，全面支撐大數(shù)據(jù)應(yīng)用；梳理貴陽院大數(shù)據(jù)高級應(yīng)用場景，并選擇典型場景進行分析。15大數(shù)據(jù)平臺目標(biāo)架構(gòu)及定位準(zhǔn)實時采集批量采集平臺，基于X86平臺主數(shù)據(jù)倉庫分布式數(shù)據(jù)庫基于X86平臺數(shù)據(jù)采集（云化，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營銷智能運營物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實時分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)財務(wù)人力項目管理業(yè)務(wù)平臺結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)記錄明細(xì)數(shù)據(jù)記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放、、、、、……分布式數(shù)據(jù)庫（）：存儲加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉庫（與合設(shè)）：存儲指標(biāo)數(shù)據(jù)、數(shù)據(jù)和高度匯總數(shù)據(jù)。云平臺：負(fù)責(zé)存儲海量的流量話單數(shù)據(jù)，提供并行的計算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺的能力。數(shù)據(jù)采集（）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到平臺。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫應(yīng)用層目錄17大數(shù)據(jù)概述項目背景項目目標(biāo)與內(nèi)容大數(shù)據(jù)應(yīng)用場景項目流程與方法123452與大數(shù)據(jù)應(yīng)用相關(guān)技術(shù)政策推進：2011年住建部《2011年~2015年建筑業(yè)信息化發(fā)展綱要》2014年住建部《關(guān)于推進建筑業(yè)發(fā)展和改革的若干意見》2014年上海市《關(guān)于在本市推進建筑信息模型技術(shù)應(yīng)用的指導(dǎo)意見》三維設(shè)計可視化，方便多方溝通便于有限元、等數(shù)值模擬計算多專業(yè)協(xié)同保空間協(xié)調(diào)防沖突靈活的設(shè)計變更可在設(shè)計階段便捷考慮經(jīng)濟性建筑性能分析日照分析、能耗模擬、聲學(xué)計算、視線模擬、碰撞檢查

日照模擬自然通風(fēng)系統(tǒng)模擬熱能環(huán)境模擬受風(fēng)作用的流體力學(xué)模擬大數(shù)據(jù)與結(jié)合-仿真計算除建模進行結(jié)構(gòu)計算分析外：大數(shù)據(jù)與結(jié)合-項目管理精細(xì)化建筑信息模型施工模擬工程數(shù)量資源消耗工程造價變更設(shè)計物資采購驗工計價限額領(lǐng)料與大數(shù)據(jù)應(yīng)用相關(guān)技術(shù)一個項目包括環(huán)節(jié)：定義一個問題獲取軟件或硬件采集與獲取數(shù)據(jù)建立數(shù)據(jù)庫實施分析解釋和展示結(jié)果是一種特定的空間信息系統(tǒng)：在計算機硬、軟件系統(tǒng)支持下，對整個或部分地球表層（包括大氣層和地下）空間中的有關(guān)地理分布數(shù)據(jù)進行采集、儲存、管理、運算、分析、顯示和描述。大數(shù)據(jù)和3D融合，實現(xiàn)車站和線路的一體化設(shè)計以及施工模擬、監(jiān)測大數(shù)據(jù)與結(jié)合-設(shè)計施工一體化大量的不相關(guān)信息(多角度反映事物特性)深度復(fù)雜分析（機器學(xué)習(xí)、人工智能等）對未來趨勢和模式的可預(yù)測分析(數(shù)學(xué)、力學(xué)模型)數(shù)據(jù)價值密度較低（絕大部分?jǐn)?shù)據(jù)無應(yīng)用價值）數(shù)據(jù)挖掘：對大數(shù)據(jù)通過算法搜索隱藏于其中有用的信息，與計算機科學(xué)有關(guān)，并通過統(tǒng)計、在線分析處理、情報檢索、機器學(xué)習(xí)、專家系統(tǒng)、模式識別等方法來實現(xiàn)預(yù)期目標(biāo)。與大數(shù)據(jù)應(yīng)用相關(guān)-知識管理土壓力大數(shù)據(jù)與知識管理結(jié)合-建模分析、協(xié)同共享建立對非結(jié)構(gòu)化數(shù)據(jù)進行語法查詢的支持，實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（）非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)分析應(yīng)用數(shù)據(jù)集市數(shù)據(jù)集市結(jié)構(gòu)化元數(shù)據(jù)建立非結(jié)構(gòu)化信息的標(biāo)簽、摘要、索引、日志、內(nèi)容等提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標(biāo)引、摘要等；實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合與大數(shù)據(jù)應(yīng)用相關(guān)技術(shù)關(guān)系數(shù)據(jù)庫引入對的支持仍然無法有效處理主要關(guān)鍵技術(shù)

自然語言理解，文本分詞、語義分析，情感分析或者大規(guī)模計算技術(shù)

非結(jié)構(gòu)化數(shù)據(jù)索引技術(shù)，如搜索引擎倒排索引技術(shù)

多媒體處理，包括圖像識別，語音識別，多媒體索引等技術(shù)

……大數(shù)據(jù)與結(jié)合-實時數(shù)據(jù)分析實時數(shù)據(jù)分析-經(jīng)營風(fēng)險控制27實時數(shù)據(jù)分析-客戶360分析28實時數(shù)據(jù)分析-運營狀態(tài)監(jiān)測利用大數(shù)據(jù)探索實現(xiàn)大壩、發(fā)電等基礎(chǔ)設(shè)施（設(shè)備）運行狀態(tài)信息庫的充實和監(jiān)測管理的準(zhǔn)確。水電行業(yè)需要儲備規(guī)模巨大的狀態(tài)庫，部分國家正在將大數(shù)據(jù)技術(shù)用于基礎(chǔ)設(shè)施運營狀態(tài)監(jiān)控，其收集到的數(shù)據(jù)除了解基礎(chǔ)設(shè)施的運行狀態(tài)提高運維效率以外，還可用于風(fēng)險預(yù)警、應(yīng)急指揮等管理。物聯(lián)網(wǎng)技術(shù)的發(fā)展使人與物的溝通成為可能，物聯(lián)網(wǎng)對物體狀態(tài)的實時反饋滿足了大數(shù)據(jù)的全數(shù)據(jù)、高頻采樣特點，只有大數(shù)據(jù)技術(shù)才能對這些數(shù)據(jù)進行分析。中國電子信息產(chǎn)業(yè)發(fā)展研究院云平臺是基礎(chǔ)設(shè)施架構(gòu)云平臺如何整合既有、系統(tǒng)？大數(shù)據(jù)是核心資產(chǎn)如何獲取多種類、可靠、標(biāo)準(zhǔn)化儲存的信息數(shù)據(jù)？分析、挖掘是重要手段數(shù)學(xué)理論、方