大數(shù)據(jù)及其在石油行業(yè)的應(yīng)用案例

大數(shù)據(jù)及其在石油行業(yè)的應(yīng)用案例大數(shù)據(jù)的內(nèi)涵大數(shù)據(jù)時(shí)代大數(shù)據(jù)的技術(shù)體系大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)目錄一、大數(shù)據(jù)介紹二、大數(shù)據(jù)在石油行業(yè)的應(yīng)用近些年，由于計(jì)算機(jī)、物聯(lián)網(wǎng)等信息化技術(shù)以及傳感技術(shù)的發(fā)展，現(xiàn)代生活中出現(xiàn)了“一切皆可數(shù)據(jù)化”的思維，數(shù)據(jù)的產(chǎn)生方式由“人機(jī)”、“機(jī)物”的二元世界向著融合社會(huì)資源、信息系統(tǒng)以及物理資源的三元世界轉(zhuǎn)變，數(shù)據(jù)規(guī)模呈膨脹式發(fā)展，信息技術(shù)快速發(fā)展、數(shù)據(jù)存儲(chǔ)和處理成本大幅下降，催生了大數(shù)據(jù)時(shí)代的來(lái)臨。大數(shù)據(jù)的內(nèi)涵3大數(shù)據(jù)的主要特征可以概況為4V+1C，分別代表了Variety（多樣化）、Volume（海量化）、Velocity（快速性）、Value（價(jià)值化）以及Complexity（復(fù)雜性）。數(shù)據(jù)體量巨大處理速度快數(shù)據(jù)類型繁多數(shù)據(jù)潛在價(jià)值高Complexity復(fù)雜異構(gòu)數(shù)據(jù)一、大數(shù)據(jù)的內(nèi)涵

規(guī)?！髷?shù)據(jù)有多大？單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。數(shù)據(jù)集合的大小超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件（比如Oracle、MySQL等）的采集、存儲(chǔ)、管理及分析等能力。符合大數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)集大小是變化的，會(huì)隨著時(shí)間推移、技術(shù)進(jìn)步而增長(zhǎng)。不同領(lǐng)域符合大數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)集大小會(huì)存在差別。目前，我們已進(jìn)入數(shù)據(jù)的ZB時(shí)代。國(guó)際數(shù)據(jù)公司（IDC）稱，全球數(shù)據(jù)總量2015年為8.6ZB左右，2016年將在12ZB左右，全球數(shù)據(jù)的增長(zhǎng)速度在每年40%左右，預(yù)計(jì)2020年將達(dá)40ZB。大數(shù)據(jù)的內(nèi)涵大數(shù)據(jù)的內(nèi)涵標(biāo)識(shí)單位大小含意和例子Bit位1或0計(jì)算機(jī)用二進(jìn)制存儲(chǔ)和處理數(shù)據(jù)，一位是指一個(gè)二進(jìn)制數(shù)位；0或1，這是存儲(chǔ)信息的邏輯單元Byte字節(jié)8位這是計(jì)算機(jī)存儲(chǔ)信息的基本物理單位，存儲(chǔ)一個(gè)英文字母在計(jì)算機(jī)上，其大小就是一個(gè)字節(jié)KB千字節(jié)1024字節(jié)，或

個(gè)字節(jié)一頁(yè)紙上的文字大概是5千字節(jié)MB兆字節(jié)1024字節(jié)，或

個(gè)字節(jié)一個(gè)普通MP3格式的流行歌曲大概是4兆字節(jié)GB吉字節(jié)1024字節(jié)，或

個(gè)字節(jié)一部電影大概是1吉字節(jié)TB太字節(jié)1024字節(jié)，或

個(gè)字節(jié)美國(guó)國(guó)會(huì)圖書館所有登記的印刷版書本的信息量為15太字節(jié)，截至2011年年底，其網(wǎng)絡(luò)備份的數(shù)據(jù)量為280太字節(jié)，這個(gè)數(shù)據(jù)還在以每個(gè)月5太的速度遞增PB拍字節(jié)1024字節(jié)，或

個(gè)字節(jié)美國(guó)郵政局一年處理的信件大約為5拍，谷歌每小時(shí)處理的數(shù)據(jù)為1拍EB艾字節(jié)1024字節(jié)，或

個(gè)字節(jié)相當(dāng)于13億中國(guó)人人手一本500頁(yè)的書加起來(lái)的信息量ZB澤字節(jié)1024字節(jié)，或

個(gè)字節(jié)截至2010年，人類擁有的信息總量大概是1.2澤字節(jié)YB堯字節(jié)1024字節(jié)，或

個(gè)字節(jié)超出想象，難以描述正確認(rèn)識(shí)大數(shù)據(jù)大數(shù)據(jù)是一個(gè)寬泛的概念，見仁見智

流傳最廣的概念——4V模型大量(Volume)高速(Velocity)多樣(Varity)價(jià)值(Value)阿里系的概念——3大特征在線實(shí)時(shí)全貌科學(xué)院的概念——5大特征活性顆粒度維度時(shí)空情緒全量勝于樣本混雜勝于精確相關(guān)重于因果舍恩伯格的概念——思維定義+3大特征大數(shù)據(jù)和傳統(tǒng)BI的區(qū)別

表象實(shí)質(zhì)數(shù)據(jù)量GBTBTBPB以上傳統(tǒng)BI多樣性結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化、半結(jié)構(gòu)化、多維、音視頻數(shù)據(jù)速度數(shù)據(jù)量穩(wěn)定，增長(zhǎng)不快持續(xù)實(shí)時(shí)產(chǎn)生數(shù)據(jù)，要求即時(shí)處理價(jià)值高密度低密度大數(shù)據(jù)維度理念模式方法大數(shù)據(jù)的價(jià)值大數(shù)據(jù)應(yīng)用可以提升商業(yè)價(jià)值大數(shù)據(jù)可以強(qiáng)化管理乃至管理自動(dòng)化數(shù)字化、智能化“數(shù)據(jù)驅(qū)動(dòng)型決策”模式可以促進(jìn)生產(chǎn)力和預(yù)測(cè)能力的提升美國(guó)179家大型公司研究表明基于數(shù)據(jù)分析的決策實(shí)現(xiàn)的生產(chǎn)率增長(zhǎng)，要比任何其他因素高5%到6%。能通過(guò)流程優(yōu)化提高盈利能力，通過(guò)基于購(gòu)買行為的預(yù)測(cè)分析提高銷量，或者通過(guò)預(yù)測(cè)市場(chǎng)環(huán)境變化來(lái)調(diào)節(jié)。

戰(zhàn)略性利用大數(shù)據(jù)可以提升企業(yè)創(chuàng)新力和決策能力

能夠利用大數(shù)據(jù)的企業(yè)，創(chuàng)新能力、業(yè)務(wù)靈活性和利潤(rùn)都將得到極大的提高。增加企業(yè)透明度的能力可發(fā)現(xiàn)新需求，揭示多樣性，改善績(jī)效使產(chǎn)品與服務(wù)精確滿足客戶新需求用自動(dòng)生成算法取代或支持人為決策開發(fā)新業(yè)務(wù)模型、產(chǎn)品和服務(wù)大數(shù)據(jù)時(shí)代大數(shù)據(jù)將引發(fā)一系列變革在大數(shù)據(jù)之前，互聯(lián)網(wǎng)企業(yè)和傳統(tǒng)企業(yè)基本上平行的發(fā)展，鮮有交集。而大數(shù)據(jù)是兩者發(fā)展的交集，當(dāng)傳統(tǒng)企業(yè)利用大數(shù)據(jù)，嫁接互聯(lián)網(wǎng)基因，那么他將獲得新的發(fā)展動(dòng)力，也將引發(fā)消費(fèi)模式、制造模式、管理模式的巨大變革，對(duì)政府、對(duì)企業(yè)、對(duì)個(gè)人影響深遠(yuǎn)！大數(shù)據(jù)是IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。對(duì)國(guó)家治理模式、對(duì)企業(yè)的決策、組織和業(yè)務(wù)流程、對(duì)個(gè)人生活方式都將產(chǎn)生巨大的影響。大數(shù)據(jù)時(shí)代數(shù)據(jù)成為企業(yè)的核心資產(chǎn)大數(shù)據(jù)時(shí)代企業(yè)的疆界變得模糊，數(shù)據(jù)成為核心的資產(chǎn)，并將深刻影響企業(yè)的業(yè)務(wù)模式，甚至重構(gòu)企業(yè)文化和組織。企業(yè)將面臨一系列挑戰(zhàn)企業(yè)在大數(shù)據(jù)時(shí)代將面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時(shí)也迎來(lái)重大的轉(zhuǎn)型機(jī)遇和飛躍契機(jī)。信息部門將躍升為決策部門之一企業(yè)信息化部門將從一個(gè)輔助角色，一躍而為企業(yè)決策的力量之一，一切都將以精確的大數(shù)據(jù)分析為導(dǎo)向。

大數(shù)據(jù)技術(shù)是繼云計(jì)算之后全球最新興起的一項(xiàng)重大IT技術(shù)。大數(shù)據(jù)的核心技術(shù)包括基于Hadoop的大數(shù)據(jù)基礎(chǔ)平臺(tái)、HDFS分布式文件系統(tǒng)、YARN資源管理系統(tǒng)、SPARK大數(shù)據(jù)處理引擎、Storm大數(shù)據(jù)分布式實(shí)時(shí)計(jì)算系統(tǒng)以及R語(yǔ)言等數(shù)據(jù)分析應(yīng)用技術(shù)等。大數(shù)據(jù)的核心技術(shù)序號(hào)類別主要技術(shù)1基礎(chǔ)設(shè)施技術(shù)基于Hadoop的大數(shù)據(jù)基礎(chǔ)設(shè)施平臺(tái)，具體包括：分布式文件系統(tǒng)(HDFS)、分布式計(jì)算框架(MapReduce)、非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)、列式存儲(chǔ)數(shù)據(jù)庫(kù)(Hbase)、數(shù)據(jù)倉(cāng)庫(kù)工具(Hive)等。2數(shù)據(jù)處理管理技術(shù)資源管理系統(tǒng)(YARN)、大數(shù)據(jù)處理引擎(Spark)、大數(shù)據(jù)分布式實(shí)時(shí)計(jì)算系統(tǒng)（Storm）、元數(shù)據(jù)管理(Hcatalog)、數(shù)據(jù)提取轉(zhuǎn)換和加載(Sqoop)、NoSQL數(shù)據(jù)庫(kù)管理系統(tǒng)、列存儲(chǔ)數(shù)據(jù)庫(kù)管理系統(tǒng)等。3數(shù)據(jù)分析應(yīng)用技術(shù)數(shù)據(jù)挖掘分析關(guān)聯(lián)規(guī)則學(xué)習(xí)、數(shù)據(jù)融合與集成、遺傳算法、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、模式識(shí)別、情感分析、內(nèi)容分析、復(fù)合事件處理、語(yǔ)義引擎等。預(yù)測(cè)分析預(yù)測(cè)模型、時(shí)間序列分析、回歸分析等?？梢暬治鯬rocessing、R語(yǔ)言、可視化算法和模型等。大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)的核心技術(shù)SparkSpark是一個(gè)新興的大數(shù)據(jù)處理的引擎，主要特點(diǎn)是提供了一個(gè)集群的分布式內(nèi)存抽象，以支持需要工作集的應(yīng)用。簡(jiǎn)單說(shuō)Spark就是內(nèi)存計(jì)算（包含迭代式計(jì)算，DAG計(jì)算,流式計(jì)算）框架。Spark的生態(tài)系統(tǒng)發(fā)展非常迅速，成為2015年大數(shù)據(jù)領(lǐng)域最火的開源軟件，其版本更新速度也是非常之快，2016年一季度迎來(lái)重要的2.x版本，確立以DataFrame和Dataset為核心的體系架構(gòu)，同時(shí)在各方面的性能上有很大的提升。大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)的核心技術(shù)名稱方案特點(diǎn)功能特點(diǎn)主要應(yīng)用IBM大數(shù)據(jù)分析平臺(tái)基于Hadoop的整體解決方案集成數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)庫(kù)和分布式存儲(chǔ)系統(tǒng)靜態(tài)數(shù)據(jù)分析、多節(jié)點(diǎn)分布式計(jì)算內(nèi)存計(jì)算方式、實(shí)時(shí)數(shù)據(jù)分析非結(jié)構(gòu)化分析、流數(shù)據(jù)分析商務(wù)智能報(bào)表數(shù)據(jù)挖掘、內(nèi)容分析、預(yù)測(cè)分析Microsoft大數(shù)據(jù)分析開發(fā)環(huán)境基于Hadoop的整體解決方案能集成第三方數(shù)據(jù)分析軟件強(qiáng)大的可視化展現(xiàn)能力Hadoop與微軟BI、Office的無(wú)縫結(jié)合；提供基于云端的Hadoop服務(wù)商務(wù)智能報(bào)表等數(shù)據(jù)分析Oracle大數(shù)據(jù)協(xié)同工作平臺(tái)基于Hadoop的整體解決方案集成了硬件、存儲(chǔ)、軟件和Hadoop軟件對(duì)所有數(shù)據(jù)類型提供數(shù)據(jù)分析能力；通過(guò)SQL語(yǔ)言從Oracle數(shù)據(jù)庫(kù)直接訪問(wèn)Hadoop分布式文件系統(tǒng)上的數(shù)據(jù)提供基于云的數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)—DBaaS各種類型海量數(shù)據(jù)存儲(chǔ)的DBaaS的云服務(wù)；企業(yè)數(shù)據(jù)分析服務(wù)SAP

商務(wù)智能系統(tǒng)基于Hadoop的整體解決方案快速數(shù)據(jù)分析并支持移動(dòng)計(jì)算。系統(tǒng)提供強(qiáng)大的管理工具，系統(tǒng)部署快捷利用行、列存儲(chǔ)結(jié)構(gòu)和內(nèi)存計(jì)算技術(shù)，實(shí)現(xiàn)即時(shí)商務(wù)分析；使用戶端擁有強(qiáng)大的商務(wù)智能能力及移動(dòng)計(jì)算能力；能獲取準(zhǔn)確的企業(yè)和社交信息，包括結(jié)構(gòu)化與非結(jié)構(gòu)化信息商務(wù)智能報(bào)表、圖形、地理信息圖，數(shù)據(jù)分析、可視化SAS商業(yè)智能和分析軟件與服務(wù)基于應(yīng)用模型的解決方案業(yè)務(wù)、數(shù)據(jù)分析模型和方案處于優(yōu)勢(shì)整合軟件、知識(shí)及方法論商務(wù)智能報(bào)表數(shù)據(jù)發(fā)現(xiàn)、可視化、預(yù)測(cè)分析大數(shù)據(jù)技術(shù)平臺(tái)一般都是開源免費(fèi)的，但提供技術(shù)支持和服務(wù)是收費(fèi)的，且價(jià)格很高，如HORTONOR公司另一類是收費(fèi)，IT公司封裝好的，大多只能滿足一些基本要求，需要大量的定制開發(fā)解決方案基本上在開源的Hadoop平臺(tái)上實(shí)現(xiàn)的解決方案往往支持云技術(shù)應(yīng)用17大數(shù)據(jù)的解決方案大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)的核心技術(shù)HDFS——Hadoop分布式文件系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合在大規(guī)模數(shù)據(jù)集上的應(yīng)用，具有高度的容錯(cuò)性，其主要組件由一個(gè)NameNode（管理者）和多個(gè)DataNode（工作者）組成。NameNode是主節(jié)點(diǎn)，存儲(chǔ)文件的元數(shù)據(jù)如文件名，文件目錄結(jié)構(gòu)，文件屬性等DataNode在本地文件系統(tǒng)存儲(chǔ)文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗(yàn)等。保存多個(gè)副本，且提供容錯(cuò)機(jī)制，副本丟失或宕機(jī)自動(dòng)恢復(fù)，默認(rèn)存3份。可在廉價(jià)的機(jī)器上運(yùn)行。適合大數(shù)據(jù)的處理。大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)的核心技術(shù)MapReduceMapReduce這一并行處理技術(shù)用來(lái)提高數(shù)據(jù)的處理速度。其設(shè)計(jì)初衷是通過(guò)大量廉價(jià)服務(wù)器實(shí)現(xiàn)大數(shù)據(jù)并行處理，對(duì)數(shù)據(jù)一致性要求不高，突出優(yōu)勢(shì)是具有擴(kuò)展性和可用性，特別適用于海量的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的混合處理。

MapReduce將傳統(tǒng)的查詢、分解及數(shù)據(jù)分析進(jìn)行分布式處理，將處理任務(wù)分配到不同的處理節(jié)點(diǎn)，因此具有更強(qiáng)的并行處理能力。作為一個(gè)簡(jiǎn)化的并行處理的編程模型，MapReduce還降低了開發(fā)并行應(yīng)用的門檻。大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)的核心技術(shù)YARNYARN是Hadoop2.0中的資源管理系統(tǒng)，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。借助YARN，大數(shù)據(jù)集群組件的安裝更為便捷、簡(jiǎn)易。大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)分析與挖掘技術(shù)目前常用的大數(shù)據(jù)分析與挖掘技術(shù)主要有聚類分析、分類和預(yù)測(cè)、關(guān)聯(lián)分析、人工神經(jīng)網(wǎng)絡(luò)、遺傳基因算法、數(shù)據(jù)挖掘算法、智能翻譯、機(jī)器學(xué)習(xí)、語(yǔ)義引擎、情感分析及可視化技術(shù)等。大數(shù)據(jù)的核心技術(shù)R語(yǔ)言R是一套完整的數(shù)據(jù)處理、計(jì)算和制圖軟件系統(tǒng)，是自由、免費(fèi)、源代碼開放的，用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖的優(yōu)秀工具。R的功能：數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)；數(shù)組運(yùn)算工具（其向量、矩陣運(yùn)算方面功能尤其強(qiáng)大）；完整連貫的統(tǒng)計(jì)分析工具；優(yōu)秀的統(tǒng)計(jì)制圖功能；簡(jiǎn)便而強(qiáng)大的編程語(yǔ)言：可操縱數(shù)據(jù)的輸入和輸出，可實(shí)現(xiàn)分支、循環(huán)，用戶可自定義功能。大數(shù)據(jù)的核心技術(shù)大數(shù)據(jù)的數(shù)據(jù)挖掘大數(shù)據(jù)的數(shù)據(jù)挖掘大數(shù)據(jù)的數(shù)據(jù)挖掘大數(shù)據(jù)產(chǎn)業(yè)發(fā)展歷程：目前，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)正處于高速發(fā)展期，多種商業(yè)模式得到市場(chǎng)印證，新產(chǎn)品和服務(wù)不斷推出，細(xì)分市場(chǎng)走向差異化競(jìng)爭(zhēng)。大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)“大數(shù)據(jù)”應(yīng)用已遍布各行各業(yè)：航空、金融、電商、政府、電信、能源、旅游、醫(yī)療等行業(yè)，它正在影響人們的思維模式、商業(yè)模式和管理模式。如：大數(shù)據(jù)在電商和互聯(lián)網(wǎng)行業(yè)得到了廣泛的應(yīng)用，利用大數(shù)據(jù)技術(shù)分析客戶購(gòu)買行為和消費(fèi)偏好，從而為消費(fèi)者提供精準(zhǔn)的商品推送和個(gè)性化服務(wù)，大大提高了銷量、收入和利潤(rùn)。大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)2015年9月5日，國(guó)務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，提出要全面推進(jìn)大數(shù)據(jù)發(fā)展和應(yīng)用，加快政府?dāng)?shù)據(jù)開放共享，深化大數(shù)據(jù)在各行業(yè)創(chuàng)新應(yīng)用，通過(guò)建設(shè)數(shù)據(jù)強(qiáng)國(guó)，提升政府治理能力，推動(dòng)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)。2016年3月17日，國(guó)家《十三五規(guī)劃綱要》，首次將發(fā)展大數(shù)據(jù)上升為國(guó)家戰(zhàn)略。把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，全面實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)，加快推動(dòng)數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用，助力產(chǎn)業(yè)轉(zhuǎn)型升級(jí)和社會(huì)治理創(chuàng)新。大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》將于今年下半年發(fā)布，從四大工作思路入手，推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展：支持關(guān)鍵技術(shù)產(chǎn)品的研發(fā)和產(chǎn)業(yè)化，主要就是要抓住大數(shù)據(jù)引領(lǐng)的IT技術(shù)的架構(gòu)和產(chǎn)業(yè)變革的機(jī)遇，在技術(shù)研發(fā)、產(chǎn)品體系、服務(wù)支撐這三個(gè)方面著力。推動(dòng)行業(yè)大數(shù)據(jù)應(yīng)用的不斷深化，主要是大力推動(dòng)工業(yè)和信息通信業(yè)大數(shù)據(jù)應(yīng)用發(fā)展，支持大數(shù)據(jù)跨行業(yè)的融合應(yīng)用發(fā)展，包括公共服務(wù)、社會(huì)治理、金融、能源、交通和農(nóng)業(yè)等。繁榮大數(shù)據(jù)的產(chǎn)業(yè)生態(tài)，包括合理規(guī)劃大數(shù)據(jù)的基礎(chǔ)設(shè)施建設(shè)，促進(jìn)大數(shù)據(jù)的創(chuàng)業(yè)創(chuàng)新發(fā)展和優(yōu)化大數(shù)據(jù)產(chǎn)業(yè)的區(qū)域布局。完善大數(shù)據(jù)的支撐體系，支持?jǐn)?shù)據(jù)交易流通平臺(tái)的探索，培育大數(shù)據(jù)開源社區(qū)項(xiàng)目，加快大數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)，建立大數(shù)據(jù)統(tǒng)計(jì)及評(píng)估體系，完善大數(shù)據(jù)安全保障體系。大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)大數(shù)據(jù)的發(fā)展趨勢(shì)：從數(shù)據(jù)角度看，一是數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。二是不同行業(yè)的大數(shù)據(jù)內(nèi)容和開發(fā)應(yīng)用特點(diǎn)各有不同。其中，金融、通信、公共事業(yè)以及政府等領(lǐng)域或行業(yè)更加具有通過(guò)大數(shù)據(jù)來(lái)創(chuàng)造價(jià)值的潛力。三是跨領(lǐng)域跨行業(yè)的數(shù)據(jù)共享范圍和程度必將大大提升。從技術(shù)角度看，未來(lái)大數(shù)據(jù)技術(shù)將進(jìn)行更多的智能嵌入，各智能化主體將產(chǎn)生更多顛覆性的創(chuàng)新理念及產(chǎn)品，如機(jī)器人、自動(dòng)駕駛車輛、虛擬個(gè)人助手等。此外，機(jī)器學(xué)習(xí)、智能實(shí)時(shí)分析、信息挖掘算法等的發(fā)展將成為“數(shù)據(jù)準(zhǔn)備與預(yù)測(cè)分析工作的必要前提”。從應(yīng)用角度看，應(yīng)用領(lǐng)域?qū)⒉粩鄶U(kuò)展，并逐步深化應(yīng)用。大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)發(fā)展大數(shù)據(jù)的挑戰(zhàn)業(yè)務(wù)部門沒(méi)有清晰的大數(shù)據(jù)需求企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)重?cái)?shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)數(shù)據(jù)安全大數(shù)據(jù)人才缺乏數(shù)據(jù)開放與隱私的權(quán)衡大數(shù)據(jù)的發(fā)展趨勢(shì)及挑戰(zhàn)36研究機(jī)構(gòu)認(rèn)為，通過(guò)大數(shù)據(jù)實(shí)現(xiàn)價(jià)值的一個(gè)重要制約因素是人才短缺，尤其是缺少擁有統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方面專長(zhǎng)的人，以及知道如何通過(guò)運(yùn)用從大數(shù)據(jù)獲得的洞見來(lái)運(yùn)營(yíng)企業(yè)的管理者和分析師。

麥肯錫預(yù)計(jì)，截止2018年，美國(guó)大數(shù)據(jù)領(lǐng)域中深度分析人才職位的需求會(huì)超過(guò)供給，缺口為14萬(wàn)到19萬(wàn)個(gè)職位。這類人才不僅需要具備固有的數(shù)學(xué)能力，還需要數(shù)年的培訓(xùn)。此外，麥肯錫預(yù)計(jì)截止2018年，美國(guó)需要增加150萬(wàn)能夠提出正確的問(wèn)題并有效利用大數(shù)據(jù)分析的管理者和分析師。美國(guó)和其他面臨類似短缺的經(jīng)濟(jì)體不能簡(jiǎn)單地靠改變畢業(yè)生需求、等待具有更多技能的人才畢業(yè)，或是引進(jìn)人才來(lái)填補(bǔ)這個(gè)缺口，故須對(duì)相當(dāng)數(shù)量人才進(jìn)行適當(dāng)?shù)脑倥嘤?xùn)。實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的重大制約是人才短缺目錄一、大數(shù)據(jù)介紹二、大數(shù)據(jù)在石油行業(yè)的應(yīng)用數(shù)據(jù)被譽(yù)為“未來(lái)世界的新石油”。在大數(shù)據(jù)時(shí)代，任何決策都不能再簡(jiǎn)單地依靠經(jīng)驗(yàn)和直覺(jué)，而是要快捷地從海量數(shù)據(jù)中獲取決策的數(shù)據(jù)，這是油氣公司實(shí)現(xiàn)科學(xué)決策、高效運(yùn)營(yíng)的關(guān)鍵。油氣公司在科研、生產(chǎn)、管理、經(jīng)營(yíng)活動(dòng)中積累了海量的結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，其數(shù)據(jù)總量仍在不斷持續(xù)攀升，充分挖掘這些數(shù)據(jù)的價(jià)值是非常重要和十分迫切的，尤其是在低油價(jià)時(shí)期。重要意義應(yīng)用領(lǐng)域大數(shù)據(jù)總體應(yīng)用方向中國(guó)石油業(yè)務(wù)總體特征是產(chǎn)業(yè)鏈長(zhǎng)，包括勘探、生產(chǎn)、儲(chǔ)運(yùn)、煉油、銷售等，業(yè)務(wù)類型多并關(guān)聯(lián)度緊密，企業(yè)規(guī)模大且地域分布廣。目前業(yè)務(wù)運(yùn)行產(chǎn)生的數(shù)據(jù)量巨大，數(shù)據(jù)類型更為復(fù)雜，已向PB（萬(wàn)億字節(jié)）級(jí)規(guī)模發(fā)展，而隨著物聯(lián)網(wǎng)系統(tǒng)的實(shí)施，未來(lái)將逐步實(shí)現(xiàn)數(shù)據(jù)采集實(shí)時(shí)化，使得支持集團(tuán)業(yè)務(wù)運(yùn)行、企業(yè)經(jīng)營(yíng)管理、科學(xué)研究的信息資源越來(lái)越豐富。為此，中國(guó)石油大數(shù)據(jù)應(yīng)用應(yīng)集中在業(yè)務(wù)分析和企業(yè)決策，重點(diǎn)關(guān)注數(shù)據(jù)跨界集成、企業(yè)決策工作平臺(tái)建立、綜合完整KPI分析體系建立、業(yè)務(wù)分析與價(jià)值發(fā)現(xiàn)等方面應(yīng)用。應(yīng)用領(lǐng)域針對(duì)集團(tuán)業(yè)務(wù)領(lǐng)域多、企業(yè)類型不一致等情況，可以通過(guò)大數(shù)據(jù)方法對(duì)各系統(tǒng)的數(shù)據(jù)實(shí)現(xiàn)跨界集成，實(shí)現(xiàn)勘探開發(fā)、油田生產(chǎn)、煉油化工、傳輸管道、銷售服務(wù)的上、下游產(chǎn)業(yè)鏈信息整合，提高數(shù)字化決策的可信性、準(zhǔn)確性和即時(shí)性用大數(shù)據(jù)思路構(gòu)建一個(gè)更加綜合、海內(nèi)外統(tǒng)一的、高效運(yùn)作的集團(tuán)級(jí)企業(yè)決策、業(yè)務(wù)分析工作平臺(tái)

通過(guò)“大數(shù)據(jù)”系統(tǒng)支持建立企業(yè)、地區(qū)公司到集團(tuán)的綜合完整KPI分析體系，不斷改進(jìn)企業(yè)KPI，促進(jìn)業(yè)務(wù)能力增長(zhǎng)建立各領(lǐng)域業(yè)務(wù)模型和數(shù)學(xué)模型、通過(guò)挖掘分析，從大數(shù)據(jù)資源中發(fā)現(xiàn)更多的財(cái)富、智慧和價(jià)值，提升創(chuàng)新力、增強(qiáng)企業(yè)核心競(jìng)爭(zhēng)力煉化業(yè)務(wù)大數(shù)據(jù)典型應(yīng)用通過(guò)對(duì)生產(chǎn)過(guò)程、物資儲(chǔ)運(yùn)和公用工程的數(shù)據(jù)一體化整合，形成煉化企業(yè)績(jī)效綜合分析能力。這些數(shù)據(jù)應(yīng)包括以下幾類：生產(chǎn)管理（計(jì)算現(xiàn)場(chǎng)生產(chǎn)/材料使用/庫(kù)存信息/跟蹤產(chǎn)品遺留/進(jìn)料處理/生產(chǎn)成本）計(jì)劃優(yōu)化與調(diào)度（原油調(diào)度/操作計(jì)劃/供銷優(yōu)化/操作調(diào)度/調(diào)合優(yōu)化/性能監(jiān)控）操作管理（設(shè)定傳遞操作計(jì)劃/監(jiān)控工藝數(shù)據(jù)）調(diào)合與庫(kù)存管理（制定調(diào)合計(jì)劃/執(zhí)行調(diào)合操作/調(diào)合過(guò)程監(jiān)控）等41（三）應(yīng)用需求應(yīng)用領(lǐng)域序號(hào)應(yīng)用領(lǐng)域應(yīng)用方向1經(jīng)營(yíng)管理整合資源優(yōu)化，人力資源管理優(yōu)化分析，輿情監(jiān)控分析，企業(yè)績(jī)效分析，投資決策分析，財(cái)務(wù)分析、科技研究平臺(tái)搭建，經(jīng)營(yíng)風(fēng)險(xiǎn)分析與防范2安全管理信息安全威脅監(jiān)測(cè)，網(wǎng)絡(luò)安全監(jiān)控與預(yù)測(cè)，健康、安全與環(huán)境保護(hù)(HSE)優(yōu)化3生產(chǎn)營(yíng)運(yùn)原油需求預(yù)測(cè)，采購(gòu)成本優(yōu)化，生產(chǎn)狀態(tài)優(yōu)化，風(fēng)險(xiǎn)預(yù)測(cè)，供應(yīng)鏈優(yōu)化4勘探開發(fā)勘探開發(fā)分析，油氣完整性分析，運(yùn)行效率分析，生產(chǎn)過(guò)程檢測(cè)，油氣價(jià)格預(yù)測(cè)分析，地震數(shù)據(jù)分析，鉆井分析，實(shí)時(shí)作業(yè)決策支持，產(chǎn)量預(yù)測(cè)分析，提高采收率分析，安全行為分析5煉油化工數(shù)據(jù)一體化整合，生產(chǎn)運(yùn)行分析與優(yōu)化，能效預(yù)測(cè)分析與優(yōu)化，設(shè)備運(yùn)行分析，客戶價(jià)值分析，安全行為分析（HSE風(fēng)險(xiǎn)預(yù)測(cè)），產(chǎn)品研發(fā)分析，需求預(yù)測(cè)分析6銷售油品損溢分析，站級(jí)銷售分析，營(yíng)銷活動(dòng)分析，實(shí)時(shí)定價(jià)分析，銷售市場(chǎng)預(yù)測(cè)分析，客戶分析，關(guān)聯(lián)商品分析7天然氣與管道管網(wǎng)運(yùn)行優(yōu)化分析，管道安全識(shí)別，天然氣銷售預(yù)測(cè)分析，能耗預(yù)測(cè)分析，泄露監(jiān)測(cè)分析，調(diào)峰策略分析，壓縮機(jī)故障診斷分析，客戶價(jià)值分析8裝備制造裝備設(shè)備故障分析，指導(dǎo)產(chǎn)品研發(fā)9工程建設(shè)工程設(shè)計(jì)優(yōu)化分析，風(fēng)險(xiǎn)分析與防范，知識(shí)庫(kù)挖掘分析10工程技術(shù)套管卡管預(yù)測(cè)分析，設(shè)備監(jiān)控與預(yù)支性維修分析，物探數(shù)據(jù)處理解釋應(yīng)用領(lǐng)域——生產(chǎn)營(yíng)運(yùn)大數(shù)據(jù)應(yīng)用應(yīng)用領(lǐng)域——煉化生產(chǎn)大數(shù)據(jù)應(yīng)用近年來(lái)，國(guó)內(nèi)外石油公司紛紛探索應(yīng)用大數(shù)據(jù)，取得了一些可喜進(jìn)展。殼牌中國(guó)——大數(shù)據(jù)應(yīng)用康菲石油——開發(fā)PLOT工具利用大數(shù)據(jù)提升天然氣氣井某英國(guó)石油公司——鉆井作業(yè)中的套管卡管預(yù)測(cè)中國(guó)石化