大數(shù)據(jù)時代的地震勘探軟件平臺課件

中國石化石油物探技術研究院2016年5月24日1ppt課件中國石化石油物探技術研究院2016年5月24日1ppt課件2提綱nnnnπ-Frame平臺概況π-Frame1.0主要功能π-Frame平臺技術特色π-Frame平臺未來發(fā)展2ppt課件2提綱nπ-Frame平臺概況2ppt課件3π-Frame平臺概況π-Frame地震軟件平臺■由中國石化組織研發(fā)，面向大數(shù)據(jù)時代油氣地震勘探技術發(fā)展與應用需求的新一代地震數(shù)據(jù)處理解釋軟件平臺■是國際石油工業(yè)與地球物理業(yè)界第一個基于Hadoop大數(shù)據(jù)技術體系構建的大型地震勘探軟件平臺π-Frame3ppt課件3π-Frame平臺概況π-Frame地震軟件平臺■由中國石4π-Frame平臺概況項目背景

■海量地震數(shù)據(jù)管理和超大規(guī)模并行計算對油氣勘探軟件架構提出 了新挑戰(zhàn)，對地球物理勘探軟件平臺提出了更新?lián)Q代的要求。

■基于強大的需求與信息技術發(fā)展帶來的機遇，中國石化組織研發(fā) 了面向未來業(yè)務需求的新一代地震數(shù)據(jù)處理解釋軟件平臺。MEMS檢波器單點高密度地震寬方位采集多源地震多分量微地震實時監(jiān)控高性能計算技術發(fā)展：多核CPU、GPU分布式存儲大數(shù)據(jù)技術（Hadoop）4ppt課件4π-Frame平臺概況MEMS檢波器單點高密度地震寬方位采5π-Frame平臺概況研發(fā)歷程

開始地震數(shù)據(jù)處理（批處理與交互）功能開發(fā)

完成關鍵技術驗證選型與基礎平臺關鍵功能開發(fā)開展Hadoop技術驗證，完成軟件平臺架構設計

12月正式啟動π-Frame項目

推出π-Frame1.0地震處理系統(tǒng)完成平臺測試，完善平臺與處理功能

2013年

2012年

2011年2010年

2015年2014年5ppt課件5π-Frame平臺概況 開始地震數(shù)據(jù)處理（批處理與交互）π-Frame平臺概況π-Frame1.0發(fā)布：SEG年會，美國新奧爾良，2015年10月19日66ppt課件π-Frame平臺概況π-Frame1.0發(fā)布：SEG年會7π-Frame平臺概況π-Frame三大組成部分7ppt課件7π-Frame平臺概況π-Frame三大組成部分7ppt課8π-Frame1.0主要功能π-Frame1.0地震處理系統(tǒng)的主要功能組成1.簡單、便捷的系統(tǒng)主控界面2.高效、易用的海量數(shù)據(jù)管理3.可視化批處理作業(yè)流程管理4.全程實時化的作業(yè)監(jiān)控管理5.面向應用與用戶的資源管理與服務6.地震數(shù)據(jù)瀏覽與分析7.工區(qū)底圖與平面屬性分析8.三維可視化應用9.速度分析與建模10.地震資料批處理業(yè)務功能8ppt課件8π-Frame1.0主要功能π-Frame1.0地震處理9π-Frame1.0主要功能簡單便捷的系統(tǒng)主控界面p項目管理p用戶管理p數(shù)據(jù)管理p資源管理p模塊管理p作業(yè)管理p日志管理p交互模塊9ppt課件9π-Frame1.0主要功能簡單便捷的系統(tǒng)主控界面p項目10π-Frame1.0主要功能高效易用的海量數(shù)據(jù)管理數(shù)據(jù)導航樹與屬性數(shù)據(jù)歷史管理10ppt課件10π-Frame1.0主要功能數(shù)據(jù)導航樹與屬性數(shù)據(jù)歷史管11π-Frame1.0主要功能高效易用的海量數(shù)據(jù)管理實時交互分析與校驗預覽于一體的地震數(shù)據(jù)導入觀測系統(tǒng)數(shù)據(jù)加載11ppt課件11π-Frame1.0主要功能實時交互分析與校驗預覽于一12幫助區(qū)流程編輯區(qū)π-Frame1.0主要功能可視化批處理作業(yè)流程管理：批處理作業(yè)流程編輯器

模塊選擇區(qū)模塊參數(shù)編輯區(qū)12ppt課件12幫助區(qū)流程編輯區(qū)π-Frame1.0主要功能模塊參數(shù)編13π-Frame1.0主要功能可視化批處理作業(yè)流程管理：支持多種復雜類型作業(yè)流多分支（單進多出）作業(yè)流多分支合并作業(yè)流多分支混合類型作業(yè)流13ppt課件13π-Frame1.0主要功能多分支（單進多出）作業(yè)流多14π-Frame1.0主要功能全程實時化作業(yè)監(jiān)控管理作業(yè)監(jiān)控與管理作業(yè)運行全程實時監(jiān)控及信息記錄14ppt課件14π-Frame1.0主要功能作業(yè)監(jiān)控與管理作業(yè)運行全程15π-Frame1.0主要功能全程實時化作業(yè)監(jiān)控管理作業(yè)運行信息監(jiān)控與日志15ppt課件15π-Frame1.0主要功能全程實時化作業(yè)監(jiān)控管理作業(yè)16π-Frame1.0主要功能面向應用與用戶的資源管理服務集群與單節(jié)點系統(tǒng)資源監(jiān)控16ppt課件16π-Frame1.0主要功能面向應用與用戶的資源管理服17π-Frame1.0主要功能面向應用與用戶的資源管理服務隊列管理存儲配額管理17ppt課件17π-Frame1.0主要功能面向應用與用戶的資源管理服18π-Frame1.0主要功能面向應用與用戶的資源管理服務：作業(yè)隊列與資源調度隊列優(yōu)先級控制與資源搶占和退出18ppt課件18π-Frame1.0主要功能面向應用與用戶的資源管理服19π-Frame1.0主要功能地震數(shù)據(jù)瀏覽與分析19ppt課件19π-Frame1.0主要功能地震數(shù)據(jù)瀏覽與分析19pp20π-Frame1.0主要功能地震數(shù)據(jù)瀏覽與分析視速度分析頻譜分析交互地震道編輯初至自動拾取交互初至拾取20ppt課件20π-Frame1.0主要功能視速度分析頻譜分析交互地震21π-Frame1.0主要功能工區(qū)底圖與平面屬性分析工區(qū)底圖（炮檢點分布）平面屬性顯示（覆蓋次數(shù)）地震切片顯示平面屬性顯示（檢波點高程與靜校正量）21ppt課件21π-Frame1.0主要功能工區(qū)底圖（炮檢點分布）平面22π-Frame1.0主要功能速度分析與建模

速度分析沿層速度建模網(wǎng)格速度建模22ppt課件22π-Frame1.0主要功能沿層速度建模網(wǎng)格速度建模223π-Frame1.0主要功能速度分析與建模：近地表速度模型反演與編輯近地表速度反演與模型編輯23ppt課件23π-Frame1.0主要功能近地表速度反演與模型編輯224π-Frame1.0主要功能三維可視化交互應用

三維疊后數(shù)據(jù)體瀏覽三維疊前道集數(shù)據(jù)瀏覽初至拾取三維顯示24ppt課件24π-Frame1.0主要功能三維疊前道集數(shù)據(jù)瀏覽初至拾25π-Frame1.0主要功能地震資料批處理業(yè)務功能π-FrameV1.0已支持完整的常規(guī)地震數(shù)據(jù)處理流程，目前已有批處理模塊100多個，交互應用模塊近30個。新的模塊在不斷集成和增加中。25ppt課件25π-Frame1.0主要功能地震資料批處理業(yè)務功能π-26π-Frame平臺技術特色π-Frame定位：大數(shù)據(jù)時代的新一代地震勘探軟件平臺■四大設計理念面向海量地震數(shù)據(jù)高效管理：PB級面向超大規(guī)模并行計算：超萬核級面向地震處理解釋一體化面向開放共享與服務■關鍵技術選型基于先進的大數(shù)據(jù)技術架構Hadoop26ppt課件26π-Frame平臺技術特色π-Frame定位：大數(shù)據(jù)時代27π-Frame平臺技術特色Hadoop大數(shù)據(jù)技術體系支撐下的π-Frame基礎技術架構27ppt課件27π-Frame平臺技術特色Hadoop大數(shù)據(jù)技術體系支撐28π-Frame平臺技術特色基于Hadoop/HDFS的海量地震數(shù)據(jù)高效管理技術海量數(shù)據(jù)管理能力：100PB級以上數(shù)據(jù)高吞吐能力、高可擴展性、高容錯性、高性價比28ppt課件28π-Frame平臺技術特色基于Hadoop/HDFS的海29π-Frame平臺技術特色基于Hadoop/MapReduce的地震數(shù)據(jù)處理并行計算框架

數(shù)據(jù)剖分Map任務Map任務Map任務Map任務數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約數(shù)據(jù)合并或清理注冊歷史數(shù)據(jù)并行是地震數(shù)據(jù)處理中最普遍的并行計算模式

數(shù)據(jù)注冊多級并行：節(jié)點級，Map級，線程級，GPU核級全并行處理系統(tǒng)29ppt課件29π-Frame平臺技術特色Map任務Map任務Map任務30π-Frame平臺技術特色基于Hadoop/MapReduce的地震數(shù)據(jù)處理并行計算框架30ppt課件30π-Frame平臺技術特色基于Hadoop/MapRed31π-Frame平臺技術特色π-Frame平臺的四大特色規(guī)模大：計算機部署規(guī)模，數(shù)據(jù)管理規(guī)模，應用支撐規(guī)模速度快：分布式輸入輸出，并行計算，全并行化開放性：開源技術，開放平臺，免費在線開發(fā)服務智能化：架構層、系統(tǒng)管理層、應用層、界面層31ppt課件31π-Frame平臺技術特色規(guī)模大：計算機部署規(guī)模，數(shù)據(jù)管32π-Frame平臺技術特色特色1：規(guī)模大海量地震數(shù)據(jù)管理支撐：100+PB大規(guī)模并行計算資源支撐：1000+節(jié)點（數(shù)萬~數(shù)十萬核）大規(guī)模用戶、項目、作業(yè)支撐：4000+單作業(yè)處理數(shù)據(jù)規(guī)模大：18TB數(shù)據(jù)的分選作業(yè)大規(guī)模功能擴充支撐32ppt課件32π-Frame平臺技術特色海量地震數(shù)據(jù)管理支撐：100+33π-Frame平臺技術特色特色2：速度快■基于分布式文件系統(tǒng)的并行I/O帶來的高吞吐能力

68個節(jié)點、每個節(jié)點4塊硬盤的測試系統(tǒng)配置，測試獲得了

35GB/s即約2TB/m的I/O性能，約3~5GB/s即200+GB/m的地震數(shù)據(jù)加載性能、常規(guī)地震批處理作業(yè)吞吐性能?！鋈⑿谢幚頇C制帶來的大規(guī)模并行計算線性擴展能力

融合并行數(shù)據(jù)I/O和并行計算、數(shù)據(jù)劃分與數(shù)據(jù)備份、計算任務容錯等特性支持作業(yè)并行、節(jié)點并行、Map級數(shù)據(jù)并行、多線程并行、GPU異構并行等多級并行模式33ppt課件33π-Frame平臺技術特色■基于分布式文件系統(tǒng)的并行I/34π-Frame平臺技術特色特色2：速度快高性能的海量地震數(shù)據(jù)存取訪問~1500GB/min34ppt課件34π-Frame平臺技術特色高性能的海量地震數(shù)據(jù)存取訪問~35π-Frame平臺技術特色特色2：速度快高性能的海量地震數(shù)據(jù)存取訪問：快速數(shù)據(jù)加載商業(yè)軟件：300GB數(shù)據(jù)加載耗時115分鐘（2.6GB/m不能一次加載，人工并行）35ppt課件35π-Frame平臺技術特色高性能的海量地震數(shù)據(jù)存取訪問：36π-Frame平臺技術特色特色2：速度快

IO密集型作業(yè)：分選作業(yè)p商業(yè)軟件分選作業(yè)p數(shù)據(jù)量：200GBp計算節(jié)點：單節(jié)點p運行時間：138分鐘p效率：1.4GB/minpπ-Frame分選作業(yè)p數(shù)據(jù)量：3.1TBp計算節(jié)點：472個p運行時間：29分04秒p效率：106GB/minpπ-Frame分選單作業(yè)測試 最大數(shù)據(jù)量：18TB

66節(jié)點：SORT作業(yè)

π-Frame：18TB，9小時

商業(yè)軟件：1TB，55小時36ppt課件36π-Frame平臺技術特色p商業(yè)軟件分選作業(yè)pπ-Fra37π-Frame平臺技術特色特色2：速度快

66個節(jié)點：3.2TB數(shù)據(jù)

記錄長度：8s

采用間隔：1ms

總道數(shù)：100940800運行時間：13m12s

245GB/min運行時間：20m54s

155GB/min37ppt課件37π-Frame平臺技術特色運行時間：13m12s運行時間38π-Frame平臺技術特色特色2：速度快多種類型的作業(yè)運行性能38ppt課件38π-Frame平臺技術特色多種類型的作業(yè)運行性能38pp39π-Frame平臺技術特色特色2：速度快地震疊前偏移模塊的性能優(yōu)化：KPSTM70.5小時39ppt課件39π-Frame平臺技術特色地震疊前偏移模塊的性能優(yōu)化：Kπ-Frame平臺技術特色特色2：速度快地震疊前偏移模塊的資源消耗優(yōu)化：KPSDM旅行時表緩存機制1.42TB/min2TB/min

4040ppt課件π-Frame平臺技術特色地震疊前偏移模塊的資源消耗優(yōu)化：K41π-Frame平臺技術特色特色3：智能化■架構智能架構層容錯性與魯棒性，支持節(jié)點故障、磁盤故障、作業(yè)故障自動恢復■操作智能上下文敏感的操作幫助；批處理作業(yè)參數(shù)自動校驗，作業(yè)流程完整性、合法性自動檢查；資源預警與作業(yè)錯誤報警?！龉芾碇悄?/p>

資源調度、執(zhí)行預測、節(jié)點動態(tài)增刪、運行監(jiān)控等智能化的系統(tǒng)監(jiān)控及資源調度管理模式，大大提高了平臺的易用性、便捷性和資源利用率。■業(yè)務智能道編輯、初至拾取與分析、速度分析等自動化數(shù)據(jù)處理與分析技術。41ppt課件41π-Frame平臺技術特色■架構智能架構層容錯性與魯棒性42π-Frame平臺技術特色特色3：智能化■架構智能：架構層容錯性與魯棒性支持節(jié)點故障、磁盤故障、作業(yè)任務故障的自動發(fā)現(xiàn)、遷移與恢復42ppt課件42π-Frame平臺技術特色■架構智能：架構層容錯性與魯棒43π-Frame平臺技術特色特色3：智能化數(shù)據(jù)管理的安全性和容錯性：支持節(jié)點動態(tài)增刪43ppt課件43π-Frame平臺技術特色數(shù)據(jù)管理的安全性和容錯性：支持44π-Frame平臺技術特色特色3：智能化數(shù)據(jù)管理的安全性和容錯性：節(jié)點故障監(jiān)測與自動處理發(fā)現(xiàn)和恢復時間2分鐘以內，與磁盤容量和網(wǎng)絡帶寬相關44ppt課件44π-Frame平臺技術特色數(shù)據(jù)管理的安全性和容錯性：節(jié)點45π-Frame平臺技術特色特色3：智能化作業(yè)管理的安全性和容錯性：節(jié)點故障條件下作業(yè)的正常運行測試作業(yè)：2.1TB（INPUT—BPFILTER—OUTPUT）45ppt課件45π-Frame平臺技術特色作業(yè)管理的安全性和容錯性：節(jié)點46π-Frame平臺技術特色特色3：智能化作業(yè)管理的安全性和容錯性：節(jié)點故障條件下作業(yè)的正常運行測試作業(yè)：2.1TB（INPUT+KPSTM+OUTPUT）46ppt課件46π-Frame平臺技術特色測試作業(yè)：2.1TB（INPU47π-Frame平臺技術特色特色3：智能化全生命周期的臨時空間管理p兩種管理機制u本地臨時空間uHDFS臨時空間p全生命周期管理

u申請—使用—銷毀u臨時空間的預判機制u自動清除機制u作業(yè)崩潰或終止時，自動刪除臨時數(shù)據(jù)和輸出數(shù)據(jù)47ppt課件47π-Frame平臺技術特色全生命周期的臨時空間管理p兩48π-Frame平臺技術特色特色4：開放性■開源技術的廣泛應用

Linux操作系統(tǒng)、Qt圖形界面開發(fā)工具、OpenSceneGraph三維可視化開發(fā)工具、Hadoop大數(shù)據(jù)處理技術平臺、JSON數(shù)據(jù)交換格式、Eclipse集成開發(fā)環(huán)境、Ganglia集群資源監(jiān)控工具等。保障π-Frame平臺的長期穩(wěn)定發(fā)展。■對外提供功能豐富、開放集成的軟件開發(fā)包(SDK)和集成開發(fā)環(huán)境(IDE)，支持大型地震軟件的開發(fā)和方法技術的軟件集成?！鰳嫿ㄒ粋€基于云服務的地球物理技術研究、軟件開發(fā)與應用服務平臺，提供一站式的開發(fā)服務和一體化的應用服務?！鲂纬砷_放的地震專業(yè)軟件社區(qū)，實現(xiàn)集技術交流、成果分享、需求發(fā)布和技術交易于一體的用戶互動，最終建立基于“共建、共享、共贏”發(fā)展理念的石油物探軟件生態(tài)系統(tǒng)(生態(tài)圈)。48ppt課件48π-Frame平臺技術特色■開源技術的廣泛應用 Linu49π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境?批處理模塊代碼模板?交互應用開發(fā)向導?模塊示例工程模塊開發(fā)向導?參數(shù)(JSON)可視化編輯器?參數(shù)文件的自動校驗批處理模塊可視化參數(shù)編輯?應用集成幫助手冊?應用幫助手冊生成工具集成幫助系統(tǒng)?批處理模塊編譯、自動部署?交互應用本地調試開發(fā)輔助功能?代碼格式化49ppt課件49π-Frame平臺技術特色?批處理模塊代碼模板模塊開發(fā)50π-Frame平臺技術特色支撐一站式開發(fā)服務的地震集成應用開發(fā)環(huán)境π-SDKπ-IDEπ-Tools驗證環(huán)境50ppt課件50π-Frame平臺技術特色支撐一站式開發(fā)服務的地震集成應51π-Frame平臺技術特色π-SDK地震軟件開發(fā)包3000+項API51ppt課件51π-Frame平臺技術特色3000+項API51ppt課52支持C、C++、Fortran、CUDA等編程語言π-Frame平臺技術特色基于Eclipse的π-Frame集成開發(fā)環(huán)境（π-IDE）

基于Eclipse插件機制的PIIDEPlug-in52ppt課件52支持C、C++、Fortran、CUDA等編程語言π-F53π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：批處理模塊開發(fā)模板53ppt課件53π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：批54π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：“所見即所得”交互模塊開發(fā)54ppt課件54π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：“55π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：π-Tools應用程序管理工具55ppt課件55π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：π56π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：系統(tǒng)升級與模塊部署56ppt課件56π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：系57π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：在線幫助系統(tǒng)57ppt課件57π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：在58π-Frame平臺技術特色基于云計算的軟件開發(fā)服務：永久免費的一站式開發(fā)服務58ppt課件58π-Frame平臺技術特色π-Frame平臺技術特色基于云計算的軟件開發(fā)服務：永久免費的一站式開發(fā)服務

59ToolsVerificationSystem

整合開發(fā)環(huán)境

SDKIDE優(yōu)化開發(fā)模式降低開發(fā)成本互利共贏共建共享共贏便捷任何人任何地方任何時間一站式IDEAPIsTools應用社區(qū)

開放59ppt課件π-Frame平臺技術特色To60π-Frame平臺未來發(fā)展π-Frame1.0總結1、基于大數(shù)據(jù)技術支撐地震處理解釋一體化應用的地震軟件平臺(1)業(yè)界第一個采用Hadoop大數(shù)據(jù)技術架構的地震軟件平臺(2)海量數(shù)據(jù)高效管理能力和I/O吞吐能力遠超主流商業(yè)軟件(3)

超大規(guī)模并行計算支撐能力適合企業(yè)級部署和云計算應用服務(4)層次化平臺架構具備完整的系統(tǒng)管理、數(shù)據(jù)管理、圖形交互、作業(yè)流引擎、資源管理、作業(yè)調度等平臺功能組成，并易于擴充60ppt課件60π-Frame平臺未來發(fā)展1、基于大數(shù)據(jù)技術支撐地震處理61π-Frame平臺未來發(fā)展π-Frame1.0總結2、面向海量數(shù)據(jù)和大規(guī)模并行計算的地震處理系統(tǒng)(1)業(yè)界第一個支持全并行的地震處理軟件系統(tǒng)(所有模塊計算與IO并行)(2)突破IO瓶頸，地震數(shù)據(jù)處理效率和規(guī)模明顯優(yōu)于主流商業(yè)軟件(3)在架構、管理、操作和業(yè)務層面具有豐富的智能化功能61ppt課件61π-Frame平臺未來發(fā)展2、面向海量數(shù)據(jù)和大規(guī)模并行計62π-Frame平臺未來發(fā)展π-Frame1.0總結3、支撐一站式開發(fā)服務的地震集成應用開發(fā)環(huán)境(1)提供了功能豐富、開放集成的軟件開發(fā)包（π-SDK）和集成開發(fā)環(huán)境（π-IDE），支持大型地震軟件的開發(fā)和方法技術的軟件集成

(2)提供了批處理模塊、交互應用模塊或插件軟件開發(fā)模板與向導

(3)提供了模塊開發(fā)驗證工具與環(huán)境

(4)提供了軟件安裝部署、升級工具

(5)提供了在線一站式開發(fā)服務模式62ppt課件62π-Frame平臺未來發(fā)展3、支撐一站式開發(fā)服務的地震集π-Frame平臺未來發(fā)展π-Frame1.0總結定位：大數(shù)據(jù)時代的新一代地震勘探軟件平臺■在業(yè)界首次使用Hadoop大數(shù)據(jù)技術構建地震軟件平臺■在業(yè)界率先形成了支持全并行化的地震處理應用系統(tǒng)■提出并開始構建開放共享的地震軟件生態(tài)系統(tǒng)6363ppt課件π-Frame平臺未來發(fā)展定位：大數(shù)據(jù)時代的新一代地震勘探軟64π-Frame平臺未來發(fā)展π-Frame地震軟件生態(tài)系統(tǒng)建設π-Frame一站式開發(fā)服務系統(tǒng)建設π-Frame應用社區(qū)建設地震處理解釋一體化功能開發(fā)自動化處理功能研發(fā)智能化解釋功能研發(fā)疊前反演功能研發(fā)64ppt課件64π-Frame平臺未來發(fā)展π-Frame地震軟件生態(tài)系統(tǒng)65π-Frame平臺未來發(fā)展從π-Frame走向π-Cloud65ppt課件65π-Frame平臺未來發(fā)展65ppt課件66π-Frame平臺未來發(fā)展π-Frame地震勘探專業(yè)軟件生態(tài)系統(tǒng)應用社區(qū)一體化應用服務應用服務入口應用服務入口應用服務入口開放開發(fā)服務開發(fā)環(huán)境開發(fā)環(huán)境一鍵應用發(fā)布/定價開發(fā)驗證應用按需消費

互聯(lián)網(wǎng)登陸按需定制開發(fā)資源大小

互聯(lián)網(wǎng)登陸按需定制應用資源大小

應用者信息管理運營者開發(fā)/運營

利益分成應用集市開發(fā)者任何人任何時候任何地方共建共享共贏66ppt課件66π-Frame平臺未來發(fā)展應用社區(qū)一體化應用服務應用應用67π-Frame平臺未來發(fā)展π-Frame地震勘探專業(yè)軟件生態(tài)系統(tǒng)67ppt課件67π-Frame平臺未來發(fā)展π-Frame地震勘探專業(yè)軟件π-Frame平臺未來發(fā)展π-Frame應用社區(qū)6868ppt課件π-Frame平臺未來發(fā)展6868ppt課件69π-Frame平臺未來發(fā)展地震處理解釋一體化功能開發(fā)自動道編輯自動初至拾取69ppt課件69π-Frame平臺未來發(fā)展自動道編輯自動初至拾取69pp

π-Frame大數(shù)據(jù)時代的地震軟件平臺豈止于快

大有作為

微信公眾號70ppt課件 π-Frame豈止于快大有作為70ppt課件71ppt課件71ppt課件中國石化石油物探技術研究院2016年5月24日72ppt課件中國石化石油物探技術研究院2016年5月24日1ppt課件2提綱nnnnπ-Frame平臺概況π-Frame1.0主要功能π-Frame平臺技術特色π-Frame平臺未來發(fā)展73ppt課件2提綱nπ-Frame平臺概況2ppt課件3π-Frame平臺概況π-Frame地震軟件平臺■由中國石化組織研發(fā)，面向大數(shù)據(jù)時代油氣地震勘探技術發(fā)展與應用需求的新一代地震數(shù)據(jù)處理解釋軟件平臺■是國際石油工業(yè)與地球物理業(yè)界第一個基于Hadoop大數(shù)據(jù)技術體系構建的大型地震勘探軟件平臺π-Frame74ppt課件3π-Frame平臺概況π-Frame地震軟件平臺■由中國石4π-Frame平臺概況項目背景

■海量地震數(shù)據(jù)管理和超大規(guī)模并行計算對油氣勘探軟件架構提出 了新挑戰(zhàn)，對地球物理勘探軟件平臺提出了更新?lián)Q代的要求。

■基于強大的需求與信息技術發(fā)展帶來的機遇，中國石化組織研發(fā) 了面向未來業(yè)務需求的新一代地震數(shù)據(jù)處理解釋軟件平臺。MEMS檢波器單點高密度地震寬方位采集多源地震多分量微地震實時監(jiān)控高性能計算技術發(fā)展：多核CPU、GPU分布式存儲大數(shù)據(jù)技術（Hadoop）75ppt課件4π-Frame平臺概況MEMS檢波器單點高密度地震寬方位采5π-Frame平臺概況研發(fā)歷程

開始地震數(shù)據(jù)處理（批處理與交互）功能開發(fā)

完成關鍵技術驗證選型與基礎平臺關鍵功能開發(fā)開展Hadoop技術驗證，完成軟件平臺架構設計

12月正式啟動π-Frame項目

推出π-Frame1.0地震處理系統(tǒng)完成平臺測試，完善平臺與處理功能

2013年

2012年

2011年2010年

2015年2014年76ppt課件5π-Frame平臺概況 開始地震數(shù)據(jù)處理（批處理與交互）π-Frame平臺概況π-Frame1.0發(fā)布：SEG年會，美國新奧爾良，2015年10月19日677ppt課件π-Frame平臺概況π-Frame1.0發(fā)布：SEG年會7π-Frame平臺概況π-Frame三大組成部分78ppt課件7π-Frame平臺概況π-Frame三大組成部分7ppt課8π-Frame1.0主要功能π-Frame1.0地震處理系統(tǒng)的主要功能組成1.簡單、便捷的系統(tǒng)主控界面2.高效、易用的海量數(shù)據(jù)管理3.可視化批處理作業(yè)流程管理4.全程實時化的作業(yè)監(jiān)控管理5.面向應用與用戶的資源管理與服務6.地震數(shù)據(jù)瀏覽與分析7.工區(qū)底圖與平面屬性分析8.三維可視化應用9.速度分析與建模10.地震資料批處理業(yè)務功能79ppt課件8π-Frame1.0主要功能π-Frame1.0地震處理9π-Frame1.0主要功能簡單便捷的系統(tǒng)主控界面p項目管理p用戶管理p數(shù)據(jù)管理p資源管理p模塊管理p作業(yè)管理p日志管理p交互模塊80ppt課件9π-Frame1.0主要功能簡單便捷的系統(tǒng)主控界面p項目10π-Frame1.0主要功能高效易用的海量數(shù)據(jù)管理數(shù)據(jù)導航樹與屬性數(shù)據(jù)歷史管理81ppt課件10π-Frame1.0主要功能數(shù)據(jù)導航樹與屬性數(shù)據(jù)歷史管11π-Frame1.0主要功能高效易用的海量數(shù)據(jù)管理實時交互分析與校驗預覽于一體的地震數(shù)據(jù)導入觀測系統(tǒng)數(shù)據(jù)加載82ppt課件11π-Frame1.0主要功能實時交互分析與校驗預覽于一12幫助區(qū)流程編輯區(qū)π-Frame1.0主要功能可視化批處理作業(yè)流程管理：批處理作業(yè)流程編輯器

模塊選擇區(qū)模塊參數(shù)編輯區(qū)83ppt課件12幫助區(qū)流程編輯區(qū)π-Frame1.0主要功能模塊參數(shù)編13π-Frame1.0主要功能可視化批處理作業(yè)流程管理：支持多種復雜類型作業(yè)流多分支（單進多出）作業(yè)流多分支合并作業(yè)流多分支混合類型作業(yè)流84ppt課件13π-Frame1.0主要功能多分支（單進多出）作業(yè)流多14π-Frame1.0主要功能全程實時化作業(yè)監(jiān)控管理作業(yè)監(jiān)控與管理作業(yè)運行全程實時監(jiān)控及信息記錄85ppt課件14π-Frame1.0主要功能作業(yè)監(jiān)控與管理作業(yè)運行全程15π-Frame1.0主要功能全程實時化作業(yè)監(jiān)控管理作業(yè)運行信息監(jiān)控與日志86ppt課件15π-Frame1.0主要功能全程實時化作業(yè)監(jiān)控管理作業(yè)16π-Frame1.0主要功能面向應用與用戶的資源管理服務集群與單節(jié)點系統(tǒng)資源監(jiān)控87ppt課件16π-Frame1.0主要功能面向應用與用戶的資源管理服17π-Frame1.0主要功能面向應用與用戶的資源管理服務隊列管理存儲配額管理88ppt課件17π-Frame1.0主要功能面向應用與用戶的資源管理服18π-Frame1.0主要功能面向應用與用戶的資源管理服務：作業(yè)隊列與資源調度隊列優(yōu)先級控制與資源搶占和退出89ppt課件18π-Frame1.0主要功能面向應用與用戶的資源管理服19π-Frame1.0主要功能地震數(shù)據(jù)瀏覽與分析90ppt課件19π-Frame1.0主要功能地震數(shù)據(jù)瀏覽與分析19pp20π-Frame1.0主要功能地震數(shù)據(jù)瀏覽與分析視速度分析頻譜分析交互地震道編輯初至自動拾取交互初至拾取91ppt課件20π-Frame1.0主要功能視速度分析頻譜分析交互地震21π-Frame1.0主要功能工區(qū)底圖與平面屬性分析工區(qū)底圖（炮檢點分布）平面屬性顯示（覆蓋次數(shù)）地震切片顯示平面屬性顯示（檢波點高程與靜校正量）92ppt課件21π-Frame1.0主要功能工區(qū)底圖（炮檢點分布）平面22π-Frame1.0主要功能速度分析與建模

速度分析沿層速度建模網(wǎng)格速度建模93ppt課件22π-Frame1.0主要功能沿層速度建模網(wǎng)格速度建模223π-Frame1.0主要功能速度分析與建模：近地表速度模型反演與編輯近地表速度反演與模型編輯94ppt課件23π-Frame1.0主要功能近地表速度反演與模型編輯224π-Frame1.0主要功能三維可視化交互應用

三維疊后數(shù)據(jù)體瀏覽三維疊前道集數(shù)據(jù)瀏覽初至拾取三維顯示95ppt課件24π-Frame1.0主要功能三維疊前道集數(shù)據(jù)瀏覽初至拾25π-Frame1.0主要功能地震資料批處理業(yè)務功能π-FrameV1.0已支持完整的常規(guī)地震數(shù)據(jù)處理流程，目前已有批處理模塊100多個，交互應用模塊近30個。新的模塊在不斷集成和增加中。96ppt課件25π-Frame1.0主要功能地震資料批處理業(yè)務功能π-26π-Frame平臺技術特色π-Frame定位：大數(shù)據(jù)時代的新一代地震勘探軟件平臺■四大設計理念面向海量地震數(shù)據(jù)高效管理：PB級面向超大規(guī)模并行計算：超萬核級面向地震處理解釋一體化面向開放共享與服務■關鍵技術選型基于先進的大數(shù)據(jù)技術架構Hadoop97ppt課件26π-Frame平臺技術特色π-Frame定位：大數(shù)據(jù)時代27π-Frame平臺技術特色Hadoop大數(shù)據(jù)技術體系支撐下的π-Frame基礎技術架構98ppt課件27π-Frame平臺技術特色Hadoop大數(shù)據(jù)技術體系支撐28π-Frame平臺技術特色基于Hadoop/HDFS的海量地震數(shù)據(jù)高效管理技術海量數(shù)據(jù)管理能力：100PB級以上數(shù)據(jù)高吞吐能力、高可擴展性、高容錯性、高性價比99ppt課件28π-Frame平臺技術特色基于Hadoop/HDFS的海29π-Frame平臺技術特色基于Hadoop/MapReduce的地震數(shù)據(jù)處理并行計算框架

數(shù)據(jù)剖分Map任務Map任務Map任務Map任務數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約數(shù)據(jù)合并或清理注冊歷史數(shù)據(jù)并行是地震數(shù)據(jù)處理中最普遍的并行計算模式

數(shù)據(jù)注冊多級并行：節(jié)點級，Map級，線程級，GPU核級全并行處理系統(tǒng)100ppt課件29π-Frame平臺技術特色Map任務Map任務Map任務30π-Frame平臺技術特色基于Hadoop/MapReduce的地震數(shù)據(jù)處理并行計算框架101ppt課件30π-Frame平臺技術特色基于Hadoop/MapRed31π-Frame平臺技術特色π-Frame平臺的四大特色規(guī)模大：計算機部署規(guī)模，數(shù)據(jù)管理規(guī)模，應用支撐規(guī)模速度快：分布式輸入輸出，并行計算，全并行化開放性：開源技術，開放平臺，免費在線開發(fā)服務智能化：架構層、系統(tǒng)管理層、應用層、界面層102ppt課件31π-Frame平臺技術特色規(guī)模大：計算機部署規(guī)模，數(shù)據(jù)管32π-Frame平臺技術特色特色1：規(guī)模大海量地震數(shù)據(jù)管理支撐：100+PB大規(guī)模并行計算資源支撐：1000+節(jié)點（數(shù)萬~數(shù)十萬核）大規(guī)模用戶、項目、作業(yè)支撐：4000+單作業(yè)處理數(shù)據(jù)規(guī)模大：18TB數(shù)據(jù)的分選作業(yè)大規(guī)模功能擴充支撐103ppt課件32π-Frame平臺技術特色海量地震數(shù)據(jù)管理支撐：100+33π-Frame平臺技術特色特色2：速度快■基于分布式文件系統(tǒng)的并行I/O帶來的高吞吐能力

68個節(jié)點、每個節(jié)點4塊硬盤的測試系統(tǒng)配置，測試獲得了

35GB/s即約2TB/m的I/O性能，約3~5GB/s即200+GB/m的地震數(shù)據(jù)加載性能、常規(guī)地震批處理作業(yè)吞吐性能?！鋈⑿谢幚頇C制帶來的大規(guī)模并行計算線性擴展能力

融合并行數(shù)據(jù)I/O和并行計算、數(shù)據(jù)劃分與數(shù)據(jù)備份、計算任務容錯等特性支持作業(yè)并行、節(jié)點并行、Map級數(shù)據(jù)并行、多線程并行、GPU異構并行等多級并行模式104ppt課件33π-Frame平臺技術特色■基于分布式文件系統(tǒng)的并行I/34π-Frame平臺技術特色特色2：速度快高性能的海量地震數(shù)據(jù)存取訪問~1500GB/min105ppt課件34π-Frame平臺技術特色高性能的海量地震數(shù)據(jù)存取訪問~35π-Frame平臺技術特色特色2：速度快高性能的海量地震數(shù)據(jù)存取訪問：快速數(shù)據(jù)加載商業(yè)軟件：300GB數(shù)據(jù)加載耗時115分鐘（2.6GB/m不能一次加載，人工并行）106ppt課件35π-Frame平臺技術特色高性能的海量地震數(shù)據(jù)存取訪問：36π-Frame平臺技術特色特色2：速度快

IO密集型作業(yè)：分選作業(yè)p商業(yè)軟件分選作業(yè)p數(shù)據(jù)量：200GBp計算節(jié)點：單節(jié)點p運行時間：138分鐘p效率：1.4GB/minpπ-Frame分選作業(yè)p數(shù)據(jù)量：3.1TBp計算節(jié)點：472個p運行時間：29分04秒p效率：106GB/minpπ-Frame分選單作業(yè)測試 最大數(shù)據(jù)量：18TB

66節(jié)點：SORT作業(yè)

π-Frame：18TB，9小時

商業(yè)軟件：1TB，55小時107ppt課件36π-Frame平臺技術特色p商業(yè)軟件分選作業(yè)pπ-Fra37π-Frame平臺技術特色特色2：速度快

66個節(jié)點：3.2TB數(shù)據(jù)

記錄長度：8s

采用間隔：1ms

總道數(shù)：100940800運行時間：13m12s

245GB/min運行時間：20m54s

155GB/min108ppt課件37π-Frame平臺技術特色運行時間：13m12s運行時間38π-Frame平臺技術特色特色2：速度快多種類型的作業(yè)運行性能109ppt課件38π-Frame平臺技術特色多種類型的作業(yè)運行性能38pp39π-Frame平臺技術特色特色2：速度快地震疊前偏移模塊的性能優(yōu)化：KPSTM70.5小時110ppt課件39π-Frame平臺技術特色地震疊前偏移模塊的性能優(yōu)化：Kπ-Frame平臺技術特色特色2：速度快地震疊前偏移模塊的資源消耗優(yōu)化：KPSDM旅行時表緩存機制1.42TB/min2TB/min

40111ppt課件π-Frame平臺技術特色地震疊前偏移模塊的資源消耗優(yōu)化：K41π-Frame平臺技術特色特色3：智能化■架構智能架構層容錯性與魯棒性，支持節(jié)點故障、磁盤故障、作業(yè)故障自動恢復■操作智能上下文敏感的操作幫助；批處理作業(yè)參數(shù)自動校驗，作業(yè)流程完整性、合法性自動檢查；資源預警與作業(yè)錯誤報警?！龉芾碇悄?/p>

資源調度、執(zhí)行預測、節(jié)點動態(tài)增刪、運行監(jiān)控等智能化的系統(tǒng)監(jiān)控及資源調度管理模式，大大提高了平臺的易用性、便捷性和資源利用率?！鰳I(yè)務智能道編輯、初至拾取與分析、速度分析等自動化數(shù)據(jù)處理與分析技術。112ppt課件41π-Frame平臺技術特色■架構智能架構層容錯性與魯棒性42π-Frame平臺技術特色特色3：智能化■架構智能：架構層容錯性與魯棒性支持節(jié)點故障、磁盤故障、作業(yè)任務故障的自動發(fā)現(xiàn)、遷移與恢復113ppt課件42π-Frame平臺技術特色■架構智能：架構層容錯性與魯棒43π-Frame平臺技術特色特色3：智能化數(shù)據(jù)管理的安全性和容錯性：支持節(jié)點動態(tài)增刪114ppt課件43π-Frame平臺技術特色數(shù)據(jù)管理的安全性和容錯性：支持44π-Frame平臺技術特色特色3：智能化數(shù)據(jù)管理的安全性和容錯性：節(jié)點故障監(jiān)測與自動處理發(fā)現(xiàn)和恢復時間2分鐘以內，與磁盤容量和網(wǎng)絡帶寬相關115ppt課件44π-Frame平臺技術特色數(shù)據(jù)管理的安全性和容錯性：節(jié)點45π-Frame平臺技術特色特色3：智能化作業(yè)管理的安全性和容錯性：節(jié)點故障條件下作業(yè)的正常運行測試作業(yè)：2.1TB（INPUT—BPFILTER—OUTPUT）116ppt課件45π-Frame平臺技術特色作業(yè)管理的安全性和容錯性：節(jié)點46π-Frame平臺技術特色特色3：智能化作業(yè)管理的安全性和容錯性：節(jié)點故障條件下作業(yè)的正常運行測試作業(yè)：2.1TB（INPUT+KPSTM+OUTPUT）117ppt課件46π-Frame平臺技術特色測試作業(yè)：2.1TB（INPU47π-Frame平臺技術特色特色3：智能化全生命周期的臨時空間管理p兩種管理機制u本地臨時空間uHDFS臨時空間p全生命周期管理

u申請—使用—銷毀u臨時空間的預判機制u自動清除機制u作業(yè)崩潰或終止時，自動刪除臨時數(shù)據(jù)和輸出數(shù)據(jù)118ppt課件47π-Frame平臺技術特色全生命周期的臨時空間管理p兩48π-Frame平臺技術特色特色4：開放性■開源技術的廣泛應用

Linux操作系統(tǒng)、Qt圖形界面開發(fā)工具、OpenSceneGraph三維可視化開發(fā)工具、Hadoop大數(shù)據(jù)處理技術平臺、JSON數(shù)據(jù)交換格式、Eclipse集成開發(fā)環(huán)境、Ganglia集群資源監(jiān)控工具等。保障π-Frame平臺的長期穩(wěn)定發(fā)展?！鰧ν馓峁┕δ茇S富、開放集成的軟件開發(fā)包(SDK)和集成開發(fā)環(huán)境(IDE)，支持大型地震軟件的開發(fā)和方法技術的軟件集成?！鰳嫿ㄒ粋€基于云服務的地球物理技術研究、軟件開發(fā)與應用服務平臺，提供一站式的開發(fā)服務和一體化的應用服務?！鲂纬砷_放的地震專業(yè)軟件社區(qū)，實現(xiàn)集技術交流、成果分享、需求發(fā)布和技術交易于一體的用戶互動，最終建立基于“共建、共享、共贏”發(fā)展理念的石油物探軟件生態(tài)系統(tǒng)(生態(tài)圈)。119ppt課件48π-Frame平臺技術特色■開源技術的廣泛應用 Linu49π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境?批處理模塊代碼模板?交互應用開發(fā)向導?模塊示例工程模塊開發(fā)向導?參數(shù)(JSON)可視化編輯器?參數(shù)文件的自動校驗批處理模塊可視化參數(shù)編輯?應用集成幫助手冊?應用幫助手冊生成工具集成幫助系統(tǒng)?批處理模塊編譯、自動部署?交互應用本地調試開發(fā)輔助功能?代碼格式化120ppt課件49π-Frame平臺技術特色?批處理模塊代碼模板模塊開發(fā)50π-Frame平臺技術特色支撐一站式開發(fā)服務的地震集成應用開發(fā)環(huán)境π-SDKπ-IDEπ-Tools驗證環(huán)境121ppt課件50π-Frame平臺技術特色支撐一站式開發(fā)服務的地震集成應51π-Frame平臺技術特色π-SDK地震軟件開發(fā)包3000+項API122ppt課件51π-Frame平臺技術特色3000+項API51ppt課52支持C、C++、Fortran、CUDA等編程語言π-Frame平臺技術特色基于Eclipse的π-Frame集成開發(fā)環(huán)境（π-IDE）

基于Eclipse插件機制的PIIDEPlug-in123ppt課件52支持C、C++、Fortran、CUDA等編程語言π-F53π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：批處理模塊開發(fā)模板124ppt課件53π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：批54π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：“所見即所得”交互模塊開發(fā)125ppt課件54π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：“55π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：π-Tools應用程序管理工具126ppt課件55π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：π56π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：系統(tǒng)升級與模塊部署127ppt課件56π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：系57π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：在線幫助系統(tǒng)128ppt課件57π-Frame平臺技術特色π-IDE集成應用開發(fā)環(huán)境：在58π-Frame平臺技術特色基于