大數(shù)據(jù)平臺(tái)概要設(shè)計(jì)實(shí)施說明模板

./計(jì)算平臺(tái)概要設(shè)計(jì)說明書文件編號(hào)受控編號(hào)版次1.0密級(jí)內(nèi)部公開總頁數(shù)42附錄作者：日期：2013-01-28批準(zhǔn)：日期：審核：日期：〔版權(quán)所有,翻版必究文件修改記錄修改日期修改狀態(tài)修改頁碼及條款修改人審核人批準(zhǔn)人目錄1.引言51.1編寫目的51.2術(shù)語與縮略詞61.3對(duì)象及范圍81.4參考資料92.系統(tǒng)總體設(shè)計(jì)92.1需求規(guī)定9數(shù)據(jù)導(dǎo)入9數(shù)據(jù)運(yùn)算9運(yùn)算結(jié)果導(dǎo)出10系統(tǒng)監(jiān)控10調(diào)度功能11自動(dòng)化安裝部署與維護(hù)112.2運(yùn)行環(huán)境122.3基本設(shè)計(jì)思路和處理流程132.4系統(tǒng)結(jié)構(gòu)14大數(shù)據(jù)運(yùn)算系統(tǒng)架構(gòu)圖14hadoop體系各組件之間關(guān)系圖14計(jì)算平臺(tái)系統(tǒng)功能圖15系統(tǒng)功能圖邏輯說明16計(jì)算平臺(tái)業(yè)務(wù)流程圖162.5尚未解決的問題173.模塊/功能設(shè)計(jì)173.1計(jì)算驅(qū)動(dòng)模塊17設(shè)計(jì)思路17流程圖19處理邏輯203.2調(diào)度模塊20設(shè)計(jì)思路20流程圖22處理邏輯233.3自動(dòng)化安裝部署模塊23設(shè)計(jì)思路23處理邏輯233.4調(diào)度模塊與計(jì)算驅(qū)動(dòng)模塊交互流程24處理流程圖24處理邏輯24hadoop驅(qū)動(dòng)模塊調(diào)用驅(qū)動(dòng)接口25調(diào)度模塊接收hadoop執(zhí)行狀態(tài)接口253.5調(diào)度模塊與kettle交互流程26處理流程圖26處理邏輯273.6對(duì)調(diào)度任務(wù)運(yùn)行過程進(jìn)行監(jiān)控流程27處理流程圖27處理邏輯273.7對(duì)hadoop驅(qū)動(dòng)任務(wù)運(yùn)行過程進(jìn)行監(jiān)控流程28處理流程圖28處理邏輯283.8對(duì)操作系統(tǒng)/應(yīng)用程序監(jiān)控流程29處理流程圖29處理邏輯293.9監(jiān)控報(bào)警模塊30設(shè)計(jì)思路30流程圖31處理邏輯314.系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)324.1數(shù)據(jù)實(shí)體關(guān)系圖324.2數(shù)據(jù)邏輯結(jié)構(gòu)32驅(qū)動(dòng)任務(wù)設(shè)置表32驅(qū)動(dòng)設(shè)置表33驅(qū)動(dòng)任務(wù)執(zhí)行明細(xì)表34調(diào)度任務(wù)表34調(diào)度步驟表35調(diào)度步驟執(zhí)行記錄表36操作系統(tǒng)監(jiān)控?cái)?shù)據(jù)表37應(yīng)用程序監(jiān)控?cái)?shù)據(jù)表38監(jiān)控系統(tǒng)配置表38業(yè)務(wù)數(shù)據(jù)記錄表394.3數(shù)據(jù)物理結(jié)構(gòu)395.安全設(shè)計(jì)396.容錯(cuò)設(shè)計(jì)406.1挽救措施406.2系統(tǒng)維護(hù)設(shè)計(jì)407.日志設(shè)計(jì)40引言編寫目的大數(shù)據(jù)泛指巨量的數(shù)據(jù)集,因可從中挖掘出有價(jià)值的信息而受到重視?！度A爾街日?qǐng)?bào)》將大數(shù)據(jù)時(shí)代、智能化生產(chǎn)和無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮的三大技術(shù)變革。麥肯錫公司的報(bào)告指出數(shù)據(jù)是一種生產(chǎn)資料,大數(shù)據(jù)是下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)、生產(chǎn)力提高的前沿。世界經(jīng)濟(jì)論壇的報(bào)告認(rèn)定大數(shù)據(jù)為新財(cái)富,價(jià)值堪比石油。因此,發(fā)達(dá)國家紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競(jìng)爭(zhēng)制高點(diǎn)的重要抓手?；ヂ?lián)網(wǎng)特別是移動(dòng)互聯(lián)網(wǎng)的發(fā)展,加快了信息化向社會(huì)經(jīng)濟(jì)各方面、大眾日常生活的滲透。有資料顯示,1998年全球網(wǎng)民平均每月使用流量是1MB〔兆字節(jié),2000年是10MB,2003年是100MB,2008年是1GB〔1GB等于1024MB,2014年將是10GB。全網(wǎng)流量累計(jì)達(dá)到1EB〔即10億GB或1000PB的時(shí)間在2001年是一年,在2004年是一個(gè)月,在2007年是一周,而2013年僅需一天,即一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤。我國網(wǎng)民數(shù)居世界之首,每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過數(shù)千萬筆交易,單日數(shù)據(jù)產(chǎn)生量超過50TB〔1TB等于1000GB,存儲(chǔ)量40PB<1PB等于1000TB>。百度公司目前數(shù)據(jù)總量接近1000PB,存儲(chǔ)網(wǎng)頁數(shù)量接近1萬億頁,每天大約要處理60億次搜索請(qǐng)求,幾十PB數(shù)據(jù)。一個(gè)8Mbps〔兆比特每秒的攝像頭一小時(shí)能產(chǎn)生3.6GB數(shù)據(jù),一個(gè)城市若安裝幾十萬個(gè)交通和安防攝像頭,每月產(chǎn)生的數(shù)據(jù)量將達(dá)幾十PB。醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方?，F(xiàn)在,一個(gè)病人的CT影像數(shù)據(jù)量達(dá)幾十GB,而全國每年門診人數(shù)以數(shù)十億計(jì),并且他們的信息需要長(zhǎng)時(shí)間保存?？傊?大數(shù)據(jù)存在于各行各業(yè),一個(gè)大數(shù)據(jù)時(shí)代正在到來。信息爆炸不自今日起,但近年來人們更加感受到大數(shù)據(jù)的來勢(shì)迅猛。一方面,網(wǎng)民數(shù)量不斷增加,另一方面,以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長(zhǎng)更快。2007年全球有5億個(gè)設(shè)備聯(lián)網(wǎng),人均0.1個(gè)；2013年全球?qū)⒂?00億個(gè)設(shè)備聯(lián)網(wǎng),人均70個(gè)。隨著寬帶化的發(fā)展,人均網(wǎng)絡(luò)接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%,即信息總量每?jī)赡昃涂梢苑?這一趨勢(shì)還將持續(xù)。目前,單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見,其規(guī)模大到無法在容許的時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。數(shù)據(jù)規(guī)模越大,處理的難度也越大,但對(duì)其進(jìn)行挖掘可能得到的價(jià)值更大,這就是大數(shù)據(jù)熱的原因。鑒于越來越大的數(shù)據(jù)規(guī)模,采用常規(guī)基于DBMS的數(shù)據(jù)分析工具和方法已經(jīng)無法滿足大規(guī)模數(shù)據(jù)分析的需求,目前一些大型互聯(lián)網(wǎng)公司采用hadoop體系進(jìn)行大規(guī)模數(shù)據(jù)的運(yùn)算,結(jié)合hadoop體系結(jié)構(gòu)與實(shí)際的運(yùn)算需求結(jié)合,采用hadoop體系結(jié)構(gòu)的分布式運(yùn)算模型,通過集群的方式實(shí)現(xiàn)大數(shù)據(jù)運(yùn)算,為企業(yè)提供大數(shù)據(jù)的價(jià)值。為適應(yīng)大數(shù)據(jù)計(jì)算的要求,同時(shí)提供大數(shù)據(jù)運(yùn)算平臺(tái)的系統(tǒng)設(shè)計(jì)的依據(jù),特制定計(jì)算平臺(tái)的系統(tǒng)概要設(shè)計(jì)文檔,為后期的系統(tǒng)詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)提供依據(jù)。術(shù)語與縮略詞下列術(shù)語、定義和縮略語適用于本標(biāo)準(zhǔn)：術(shù)語與縮略詞解釋備注NamenodeHDFS采用master/slave架構(gòu)。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。Namenode是一個(gè)中心服務(wù)器,負(fù)責(zé)管理文件系統(tǒng)的名字空間<namespace>以及客戶端對(duì)文件的訪問。Namenode執(zhí)行文件系統(tǒng)的名字空間操作,比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點(diǎn)的映射Datanode集群中的Datanode一般是一個(gè)節(jié)點(diǎn)一個(gè),負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。HDFS暴露了文件系統(tǒng)的名字空間,用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看,一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊,這些塊存儲(chǔ)在一組Datanode上。Datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請(qǐng)求。在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制Secondnamenode光從字面上來理解,很容易讓一些初學(xué)者先入為主的認(rèn)為：SecondaryNameNode〔snn就是NameNode〔nn的熱備進(jìn)程。其實(shí)不是。snn是HDFS架構(gòu)中的一個(gè)組成部分,但是經(jīng)常由于名字而被人誤解它真正的用途,其實(shí)它真正的用途,是用來保存namenode中對(duì)HDFSmetadata的信息的備份,并減少namenode重啟的時(shí)間JobtrackerJobTracker是MapReduce框架中最主要的類之一,所有job的執(zhí)行都由它來調(diào)度,而且Hadoop系統(tǒng)中只配置一個(gè)JobTracker應(yīng)用。

它們都是由一個(gè)master服務(wù)JobTracker和多個(gè)運(yùn)行于多個(gè)節(jié)點(diǎn)的slaver服務(wù)TaskTracker兩個(gè)類提供的服務(wù)調(diào)度的。master負(fù)責(zé)調(diào)度job的每一個(gè)子任務(wù)task運(yùn)行于slave上,并監(jiān)控它們,如果發(fā)現(xiàn)有失敗的task就重新運(yùn)行它,slave則負(fù)責(zé)直接執(zhí)行每一個(gè)taskTaskTrackerTaskTracker都需要運(yùn)行在HDFS的DataNode上,而JobTracker則不需要,一般情況應(yīng)該把JobTracker部署在單獨(dú)的機(jī)器上HBaseHBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫,該技術(shù)來源于Changetal所撰寫的Google論文"Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)"。就像Bigtable利用了Google文件系統(tǒng)〔FileSystem所提供的分布式數(shù)據(jù)存儲(chǔ)一樣,HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫,它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。Hivehive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,并提供完整的sql查詢功能,可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低,可以通過類SQL語句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì),不必開發(fā)專門的MapReduce應(yīng)用,十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。StormStorm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語,可被用于"流處理"之中,實(shí)時(shí)處理消息并更新數(shù)據(jù)庫。這是管理隊(duì)列及工作者集群的另一種方式。Storm也可被用于"連續(xù)計(jì)算"〔continuouscomputation,對(duì)數(shù)據(jù)流做連續(xù)查詢,在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。它還可被用于"分布式RPC",以并行的方式運(yùn)行昂貴的運(yùn)算。FlumeFlume是Cloudera提供的一個(gè)高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng),Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù)；同時(shí),Flume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理,并寫到各種數(shù)據(jù)接受方〔可定制的能力。ETLETL是數(shù)據(jù)抽取〔Extract、清洗〔Cleaning、轉(zhuǎn)換〔Transform、裝載〔Load的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán),用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型,將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。KettleKettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上運(yùn)行,綠色無需安裝,數(shù)據(jù)抽取高效穩(wěn)定。MySQLMySQL是一個(gè)開放源碼的小型關(guān)聯(lián)式數(shù)據(jù)庫管理系統(tǒng),開發(fā)者為瑞典MySQLAB公司。目前MySQL被廣泛地應(yīng)用在Internet上的中小型網(wǎng)站中。由于其體積小、速度快、總體擁有成本低,尤其是開放源碼這一特點(diǎn),許多中小型網(wǎng)站為了降低網(wǎng)站總體擁有成本而選擇了MySQL作為網(wǎng)站數(shù)據(jù)庫。MongoDBMongoDB是一個(gè)介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品,是非關(guān)系數(shù)據(jù)庫當(dāng)中功能最豐富,最像關(guān)系數(shù)據(jù)庫的。他支持的數(shù)據(jù)結(jié)構(gòu)非常松散,是類似json的bson格式,因此可以存儲(chǔ)比較復(fù)雜的數(shù)據(jù)類型。Mongo最大的特點(diǎn)是他支持的查詢語言非常強(qiáng)大,其語法有點(diǎn)類似于面向?qū)ο蟮牟樵冋Z言,幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的絕大部分功能,而且還支持對(duì)數(shù)據(jù)建立索引。對(duì)象及范圍1、開發(fā)人員、DBA、測(cè)試人員；2、研發(fā)主管領(lǐng)導(dǎo)、產(chǎn)品人員；參考資料1、《大數(shù)據(jù)處理體系架構(gòu)》2、《HBaseTheDefinitiveGuide》3、《》4、《Programming_Hive》系統(tǒng)總體設(shè)計(jì)需求規(guī)定運(yùn)行環(huán)境操作系統(tǒng)：RedHadEnterprise5.5軟件環(huán)境：Java1.6Hadoop-1.0.4Kettle4.3MySQL5.1硬件環(huán)境：8核16G內(nèi)存PC服務(wù)器8臺(tái)基本設(shè)計(jì)思路和處理流程1、按照數(shù)據(jù)分析的實(shí)時(shí)性,分為在線數(shù)據(jù)分析和離線數(shù)據(jù)分析。2、在線數(shù)據(jù)分析：往往要求系統(tǒng)在數(shù)秒內(nèi)返回上億行數(shù)據(jù)的分析,從而才能達(dá)到不影響用戶體驗(yàn)的目的。3、離線數(shù)據(jù)分析：對(duì)大多數(shù)反饋時(shí)間要求不高的應(yīng)用,比如離線統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)等,應(yīng)采用離線分析的方式,通過數(shù)據(jù)采集工具將日志數(shù)據(jù)導(dǎo)入專門的分析平臺(tái)進(jìn)行分析。4、系統(tǒng)主要以離線數(shù)據(jù)分析為主,采用目前在互聯(lián)網(wǎng)業(yè)界流行的hadoop體系結(jié)構(gòu)對(duì)大批量的數(shù)據(jù)進(jìn)行運(yùn)算,采用hadoop集群的方式對(duì)大數(shù)據(jù)進(jìn)行運(yùn)算。5、數(shù)據(jù)運(yùn)算平臺(tái)以調(diào)度為主線,作為運(yùn)算平臺(tái)的核心控制系統(tǒng),對(duì)運(yùn)算平臺(tái)的各個(gè)環(huán)節(jié)進(jìn)行控制,且對(duì)運(yùn)算過程中的步驟依賴關(guān)系進(jìn)行控制,同時(shí)對(duì)各個(gè)環(huán)節(jié)進(jìn)行監(jiān)控,通過監(jiān)控異常報(bào)警來提高系統(tǒng)的穩(wěn)定性和異常響應(yīng)速度。系統(tǒng)結(jié)構(gòu)大數(shù)據(jù)運(yùn)算系統(tǒng)架構(gòu)圖日志存儲(chǔ)日志存儲(chǔ)統(tǒng)計(jì)分析數(shù)據(jù)應(yīng)用Hadoop<HDFS、HBASE>在線計(jì)算：Storm流計(jì)算框架離線計(jì)算：Hadoop<Map/Reduce、Hive、pig>日志采集日志采集系統(tǒng)Flume數(shù)據(jù)服務(wù)數(shù)據(jù)提取,報(bào)表展現(xiàn),功能、網(wǎng)頁展示……統(tǒng)計(jì)、分析數(shù)據(jù)存儲(chǔ),數(shù)據(jù)接口MongoDB、MySql大數(shù)據(jù)平臺(tái)系統(tǒng)功能圖系統(tǒng)功能圖邏輯說明生產(chǎn)系統(tǒng)的源數(shù)據(jù)通過sqoop,flume,Kettle等獲取后保存在Kafka消息隊(duì)列中或者保存到hadoop的hdfs系統(tǒng)中。調(diào)度系統(tǒng)負(fù)責(zé)自身的控制功能,通過讀取調(diào)度控制的配置信息調(diào)用驅(qū)動(dòng)代理程序處理相關(guān)的運(yùn)算功能。驅(qū)動(dòng)代理程序負(fù)責(zé)所有基于運(yùn)算平臺(tái)的相關(guān)組件的驅(qū)動(dòng)任務(wù),讀取調(diào)度系統(tǒng)傳遞過來的模版信息,讀取模版信息,并執(zhí)行相應(yīng)的驅(qū)動(dòng)操作。系統(tǒng)管理功能部分完成系統(tǒng)相關(guān)配置,管理等相關(guān)信息的維護(hù)操作。監(jiān)控系統(tǒng)對(duì)整個(gè)系統(tǒng)的運(yùn)行狀況進(jìn)行監(jiān)控,由各個(gè)業(yè)務(wù)子系統(tǒng)按照監(jiān)控系統(tǒng)的要求實(shí)現(xiàn)相應(yīng)的監(jiān)控功能。大數(shù)據(jù)平臺(tái)功能結(jié)構(gòu)圖大數(shù)據(jù)平臺(tái)功能結(jié)構(gòu)圖說明：1大數(shù)據(jù)平臺(tái)功能結(jié)構(gòu)主要?jiǎng)澐譃橛?jì)算平臺(tái),應(yīng)用平臺(tái),系統(tǒng)管理以及監(jiān)控,配置等相關(guān)應(yīng)用功能。2計(jì)算平臺(tái)分為基礎(chǔ)運(yùn)算部分,模版管理部分,驅(qū)動(dòng)代理部分,系統(tǒng)調(diào)度部分。3計(jì)算平臺(tái)分為離線計(jì)算與實(shí)時(shí)計(jì)算兩種形式。4計(jì)算平臺(tái)基于模版的功能開發(fā),實(shí)際應(yīng)用中做到模版的熱插拔,對(duì)于功能需求只需要開發(fā)相應(yīng)的模版,并部署上計(jì)算平臺(tái)即可應(yīng)用。5驅(qū)動(dòng)代理程序管理所有的基于大數(shù)據(jù)運(yùn)算的相關(guān)組件的代理功能,對(duì)外提供給調(diào)度系統(tǒng)應(yīng)用,調(diào)用模版設(shè)置的相應(yīng)的類型,進(jìn)行相應(yīng)類型的驅(qū)動(dòng)操作。6調(diào)度系統(tǒng)只關(guān)心其自身的系統(tǒng)控制能力,不參與具體的業(yè)務(wù)以及計(jì)算功能組件的調(diào)用。尚未解決的問題無模塊/功能設(shè)計(jì)調(diào)度模塊設(shè)計(jì)思路一：調(diào)度模塊實(shí)現(xiàn)功能思路二：流程說明以及注意事項(xiàng)：任務(wù)與步驟采用配置表的方式保存在mysql中,調(diào)度程序定時(shí)掃描任務(wù)表,判斷是否有啟動(dòng)的任務(wù),如果有啟動(dòng)的任務(wù),則啟動(dòng)任務(wù)。調(diào)度任務(wù)需要判斷任務(wù)中步驟之間的依賴關(guān)系,根據(jù)依賴關(guān)系判斷是否可以執(zhí)行下一步的執(zhí)行步驟。一個(gè)任務(wù)中可以包含多個(gè)步驟,每個(gè)步驟為一個(gè)具體的任務(wù),步驟與步驟直接存在依賴關(guān)系。對(duì)于具體的執(zhí)行任務(wù)將由驅(qū)動(dòng)代理自動(dòng)完成。流程圖處理邏輯1、調(diào)度任務(wù)啟動(dòng)后掃描任務(wù)配置表,看任務(wù)配置表是否存在需要處理的任務(wù)信息,如果不存在需要處理的任務(wù)信息,則線程執(zhí)行休眠,否則執(zhí)行步驟2；2、生成數(shù)據(jù)日期,并檢查任務(wù)依賴關(guān)系,如果依賴關(guān)系未執(zhí)行完,則現(xiàn)成等待操作,等待依賴的任務(wù)執(zhí)行完成,如果依賴關(guān)系都執(zhí)行完,則獲取符合條件的任務(wù),執(zhí)行步驟3：3、讀取任務(wù)信息表,獲取任務(wù)信息,根據(jù)任務(wù)信息讀取步驟信息,執(zhí)行相應(yīng)的步驟操作,執(zhí)行步驟4；4、根據(jù)步驟信息的配置獲取需要執(zhí)行的相應(yīng)的模版信息,調(diào)用驅(qū)動(dòng)代理程序執(zhí)行相應(yīng)的功能,執(zhí)行步驟5；5、驅(qū)動(dòng)代理程序執(zhí)行模版初始化,初始化完成后獲取相應(yīng)的參數(shù)數(shù)據(jù),并根據(jù)模版類型選擇具體的驅(qū)動(dòng)程序,執(zhí)行相應(yīng)的操作。6、判斷該任務(wù)的下步驟是否執(zhí)行完成,如果未執(zhí)行完成,則執(zhí)行步驟3,繼續(xù)下一個(gè)步驟的執(zhí)行,否則執(zhí)行步驟7；7、寫步驟完成信息表,判斷是否還存在要執(zhí)行的任務(wù),如果沒有等待,存在需要執(zhí)行的任務(wù)則執(zhí)行步驟3.驅(qū)動(dòng)代理模塊設(shè)計(jì)思路一：計(jì)算驅(qū)動(dòng)模塊實(shí)現(xiàn)功能思路二：流程說明以及注意事項(xiàng)：1、計(jì)算平臺(tái)的驅(qū)動(dòng)提供針對(duì)Hive,MapReduce,Hbase等相關(guān)的驅(qū)動(dòng)應(yīng)用。2、基于業(yè)務(wù)模版的設(shè)置操作,調(diào)度執(zhí)行業(yè)務(wù)模版,不關(guān)心模版具體業(yè)務(wù)形態(tài)。3、一個(gè)驅(qū)動(dòng)應(yīng)用包含四個(gè)步驟：1刪除不用的數(shù)據(jù)；2加載數(shù)據(jù)；3運(yùn)算；4導(dǎo)出結(jié)果文件。4、提供監(jiān)控需要的相應(yīng)信息。5、對(duì)于文件的操作,會(huì)涉及到多個(gè)文件或者目錄操作,多個(gè)文件或者目錄以逗號(hào)分隔,對(duì)文件操作中涉及到一些按照小時(shí),天,月份的文件命名的操作,配置中以特殊字符進(jìn)行替換。流程圖處理邏輯1、由調(diào)度程序驅(qū)動(dòng)代理模塊,調(diào)用驅(qū)動(dòng)代理模塊的驅(qū)動(dòng)應(yīng)用,傳遞需要驅(qū)動(dòng)的模版編號(hào),處理時(shí)間范圍等相關(guān)信息,執(zhí)行流程2；2、驅(qū)動(dòng)程序首先查詢是否存在該模版,如果不存在模版,、則執(zhí)行流程3,否則執(zhí)行流程4；3、則直接返回任務(wù)失敗信息,不存在相關(guān)的模版,整個(gè)流程結(jié)束；4、如果查詢到相關(guān)的模版信息,先執(zhí)行初始化模版信息以及需要?jiǎng)h除的中間文件,多個(gè)文件以逗號(hào)分割,如果為空則表示不需要清理中間文件,執(zhí)行流程5；5、清理hive表數(shù)據(jù)操作,多個(gè)hive語句以逗號(hào)分割,如果為空則表示不需要進(jìn)行分割,執(zhí)行流程66、判斷該操作是hive驅(qū)動(dòng)mapreduce還是自定義的mapreduce,如果是自定義的mapreduce則走自定義的mapreduce操作,執(zhí)行流程7,否則如果是hive驅(qū)動(dòng)的mapreduce,則走h(yuǎn)ive操作流程,否則執(zhí)行流程8；7、如果mapreduce的操作流程,第一步執(zhí)行加載文本文件數(shù)據(jù),多個(gè)文本文件以逗號(hào)進(jìn)行分割,第二步執(zhí)行mapreduce操作,通過shell腳本的方式執(zhí)行mapreduce操作,第三步執(zhí)行完后將結(jié)果輸出。8、如果是hive的操作流程,第一步先執(zhí)行加載文本文件到hive表,如果有多個(gè)文件操作一逗號(hào)分割,第二步執(zhí)行hive語句,多個(gè)hive語句以逗號(hào)分割的方式,第三步將結(jié)果輸出到相應(yīng)的hive表中。9、根據(jù)設(shè)置導(dǎo)出的方式,將結(jié)果文件導(dǎo)出到mysql,或者mongodb,或者直接將文本文件從hdfs文件系統(tǒng)中導(dǎo)出。對(duì)操作系統(tǒng)/應(yīng)用程序監(jiān)控流程處理流程圖處理邏輯1、讀取監(jiān)控服務(wù)器列表,判斷是否需要監(jiān)控,如果需要監(jiān)控,則執(zhí)行步驟2,如果不需要監(jiān)控,執(zhí)行步驟5；2、監(jiān)控模塊向監(jiān)控服務(wù)器發(fā)送監(jiān)控請(qǐng)求,等到被監(jiān)控服務(wù)器的返回,執(zhí)行步驟3；3、被監(jiān)控服務(wù)器接收到請(qǐng)求監(jiān)控信息后,將相關(guān)的信息返回給監(jiān)控模塊,執(zhí)行步驟4；4、監(jiān)控服務(wù)器將返回的數(shù)據(jù)進(jìn)行解析后入庫,執(zhí)行步驟5；5、判斷被監(jiān)控服務(wù)器是否都請(qǐng)求完成,如果請(qǐng)求完成,則執(zhí)行步驟6,否則執(zhí)行步驟1；6、監(jiān)控模塊線程休眠10分鐘,等待下次進(jìn)行監(jiān)控,執(zhí)行步驟1.監(jiān)控報(bào)警模塊設(shè)計(jì)思路一：監(jiān)控模塊實(shí)現(xiàn)功能思路二：流程說明以及注意事項(xiàng)：1、監(jiān)控報(bào)警模塊主要完成三個(gè)級(jí)別的監(jiān)控報(bào)警,分為：1操作系統(tǒng)級(jí)別,檢測(cè)運(yùn)行的機(jī)器的操作系統(tǒng)是否正常運(yùn)行,CPU,內(nèi)存,I/O,存儲(chǔ)等資源的利用情況,采用Linux的Shell腳本對(duì)相關(guān)的信息進(jìn)行收集并上報(bào)；2應(yīng)用程序級(jí)別監(jiān)控,檢測(cè)kettle,hadoop,hive,hbase,zookeeper等相關(guān)程序是否正常啟動(dòng),以及應(yīng)用程序的相關(guān)資源的監(jiān)控。3程序數(shù)據(jù)級(jí)別的監(jiān)控,對(duì)數(shù)據(jù)情況進(jìn)行監(jiān)控,主要是數(shù)據(jù)異常的監(jiān)控。2、監(jiān)控模塊主要負(fù)責(zé)監(jiān)控?cái)?shù)據(jù)的采集,數(shù)據(jù)異常報(bào)警,以及后期的監(jiān)控?cái)?shù)據(jù)展示等功能。3、對(duì)于系統(tǒng)級(jí)別和應(yīng)用程序級(jí)別的監(jiān)控?cái)?shù)據(jù)采集采用由監(jiān)控模塊主動(dòng)調(diào)用相應(yīng)的應(yīng)用接口的方式采集數(shù)據(jù),對(duì)于應(yīng)用數(shù)據(jù)級(jí)別的監(jiān)控則由各個(gè)應(yīng)用將相關(guān)的數(shù)據(jù)寫入到數(shù)據(jù)庫表,由監(jiān)控系統(tǒng)對(duì)其進(jìn)行掃描。4、監(jiān)控模塊的報(bào)警機(jī)制支持優(yōu)先級(jí)報(bào)警模式,對(duì)于優(yōu)先級(jí)較高,需要緊急處理的報(bào)警,需要不間斷的進(jìn)行報(bào)警,但需要設(shè)置報(bào)警的頻率,如10分鐘重復(fù)一次。5、監(jiān)控的報(bào)警模式采用郵件監(jiān)控的方式,輔助以短信提醒的方式。流程圖處理邏輯1、監(jiān)控報(bào)警啟動(dòng)采用啟動(dòng)啟動(dòng)的方式進(jìn)行,當(dāng)監(jiān)控報(bào)警線程啟動(dòng)后判斷是否到達(dá)監(jiān)控時(shí)間點(diǎn),如果未到達(dá)監(jiān)控時(shí)間點(diǎn),則線程休眠1分鐘后再次進(jìn)行判斷,如果到達(dá)監(jiān)控時(shí)間點(diǎn)則執(zhí)行步驟2。2、讀取需要監(jiān)控任務(wù)列表,得到需要監(jiān)控的任務(wù),執(zhí)行步驟3。3、對(duì)監(jiān)控任務(wù)的源數(shù)據(jù)進(jìn)行掃描,判斷是否存在異常,如果存在異常則保存監(jiān)控異常數(shù)據(jù),執(zhí)行步驟4,否則執(zhí)行步驟1。4、判斷監(jiān)控列表是否都執(zhí)行完,如果執(zhí)行完,對(duì)于異常情況以郵件的方式通知相關(guān)人,否則執(zhí)行步驟3。系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)數(shù)據(jù)實(shí)體關(guān)系圖詳細(xì)圖例見附件數(shù)據(jù)邏輯結(jié)構(gòu)調(diào)度任務(wù)表字段說明數(shù)據(jù)類型是否為空主鍵備注TaskId任務(wù)IDint否是主鍵,自增長(zhǎng)IDTaskName任務(wù)名稱Varchar<255>否TaskDesc任務(wù)描述Varchar<500>是Priority優(yōu)先級(jí)int是數(shù)值1~10值越大優(yōu)先級(jí)越高,默認(rèn)5CycleType周期類型int否0.執(zhí)行一次1.分鐘2.小時(shí)3.天4.月Interval頻次間隔Int是整數(shù)PlanRunTime預(yù)期執(zhí)行時(shí)長(zhǎng)Int是單位：分鐘LastRunDate最后執(zhí)行日期int否20130101Status任務(wù)狀態(tài)int否0.正常1.暫停CreateUser創(chuàng)建人Varchar<255>否CreateTime創(chuàng)建時(shí)間date否ModifyUser修改人Varchar<255>是ModifyTime修改時(shí)間date是調(diào)度步驟表字段說明數(shù)據(jù)類型是否為空主鍵備注StepId步驟IDint否是主鍵,自增長(zhǎng)IDTaskId任務(wù)IDint否"任務(wù)表"主鍵StepSort執(zhí)行順序int否相同則表示并行StepName步驟名稱Varchar<255>否TemplateID模板IDInt否PlanRunTime預(yù)期執(zhí)行時(shí)長(zhǎng)Int是單位：分鐘CreateUser創(chuàng)建人Varchar<255>否CreateTime創(chuàng)建時(shí)間date否ModifyUser修改人Varchar<255>是ModifyTime修改時(shí)間date是調(diào)度任務(wù)依賴表字段說明數(shù)據(jù)類型是否為空主鍵備注TaskId任務(wù)IDint否FatherId父任務(wù)IDint否調(diào)度任務(wù)運(yùn)行日志表字段說明數(shù)據(jù)類型是否為空主鍵備注SerialId記錄IDInt否是主鍵,自增長(zhǎng)IDTaskDate任務(wù)日期Int否TaskId任務(wù)IDInt否"任務(wù)表"主鍵Status任務(wù)狀態(tài)Int否0.初始化1執(zhí)行中2.已完成-99.執(zhí)行錯(cuò)誤RetryTimes重試次數(shù)IntBeginTime開始執(zhí)行時(shí)間Date是EndTime結(jié)束執(zhí)行時(shí)間Date是CreateTime創(chuàng)建時(shí)間Date否ModifyTime修改時(shí)間Date是調(diào)度步驟運(yùn)行日志表字段說明數(shù)據(jù)類型是否為空主鍵備注SerialId記錄IDInt否是主鍵,自增長(zhǎng)IDTaskDate步驟日期Int否TaskId任務(wù)IDInt否"任務(wù)表"主鍵StepId步驟IDInt否"步驟表"主鍵StepSort步驟序號(hào)int否Status步驟狀態(tài)Int否0.初始化1.執(zhí)行中2.已完成-99.執(zhí)行錯(cuò)誤RetryTimes重試次數(shù)IntBeginTime開始執(zhí)行時(shí)間Date是EndTime結(jié)束執(zhí)行時(shí)間Date是CreateTime創(chuàng)建時(shí)間Date否ModifyTime修改時(shí)間Date是調(diào)度步驟運(yùn)行錯(cuò)誤日志表字段說明數(shù)據(jù)類型是否為空主鍵備注SerialId記錄IDInt否是主鍵,自增長(zhǎng)IDTaskDate任務(wù)日期Int否TaskId任務(wù)IDInt否StepId步驟IDInt否ErrorInfo錯(cuò)誤信息Varchar<4000>否InsertTime記錄時(shí)間Date是系統(tǒng)資源表字段說明數(shù)據(jù)類型是否為空主鍵備注ResourceId資源IDInt否是主鍵,自增長(zhǎng)IDCpuInfoCpu信息Varchar<4000>是MemoryInfo內(nèi)存信息Varchar<4000>是DiskInfo硬盤信息Varchar<4000>是CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否服務(wù)器機(jī)器表字段說明數(shù)據(jù)類型是否為空主鍵備注MachineId機(jī)型IDInt否是主鍵,自增長(zhǎng)IDCpuInfoCpu信息Varchar<4000>是MemoryInfo內(nèi)存信息Varchar<4000>是DiskInfo硬盤信息Varchar<4000>是CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否服務(wù)器信息表字段說明數(shù)據(jù)類型是否為空主鍵備注ServerId服務(wù)器IDInt否是主鍵,自增長(zhǎng)IDServerName服務(wù)器名稱Varchar<256>是ServerIp服務(wù)器IPVarchar<256>是CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否系統(tǒng)管理信息表字段說明數(shù)據(jù)類型是否為空主鍵備注SystemId服務(wù)器IDInt否是主鍵,自增長(zhǎng)IDMachineId機(jī)型IDInt否ResourceId資源IDInt否ServerId服務(wù)器IDInt否CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否集群信息表字段說明數(shù)據(jù)類型是否為空主鍵備注ClusterId集群IDInt否是主鍵,自增長(zhǎng)IDClusterName集群名稱Varchar<256>是ClusterPath集群配置目錄Varchar<256>是Remark集群配置備注Varchar<256>是CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否集群列表字段說明數(shù)據(jù)類型是否為空主鍵備注ListId集群列表IDInt否是主鍵,自增長(zhǎng)IDClusterId集群IDInt否ServerId服務(wù)器IDInt否CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否系統(tǒng)配置表字段說明數(shù)據(jù)類型是否為空主鍵備注ConfigId系統(tǒng)配置IDInt否是主鍵,自增長(zhǎng)IDConfigName配置名稱Varchar<256>否ConfigValue配置信息Varchar<256>否ClusterId集群IDInt否CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否Hadoop參數(shù)配置表字段說明數(shù)據(jù)類型是否為空主鍵備注ConfigId系統(tǒng)配置IDInt否是主鍵,自增長(zhǎng)IDConfigName配置名稱Varchar<256>否ConfigValue配置信息Varchar<256>否ClusterId集群IDInt否CreateTime記錄創(chuàng)建時(shí)間date否CreateName記錄創(chuàng)建人Varchar<256>否ModifyTime記錄修改時(shí)間Date否ModifyName記錄修改人Varchar<256>否Jar配置表字段說明數(shù)據(jù)類型是否為空主鍵備注ConfigId系統(tǒng)配置IDInt否是主鍵,自增長(zhǎng)IDConfigName配置名稱Varchar<256>否ConfigValue配置信息Varchar<256>否ClusterId集群IDInt否C