數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案

第第A號(hào)公開招標(biāo)方案建議書數(shù)據(jù)倉(cāng)庫(kù)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)總體架構(gòu)專家系統(tǒng)接收增購(gòu)項(xiàng)目車輛TCMS或其他子系統(tǒng)通過車地通信傳輸?shù)膶?shí)時(shí)或離線數(shù)據(jù)，經(jīng)過一系列綜合診斷分析，以各種報(bào)表圖形或信息推送的形式向用戶展示分析結(jié)果。針對(duì)診斷出的車輛故障將給出專家建議處理措施，為車輛的故障根因修復(fù)提供必要的支持。根據(jù)專家系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)目標(biāo)，結(jié)合系統(tǒng)數(shù)據(jù)業(yè)務(wù)規(guī)范，包括數(shù)據(jù)采集頻率、數(shù)據(jù)采集量等相關(guān)因素，設(shè)計(jì)專家系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)如下：數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)從層次結(jié)構(gòu)上分為數(shù)據(jù)采集、數(shù)據(jù)存、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等幾個(gè)方面的內(nèi)容：數(shù)據(jù)采集：負(fù)責(zé)從各業(yè)務(wù)自系統(tǒng)中匯集信息數(shù)據(jù)，系統(tǒng)支撐Kafka、Storm、Flume及傳統(tǒng)的ETL采集工具。數(shù)據(jù)存儲(chǔ)：本系統(tǒng)提供Hdfs、Hbase及RDBMS相結(jié)合的存儲(chǔ)模式，支持海量數(shù)據(jù)的分布式存儲(chǔ)。數(shù)據(jù)分析：數(shù)據(jù)倉(cāng)庫(kù)體系支持傳統(tǒng)的OLAP分析及基于Spark常規(guī)機(jī)器學(xué)習(xí)算法。數(shù)據(jù)服務(wù)總線：數(shù)據(jù)系統(tǒng)提供數(shù)據(jù)服務(wù)總線服務(wù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的統(tǒng)一管理和調(diào)度，并對(duì)外提供數(shù)據(jù)服務(wù)。數(shù)據(jù)采集專家系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)采集包括兩個(gè)部分內(nèi)容：外部數(shù)據(jù)匯集、內(nèi)部各層數(shù)據(jù)的提取與加載。外部數(shù)據(jù)匯集是指從TCMS、車載子系統(tǒng)等外部信息系統(tǒng)匯集數(shù)據(jù)到專家數(shù)據(jù)倉(cāng)庫(kù)的操作型存儲(chǔ)層（ODS）；內(nèi)部各層數(shù)據(jù)的提取與加載是指數(shù)據(jù)倉(cāng)庫(kù)各存儲(chǔ)層間的數(shù)據(jù)提取、轉(zhuǎn)換與加載。外部數(shù)據(jù)匯集專家數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)源包括列車監(jiān)控與檢測(cè)系統(tǒng)（TCMS）、車載子系統(tǒng)等相關(guān)子系統(tǒng)，數(shù)據(jù)采集的內(nèi)容分為實(shí)時(shí)數(shù)據(jù)采集和定時(shí)數(shù)據(jù)采集兩大類，實(shí)時(shí)數(shù)據(jù)采集主要對(duì)于各項(xiàng)檢測(cè)指標(biāo)數(shù)據(jù)；非實(shí)時(shí)采集包括日檢修數(shù)據(jù)等。根據(jù)項(xiàng)目信息匯集要求，列車指標(biāo)信息采集具有采集數(shù)據(jù)量大，采集頻率高的特點(diǎn)，考慮到系統(tǒng)后期的擴(kuò)展，因此在數(shù)據(jù)數(shù)據(jù)采集方面，要求采集體系支持高吞吐量、高頻率、海量數(shù)據(jù)采集，同時(shí)系統(tǒng)應(yīng)該靈活可配置，可根據(jù)業(yè)務(wù)的需要進(jìn)行靈活配置橫向擴(kuò)展。本方案在數(shù)據(jù)采集架構(gòu)采用Flume+Kafka+Storm的組合架構(gòu)，采用Flume和ETL工具作為Kafka的Producer，采用Storm作為Kafka的Consumer，Storm可實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的實(shí)時(shí)處理，及時(shí)對(duì)問題指標(biāo)進(jìn)行預(yù)警。具體采集系統(tǒng)技術(shù)結(jié)構(gòu)圖如下:數(shù)據(jù)匯集架構(gòu)功能Flume提供了從console(控制臺(tái))、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系統(tǒng)，支持TCP和UDP等2種模式)，exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力。Flume的數(shù)據(jù)接受方，可以是console(控制臺(tái))、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCPsyslog日志系統(tǒng))等。在我們系統(tǒng)中由kafka來接收。Kafka分布式消息隊(duì)列，支撐系統(tǒng)性能橫向擴(kuò)展，通過增加broker來提高系統(tǒng)的性能。Storm流處理技術(shù)，支撐Supervisor橫向擴(kuò)展以提高系統(tǒng)的擴(kuò)展性和數(shù)據(jù)處理的實(shí)時(shí)性。采集架構(gòu)優(yōu)勢(shì)解耦在項(xiàng)目中要平衡數(shù)據(jù)的匯集與數(shù)據(jù)的處理性能平衡，是極其困難的。消息隊(duì)列在處理過程中間插入了一個(gè)隱含的、基于數(shù)據(jù)的接口層，兩邊的處理過程都要實(shí)現(xiàn)這一接口。這允許你獨(dú)立的擴(kuò)展或修改兩邊的處理過程，只要確保它們遵守同樣的接口約束。冗余有些情況下，處理數(shù)據(jù)的過程會(huì)失敗。除非數(shù)據(jù)被持久化，否則將造成丟失。消息隊(duì)列把數(shù)據(jù)進(jìn)行持久化直到它們已經(jīng)被完全處理，通過這一方式規(guī)避了數(shù)據(jù)丟失風(fēng)險(xiǎn)。在被許多消息隊(duì)列所采用的“插入-獲取-刪除”范式中，在把一個(gè)消息從隊(duì)列中刪除之前，需要你的處理過程明確的指出該消息已經(jīng)被處理完畢，確保你的數(shù)據(jù)被安全的保存直到你使用完畢。擴(kuò)展性因?yàn)橄㈥?duì)列解耦了你的處理過程，所以增大消息入隊(duì)和處理的頻率是很容易的；只要另外增加處理過程即可。不需要改變代碼、不需要調(diào)節(jié)參數(shù)。擴(kuò)展就像調(diào)大電力按鈕一樣簡(jiǎn)單。靈活性&峰值處理能力在訪問量劇增的情況下，應(yīng)用仍然需要繼續(xù)發(fā)揮作用，但是這樣的突發(fā)流量并不常見；如果為以能處理這類峰值訪問為標(biāo)準(zhǔn)來投入資源隨時(shí)待命無疑是巨大的浪費(fèi)。使用消息隊(duì)列能夠使關(guān)鍵組件頂住突發(fā)的訪問壓力，而不會(huì)因?yàn)橥话l(fā)的超負(fù)荷的請(qǐng)求而完全崩潰?？苫謴?fù)性當(dāng)體系的一部分組件失效，不會(huì)影響到整個(gè)系統(tǒng)。消息隊(duì)列降低了進(jìn)程間的耦合度，所以即使一個(gè)處理消息的進(jìn)程掛掉，加入隊(duì)列中的消息仍然可以在系統(tǒng)恢復(fù)后被處理。而這種允許重試或者延后處理請(qǐng)求的能力通常是造就一個(gè)略感不便的用戶和一個(gè)沮喪透頂?shù)挠脩糁g的區(qū)別。送達(dá)保證消息隊(duì)列提供的冗余機(jī)制保證了消息能被實(shí)際的處理，只要一個(gè)進(jìn)程讀取了該隊(duì)列即可。在此基礎(chǔ)上，IronMQ提供了一個(gè)”只送達(dá)一次”保證。無論有多少進(jìn)程在從隊(duì)列中領(lǐng)取數(shù)據(jù)，每一個(gè)消息只能被處理一次。這之所以成為可能，是因?yàn)楂@取一個(gè)消息只是”預(yù)定”了這個(gè)消息，暫時(shí)把它移出了隊(duì)列。除非客戶端明確的表示已經(jīng)處理完了這個(gè)消息，否則這個(gè)消息會(huì)被放回隊(duì)列中去，在一段可配置的時(shí)間之后可再次被處理。緩沖在任何重要的系統(tǒng)中，都會(huì)有需要不同的處理時(shí)間的元素。例如,加載一張圖片比應(yīng)用過濾器花費(fèi)更少的時(shí)間。消息隊(duì)列通過一個(gè)緩沖層來幫助任務(wù)最高效率的執(zhí)行—寫入隊(duì)列的處理會(huì)盡可能的快速，而不受從隊(duì)列讀的預(yù)備處理的約束。該緩沖有助于控制和優(yōu)化數(shù)據(jù)流經(jīng)過系統(tǒng)的速度。異步通信很多時(shí)候，你不想也不需要立即處理消息。消息隊(duì)列提供了異步處理機(jī)制，允許你把一個(gè)消息放入隊(duì)列，但并不立即處理它。你想向隊(duì)列中放入多少消息就放多少，然后在你樂意的時(shí)候再去處理它們。內(nèi)部各層數(shù)據(jù)提取與加載數(shù)據(jù)匯集將數(shù)據(jù)儲(chǔ)存于操作型數(shù)據(jù)存儲(chǔ)層（ODS），在數(shù)據(jù)倉(cāng)庫(kù)各層次間數(shù)據(jù)轉(zhuǎn)換提取加載，采用傳統(tǒng)的ETL工具進(jìn)行采集，數(shù)據(jù)倉(cāng)庫(kù)間的各層次的數(shù)據(jù)采集的實(shí)效性根據(jù)具體的數(shù)據(jù)需求而定，具體ETL建模界面如圖：數(shù)據(jù)加工與處理對(duì)于數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，應(yīng)該建立一套標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)處理流程，例如：如何采集內(nèi)部和外部數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；如何清洗采集來的臟數(shù)據(jù)和無效數(shù)據(jù)；如何對(duì)不同來源的數(shù)據(jù)進(jìn)行打通；如何對(duì)非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工；如何在結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上進(jìn)行商業(yè)建模和數(shù)據(jù)挖掘等等。大數(shù)據(jù)管理層在一條數(shù)據(jù)總線上構(gòu)建了一條完整的大數(shù)據(jù)處理流水線。這條流水線從數(shù)據(jù)的采集、清洗到加工處理，把原始雜亂無章的數(shù)據(jù)加工成結(jié)構(gòu)化的數(shù)據(jù)組件，供上層的大數(shù)據(jù)應(yīng)用來拼裝調(diào)用，讓企業(yè)擁有創(chuàng)造數(shù)據(jù)資產(chǎn)的能力。存儲(chǔ)設(shè)計(jì)數(shù)據(jù)量估算按每列列車平均500毫秒通過車地通信采集監(jiān)測(cè)數(shù)據(jù)100條，每天運(yùn)營(yíng)時(shí)間18小時(shí)，按每條記錄160字節(jié)計(jì)算(監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)項(xiàng)相對(duì)簡(jiǎn)單)，初步按照67列列車計(jì)算。單列列車日監(jiān)測(cè)數(shù)據(jù)=3600*2*160*100*18/1024/1024/1024≈2G67列列車年數(shù)據(jù)量=2*67*365/1024≈48T10年總數(shù)據(jù)量(乘上增長(zhǎng)系數(shù)10%)≈530T(含操作系統(tǒng))數(shù)據(jù)規(guī)劃10年，加上系統(tǒng)用戶信息、系統(tǒng)日志信息、專家信息、業(yè)務(wù)數(shù)據(jù)及其它不可預(yù)測(cè)類數(shù)據(jù)，數(shù)據(jù)總量預(yù)估530T。數(shù)據(jù)存儲(chǔ)專家系統(tǒng)數(shù)據(jù)采用混合存儲(chǔ)模式進(jìn)行存儲(chǔ)，RDBMS存儲(chǔ)專家系統(tǒng)業(yè)務(wù)基本數(shù)據(jù)及最近1年的監(jiān)測(cè)數(shù)據(jù)，10年內(nèi)歷史監(jiān)測(cè)數(shù)據(jù)采用NoSQLHBase數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，以方便查詢，HBase基于Hdfs分布式文件系統(tǒng)搭建，具體存儲(chǔ)模式如下圖。RDBMS數(shù)據(jù)庫(kù)，支持專家?guī)斓暮诵臉I(yè)務(wù)，存儲(chǔ)列車最近1年的監(jiān)測(cè)數(shù)據(jù)為保證專家系統(tǒng)安全、穩(wěn)定運(yùn)行，在數(shù)據(jù)庫(kù)系統(tǒng)上支撐各種統(tǒng)計(jì)分析及傳統(tǒng)的BI業(yè)務(wù)?？紤]到操作系統(tǒng)存儲(chǔ)、緩存存儲(chǔ)、數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)、日志存儲(chǔ)等因素，RDBMS數(shù)據(jù)庫(kù)服務(wù)器預(yù)計(jì)每臺(tái)60T存儲(chǔ)，考慮數(shù)據(jù)安全及系統(tǒng)穩(wěn)定因素RDBMS采用雙機(jī)熱備技術(shù)互備。大數(shù)據(jù)平臺(tái)規(guī)劃存儲(chǔ)最近10年監(jiān)測(cè)數(shù)據(jù)，日志文件備份及歷史數(shù)據(jù)采用大數(shù)據(jù)Hadoop和HBase存儲(chǔ)，大數(shù)據(jù)平臺(tái)數(shù)據(jù)采用節(jié)點(diǎn)間冗余備份，預(yù)設(shè)數(shù)據(jù)2倍冗余存儲(chǔ)，（考慮平臺(tái)提供的壓縮技術(shù)，壓縮存儲(chǔ)可以節(jié)省30-55%的空間）。10年數(shù)據(jù)量=530T*1.5≈800T(2倍冗余存儲(chǔ))分層存儲(chǔ)專家數(shù)據(jù)分三個(gè)層次進(jìn)行匯集與存儲(chǔ)，分別為ODS層、數(shù)據(jù)倉(cāng)庫(kù)層、主題數(shù)據(jù)層，各層次數(shù)據(jù)存儲(chǔ)內(nèi)容如下ODS層：數(shù)據(jù)來源于各生產(chǎn)系統(tǒng)，通過ETL工具對(duì)接口文件數(shù)據(jù)進(jìn)行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關(guān)聯(lián)操作。未來也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢。數(shù)據(jù)倉(cāng)庫(kù)層：數(shù)據(jù)深度匯集層，根據(jù)業(yè)務(wù)有選擇的對(duì)ODS層的數(shù)據(jù)進(jìn)行提取，通過對(duì)數(shù)據(jù)的加工處理，將單一的數(shù)據(jù)信息轉(zhuǎn)換成體系信息，將點(diǎn)信息數(shù)據(jù)變成面信息數(shù)據(jù)。主題數(shù)據(jù)層：將數(shù)據(jù)信息體系根據(jù)各主題進(jìn)行提取與轉(zhuǎn)換，主題域內(nèi)部進(jìn)行拆分、關(guān)聯(lián)。是對(duì)ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進(jìn)行的拆分及合并。數(shù)據(jù)分析建模伴隨著大數(shù)據(jù)時(shí)代的悄然來臨,數(shù)據(jù)的價(jià)值得到人們的廣泛認(rèn)同,對(duì)數(shù)據(jù)的重視提到了前所未有的高度。數(shù)據(jù)已經(jīng)作為企業(yè)、事業(yè)單位的重要資產(chǎn)被廣泛應(yīng)用于盈利分析與預(yù)測(cè)、客戶關(guān)系管理、合規(guī)性監(jiān)管、運(yùn)營(yíng)風(fēng)險(xiǎn)管理等業(yè)務(wù)當(dāng)中。如何建立大數(shù)據(jù)分析模型，以提供決策依據(jù)是很多用戶所迫切解決的問題。專家數(shù)據(jù)倉(cāng)庫(kù)建立在Hadoop分布式系統(tǒng)之上，提供了多種豐富的算法模型，不同的應(yīng)用通過借助不同的接口實(shí)現(xiàn)數(shù)據(jù)的多維呈現(xiàn)和結(jié)果展示，為用戶提供科學(xué)的決策支持。圖10-7hadoop算法模型圖大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)挖掘模型、分布式計(jì)算引擎、高性能機(jī)器學(xué)習(xí)算法庫(kù)（包含分類、聚類、預(yù)測(cè)、推薦等機(jī)器學(xué)習(xí)算法）、即席查詢功能，可以幫助決策者快速建立數(shù)據(jù)分析模型立方體，便于決策者進(jìn)行OLAP分析。常用算法模型：分類算法：分類是找出數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別中。如政務(wù)網(wǎng)中將用戶在一段時(shí)間內(nèi)的網(wǎng)上辦理所遇到的問題劃分成不同的類，根據(jù)情況向用戶推薦關(guān)聯(lián)類的問題解決方案，從而方便用戶快速解決網(wǎng)上辦事審批中遇到的各類問題。回歸算法回歸分析反映了數(shù)據(jù)庫(kù)中數(shù)據(jù)的屬性值的特性，通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系。在回歸算法中通常將數(shù)值結(jié)果轉(zhuǎn)化為了0到1之間的概率，數(shù)值越大，函數(shù)越逼近1，數(shù)值越小，函數(shù)越逼近0，它可以應(yīng)用到對(duì)數(shù)據(jù)序列的預(yù)測(cè)及相關(guān)關(guān)系的研究中去。如我們根據(jù)這個(gè)概率可以做垃圾郵件預(yù)測(cè)，例如概率大于0.5，則這封郵件就是垃圾郵件。聚類算法聚類類似于分類，但與分類的目的不同，是針對(duì)數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個(gè)類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。分類算法中的一個(gè)顯著特征就是訓(xùn)練數(shù)據(jù)中包含了標(biāo)簽，訓(xùn)練出的模型可以對(duì)其他未知數(shù)據(jù)預(yù)測(cè)標(biāo)簽。在聚類的算法中，訓(xùn)練數(shù)據(jù)都是不含標(biāo)簽的，而算法的目的則是通過訓(xùn)練，推測(cè)出這些數(shù)據(jù)的標(biāo)簽。以二維的數(shù)據(jù)來說，一個(gè)數(shù)據(jù)就包含兩個(gè)特征，可通過聚類算法，給他們中不同的種類打上標(biāo)簽，通過聚類算法計(jì)算出種群中的距離，根據(jù)距離的遠(yuǎn)近將數(shù)據(jù)劃分為多個(gè)族群。關(guān)聯(lián)算法關(guān)聯(lián)規(guī)則是隱藏在數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個(gè)數(shù)據(jù)項(xiàng)的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項(xiàng)的出現(xiàn)。關(guān)聯(lián)規(guī)則的挖掘過程主要包括兩個(gè)階段：第一階段為從海量原始數(shù)據(jù)中找出所有的高頻項(xiàng)目組;第二極端為從這些高頻項(xiàng)目組產(chǎn)生關(guān)聯(lián)規(guī)則。推薦算法推薦算法是目前業(yè)界非常火的一種算法，在電商界，如亞馬遜，天貓，京東等得到了廣泛的運(yùn)用。推薦算法的主要特征就是可以自動(dòng)向用戶推薦他們最感興趣的東西，從而增加購(gòu)買率，提升效益。神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型，因其自身自行處理、分布存儲(chǔ)和高度容錯(cuò)等特性非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識(shí)或數(shù)據(jù)為特征的處理問題，它的這一特點(diǎn)十分適合解決數(shù)據(jù)挖掘的問題。典型的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類：第一類是以用于分類預(yù)測(cè)和模式識(shí)別的前饋式神經(jīng)網(wǎng)絡(luò)模型;第二類是用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)模型。第三類是用于聚類的自組織映射方法。Adaboost算法其核心思想是針對(duì)同一個(gè)訓(xùn)練集，訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。其算法本身是通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。深度學(xué)習(xí)深度學(xué)習(xí)算法是對(duì)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。在計(jì)算能力變得日益廉價(jià)的今天，深度學(xué)習(xí)試圖建立大得多也復(fù)雜得多的神經(jīng)網(wǎng)絡(luò)，用來處理存在少量未標(biāo)識(shí)數(shù)據(jù)的大數(shù)據(jù)集。數(shù)據(jù)資源管理專家系統(tǒng)數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類別多、數(shù)據(jù)關(guān)聯(lián)關(guān)系緊密等特點(diǎn)，隨著數(shù)據(jù)的積累，數(shù)據(jù)資源的利用價(jià)值逐步體現(xiàn)，提高數(shù)據(jù)的管理，是對(duì)數(shù)據(jù)資源充分利用的前提條件。數(shù)據(jù)資源管了包括如下幾部分內(nèi)容：數(shù)據(jù)標(biāo)準(zhǔn)化管理、數(shù)據(jù)監(jiān)測(cè)管理及元數(shù)據(jù)管理等。數(shù)據(jù)標(biāo)準(zhǔn)管理匯集整理數(shù)據(jù)資源管理所需的標(biāo)準(zhǔn)規(guī)范信息，建立數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。利用專家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)的接口同步更新標(biāo)準(zhǔn)信息。包括數(shù)據(jù)元標(biāo)準(zhǔn)以及信息代碼標(biāo)準(zhǔn)。建設(shè)數(shù)據(jù)資源庫(kù)，實(shí)現(xiàn)專家系統(tǒng)發(fā)布標(biāo)準(zhǔn)數(shù)據(jù)元與本地?cái)U(kuò)展數(shù)據(jù)元標(biāo)準(zhǔn)的匯集。實(shí)現(xiàn)與車輛檢修等數(shù)據(jù)源管理系統(tǒng)接口對(duì)接。建設(shè)信息代碼資源庫(kù)，梳理國(guó)標(biāo)、部標(biāo)和本省定義的標(biāo)準(zhǔn)代碼以及各業(yè)務(wù)信息系統(tǒng)需要使用的其它代碼，建立字典代碼實(shí)體數(shù)據(jù)庫(kù)。應(yīng)具備字典代碼定期同步功能。并建設(shè)信息代碼在線映射維護(hù)功能，以便對(duì)數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換提供支持。數(shù)據(jù)監(jiān)控管理大數(shù)據(jù)運(yùn)行監(jiān)控通過對(duì)大數(shù)據(jù)資源庫(kù)相關(guān)服務(wù)器、Oracle數(shù)據(jù)庫(kù)、分布式存儲(chǔ)系統(tǒng)、Hadoop平臺(tái)等的運(yùn)行狀態(tài)、性能指標(biāo)以及數(shù)據(jù)更新情況進(jìn)行持續(xù)監(jiān)控，及時(shí)發(fā)現(xiàn)存在的問題及隱患，輔助系統(tǒng)管理員及時(shí)采取措施，提高大數(shù)據(jù)資源庫(kù)的運(yùn)行可靠性，保障大數(shù)據(jù)資源庫(kù)穩(wěn)定高效運(yùn)行。發(fā)現(xiàn)異常問題時(shí)通過短信、郵件等方式通知系統(tǒng)管理員及時(shí)處理，實(shí)現(xiàn)通過自動(dòng)、智能、持續(xù)的自動(dòng)監(jiān)控預(yù)警代替人工巡檢，降低運(yùn)維工作量，提高運(yùn)維效率。通過可視化圖表對(duì)監(jiān)控結(jié)果進(jìn)行統(tǒng)計(jì)分析直觀展現(xiàn)平臺(tái)運(yùn)行各類運(yùn)行指標(biāo)，輔助管理員從宏觀角度掌握平臺(tái)運(yùn)行情況。性能指標(biāo)監(jiān)控可以對(duì)服務(wù)器CPU負(fù)載、Oracle數(shù)據(jù)庫(kù)連接數(shù)、分布式存儲(chǔ)IO負(fù)載、Hadoop負(fù)載等各類性能相關(guān)指標(biāo)進(jìn)行監(jiān)控，以便掌握平臺(tái)負(fù)載情況，及時(shí)發(fā)現(xiàn)性能問題，輔助平臺(tái)優(yōu)化。大數(shù)據(jù)庫(kù)日志監(jiān)控自動(dòng)采集大數(shù)據(jù)相關(guān)組件運(yùn)行日志，并根據(jù)既定規(guī)則進(jìn)行分析，發(fā)現(xiàn)異常及時(shí)告警。提供日志查詢檢索功能，可以按組件類型、時(shí)間、關(guān)鍵字等進(jìn)行過濾。數(shù)據(jù)量監(jiān)控?cái)?shù)據(jù)量監(jiān)控通過對(duì)數(shù)據(jù)總量以及增量進(jìn)行定期監(jiān)控，可以掌握數(shù)據(jù)量變化情況，也可以從數(shù)據(jù)增量角度發(fā)現(xiàn)數(shù)據(jù)入庫(kù)異常。數(shù)據(jù)量監(jiān)測(cè)結(jié)果可同步到數(shù)據(jù)臺(tái)帳，以便數(shù)據(jù)臺(tái)帳統(tǒng)計(jì)數(shù)據(jù)總量情況。元數(shù)據(jù)管理元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的基本單元，實(shí)現(xiàn)對(duì)元數(shù)據(jù)的管理，數(shù)據(jù)倉(cāng)庫(kù)的最基本功能之一。元數(shù)據(jù)管理包括元數(shù)據(jù)注冊(cè)登記、元數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)建模等多方面功能。數(shù)據(jù)服務(wù)大數(shù)據(jù)平臺(tái)開放存儲(chǔ)訪問接口，提供基于Hadoop技術(shù)體系的HDFS、HBase訪問接口，以O(shè)penAPI的方式，為應(yīng)用提供大數(shù)據(jù)存儲(chǔ)服務(wù)。數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)總線來建設(shè)，主要負(fù)責(zé)將大數(shù)據(jù)平臺(tái)的能力接口注冊(cè)進(jìn)去，再以標(biāo)準(zhǔn)化接口開放給應(yīng)用系統(tǒng)使用，支持多種協(xié)議轉(zhuǎn)換、服務(wù)質(zhì)量控制、訪問控制、規(guī)則引擎等。數(shù)據(jù)服務(wù)層將大數(shù)據(jù)平臺(tái)的數(shù)據(jù)服務(wù)能力開放出去，供第三方平臺(tái)使用。如上圖：應(yīng)用服務(wù)系統(tǒng)使用服務(wù)接口，來接入數(shù)據(jù)服務(wù)總線，經(jīng)過數(shù)據(jù)服務(wù)總線的接入端點(diǎn)，進(jìn)行過濾。同時(shí)根據(jù)訪問控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換、策略調(diào)度、規(guī)則引擎的處理，接出到大數(shù)據(jù)平臺(tái)的能力接口。大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)大數(shù)據(jù)基礎(chǔ)平臺(tái)基于烽火自主知識(shí)產(chǎn)權(quán)FitData產(chǎn)品，F(xiàn)itData主要集成了基礎(chǔ)計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源，在統(tǒng)一的安全體管理體系下，將這些資源再進(jìn)行深度加工、處理、關(guān)聯(lián)，形成多種類型的基礎(chǔ)服務(wù)能力，構(gòu)建基礎(chǔ)資源層，向應(yīng)用提供基礎(chǔ)資源的服務(wù)能力。數(shù)據(jù)服務(wù)總線通過服務(wù)治理來維護(hù)基礎(chǔ)資源服務(wù)能力，并通過訪問控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換等，對(duì)應(yīng)用提供多協(xié)議支持。平臺(tái)支撐體系的運(yùn)維體系提供整體運(yùn)維能力，保障平臺(tái)的正常運(yùn)行；安全體系提供整體安全能力，保障平臺(tái)的數(shù)據(jù)安全和使用安全；平臺(tái)采用分布式架構(gòu)，支持巨量數(shù)據(jù)存儲(chǔ)與分析，保障專家管理系統(tǒng)的高性能、高可用性和易擴(kuò)展性。FitData大數(shù)據(jù)基礎(chǔ)平臺(tái)結(jié)構(gòu)如下圖紅線標(biāo)出部分。數(shù)據(jù)計(jì)算與存儲(chǔ)：是FitData大數(shù)據(jù)平臺(tái)的核心內(nèi)容，提供分布式存儲(chǔ)能力和分布式計(jì)算能力。提供的存儲(chǔ)框架能力，包括基于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，其計(jì)算框架與存儲(chǔ)框架均是分布式集群方式部署，可以平滑的進(jìn)行彈性擴(kuò)容。數(shù)據(jù)服務(wù)層：數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)接口來實(shí)現(xiàn)，對(duì)應(yīng)用提供數(shù)據(jù)支撐。通過數(shù)據(jù)服務(wù)接口將平臺(tái)的數(shù)據(jù)資源以標(biāo)準(zhǔn)API接口的方式開放出來，供不同的應(yīng)用系統(tǒng)使用。數(shù)據(jù)應(yīng)用層主要提供基于該平臺(tái)來構(gòu)建的專家系統(tǒng)應(yīng)用。采用平臺(tái)的標(biāo)準(zhǔn)API，數(shù)據(jù)資源層獲取數(shù)據(jù)服務(wù)，目前API接口包括資源目錄瀏覽、數(shù)據(jù)查詢搜索等。數(shù)據(jù)匯聚層：提供各層之間數(shù)據(jù)交換能力，由ETL數(shù)據(jù)集成工具來實(shí)現(xiàn)。平臺(tái)支持多中異構(gòu)數(shù)據(jù)源，針對(duì)不同數(shù)據(jù)源的不同數(shù)據(jù)，也提供多種數(shù)據(jù)抽取方式，例如數(shù)據(jù)庫(kù)直連抽取、Sqoop抽取等。提供計(jì)算框架能力，主要集成了批處理計(jì)算框架、流式計(jì)算框架、內(nèi)存計(jì)算框架等能力，還提供了像Hive、Mahout、Spark等二次計(jì)算能力框架。平臺(tái)可將這些計(jì)算能力開放，供數(shù)據(jù)模型、數(shù)據(jù)挖掘、應(yīng)用系統(tǒng)來使用。運(yùn)維體系：運(yùn)維體系提供面向?qū)＜蚁到y(tǒng)完整運(yùn)維方案，涵蓋了運(yùn)行監(jiān)控到使用操作。安全體系提供面向?qū)＜蚁到y(tǒng)大數(shù)據(jù)平臺(tái)的用戶權(quán)限管理、終端訪問控制、日志安全審計(jì)等能力。數(shù)據(jù)存與計(jì)算是FitData大數(shù)據(jù)平臺(tái)核心能力，將目前專家系統(tǒng)內(nèi)部業(yè)務(wù)數(shù)據(jù)源進(jìn)行有效整合，集成以數(shù)據(jù)為核心的查詢、分析和管理能力。采用分層整合，靈活配置，橫向擴(kuò)展，縱向貫穿的大數(shù)據(jù)平臺(tái)服務(wù)能力，其計(jì)算框架、存儲(chǔ)框架都以容器的方式，可輕松靈活的在線進(jìn)行裝卸，以平滑擴(kuò)充大數(shù)據(jù)平臺(tái)的集成能力。除此還集成了二級(jí)計(jì)算框架、通用的數(shù)據(jù)處理算法庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)，將大數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行清洗、加工和分析挖掘，處理后的數(shù)據(jù)可訂閱，充分體現(xiàn)數(shù)據(jù)即服務(wù)的大數(shù)據(jù)思想。?分布式存儲(chǔ)框架：主要負(fù)責(zé)針對(duì)巨量數(shù)據(jù)的存儲(chǔ)，以分布式存儲(chǔ)技術(shù)，支持快速、巨量、多種類型的數(shù)據(jù)存取。支持從數(shù)據(jù)源抽取數(shù)據(jù)到大數(shù)據(jù)平臺(tái)存儲(chǔ)，集成多種存儲(chǔ)方式，有針對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。?計(jì)算框架：主要提供批處理計(jì)算、內(nèi)存計(jì)算、流式計(jì)算框架，由數(shù)據(jù)處理管理驅(qū)動(dòng)來分配和調(diào)度計(jì)算框架，加載數(shù)據(jù)處理算法，完成數(shù)據(jù)處理。?數(shù)據(jù)倉(cāng)庫(kù)：主要對(duì)計(jì)算框架完成后的結(jié)果進(jìn)行存儲(chǔ)，支持Hbase、MSSQLServer等存儲(chǔ)，同時(shí)將數(shù)據(jù)以接口的形式開放出去。?數(shù)據(jù)處理算法庫(kù)：集成通用的數(shù)據(jù)分析算法、能夠插入用戶自定義的數(shù)據(jù)模型算法，配合以資源管理系統(tǒng)為主的計(jì)算存儲(chǔ)框架，進(jìn)行數(shù)據(jù)處理。?資源管理系統(tǒng)，以容器的方式，來為計(jì)算框架和存儲(chǔ)框架分配資源，并支持資源調(diào)度，彈性伸縮。?數(shù)據(jù)服務(wù)總線：主要將基礎(chǔ)平臺(tái)的能力和數(shù)據(jù)服務(wù)接口，以API的方式開放出去，形成一個(gè)共享的、供應(yīng)用使用的服務(wù)總線。FitData特點(diǎn)廣泛適應(yīng)性：支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)；支持實(shí)時(shí)數(shù)據(jù)。巨量數(shù)據(jù)：數(shù)據(jù)處理能力在PB級(jí)以上。線性擴(kuò)展：存儲(chǔ)、計(jì)算均可增加節(jié)點(diǎn)進(jìn)行線性擴(kuò)展。統(tǒng)一運(yùn)維管理：降低安裝部署、運(yùn)營(yíng)、維護(hù)成本。經(jīng)濟(jì)性：可運(yùn)行在普通X86服務(wù)器上，硬件成本低。高可靠性：支持容災(zāi)容錯(cuò)、備份恢復(fù)機(jī)制，支持自動(dòng)告警。支持節(jié)點(diǎn)可靠性、數(shù)據(jù)可靠性。高性能：高效數(shù)據(jù)處理性能，支持Spark、Storm、R。認(rèn)證安全：支持Kerberos安全認(rèn)證、LDAP賬戶管理控制。數(shù)據(jù)安全：支持?jǐn)?shù)據(jù)加密。負(fù)載均衡：支持節(jié)點(diǎn)間存儲(chǔ)、技術(shù)負(fù)載均衡。開放性：支持符合Hadoop規(guī)范的第三方組件或工具。FitData主要功能FitData是基于開源Hadoop開發(fā)的企業(yè)級(jí)大數(shù)據(jù)產(chǎn)品，提供PB級(jí)數(shù)據(jù)的采集、存儲(chǔ)和處理能力，支持?jǐn)?shù)據(jù)加載、查詢、分析、挖掘等功能。節(jié)點(diǎn)批量自動(dòng)部署通過以Web管理，以圖形界面的方式實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)節(jié)點(diǎn)批量自動(dòng)部署，只需添加主機(jī)名(或者IP地址)即可實(shí)現(xiàn)將節(jié)點(diǎn)服務(wù)器添加到集群中，截圖如下：圖向集群中添加節(jié)點(diǎn)節(jié)點(diǎn)動(dòng)態(tài)管理通過web管理實(shí)現(xiàn)節(jié)點(diǎn)的動(dòng)態(tài)添加、刪除，當(dāng)存儲(chǔ)空間或者計(jì)算資源不足時(shí)，支持向集群中添加同等配置的服務(wù)器，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)在線動(dòng)態(tài)擴(kuò)容，而不需要停機(jī)處理，不影響平臺(tái)正常運(yùn)行。大數(shù)據(jù)平臺(tái)以Web圖形界面實(shí)現(xiàn)Hadoop集群監(jiān)控，包括大數(shù)據(jù)平臺(tái)的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控，以及整個(gè)Hadoop集群的工作負(fù)載。主要包括以下幾個(gè)方面：服務(wù)組件狀態(tài)監(jiān)控通過管理平臺(tái)可以看到所有目前已安裝的服務(wù)組件的健康狀況。圖服務(wù)組件運(yùn)行狀況計(jì)算資源負(fù)載監(jiān)控通過管理平臺(tái)可以實(shí)時(shí)看到整個(gè)平臺(tái)的資源負(fù)載情況，包括集群的CPU、集群磁盤IO、集群網(wǎng)絡(luò)IO、HDFSIO，如下圖所示：圖計(jì)算資源監(jiān)控多任務(wù)實(shí)時(shí)監(jiān)控通過對(duì)集群運(yùn)行任務(wù)的實(shí)時(shí)監(jiān)測(cè)，并根據(jù)任務(wù)優(yōu)先級(jí)和耗時(shí)不同對(duì)任務(wù)進(jìn)行動(dòng)態(tài)調(diào)度，減少出現(xiàn)大量任務(wù)等待和重要任務(wù)無法及時(shí)完成的可能，可以使Hadoop集群的運(yùn)行變得更加高效合理。（1）、系統(tǒng)根據(jù)各隊(duì)列資源的最小值分配集群資源，這樣可以按照需求對(duì)各任務(wù)隊(duì)列獲取的集群資源進(jìn)行分配，而且不會(huì)出現(xiàn)集群資源的閑置浪費(fèi)。（2）、可以實(shí)現(xiàn)對(duì)各任務(wù)隊(duì)列獲取的集群資源大小實(shí)時(shí)動(dòng)態(tài)調(diào)整，及時(shí)保證高優(yōu)先級(jí)任務(wù)所在隊(duì)列獲得更多的集群資源。（3）、可以實(shí)現(xiàn)在某個(gè)任務(wù)隊(duì)列出現(xiàn)空閑時(shí)，將該任務(wù)隊(duì)列獲取的集群資源自動(dòng)分配給其他繁忙的任務(wù)隊(duì)列，以使得集群資源利用最大化。磁盤性能監(jiān)控對(duì)集群機(jī)器的硬盤進(jìn)行監(jiān)控，如下圖所示，詳細(xì)的展示出磁盤IO的利用率，讀寫速度，磁盤的等待時(shí)間。圖：磁盤性能監(jiān)控故障快速定位大數(shù)據(jù)平臺(tái)具備完整的告警監(jiān)控和故障快速定位能力。能夠?qū)⒂?jì)算框架的每個(gè)作業(yè)進(jìn)度、狀態(tài)、資源利用情況進(jìn)行監(jiān)控，并通過可視化圖形界面進(jìn)行展示。當(dāng)大數(shù)據(jù)平臺(tái)出現(xiàn)異常情況時(shí)，平臺(tái)能夠通過監(jiān)控系統(tǒng)，對(duì)服務(wù)器節(jié)點(diǎn)宕機(jī)、集群異常、安全異常等異常事件進(jìn)行預(yù)警、報(bào)警，并通過郵件、短信報(bào)警手段進(jìn)行告警通知。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則，對(duì)集群異常進(jìn)行自動(dòng)修復(fù)、自動(dòng)限制非安全行為的操作。大數(shù)據(jù)平臺(tái)能夠通過對(duì)告警信息的分析，快速定位平臺(tái)內(nèi)部出現(xiàn)故障的節(jié)點(diǎn)，對(duì)于因故障無法繼續(xù)提供服務(wù)器的節(jié)點(diǎn)進(jìn)行標(biāo)記，將平臺(tái)的作業(yè)任務(wù)自動(dòng)分配到其他的節(jié)點(diǎn)上運(yùn)行，同時(shí)，大數(shù)據(jù)平臺(tái)采用分布式體系結(jié)構(gòu)及無單點(diǎn)故障設(shè)計(jì)，平臺(tái)內(nèi)任何節(jié)點(diǎn)的宕機(jī)都不會(huì)影響平臺(tái)的穩(wěn)定運(yùn)行和業(yè)務(wù)的正常使用。待故障節(jié)點(diǎn)恢復(fù)正常后，再將該節(jié)點(diǎn)納入平臺(tái)的資源中，將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點(diǎn)上運(yùn)行。日常運(yùn)維監(jiān)控大數(shù)據(jù)綜合平臺(tái)提供完整的日常運(yùn)維監(jiān)控的服務(wù)能力，針對(duì)從上層應(yīng)用平臺(tái)到底層基礎(chǔ)平臺(tái)的各個(gè)功能模塊和組件均提供有監(jiān)控能力，能夠分析系統(tǒng)的運(yùn)行日志和用戶日志，并且能夠?qū)⒈O(jiān)控?cái)?shù)據(jù)通過文件接口或webservice接口的方式匯總到平臺(tái)管理運(yùn)維模塊的監(jiān)控管理界面中進(jìn)行統(tǒng)一呈現(xiàn)和管理使用。系統(tǒng)能夠根據(jù)監(jiān)控到的數(shù)據(jù)進(jìn)行分析判斷，對(duì)異常的數(shù)據(jù)觸發(fā)告警，在前臺(tái)界面提醒，直至出發(fā)通知和處理等進(jìn)一步動(dòng)作。平臺(tái)的監(jiān)控范圍涵蓋有：平臺(tái)管理資源的使用與分配服務(wù)器視圖：提供針對(duì)各服務(wù)器和存儲(chǔ)等設(shè)備的資源使用情況的實(shí)時(shí)查看，包括當(dāng)前設(shè)備的CPU負(fù)荷，內(nèi)存占用情況，存儲(chǔ)空間使用情況，網(wǎng)絡(luò)帶寬占用情況、設(shè)備運(yùn)行狀態(tài)等。管理員能夠根據(jù)監(jiān)控信息在管理平臺(tái)上有效調(diào)度分配系統(tǒng)資源。其中集群的監(jiān)控如下圖所示：針對(duì)服務(wù)器的監(jiān)控如下圖所示：服務(wù)視圖：提供系統(tǒng)中各服務(wù)資源使用情況的實(shí)時(shí)查看，包括連接數(shù)、當(dāng)前作業(yè)數(shù)，I/O情況，運(yùn)行狀態(tài)等。監(jiān)控系統(tǒng)的運(yùn)行情況接口服務(wù)運(yùn)行監(jiān)控：提供針對(duì)數(shù)據(jù)源和應(yīng)用層的監(jiān)控服務(wù)，包括運(yùn)行狀態(tài)和流量等信息；數(shù)據(jù)存取過程監(jiān)控：提供針對(duì)數(shù)據(jù)存儲(chǔ)過程的監(jiān)控服務(wù)，包括系統(tǒng)平臺(tái)的I/O情況（整體I/O和具體各節(jié)點(diǎn)I/O以及具體的各作業(yè)的I/O情況）和數(shù)據(jù)存取過程的任務(wù)列表；數(shù)據(jù)匯聚過程監(jiān)控：監(jiān)控系統(tǒng)的數(shù)據(jù)匯聚過程，包括使用資源信息，使用的數(shù)據(jù)源信息，作業(yè)進(jìn)程運(yùn)行狀況信息，使用時(shí)間/計(jì)劃完成時(shí)間等信息；數(shù)據(jù)處理過程監(jiān)控（作業(yè)監(jiān)控）：監(jiān)控系統(tǒng)的數(shù)據(jù)處理（作業(yè)）過程，包括使用資源信息，使用的數(shù)據(jù)源信息，作業(yè)進(jìn)程運(yùn)行狀況信息，使用時(shí)間/計(jì)劃完成時(shí)間等信息；應(yīng)用監(jiān)控：針對(duì)運(yùn)行在平臺(tái)上的應(yīng)用進(jìn)行監(jiān)控，包括各應(yīng)用當(dāng)前的運(yùn)行狀態(tài)、應(yīng)用對(duì)數(shù)據(jù)的使用狀況，應(yīng)用為用戶提供的查詢數(shù)量等；系統(tǒng)異常告警與處理用戶告警：對(duì)用戶操作使用過程中的異常行為進(jìn)行告警，例如某用戶訪問了超過其正常權(quán)限的數(shù)據(jù)等。系統(tǒng)告警：對(duì)系統(tǒng)中存在的服務(wù)節(jié)點(diǎn)宕機(jī)，系統(tǒng)接口異常，數(shù)據(jù)存儲(chǔ)報(bào)錯(cuò)，系統(tǒng)資源緊張等系統(tǒng)運(yùn)行異常情況進(jìn)行告警觸發(fā)，并提醒用戶進(jìn)行操作處理。FitData優(yōu)勢(shì)烽火大數(shù)據(jù)平臺(tái)FitData借助先進(jìn)開源的大數(shù)據(jù)存儲(chǔ)及處理技術(shù)，成功實(shí)施了公安大數(shù)據(jù)平臺(tái)、楚天云政務(wù)大數(shù)據(jù)平臺(tái)，通過大數(shù)據(jù)項(xiàng)目的實(shí)施，逐步沉淀了大量的算法模型及分析與展示工具，在平臺(tái)性能及穩(wěn)定性上經(jīng)歷了實(shí)戰(zhàn)的考驗(yàn)，逐步總結(jié)出一套FitData自己的系統(tǒng)優(yōu)化策略及系統(tǒng)運(yùn)維策略，平臺(tái)經(jīng)受住了單節(jié)點(diǎn)超過1000臺(tái)集群的實(shí)戰(zhàn)考驗(yàn)，并支持HA高可用性運(yùn)行策略，經(jīng)過四年時(shí)間及高強(qiáng)度項(xiàng)目的錘煉，F(xiàn)itData大數(shù)據(jù)平臺(tái)已經(jīng)走出了自己的路。在數(shù)據(jù)處理上支持PB及超大量數(shù)據(jù)的秒級(jí)查詢及匯集。SmartAS是企業(yè)級(jí)基礎(chǔ)開發(fā)平臺(tái)，它基于FitData平臺(tái)之上，采用微服務(wù)架構(gòu)，支持分布式部署，是成熟可靠的多終端應(yīng)用開發(fā)框架。它集成業(yè)界流行和成熟的技術(shù)框架，通過應(yīng)用系統(tǒng)使用，反饋的情況不斷完善應(yīng)用框架的通用功能，滿足業(yè)務(wù)系統(tǒng)快熟構(gòu)建的目標(biāo)，具備良好用戶體驗(yàn)硬件部署按照專家系統(tǒng)安裝接口規(guī)范要求，結(jié)合專家管理系統(tǒng)數(shù)據(jù)量估算值和數(shù)據(jù)存儲(chǔ)特點(diǎn)，本著數(shù)據(jù)安全、系統(tǒng)穩(wěn)定可靠的核心設(shè)計(jì)思路，設(shè)計(jì)專家系統(tǒng)大數(shù)據(jù)平臺(tái)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器22臺(tái)，其中管理節(jié)點(diǎn)服務(wù)器2臺(tái)，數(shù)據(jù)節(jié)點(diǎn)服務(wù)器19臺(tái)，監(jiān)控節(jié)點(diǎn)一臺(tái)，系統(tǒng)RDBMS數(shù)據(jù)庫(kù)服務(wù)器臺(tái)，應(yīng)用服務(wù)器6臺(tái)，繪制專家系統(tǒng)部署邏輯結(jié)構(gòu)圖如下:硬件清單根據(jù)系統(tǒng)規(guī)劃及安裝接口規(guī)范要求，初步規(guī)劃服務(wù)器如下：系統(tǒng)應(yīng)用服務(wù)器需求6臺(tái)；大數(shù)據(jù)平臺(tái)設(shè)計(jì)節(jié)點(diǎn)22個(gè)，其中管理節(jié)點(diǎn)2個(gè)，數(shù)據(jù)節(jié)點(diǎn)19個(gè)，監(jiān)控節(jié)點(diǎn)服務(wù)器1臺(tái)，RDBMS數(shù)據(jù)庫(kù)服務(wù)器兩臺(tái)雙機(jī)熱備。具體各服務(wù)器硬件需求如下表：編號(hào)服務(wù)器名配置數(shù)量說明1RDBMS數(shù)據(jù)庫(kù)服務(wù)器4*IntelXeonE7-4800/8800v3最大可擴(kuò)展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置9塊900GB15KSAS，14*4TNLSAS硬盤。2雙機(jī)備份2大數(shù)據(jù)平臺(tái)管理節(jié)點(diǎn)2*IntelXeonE7-4800/8800v3最大可擴(kuò)展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置6塊600GB15KSAS，3*4TNLSAS硬盤。1Active3大數(shù)據(jù)平臺(tái)管理節(jié)點(diǎn)2*IntelXeonE7-4800/8800v3最大可擴(kuò)展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置6塊600GB15KSAS，3*4TNLSAS硬盤。1Standby4大數(shù)據(jù)平臺(tái)數(shù)據(jù)節(jié)點(diǎn)2*IntelXeonE7-4800/8800v3最大可擴(kuò)展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置6塊600GB15KSAS，12*4TNLSAS硬盤。19數(shù)據(jù)節(jié)點(diǎn)5大數(shù)據(jù)集群性能檢測(cè)服務(wù)器2*IntelXeonE7-4800/8800v3最大可擴(kuò)展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置6塊600GB15KSAS，3*4TNLSAS硬盤。1監(jiān)控節(jié)點(diǎn)6應(yīng)用服務(wù)器CPU：2顆E5-2630v3≥24個(gè)內(nèi)存插槽，最大支持1.5TB內(nèi)存，支持2133MHz內(nèi)存。當(dāng)前配置64GB內(nèi)存。支持SAS、SSD和PCIeSSD硬盤，支持2.5寸和3.5寸硬盤混插。支持24+2個(gè)2.5寸SAS/SATA或者14個(gè)3.5寸SAS/SATA+2個(gè)2.5寸SAS/SATA+16個(gè)1.8"SSD。硬盤：配置6塊600GB15KSAS硬盤2應(yīng)用服務(wù)器7交換機(jī)4810/100/1000Base-TX，4100/1000Base-XSFP2網(wǎng)絡(luò)設(shè)備8防火墻多功能防火墻，4口以上2安防設(shè)備9工作站Intel(R)XeonCPUE5，配置1TSATA硬盤。內(nèi)存：8GB2說明：硬件部分交換機(jī)、防火強(qiáng)及工作站，請(qǐng)根據(jù)標(biāo)書確認(rèn)！大數(shù)據(jù)服務(wù)器、RDBMS數(shù)據(jù)庫(kù)服務(wù)器及應(yīng)用服務(wù)器的具體配置參數(shù)請(qǐng)硬件朋友和標(biāo)書上進(jìn)行重新確認(rèn)，這邊只對(duì)內(nèi)存量、CPU顆數(shù)及存儲(chǔ)空間大小做了要求。個(gè)人介紹吳宏勛：“烽火集成”高級(jí)大數(shù)據(jù)架構(gòu)師，曾擔(dān)任醫(yī)療大數(shù)據(jù)、公安大數(shù)據(jù)、財(cái)稅大數(shù)據(jù)項(xiàng)目大數(shù)據(jù)架構(gòu)師，具有豐富的大數(shù)據(jù)項(xiàng)目實(shí)施經(jīng)驗(yàn)，對(duì)高吞吐、高并發(fā)、海量數(shù)據(jù)實(shí)時(shí)匯集，TB、PB級(jí)海量數(shù)據(jù)即席查詢與實(shí)時(shí)處理具有針對(duì)性方案和經(jīng)驗(yàn)，研讀過部分Hadoop、HBase、Spark源碼，對(duì)Hadoop、HBase、Spark的原理有很深的理解，曾從事多個(gè)項(xiàng)目大數(shù)據(jù)平臺(tái)的調(diào)優(yōu)工作！專家系統(tǒng)架構(gòu)設(shè)計(jì)本系統(tǒng)總共分為四個(gè)層次，從下到上依次為數(shù)據(jù)采集層、基礎(chǔ)平臺(tái)層、應(yīng)用支撐層、應(yīng)用及展示層，各層在專家系統(tǒng)統(tǒng)一業(yè)務(wù)規(guī)范、技術(shù)規(guī)范、安全規(guī)范下進(jìn)行數(shù)據(jù)通信及集成。數(shù)據(jù)采集層：負(fù)責(zé)專家系統(tǒng)信息數(shù)據(jù)的匯集、轉(zhuǎn)換與加載，數(shù)據(jù)采集層提供多種數(shù)據(jù)采集方法:ETL、Flume、Kafka等，系統(tǒng)支持Flume+Kafka+Storm混合架構(gòu)的數(shù)據(jù)采集模式，以提高數(shù)據(jù)采集系統(tǒng)的吞吐量和并發(fā)量?；A(chǔ)平臺(tái)層：基礎(chǔ)平臺(tái)層為專家數(shù)據(jù)倉(cāng)庫(kù)提供大數(shù)據(jù)基礎(chǔ)平臺(tái)支撐，包括分布式存儲(chǔ)系統(tǒng)、Hbase數(shù)據(jù)庫(kù)系統(tǒng)、Yarn并行計(jì)算資源管理與監(jiān)控等，同時(shí)支持Spark機(jī)器學(xué)習(xí)算法庫(kù)，支持R等行業(yè)分析庫(kù)。應(yīng)用支撐層：應(yīng)用支撐層為系統(tǒng)各類應(yīng)用提供支撐，是系統(tǒng)數(shù)據(jù)層和應(yīng)用層的連接紐帶。應(yīng)用支撐層包括基礎(chǔ)平臺(tái)和常規(guī)算法兩個(gè)部分，基礎(chǔ)平臺(tái)負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)與并行計(jì)算，數(shù)據(jù)存儲(chǔ)支持分布式存儲(chǔ)、RDBMS存儲(chǔ)等存儲(chǔ)方式，常規(guī)算法負(fù)責(zé)數(shù)據(jù)分析與業(yè)務(wù)建模。應(yīng)用及展示層：應(yīng)用層是系統(tǒng)各項(xiàng)業(yè)務(wù)功能的集合，主要包括資車輛故障診斷、車輛健康評(píng)估、車輛部件檢修、車輛故障處理及車輛對(duì)比分析等。展示層是用戶同系統(tǒng)交互的窗口，是應(yīng)用層對(duì)外提供服務(wù)的主要手段。支持多種圖表展示如餅圖、柱狀圖、曲線圖、熱力圖、氣泡圖和散點(diǎn)圖等可視化展示。平臺(tái)運(yùn)維管理Hadoop集群監(jiān)控大數(shù)據(jù)平臺(tái)以Web圖形界面實(shí)現(xiàn)Hadoop集群監(jiān)控，包括大數(shù)據(jù)平臺(tái)的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控，以及整個(gè)Hadoop集群的工作負(fù)載。主要包括以下幾個(gè)方面：服務(wù)組件狀態(tài)監(jiān)控通過管理平臺(tái)可以看到所有目前已安裝的服務(wù)組件的健康狀況，綠色圈表示運(yùn)行狀態(tài)健康。圖：服務(wù)組件運(yùn)行狀況存儲(chǔ)與內(nèi)存資源監(jiān)控包括獲取存儲(chǔ)量、剩余存儲(chǔ)量以及存儲(chǔ)系統(tǒng)整體情況信息。如果集群中的某臺(tái)機(jī)器的磁盤或者內(nèi)存的使用率達(dá)到指定的閥值，系統(tǒng)可以通過郵件或者短信的方式進(jìn)行預(yù)警。圖：存儲(chǔ)和內(nèi)存資源監(jiān)控系統(tǒng)負(fù)載管理I通過管理平臺(tái)可以實(shí)時(shí)看到整個(gè)平臺(tái)的資源負(fù)載情況，包括集群的CPU、集群磁盤IO、集群網(wǎng)絡(luò)IO、HDFSIO，如下圖所示：通過對(duì)集群運(yùn)行任務(wù)的實(shí)時(shí)監(jiān)測(cè)，并根據(jù)任務(wù)優(yōu)先級(jí)和耗時(shí)不同對(duì)任務(wù)進(jìn)行動(dòng)態(tài)調(diào)度，減少出現(xiàn)大量任務(wù)等待和重要任務(wù)無法及時(shí)完成的可能，可以使Hadoop集群的運(yùn)行變得更加高效合理。（1）、系統(tǒng)根據(jù)各隊(duì)列資源的最小值分配集群資源，這樣可以按照需求對(duì)各任務(wù)隊(duì)列獲取的集群資源進(jìn)行分配，而且不會(huì)出現(xiàn)集群資源的閑置浪費(fèi)。（2）、可以實(shí)現(xiàn)對(duì)各任務(wù)隊(duì)列獲取的集群資源大小實(shí)時(shí)動(dòng)態(tài)調(diào)整，及時(shí)保證高優(yōu)先級(jí)任務(wù)所在隊(duì)列獲得更多的集群資源。（3）、可以實(shí)現(xiàn)在某個(gè)任務(wù)隊(duì)列出現(xiàn)空閑時(shí)，將該任務(wù)隊(duì)列獲取的集群資源自動(dòng)分配給其他繁忙的任務(wù)隊(duì)列，以使得集群資源利用最大化。操作系統(tǒng)管理磁盤性能監(jiān)控對(duì)集群機(jī)器的硬盤進(jìn)行監(jiān)控，如下圖所示，詳細(xì)的展示出磁盤IO的利用率，讀寫速度，磁盤的等待時(shí)間。圖：磁盤性能監(jiān)控故障快速定位大數(shù)據(jù)平臺(tái)具備完整的告警監(jiān)控和故障快速定位能力。能夠?qū)⒂?jì)算框架的每個(gè)作業(yè)進(jìn)度、狀態(tài)、資源利用情況進(jìn)行監(jiān)控，并通過可視化圖形界面進(jìn)行展示。當(dāng)大數(shù)據(jù)平臺(tái)出現(xiàn)異常情況時(shí)，平臺(tái)能夠通過監(jiān)控系統(tǒng)，對(duì)服務(wù)器節(jié)點(diǎn)宕機(jī)等集群異常、安全異常等異常事件進(jìn)行預(yù)警、報(bào)警，并通過郵件、短信等報(bào)警手段進(jìn)行告警通知。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則，對(duì)集群異常進(jìn)行自動(dòng)修復(fù)、自動(dòng)限制非安全行為的操作。大數(shù)據(jù)平臺(tái)能夠通過對(duì)告警信息的分析，快速定位平臺(tái)內(nèi)部出現(xiàn)故障的節(jié)點(diǎn)，對(duì)于因故障無法繼續(xù)提供服務(wù)器的節(jié)點(diǎn)進(jìn)行標(biāo)記，將平臺(tái)的作業(yè)任務(wù)自動(dòng)分配到其他的節(jié)點(diǎn)上運(yùn)行，同時(shí)，大數(shù)據(jù)平臺(tái)采用分布式體系結(jié)構(gòu)及無單點(diǎn)故障設(shè)計(jì)，平臺(tái)內(nèi)任何節(jié)點(diǎn)的宕機(jī)都不會(huì)影響平臺(tái)的穩(wěn)定運(yùn)行和業(yè)務(wù)的正常使用。待故障節(jié)點(diǎn)恢復(fù)正常后，再將該節(jié)點(diǎn)納入平臺(tái)的資源中，將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點(diǎn)上運(yùn)行。運(yùn)行日志監(jiān)控針對(duì)每個(gè)服務(wù)組件運(yùn)行的實(shí)時(shí)日志信息可以從平臺(tái)中查看，便于在服務(wù)組件運(yùn)行中斷時(shí)查找和追蹤原因。例如，我們想要查看HBase服務(wù)組件中Mater角色的日志信息，如下圖所示：平臺(tái)安全管理在Hadoop2.x中加入了Kerberos認(rèn)證機(jī)制。Kerberos可以將認(rèn)證的密鑰在集群部署時(shí)事先放到可靠的節(jié)點(diǎn)上。集群運(yùn)行時(shí)，集群內(nèi)的節(jié)點(diǎn)使用密鑰得到認(rèn)證。只有被認(rèn)證過節(jié)點(diǎn)才能正常使用，防止惡意的使用或篡改Hadoop集群的問題，確保Hadoop集群的可靠安全。數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化包括數(shù)據(jù)標(biāo)準(zhǔn)制定及數(shù)據(jù)標(biāo)準(zhǔn)化處理兩個(gè)部分，數(shù)據(jù)標(biāo)準(zhǔn)制定是在專家系統(tǒng)業(yè)務(wù)統(tǒng)一規(guī)范前提下，指導(dǎo)專家系統(tǒng)大數(shù)據(jù)標(biāo)準(zhǔn)，包括數(shù)據(jù)格式標(biāo)準(zhǔn)、數(shù)據(jù)交換標(biāo)準(zhǔn)、數(shù)據(jù)共享標(biāo)準(zhǔn)等；數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化是指按照統(tǒng)一專家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)格式。將專家信息數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，生成符合專家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)要求的信息數(shù)據(jù)。數(shù)據(jù)質(zhì)量檢測(cè)根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測(cè)規(guī)則，通過數(shù)據(jù)質(zhì)量檢測(cè)引擎，對(duì)數(shù)據(jù)表中的增量數(shù)據(jù)進(jìn)行掃描，調(diào)用規(guī)則算法或擴(kuò)展程序進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)，并提供問題數(shù)據(jù)庫(kù)的建立、數(shù)據(jù)質(zhì)量報(bào)告的生成、問題數(shù)據(jù)的處理、以及對(duì)問題數(shù)據(jù)的通報(bào)和反饋來保證數(shù)據(jù)的質(zhì)量和實(shí)效性等功能。數(shù)據(jù)關(guān)聯(lián)對(duì)采集的數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)間的業(yè)務(wù)關(guān)聯(lián)關(guān)系實(shí)現(xiàn)數(shù)據(jù)的關(guān)聯(lián)，通過數(shù)據(jù)的關(guān)聯(lián)，增加實(shí)體數(shù)據(jù)的維度，將單個(gè)的數(shù)據(jù)擴(kuò)展成行業(yè)信息資源，提高數(shù)據(jù)的價(jià)值。武漢光谷創(chuàng)意文化科技園有限公司P（2014）104號(hào)地塊二期消防工程一、工程概況龍巖市中心城區(qū)道路總長(zhǎng)66844m，道路車、人流量大，道路兩旁建筑商場(chǎng)密集。為滿足市政布置要求約120米處設(shè)置一個(gè)消防栓，總設(shè)計(jì)565個(gè)，需新建及改造320個(gè)消防栓，消火栓安裝在街道的十字路口區(qū)．在保證醒目又不影響行人、行車的位置上，同時(shí)考慮維護(hù)和日常排水泄水方便，宜設(shè)置在人行道街沿上，雨水排泄口旁，人行道樹側(cè)距路邊的距離宜1m處；距建筑外墻的距離不宜小于5m，同時(shí)，為便于使用，規(guī)定了消火栓距被保護(hù)建筑物不宜超過40m。安排雙龍路段先行施工，雙龍路位于龍騰路與曹溪路之間，全長(zhǎng)1305m。二、工程特點(diǎn)1、管線沿線地形、地貌多變，可能需破路邊綠化，地下管線復(fù)雜不詳。現(xiàn)場(chǎng)施工時(shí)必須與周圍群眾做好溝通，必須采取有力的措施，大力做好施工協(xié)調(diào)工作，精心組織施工，確保工期目標(biāo)的實(shí)現(xiàn)。2、施工工作面較大，施工時(shí)須合理安排。3、工程施工為露天作業(yè)，受天氣影響很大，會(huì)遇到許多意想不到的困難，如遇下雨天氣，需做好防雨措施等。三、施工總體安排根據(jù)業(yè)主總體工期安排以及現(xiàn)場(chǎng)實(shí)際情況進(jìn)行合理安排工期，計(jì)劃開工日期為2014年4月10日，完工日期為2014年6月9日，總工期60天。施工隊(duì)伍配置：每天16組，每組2人，其中工程師1名，現(xiàn)場(chǎng)管理人員2名，水電工6名，砼工6名，普工20名，安全員1名，共36人。主要材料機(jī)械配備

施工主要機(jī)械設(shè)備：采用閩山牌消防栓及管道，配備足夠的安裝、調(diào)試機(jī)具（各類材料的規(guī)格、性能、各類參數(shù)應(yīng)能滿足設(shè)計(jì)及施工規(guī)范的要求，并應(yīng)選用優(yōu)質(zhì)產(chǎn)品）；電焊機(jī)；電鉆；土建施工用具；挖機(jī)；自卸汽車等。四、完成進(jìn)度工期的措施1、采用流水計(jì)劃，詳細(xì)制定月、旬計(jì)劃，逐旬落實(shí)計(jì)劃完成情況，昨早計(jì)劃、早安排、早落實(shí)。做到只能超前，不能落后。2、認(rèn)真制定施工方法合理調(diào)配人員，提高機(jī)組急劇的利用率。3、嚴(yán)抓現(xiàn)場(chǎng)管理工作程序，樹立質(zhì)量意識(shí)；正確理解質(zhì)量和進(jìn)度的關(guān)系。4、提高現(xiàn)場(chǎng)施工人員的安全、環(huán)保意識(shí)，做到“三個(gè)保持、三個(gè)完善、三個(gè)落實(shí)”。5、在施工中針對(duì)質(zhì)量、計(jì)劃、進(jìn)度、安全等問題做到：常開會(huì)、常分析、常安排、常布局、常落實(shí)，促進(jìn)施工進(jìn)度。6、加強(qiáng)內(nèi)部管理，嚴(yán)格遵循自檢、報(bào)檢、抽檢程序，做到內(nèi)業(yè)資料數(shù)據(jù)的真實(shí)性。五、編制依據(jù)龍巖水務(wù)提供的圖紙及設(shè)計(jì)說明?！督o水排水管道工程施工及驗(yàn)收規(guī)范》（GB50268—2008）《工程測(cè)量規(guī)范》（GB50026—93）《管道工程設(shè)計(jì)與施工手冊(cè)》；《建筑給排水及采暖工程施工驗(yàn)收規(guī)范》（GB50242-2002）國(guó)家及福建省有關(guān)標(biāo)準(zhǔn)、規(guī)范、圖集。公司項(xiàng)目管理文件。公司ISO9001:2000質(zhì)量體系文件。六、施工組織方案1、施工前準(zhǔn)備：開工前，由管道專業(yè)工程師組織施工技術(shù)人員做好圖紙會(huì)審；組織技術(shù)人員對(duì)管道沿線的地形地貌現(xiàn)場(chǎng)勘察并做好技術(shù)資料的交接和書面交接記錄。施工現(xiàn)場(chǎng)做好清理準(zhǔn)備，清除現(xiàn)場(chǎng)障礙物，做好防護(hù)工作。2、施工安排根據(jù)工程特點(diǎn)和施工條件，本路段施工采取平行流水作業(yè)施工。3、施工主體方案測(cè)量放樣→挖管道溝槽（根據(jù)實(shí)際情況選擇是否用排水、降水措施）→基底夯實(shí)及墊層施工→管道安裝（管道防腐處理）→安裝閥門、消防栓→砌筑閥門井→給水管道系統(tǒng)自檢→系統(tǒng)試壓、滲水試壓→回填土及夯實(shí)土方→管道清洗及消毒→交工驗(yàn)收。（一）、測(cè)量放線1、對(duì)業(yè)主提供的測(cè)量交底樁進(jìn)行復(fù)核，并按照施工需要加密導(dǎo)線點(diǎn)的控制網(wǎng)。為確?？刂凭W(wǎng)的可造性，將根據(jù)現(xiàn)場(chǎng)條件把控制點(diǎn)都選定在施工作業(yè)范圍外的永久物體上，做到各控制點(diǎn)通視性良好，符合施工需要，控制點(diǎn)選定后經(jīng)過實(shí)測(cè)和導(dǎo)線閉合把整個(gè)工程范圍內(nèi)的控制點(diǎn)坐標(biāo)定下來。2、臨時(shí)水準(zhǔn)點(diǎn)和管道軸線控制樁的設(shè)置應(yīng)便于觀測(cè)且必須牢固，沿管道兩側(cè)布置。設(shè)置控制點(diǎn)時(shí)充分考慮施工對(duì)場(chǎng)地的需要，把控制點(diǎn)布置在不影響施工的地方，并用混凝土護(hù)樁，縱橫軸線測(cè)設(shè)完畢后經(jīng)現(xiàn)場(chǎng)監(jiān)理復(fù)核認(rèn)可后方可使用。開槽鋪設(shè)臨時(shí)水準(zhǔn)點(diǎn)，每200米不應(yīng)少于1個(gè)。3、臨時(shí)水準(zhǔn)點(diǎn)、管道軸線控制樁、高程樁應(yīng)經(jīng)過復(fù)核方能使用，且經(jīng)常校核。4、已建管道，構(gòu)筑物等與本工程銜接的平面位置和高程，開工前應(yīng)校核。（二）、溝槽的開挖、支護(hù)和排水1、開挖土方開挖前，應(yīng)首先查明地下水位、土質(zhì)及地下現(xiàn)有管道、構(gòu)筑物等情況，然后根據(jù)實(shí)際情況制訂土方開挖、調(diào)運(yùn)方案及是否需要采取溝槽降水、支撐等安全措施等。本工程開挖深度不大，根據(jù)土質(zhì)、地下水位、地下及地上構(gòu)筑物以及施工環(huán)境等情況進(jìn)行溝槽施工。溝槽的開挖采用直槽的形式，運(yùn)輸土方機(jī)械利用10m3的自卸汽車。溝槽開挖前先進(jìn)行測(cè)量放樣，放出管道中心線，按中心線用白粉劃出。開挖應(yīng)分段進(jìn)行。當(dāng)挖至距槽底20㎝時(shí)，測(cè)量放樣，采用人工挖土，修整槽底，經(jīng)驗(yàn)槽合格后，立即進(jìn)行基礎(chǔ)施工。當(dāng)溝槽底有軟土或腐殖土?xí)r應(yīng)全部挖除，拋石排淤，并回填。超挖部分在填實(shí)整平后其壓實(shí)度不得小于90%。溝槽開挖時(shí)應(yīng)注意：⑴、基坑（槽）兩側(cè)臨時(shí)堆土或施加其他荷載時(shí)，不得影響臨近建筑物、各種管線和其他設(shè)施的使用和安全，另外也應(yīng)考慮對(duì)基坑（槽）土壁安全的影響。人工挖土?xí)r要求堆土高度不超過1.5m，距槽口邊緣距離不得小于1米。并及時(shí)將挖出的土方外運(yùn)出去。⑵、開挖時(shí)應(yīng)注意不得掩埋消火栓、管道閘閥、雨水口、測(cè)量標(biāo)志以及各種地下管道的井蓋等，且不得防礙其正常使用。⑶、在有行人、車輛通過的地方開挖，應(yīng)設(shè)護(hù)欄及警示燈等安全標(biāo)志。⑷、當(dāng)下步工序與本工序不連續(xù)施工時(shí)，槽底應(yīng)預(yù)留保護(hù)土層不挖，待下部工序開工時(shí)再挖。⑸、采用坡度板控制槽底高程和坡度時(shí)，坡度板應(yīng)選用有一定剛度且不易變形的材料制作，其應(yīng)設(shè)置牢固，平面上呈直線的管道，坡度板間距為15米一塊。呈曲線管道的坡度板間距應(yīng)加密，井室位置、折點(diǎn)及變坡點(diǎn)位置應(yīng)增設(shè)。⑹、槽底高程的允許偏差應(yīng)控制在±20mm范圍內(nèi)。2、支撐溝槽是否需要設(shè)置支撐應(yīng)根據(jù)溝槽的土質(zhì)，地下水位，開槽斷面及荷載條件等實(shí)際因素進(jìn)行考慮。結(jié)合本工程管徑不大、開挖溝槽比較窄的實(shí)際情況，部分需要支護(hù)段的溝槽支撐形式擬采用斷續(xù)式水平擋土板橫支撐的形式。3、排水施工前應(yīng)根據(jù)現(xiàn)場(chǎng)的實(shí)際情況（或者試坑的涌水量數(shù)據(jù)）制訂合理的排水措施。結(jié)合本工程的實(shí)際情況（附近有濕地及水塘等），如需人工降低地下水位，優(yōu)先考慮采用輕型井點(diǎn)降水的施工方法。安置位置應(yīng)靠在水塘一側(cè)，井點(diǎn)安裝距溝槽上口邊緣0.5～1m，井點(diǎn)排水溝距井點(diǎn)4m左右，用管子將井點(diǎn)與排水溝連接。降水的工藝流程為：開挖排水溝→設(shè)總管→孔、下井管、灌砂、封口→裝連接軟管→安裝抽水設(shè)備、接通電源→試抽→抽水排水時(shí)應(yīng)注意：砂濾層應(yīng)選用干凈粗砂，填縫均勻，砂填至濾管頂上1～1.5m，上用粘土封口以防漏氣降低降水效果。井點(diǎn)系統(tǒng)安裝完畢后需進(jìn)行試抽以檢查有無漏氣現(xiàn)象。開始抽水后嚴(yán)禁時(shí)抽時(shí)停，正常的抽水應(yīng)是細(xì)水長(zhǎng)流、出水澄清。進(jìn)點(diǎn)抽水2～3天后挖驗(yàn)土坑開始挖溝槽，抽水至溝槽回填運(yùn)載水位以上時(shí)結(jié)束。集水總管底面及水泵基座的高程應(yīng)盡量降低。（三）基礎(chǔ)墊層的施工1、管道基礎(chǔ)均采用砂墊層，基礎(chǔ)厚度：一般土質(zhì)：100mm；較差土質(zhì)：200mm。當(dāng)?shù)鼗休d力小于設(shè)計(jì)要求時(shí)，須對(duì)地基先進(jìn)行補(bǔ)強(qiáng)處理再鋪設(shè)砂礫基層。2、基礎(chǔ)砂墊層施工。清除基底的雜物和浮土，排干溝底的積水，進(jìn)行基礎(chǔ)鋪筑，即在基底鋪一層砂。3、管道基礎(chǔ)有地下水時(shí)鋪墊20cm厚、顆粒尺寸5-40cm的碎石墊層，上鋪厚50cm中、細(xì)砂墊層；無地水時(shí)溝槽底鋪設(shè)15cm厚碎石,上鋪5cm中、細(xì)砂墊層。4、管道基礎(chǔ)支承角應(yīng)依基礎(chǔ)地質(zhì)條件、地下水位、管徑及埋深等條件由設(shè)計(jì)計(jì)算確定。5、管道基礎(chǔ)應(yīng)按設(shè)計(jì)要求鋪設(shè)，厚度不得小于設(shè)計(jì)規(guī)定?；A(chǔ)各部位的壓實(shí)度應(yīng)符合有關(guān)規(guī)定。6、管道基礎(chǔ)在接口部位的凹槽，宜在鋪設(shè)管道時(shí)隨鋪隨挖。凹槽長(zhǎng)度按管徑大小采用，宜為0.4～0.6m,凹槽深度宜為0.05~0.1m,凹槽寬度宜為管外徑的1.1倍在接口完成后，凹槽隨即用砂回填密實(shí)（四）、管道安裝管道的安裝1、排管前要先對(duì)槽底高程復(fù)核，復(fù)核無誤后鋪設(shè)砂礫，保證砂礫厚度，并在井位架設(shè)龍門桿以控制中線，龍門桿架設(shè)要牢固，不得有松動(dòng)。2、管節(jié)安裝前應(yīng)對(duì)管材按產(chǎn)品標(biāo)準(zhǔn)逐支檢查，不符合標(biāo)準(zhǔn)不得使用。3、管道安裝采用人工安裝。槽深不大時(shí)可由人工抬管入槽，槽深大于3m時(shí)，可用非金屬繩索溜管入槽，依次平衡地放在砂礫基礎(chǔ)理論管位上。嚴(yán)禁用金屬繩索勾住兩面端管口或?qū)⒐懿淖圆圻叿瓭L拋入槽中。4、承插口管安裝，管道承口應(yīng)放在檢查井的進(jìn)水方向，插口方向應(yīng)放在檢查井的出水方向，由低點(diǎn)向高點(diǎn)依次安裝。5、調(diào)整管材長(zhǎng)短時(shí)可用手鋸切割，斷面應(yīng)垂直平整，不應(yīng)有損壞。6、管節(jié)安裝完畢經(jīng)檢驗(yàn)中心線、高程合格后，立即支設(shè)鋼模板。模板支好后清除模板中的塵渣、異物，核實(shí)模板尺寸。7、管材采用人工安裝，安裝時(shí)根據(jù)控制樁嚴(yán)格控制管道中心和高程，以避免管內(nèi)底高程超差.橡膠圈的環(huán)內(nèi)徑，宜為插口端外徑的0.85～0.9，橡膠圈斷面直徑壓縮率一般采用40%。清理干凈承口內(nèi)橡膠圈溝槽，插口端工作面及橡膠圈，不得有土或其它雜物。將橡膠圈正確安裝在承口橡膠圈內(nèi)，不得裝反或扭曲，為了安裝方便可先用水浸濕膠圈，但不得在橡膠圈上涂潤(rùn)滑劑安裝。橡膠圈連接管材在施工中被切斷時(shí)（斷口平整且垂直管軸線）應(yīng)在插口端倒角，并劃出插入長(zhǎng)度標(biāo)線，然后再進(jìn)行連接。用毛刷將潤(rùn)滑劑均勻地涂在嵌在承口處的橡膠圈和管插口端外表面上，但不得將潤(rùn)滑劑涂到承口的橡膠圈溝槽內(nèi)，潤(rùn)滑劑可采用V型脂肪酸鹽，禁止用黃油或其它油類作為潤(rùn)滑劑。將連接管道的插口對(duì)準(zhǔn)承口，保持插入管段的平直，用手動(dòng)葫蘆或其它拉力機(jī)械將管一次插入至標(biāo)線。若插入阻力過大，切勿強(qiáng)行插入，以防橡膠圈扭曲。用塞尺順承口間隙插入，沿管線圓周檢查橡膠圈的安裝是否正常。管道安裝時(shí)應(yīng)注意：1、管道必須墊穩(wěn)，管底坡底不得倒流水，管道內(nèi)不得有泥土、磚石、砂漿、木塊等雜物。2、橡膠圈使用前必須逐個(gè)檢查，不得有割裂，破損，氣泡，大飛邊等缺陷。應(yīng)確認(rèn)橡膠圈安放位置及插口的插入深度。3、接口時(shí)，先將承口的內(nèi)壁清理干凈，并在承口內(nèi)壁及插口橡膠圈上涂潤(rùn)滑劑（首選硅油），然后將承插口端面的中心軸線對(duì)齊。4、接口方法按程序進(jìn)行,橡膠封圈正確就位，不扭曲、不脫落。5、為防接口合攏時(shí)已排設(shè)管道軸線位置移動(dòng)，需采用穩(wěn)管措施。具體方法可要在編織袋內(nèi)灌滿黃砂，封口后壓在已排設(shè)管道的頂部，其數(shù)量視管徑大小而異。管道接口后，應(yīng)復(fù)核管道的高程和軸線使其符合要求。6、管道敷設(shè)后，因意外因素造成管壁出現(xiàn)局部損壞，當(dāng)損壞部位的面積或裂縫長(zhǎng)度和寬度不超過規(guī)定時(shí)，可采取粘貼修補(bǔ)措施。具體做法見下：①管壁局部損壞的孔洞直徑或邊長(zhǎng)不大于20mm時(shí)，可用聚氯乙烯塑料粘接溶劑在其外部粘貼直徑不小于100mm與管材同樣材質(zhì)的圓形板。②管壁局部損壞孔洞為20～100時(shí)，可用聚氯乙烯塑料粘接溶劑在其外部粘貼不小于孔洞最大尺寸加100mm與管材同樣材質(zhì)的圓形板。③管壁局部出現(xiàn)裂縫，當(dāng)裂縫長(zhǎng)度不大于管周長(zhǎng)的1/12時(shí)，可在其裂縫處粘貼長(zhǎng)度大于裂縫長(zhǎng)度加100mm、寬度不小于60mm與管材同樣材質(zhì)的板，板兩端宜切割成圓弧形。④修補(bǔ)前應(yīng)先將管道內(nèi)水排除，用刮刀將管壁面破損部分剔平修整，并用水清洗干凈。對(duì)異形壁管，必須將貼補(bǔ)范圍內(nèi)的肋剔除，再用砂紙或銼刀磨平。⑤粘接前應(yīng)先用環(huán)已酮刷粘接部位基面，待干后盡快涂刷粘接溶劑進(jìn)行粘貼。外貼用的板宜采用，從相同管徑管材的相應(yīng)部位切割的弧形板。外貼板材的內(nèi)側(cè)同樣必須先清洗干凈，采用環(huán)已酮涂刷基面后再涂刷粘接溶劑。⑥在管道修補(bǔ)完成后，必須對(duì)管底的挖空部位按支承角的要求用粗砂回填密實(shí)。⑦當(dāng)管道損壞部位的大小超過上列條文的規(guī)定時(shí)，應(yīng)將損壞的管段更換。當(dāng)更換的管材與已鋪管道之間無專用連接管件時(shí)，可砌筑檢查井或連接井連接。（五）閉水試驗(yàn)管道的閉水實(shí)驗(yàn)當(dāng)管道工程敷設(shè)和安裝完畢以后，應(yīng)進(jìn)行管道工程的壓力試驗(yàn)。壓力試驗(yàn)前，對(duì)埋地管道系統(tǒng)試壓段應(yīng)檢查回填土是否除管道接口處外露以外，管頂回填土層不小于0.5米的要求。埋地管道應(yīng)進(jìn)行嚴(yán)密性與強(qiáng)度試驗(yàn)，以水為介質(zhì)進(jìn)行水壓試驗(yàn)。嚴(yán)密性采用測(cè)定管道滲水量的方法判定。其補(bǔ)水量不得大于按下式計(jì)算出來的允許值：Q---管道每公里每日允許的補(bǔ)水量L。di---管內(nèi)徑Ft---管道試驗(yàn)壓力（MPa）。一般為設(shè)計(jì)內(nèi)水壓力+0.5MPa確定。不得小于0.9MPa。沖洗給水管道經(jīng)試驗(yàn)合格后，在竣工驗(yàn)收前，要通水沖洗。沖水的流速控制在1M/S范圍內(nèi)，應(yīng)連續(xù)沖洗，不留死角。系統(tǒng)的最低點(diǎn)設(shè)放水口。當(dāng)進(jìn)出口水質(zhì)相當(dāng)時(shí)即可停止。（六）、閥門井、排水檢查井施工閥門井、消火栓井室內(nèi)裝拆部件與井壁和井底的距離宜不小于300mm。穿過井壁的管子與井壁應(yīng)嚴(yán)密、不漏水。磚砌井室應(yīng)符合以下要求：=1\*GB3①井基礎(chǔ)應(yīng)與管線基礎(chǔ)同時(shí)進(jìn)行，并符合設(shè)計(jì)要求，管子排好后可開始砌井。=2\*GB3②磚在砌筑時(shí)磚要放平，砂漿飽滿，特別要注意管頭下部及管子周圍必須砌筑密實(shí)。檢查井的流槽應(yīng)在井壁砌到管頂以下即行砌筑，并應(yīng)用砂漿分層壓實(shí)抹光。=3\*GB3③井的各部位尺寸均應(yīng)符合設(shè)計(jì)要求，踏步應(yīng)按設(shè)計(jì)要求放平，上下對(duì)正，砂漿密實(shí)，磚要壓緊砂漿在凝固前，不得碰撞，更不允許受力，以免造成松動(dòng)。磚砌圓形檢查井，應(yīng)隨時(shí)檢測(cè)直徑尺寸，當(dāng)需收口時(shí)應(yīng)按設(shè)計(jì)要求收進(jìn)。=4\*GB3④砌筑檢查井的井室內(nèi)壁應(yīng)按設(shè)計(jì)進(jìn)行抹面，內(nèi)壁抹面應(yīng)分層壓實(shí)，井室外壁應(yīng)用砂漿批擋。內(nèi)外粉刷應(yīng)執(zhí)行技術(shù)操作規(guī)范，砂漿要按配合比拌合均勻，粉刷要求密實(shí)平整不得有空鼓現(xiàn)象，流槽應(yīng)光滑圓順。=5\*GB3⑤井砌好后應(yīng)及時(shí)安裝井蓋，在路面上的井蓋及座采用重型，其余采用普通型，井蓋上表面應(yīng)同路面相平，無路面井蓋應(yīng)高出室外地面設(shè)計(jì)標(biāo)高50mm，并應(yīng)在井口周圍以0.02的坡度向外做護(hù)坡。=6\*GB3⑥預(yù)留支管：預(yù)留管的管徑、方向、標(biāo)高應(yīng)符合設(shè)計(jì)要求，管與井壁銜接處應(yīng)嚴(yán)密不得漏水，預(yù)留支管宜用低強(qiáng)度等級(jí)砂漿砌筑封口抹平。=7\*GB3⑦井外回填土：檢查井砌筑應(yīng)邊砌邊回填土，每層高不得超過20cm。⑧高差超過1m的排水檢查井做跌水井，參國(guó)標(biāo)03S515。現(xiàn)澆混凝土井室應(yīng)符合以下要求：①管道敷設(shè)前施工井室時(shí)，應(yīng)嚴(yán)格控制井底和預(yù)留口標(biāo)高，以及預(yù)留口的方位和坡度；管道敷設(shè)后施工時(shí)，井底標(biāo)高應(yīng)按已安裝管道控制，穿井壁套管應(yīng)與管子同軸，且固定牢固；②井底和井壁混凝土宜采取一次澆筑法，當(dāng)分兩次澆筑時(shí)，相接處應(yīng)按施工縫處理；③混凝土應(yīng)振搗密實(shí)，表面平整、光滑，不得有裂縫、蜂窩、麻面等缺陷。磚砌井室或現(xiàn)澆混凝土井室安裝允許偏差應(yīng)符合以下要求：①井身長(zhǎng)度、寬度或直徑：±20mm；②井底標(biāo)高：±10mm；③路面井蓋標(biāo)高：+50mm；④非路面井蓋標(biāo)高：±20mm；⑤軸線及管管口方位：±10mm；有密封性要求的排水檢查井，應(yīng)進(jìn)行管道、井體的聯(lián)合閉水試驗(yàn)，土方應(yīng)在隱蔽驗(yàn)收合格后回填；井室砌筑完成后應(yīng)及時(shí)安裝井圈和井蓋。（七）回填管道工程施工完畢并經(jīng)驗(yàn)收合格后需及時(shí)回填，壓力管道在水壓試驗(yàn)前回填應(yīng)該留出管道連接部位暫不回填，管道兩側(cè)及管頂以上回填高度不小于0.5米。連接部位待水壓試驗(yàn)合格后再回填。無壓管道的回填應(yīng)在閉水試驗(yàn)合格后及時(shí)完成。回填時(shí)應(yīng)先填實(shí)管底，再同時(shí)回填管道兩側(cè)，以防管道位移。再回填至管頂0.5米處。如果溝槽內(nèi)有積水，必須全部排凈后，方可回填。井室等附屬構(gòu)筑物回填土應(yīng)四周同時(shí)進(jìn)行。管道兩側(cè)及管頂以上0.5米范圍內(nèi)回填土內(nèi)不得含有碎石，磚塊，垃圾等雜物。回填后應(yīng)分層夯實(shí)。每層厚度為0.2米。管道兩側(cè)及管頂0.5米范圍內(nèi)回填土的夯實(shí)采用人工夯實(shí)。以上部分可以采用小型機(jī)械夯實(shí)。七、安全保證措施施工現(xiàn)場(chǎng)安全技術(shù)措施1、針對(duì)工程特點(diǎn)、對(duì)所有從事管理和生產(chǎn)的人員進(jìn)行全面的安全教育。重點(diǎn)對(duì)專（兼）職安全員、領(lǐng)工員、班組長(zhǎng)、從事特種作業(yè)工人以及新工上崗、工人變崗和改變工藝等進(jìn)行培訓(xùn)教育。2、管道溝槽開挖時(shí)應(yīng)設(shè)置有防止行人、物體等墜落的安全設(shè)施；危險(xiǎn)地點(diǎn)懸掛按照GB2893-82《安全色》和GB2894-82《安全標(biāo)志》規(guī)定的標(biāo)牌，夜間有人經(jīng)過的溝槽位置設(shè)紅燈示警，施工現(xiàn)場(chǎng)設(shè)置大幅安全宣傳標(biāo)語。3、現(xiàn)場(chǎng)的生產(chǎn)、生活區(qū)均設(shè)足夠的消防水源和消防設(shè)施網(wǎng)點(diǎn)，消防器材設(shè)專人管理不得亂拿亂動(dòng)，并組成一個(gè)由2-3人的義務(wù)消防隊(duì)，所有施工人員要熟悉并掌握消防設(shè)備的性能和使用方法。4、各類房屋、庫(kù)棚、料場(chǎng)等的消防安全距離符合國(guó)家或公安部門的規(guī)定，室內(nèi)不得堆放易燃品；嚴(yán)禁在木工加工場(chǎng)、料庫(kù)、油庫(kù)等處吸煙；現(xiàn)場(chǎng)的易燃雜物，隨時(shí)清除，嚴(yán)禁在有火種的場(chǎng)所或其近旁堆放。5、施工現(xiàn)場(chǎng)的臨時(shí)用電，嚴(yán)格按照《施工現(xiàn)場(chǎng)臨時(shí)用電安全技術(shù)規(guī)范》JGJ46-88的規(guī)定執(zhí)行。6、各種機(jī)械操作人員和車輛駕駛員，必須取得操作合格證，不操作與操作證不相符的機(jī)械；不將機(jī)械設(shè)備交給無本機(jī)操作證的人員操作，對(duì)機(jī)械操作人員要建立檔案，專人管理。7、操作人員必須按照本機(jī)說明書規(guī)定，嚴(yán)格執(zhí)行工作前的檢查制度和工作中注意觀察及工作后的檢查保養(yǎng)制度。8、指揮施工機(jī)械作業(yè)人員，站在可讓人了望的安全地點(diǎn)，并明確規(guī)定指揮聯(lián)絡(luò)信號(hào)。9、定期組織機(jī)電設(shè)備、車輛安全大檢查，對(duì)檢查中查出的安全問題，按照“三不放過”的原則進(jìn)行調(diào)查處理，制定防范措施，防止機(jī)械事故的發(fā)生。10、大型設(shè)備使用必須有專人指揮、協(xié)調(diào)，重大吊裝作業(yè)必須指定詳細(xì)的施工方案。11、實(shí)行總配電箱、分配電箱、開關(guān)箱三級(jí)接線用電，三級(jí)漏電保護(hù)。施工用電設(shè)專人管理，所有配電箱必須加鎖。12、整個(gè)現(xiàn)場(chǎng)設(shè)不同的用電回路進(jìn)行供電，編制詳細(xì)的臨時(shí)用電施工組織設(shè)計(jì)，嚴(yán)格進(jìn)行定期檢修。13、加強(qiáng)職工用電安全教育，提高職工認(rèn)識(shí)，對(duì)電氣設(shè)備操作人員進(jìn)行定期培訓(xùn)。14、所有電氣設(shè)備使用前必須有專業(yè)人員進(jìn)行檢查確認(rèn)其安全性能良好。禁止在雨天露天使用任何電動(dòng)設(shè)備。15、搭建臨時(shí)設(shè)施前，要向消防局呈報(bào)報(bào)建手續(xù)，并領(lǐng)取“搭建臨時(shí)建筑許可證”。搭建材料不得使用易燃材料。16、臨時(shí)設(shè)施不得在高壓線下或危險(xiǎn)區(qū)域搭建。17、焊割設(shè)備上的安全附件，必須完整有效，與明火距離不得小于10米。18、施工用