數(shù)據(jù)處理平臺技術(shù)方案設(shè)計

專業(yè)資料專業(yè)資料數(shù)據(jù)處理平臺技術(shù)案2016年06月目錄TOC\o"1-5"\h\z項目說明1背景1術(shù)語定義及說明1建設(shè)目標(biāo)和原則1建設(shè)目標(biāo)1建設(shè)和完善數(shù)據(jù)處理流程1建設(shè)和完善管理平臺1建立良好的容錯機(jī)制12.2設(shè)計原則2可靠性2易用性2擴(kuò)展性2功能需求2需求概述2功能模塊3數(shù)據(jù)收集3數(shù)據(jù)清洗3數(shù)據(jù)存儲3對外輸出3流程監(jiān)控3管理平臺33.3其他需求4性能需求4可靠性要求4進(jìn)度計劃4故障處理要求4案總體設(shè)計4技術(shù)路線選擇4總體架構(gòu)44.2.1架構(gòu)介紹5數(shù)據(jù)處理流程5安全設(shè)計55.1數(shù)據(jù)的備份和恢復(fù)系統(tǒng)5管理層安全5專業(yè)資料專業(yè)資料項目說明1.1背景因項目數(shù)據(jù)拆分，***將要創(chuàng)建一套完備的數(shù)據(jù)管理體系，替換原有的數(shù)據(jù)處理式。為用戶提供更高效、便捷的服務(wù)。1.2術(shù)語定義及說明名稱解釋數(shù)據(jù)格式對原始數(shù)據(jù)文件中數(shù)據(jù)格式的定義，比如json、數(shù)組等數(shù)據(jù)類型原始數(shù)據(jù)的類型，比如實況、指數(shù)等文件類型原始數(shù)據(jù)的文件類型，比如.dot、.txt文件建設(shè)目標(biāo)和原則2.1建設(shè)目標(biāo)建設(shè)和完善數(shù)據(jù)處理流程基于原有的處理流程，采用新技術(shù)架構(gòu)，重構(gòu)現(xiàn)有處理平臺，徹底解決現(xiàn)有平臺的問題。建設(shè)和完善管理平臺建設(shè)和完善管理平臺，可以為運維人員提供更好的維護(hù)管理的工具，并且能夠讓管理員可以根據(jù)多種數(shù)據(jù)的不同要求設(shè)置出適應(yīng)數(shù)據(jù)的處理規(guī)則。建立良好的容錯機(jī)制建立良好的容錯機(jī)制，設(shè)置更優(yōu)的數(shù)據(jù)處理規(guī)則，為數(shù)據(jù)處理提供優(yōu)質(zhì)服務(wù)。2.2設(shè)計原則可靠性隨著系統(tǒng)的建成，必然各平臺之間的信息傳遞對系統(tǒng)的依賴程度將變得很高，系統(tǒng)失效所造成的影響也就越大。因此，系統(tǒng)的設(shè)計必須，從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備選型以及廠商的技術(shù)服務(wù)和維修響應(yīng)能力等面綜合考慮，以確保系統(tǒng)運行的可靠性和穩(wěn)定性。易用性我們系統(tǒng)設(shè)計必須考慮到使用者和以后的維護(hù)的便容易。所以，在系統(tǒng)的設(shè)計中要求系統(tǒng)架構(gòu)易于理解，系統(tǒng)管理便簡潔，系統(tǒng)維護(hù)自動容易。擴(kuò)展性平臺的建設(shè)是一項長期的工程，要充分考慮其將來潛在的需求。科學(xué)的設(shè)計思想應(yīng)著眼于目前的應(yīng)用系統(tǒng)及現(xiàn)有的技術(shù)，并考慮以最小的代價來適應(yīng)網(wǎng)絡(luò)技術(shù)不斷的發(fā)展，使現(xiàn)有系統(tǒng)能夠與需求同步增長，使系統(tǒng)在元數(shù)據(jù)不斷增加的基礎(chǔ)上，維護(hù)者能夠很便的擴(kuò)充平臺功能。功能需求3.1需求概述實現(xiàn)對不同來源的多種數(shù)據(jù)類型文件進(jìn)行收集、存儲、到最終業(yè)務(wù)的統(tǒng)一處理，實現(xiàn)數(shù)據(jù)實時對接，并具有擴(kuò)展性。數(shù)據(jù)收集：數(shù)據(jù)整理：數(shù)據(jù)存儲：業(yè)務(wù)接口：監(jiān)控：3.2功能模塊數(shù)據(jù)收集數(shù)據(jù)清洗****************************************************數(shù)據(jù)存儲經(jīng)估算，每天的數(shù)據(jù)約有9-10G，在如此數(shù)據(jù)量的情況下，要對數(shù)據(jù)進(jìn)行存儲，同時應(yīng)用緩存,提高輸出效率。對外輸出為保證原有外部用戶正常使用，數(shù)據(jù)輸出與原有輸出保持一致。流程監(jiān)控針對整個流程進(jìn)行數(shù)據(jù)監(jiān)控監(jiān)控原始數(shù)據(jù)站點缺失、監(jiān)控非法數(shù)據(jù)。以便反饋給原始數(shù)據(jù)提供，后期優(yōu)化。管理平臺管理平臺需要有如下功能：3.3其他需求性能需求可靠性要求進(jìn)度計劃待定故障處理要求軟件故障：如操作系統(tǒng)死機(jī)、崩潰、數(shù)據(jù)庫管理系統(tǒng)過載或其他原因崩潰，通過自動或手動重新啟動系統(tǒng)解決，如重新啟動不能解決問題，可以切換至備用服務(wù)器；硬件故障：如硬盤故障，采取措施是定期進(jìn)行數(shù)據(jù)庫備份，一旦出現(xiàn)硬件故障可以使用備份文件恢復(fù)數(shù)據(jù)庫。案總體設(shè)計4.1技術(shù)路線選擇4.2總體架構(gòu)架構(gòu)介紹數(shù)據(jù)處理流程安全設(shè)計5.1數(shù)據(jù)的備份和恢復(fù)系統(tǒng)在安全建設(shè)中必不可少的一個環(huán)節(jié)就是數(shù)據(jù)的常規(guī)備份和歷史保存。一般在生產(chǎn)本地的備份目的主要有兩個：一是生產(chǎn)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)由于系統(tǒng)或人為誤操作造成損壞或丟失后，可及時在生產(chǎn)本地實現(xiàn)數(shù)據(jù)的恢復(fù)；另一個目的是在發(fā)生地域性災(zāi)難（地震、火災(zāi)、機(jī)器毀壞等）時，可及