數(shù)據(jù)處理平臺 技術(shù)方案

1、.數(shù)據(jù)處理平臺技術(shù)方案2016年06月.目錄1.項(xiàng)目說明11.1背景11.2術(shù)語定義及說明12.建設(shè)目標(biāo)和原則12.1建設(shè)目標(biāo)12.1.1建設(shè)和完善數(shù)據(jù)處理流程12.1.2建設(shè)和完善管理平臺12.1.3建立良好的容錯(cuò)機(jī)制12.2設(shè)計(jì)原則22.2.1可靠性22.2.2易用性22.2.3擴(kuò)展性23.功能需求23.1需求概述23.2功能模塊33.2.1數(shù)據(jù)收集33.2.2數(shù)據(jù)清洗33.2.3數(shù)據(jù)存儲33.2.4對外輸出33.2.5流程監(jiān)控33.2.6管理平臺33.3其他需求43.3.1性能需求43.3.2可靠性要求43.3.3進(jìn)度計(jì)劃43.3.4故障處理要求44.方案總體設(shè)計(jì)44.1技術(shù)路線選擇44

2、.2總體架構(gòu)44.2.1架構(gòu)介紹54.2.2數(shù)據(jù)處理流程55.安全設(shè)計(jì)55.1數(shù)據(jù)的備份和恢復(fù)系統(tǒng)55.2管理層安全5.1. 項(xiàng)目說明1.1 背景因項(xiàng)目數(shù)據(jù)拆分，*將要?jiǎng)?chuàng)建一套完備的數(shù)據(jù)管理體系，替換原有的數(shù)據(jù)處理方式。為用戶提供更高效、便捷的服務(wù)。1.2 術(shù)語定義及說明名稱解釋數(shù)據(jù)格式對原始數(shù)據(jù)文件中數(shù)據(jù)格式的定義，比如json、數(shù)組等數(shù)據(jù)類型原始數(shù)據(jù)的類型，比如實(shí)況、指數(shù)等文件類型原始數(shù)據(jù)的文件類型，比如.dat、.txt文件2. 建設(shè)目標(biāo)和原則2.1 建設(shè)目標(biāo)2.1.1 建設(shè)和完善數(shù)據(jù)處理流程基于原有的處理流程，采用新技術(shù)架構(gòu)， 重構(gòu)現(xiàn)有處理平臺，徹底解決現(xiàn)有平臺的問題。2.1.2 建設(shè)

3、和完善管理平臺建設(shè)和完善管理平臺，可以為運(yùn)維人員提供更好的維護(hù)管理的工具，并且能夠讓管理員可以根據(jù)多種數(shù)據(jù)的不同要求設(shè)置出適應(yīng)數(shù)據(jù)的處理規(guī)則。2.1.3 建立良好的容錯(cuò)機(jī)制建立良好的容錯(cuò)機(jī)制，設(shè)置更優(yōu)的數(shù)據(jù)處理規(guī)則，為數(shù)據(jù)處理提供優(yōu)質(zhì)服務(wù)。2.2 設(shè)計(jì)原則2.2.1 可靠性隨著系統(tǒng)的建成，必然各平臺之間的信息傳遞對系統(tǒng)的依賴程度將變得很高，系統(tǒng)失效所造成的影響也就越大。因此，系統(tǒng)的設(shè)計(jì)必須，從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備選型以及廠商的技術(shù)服務(wù)和維修響應(yīng)能力等方面綜合考慮，以確保系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性。2.2.2 易用性我們系統(tǒng)設(shè)計(jì)必須考慮到使用者和以后的維護(hù)的方便容易。所以，在系統(tǒng)的設(shè)計(jì)中要求系

4、統(tǒng)架構(gòu)易于理解，系統(tǒng)管理方便簡潔，系統(tǒng)維護(hù)自動(dòng)容易。2.2.3 擴(kuò)展性平臺的建設(shè)是一項(xiàng)長期的工程，要充分考慮其將來潛在的需求?？茖W(xué)的設(shè)計(jì)思想應(yīng)著眼于目前的應(yīng)用系統(tǒng)及現(xiàn)有的技術(shù)，并考慮以最小的代價(jià)來適應(yīng)網(wǎng)絡(luò)技術(shù)不斷的發(fā)展，使現(xiàn)有系統(tǒng)能夠與需求同步增長，使系統(tǒng)在元數(shù)據(jù)不斷增加的基礎(chǔ)上，維護(hù)者能夠很方便的擴(kuò)充平臺功能。3. 功能需求3.1 需求概述實(shí)現(xiàn)對不同來源的多種數(shù)據(jù)類型文件進(jìn)行收集、存儲、到最終業(yè)務(wù)的統(tǒng)一處理，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)對接，并具有擴(kuò)展性。1)數(shù)據(jù)收集：2)數(shù)據(jù)整理：3)數(shù)據(jù)存儲： 4)業(yè)務(wù)接口： 5)監(jiān)控： 3.2 功能模塊3.2.1 數(shù)據(jù)收集3.2.2 數(shù)據(jù)清洗3.2.3 數(shù)據(jù)存儲經(jīng)估算

5、，每天的數(shù)據(jù)約有9-10G，在如此數(shù)據(jù)量的情況下，要對數(shù)據(jù)進(jìn)行存儲，同時(shí)應(yīng)用緩存，提高輸出效率。3.2.4 對外輸出為保證原有外部用戶正常使用，數(shù)據(jù)輸出與原有輸出保持一致。3.2.5 流程監(jiān)控針對整個(gè)流程進(jìn)行數(shù)據(jù)監(jiān)控 監(jiān)控原始數(shù)據(jù)站點(diǎn)缺失、監(jiān)控非法數(shù)據(jù)。以便反饋給原始數(shù)據(jù)提供方，后期優(yōu)化。3.2.6 管理平臺管理平臺需要有如下功能：3.3 其他需求3.3.1 性能需求3.3.2 可靠性要求3.3.3 進(jìn)度計(jì)劃待定3.3.4 故障處理要求軟件故障：如操作系統(tǒng)死機(jī)、崩潰、數(shù)據(jù)庫管理系統(tǒng)過載或其他原因崩潰，通過自動(dòng)或手動(dòng)重新啟動(dòng)系統(tǒng)解決，如重新啟動(dòng)不能解決問題，可以切換至備用服務(wù)器；硬件故障：如硬盤故障，采取措施是定期進(jìn)行數(shù)據(jù)庫備份，一旦出現(xiàn)硬件故障，可以使用備份文件恢復(fù)數(shù)據(jù)庫。4. 方案總體設(shè)計(jì)4.1 技術(shù)路線選擇4.2 總體架構(gòu)4.2.1 架構(gòu)介紹4.2.2 數(shù)據(jù)處理流程5. 安全設(shè)計(jì)5.1 數(shù)據(jù)的備份和恢復(fù)系統(tǒng)在安全建設(shè)中必不可少的一個(gè)環(huán)節(jié)就是數(shù)據(jù)的常規(guī)備份和歷史保存。一般在生產(chǎn)本地的備份目的主要有兩個(gè)：一是生產(chǎn)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)由于系統(tǒng)或人為誤操作造成損壞或丟失后，可及時(shí)在生產(chǎn)本地實(shí)現(xiàn)數(shù)據(jù)的恢復(fù)；另一個(gè)目的是在發(fā)生地域性災(zāi)難（地震、火災(zāi)、機(jī)器毀壞等）時(shí)，可及時(shí)在本地或異地實(shí)現(xiàn)數(shù)據(jù)及整個(gè)系統(tǒng)的災(zāi)難恢復(fù)。5.2 管理層安全網(wǎng)絡(luò)安全架構(gòu)的