大數(shù)據(jù)采集整編系統(tǒng)解決方案

1、大數(shù)據(jù)采集整編系統(tǒng)解決方案系統(tǒng)功能概述針對XXX系統(tǒng)進行開發(fā)信息系統(tǒng)數(shù)據(jù)、行業(yè)部委的交換數(shù)據(jù)、互聯(lián)網(wǎng)上的相 關(guān)數(shù)據(jù)等，將分散在不同數(shù)據(jù)來源的數(shù)據(jù)統(tǒng)一匯集到統(tǒng)一的服務中，并實現(xiàn) 數(shù)據(jù)的動態(tài)更新?；跀?shù)據(jù)調(diào)研成果，梳理確定各應用系統(tǒng)的數(shù)據(jù)對象、數(shù) 據(jù)關(guān)系、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)字典等；并確定采集各應用系統(tǒng)數(shù)據(jù)的具體方式， 包括數(shù)據(jù)抽取、服務接口、數(shù)據(jù)直報等多渠道數(shù)據(jù)接入方式。通報數(shù)據(jù)采集數(shù)枷需求管理采報任務管理報衣輔助謾口數(shù)據(jù)采集報表管理系統(tǒng)笆理數(shù)據(jù)采集整編子系統(tǒng)主要包括通用數(shù)據(jù)填報、網(wǎng)絡情報數(shù)據(jù)采集和數(shù)據(jù)整編 等三大模塊，系統(tǒng)架構(gòu)如下圖：網(wǎng)絡怙報數(shù)據(jù)采集H常采集數(shù)據(jù)存儲自定義模板設il采集策略維護采集監(jiān)

2、控采集信息檢索數(shù)據(jù)整編模塊數(shù)據(jù)清洗。轉(zhuǎn)換匚作流執(zhí)行引孽數(shù)出皿"川載數(shù)據(jù)集成與約簡可視化I：作流設計:、數(shù)據(jù)流轉(zhuǎn)塊設計數(shù)據(jù)來源數(shù)據(jù)采集SBlK姑構(gòu)化軟試II結(jié)構(gòu)化狗裾一空蟠,岫國網(wǎng)數(shù)據(jù)BB搟曜栗集帶我時同步H志栗集消息網(wǎng)如數(shù)州服m介如上圖所示，通過通用的報表軟件，支持多樣化、個性化設置，統(tǒng)一訪問管 理模板，實現(xiàn)自定義報表的數(shù)據(jù)采集功能，大大提升數(shù)據(jù)采集效率。部署互聯(lián)網(wǎng)、行業(yè)網(wǎng)等數(shù)據(jù)采集 Scrapy引擎以及采集配置管理系統(tǒng)、數(shù)據(jù)庫 和文件系統(tǒng)?；谂渲玫牟杉?guī)則（網(wǎng)站 URL采集時間設置等），Scrapy 引擎抓取網(wǎng)站數(shù)據(jù)并存于本地數(shù)據(jù)庫和文件系統(tǒng)中。爬取的互聯(lián)網(wǎng)等網(wǎng)絡數(shù) 據(jù)結(jié)果以文件

3、形式傳輸至內(nèi)網(wǎng)側(cè)，數(shù)據(jù)服務平臺的ETL工具將內(nèi)網(wǎng)側(cè)的互聯(lián)網(wǎng)爬蟲數(shù)據(jù)，批量抽取到數(shù)據(jù)倉庫集群中。經(jīng)分類整合加工、創(chuàng)建索引處理 后將互聯(lián)網(wǎng)、綜網(wǎng)數(shù)據(jù)存儲在數(shù)據(jù)庫中。三、通用數(shù)據(jù)采集依據(jù)XX各部門業(yè)務工作過程中數(shù)據(jù)采集報送的通用需求，設計實現(xiàn)需求的 采報流程，提供可視化的數(shù)據(jù)采報需求管理、快捷易用的任務列表方便用戶 快速進行任務的查看并執(zhí)行任務的相關(guān)操作，可組合多個條件進行任務查詢 篩選過濾功能，提供可視化的采報任務管理、可視化拖拉拽的報表設計及管 理功能、數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)存和系統(tǒng)管理等功能。亍用廣澳p T糖電押世1物號君西ng更Ims?附。累ms當事仁胃：甘二-常赤惟共M'3-J這a(&#

4、163;荃/耳擢g用;凡2On-04-3B DO.OD.00利J叩后的 ±3.59 5flTMWM理樂“病】EE建人門反白在須1時4月203-<!4-?7 00 00 :00ZDiy-DS-oa 立室犯網(wǎng)再inq L專培箱】ED3-I注k削中受本金腎口指Torif?q2ffl3-C3-2T CD g gZULDBZtl 叫號a w30S-1及工目念對學乖州I洱1軍虞油門m6m m 00mu好加 打95*耒”MlIF若用1-/男與厚奇日加加界5耳州價阪賽 CD.00.00ML A葉毋>3： S3 CT他那H.相野可屬懺口點訓坪fZP33-C4-Z7 00ZU11-U5-IX

5、I23：S 驪-a1F片府啊修，響費三底用打不院指皿8帥ZllADSTU 番:制軸zos-wM用以3-清身與庫市明1/日指加1.-H如 XMrZT DD 0D 00M.T蚓鬟1 口 F Wm-t於制域T信件上摩？!1丫1秉rib刈 3-5SHE?DD » 00制什Q卜國 23: S9 n7a»Mr回脅收Efl】赤tr -.k-n- ii皿嚴晶氏次壟忖Ni說界市201均一事廢然有毋TJ?»：»：«劃,AQ57E 勢;由麓蟹市1曰5豆嚴.wra與庫存耳強,得4句2DJ3-L4- W33znL i-ut-ra 必3ivzmF作蔣生產(chǎn)-用些3座在目并用

6、1.嘩，目m go IMnr m 提供數(shù)據(jù)需求提報的手段，為戰(zhàn)略規(guī)劃辦制定年度采報計劃或臨時啟動采報 任務提供需求依據(jù)。數(shù)據(jù)來自采集終端形成的數(shù)據(jù)報表和數(shù)據(jù)文件、存儲在 各種業(yè)務數(shù)據(jù)庫/數(shù)據(jù)倉庫中的結(jié)構(gòu)化數(shù)據(jù)，以及 HTML/XML/JSON/BSO噂 各類半結(jié)構(gòu)化、pdf文檔、word文檔、圖片、多媒體等非結(jié)構(gòu)化海量數(shù)據(jù)。四、網(wǎng)絡情報數(shù)據(jù)采集網(wǎng)絡情報數(shù)據(jù)采集系統(tǒng)負責面向網(wǎng)絡采集以網(wǎng)頁文件為主的數(shù)據(jù)資源采集相 關(guān)數(shù)據(jù)等，可通過配置信息，將分散在不同網(wǎng)絡海量網(wǎng)頁素材的數(shù)據(jù)統(tǒng)一采 集，并實現(xiàn)數(shù)據(jù)的動態(tài)更新，監(jiān)控數(shù)據(jù)采集進度，采集日志信息查詢，采集 任務結(jié)果展示，以及對采集任務的啟停功能的控制。如下

7、圖所示，作業(yè)管理工具作為數(shù)據(jù)預處理的圖形化工具，采用web交互的方式，提供工作流的調(diào)度實現(xiàn)數(shù)據(jù)接入和數(shù)據(jù)流轉(zhuǎn)ETL可視化界面實現(xiàn)對起始站點的配置，實現(xiàn)日常采集任務的控制，任務執(zhí)行狀態(tài)及時間的監(jiān)控， 啟停功能監(jiān)控，以及任務采集的日志維護。涵五、數(shù)據(jù)整編模塊依據(jù)戰(zhàn)略規(guī)劃數(shù)據(jù)資源體系相關(guān)的標準規(guī)范，對于從不同渠道采集來的數(shù)據(jù) 進行數(shù)據(jù)抽取與加載、清洗與轉(zhuǎn)換、集成與約簡?？蛇m配各類數(shù)據(jù)源，可直 接從Oracle/DB2等傳統(tǒng)關(guān)系數(shù)據(jù)庫將數(shù)據(jù)導入至數(shù)據(jù)服務平臺，在不失效率 的情況下避免了使用Sqoop帶了的步驟繁瑣，類型轉(zhuǎn)換復雜等應用場景。支 持CSV定長文件，JSON XML等文件的導入。如下圖所示，

8、數(shù)據(jù)清洗工作是獨立于業(yè)務庫，是在不影響業(yè)務庫的情況下進 行的。通過數(shù)據(jù)清洗融合工作把臟數(shù)據(jù)清洗掉，提高數(shù)據(jù)質(zhì)量，便于清洗后 數(shù)據(jù)在數(shù)據(jù)模型當中呈現(xiàn)，變?yōu)?干凈庫”。數(shù)據(jù)轉(zhuǎn)換，基于規(guī)則或元數(shù)據(jù)的 轉(zhuǎn)換、基于模型與學習的轉(zhuǎn)換等技術(shù)，可通過轉(zhuǎn)換實現(xiàn)數(shù)據(jù)統(tǒng)一。數(shù)據(jù)分析 工具可實現(xiàn)數(shù)據(jù)校驗、數(shù)據(jù)缺失值處理、數(shù)據(jù)去重、數(shù)據(jù)過濾、數(shù)據(jù)光滑去 噪、數(shù)據(jù)補全、數(shù)據(jù)格式和精度轉(zhuǎn)換等功能。數(shù)據(jù)清洗前，對業(yè)務邏輯進行梳理，在數(shù)據(jù)模型的指導下，編制信息資源庫 的目錄，并設計清洗規(guī)則。根據(jù)數(shù)據(jù)問題的特性，對于可通過技術(shù)方式修復的數(shù)據(jù)，借助ETLX具進行清洗，對于不可技術(shù)修復的數(shù)據(jù)，借助工單系統(tǒng) 進行人工清洗。清洗的結(jié)果是數(shù)據(jù)治理成果的體現(xiàn)，要對省戰(zhàn)略規(guī)劃部進行 反饋，同時為了保障清洗規(guī)則的準確，需要周期性檢測清洗規(guī)則，對有缺陷 的規(guī)則進行調(diào)整優(yōu)化。六、可視化處理工作流設計可視化工作流調(diào)度工具能夠可視化進行數(shù)據(jù)處理工作流的設計，對數(shù)據(jù)處理 方案進行任務化管理，實現(xiàn)執(zhí)行日志記錄和審計，多任務運行資源自動調(diào)度 等功能。工作流調(diào)度DAG設計與管理的圖形化工具，支持 Shell、SQL JDBC HTTP等任務類型，以及自定義Java任務。用戶設定好任務執(zhí)行的邏