數(shù)據(jù)中臺共享服務(wù)在北斗中的應(yīng)用與實現(xiàn)

數(shù)據(jù)中臺共享服務(wù)在北斗中的應(yīng)用與實現(xiàn)摘要：針對傳統(tǒng)電力業(yè)務(wù)及未來社會發(fā)展需要，積極打造以北斗精準位置服務(wù)和全方位地理信息。為此需要提供數(shù)據(jù)與服務(wù)總線的服務(wù)支撐能力，以此支撐基于北斗精確位置服務(wù)的構(gòu)建。關(guān)鍵詞：電力業(yè)務(wù)；北斗系統(tǒng)；數(shù)據(jù)存儲；數(shù)據(jù)處理引言北斗數(shù)據(jù)質(zhì)量除了受到來自衛(wèi)星端的影響之外，也會受到接收機以及周圍環(huán)境和北斗信號傳播路徑的影響，因此高精度的導(dǎo)航與定位，良好的數(shù)據(jù)質(zhì)量是基礎(chǔ)。1.數(shù)據(jù)總線架構(gòu)1.1數(shù)據(jù)融合1.1.1數(shù)據(jù)集成把不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中，從而為北斗提供全面的數(shù)據(jù)共享。數(shù)據(jù)集成平臺能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的質(zhì)量，通過圖形化工具快速靈活地設(shè)計與部署實現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等功能。1.1.2數(shù)據(jù)存儲分布式存儲：將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔存儲負荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。結(jié)構(gòu)化存儲：由二維表結(jié)構(gòu)來邏輯表達和實現(xiàn)的數(shù)據(jù)，嚴格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進行存儲和管理。與結(jié)構(gòu)化數(shù)據(jù)相對的是不適于由數(shù)據(jù)庫二維表來表現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、XML、HTML、各類報表、圖片和音頻、視頻信息等。支持非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫采用多值字段、了字段和變長字段機制進行數(shù)據(jù)項的創(chuàng)建和管理，廣泛應(yīng)用于全文檢索和各種多媒體信息處理領(lǐng)域1.2數(shù)據(jù)開發(fā)1.2.1數(shù)據(jù)批處理針對于批量處理及分析的數(shù)據(jù)庫，被廣泛應(yīng)用于數(shù)據(jù)倉庫和數(shù)據(jù)集市的構(gòu)建。加上自主開發(fā)的創(chuàng)新功能組件，有效解決了北斗大數(shù)據(jù)數(shù)據(jù)處理和分析的各種技術(shù)難題，幫助北斗快速構(gòu)建和推廣數(shù)據(jù)業(yè)務(wù)。1.2.2數(shù)據(jù)實時處理為北斗打造的流計算引擎，主要應(yīng)用于流數(shù)據(jù)加工。具有高性能、穩(wěn)定性好等特征，簡化流計算應(yīng)用的開發(fā)以及管理成本。同時兼具批處理和事件兩種處理模式，其數(shù)據(jù)處理的延遲在100毫秒到2秒之間。1.3數(shù)據(jù)治理提供全方位數(shù)據(jù)治理評估能力，如數(shù)據(jù)的重復(fù)性、關(guān)聯(lián)性、正確性、完全性、一致性、合規(guī)性等，對數(shù)據(jù)進行全面體檢。提供可配置化的度量規(guī)則和檢核方法生成能力，提供檢核腳本的定時調(diào)度執(zhí)行和第三方調(diào)度工具的調(diào)度執(zhí)行功能。系統(tǒng)提供報警機制，對檢核規(guī)則或方法進行閥值設(shè)置，對超出閥值的規(guī)則進行不同級別的告警和通知。對問題數(shù)據(jù)問題進行流程處理支持，規(guī)范問題處理機制和步驟，強化問題認證，提升數(shù)據(jù)質(zhì)量。1.4數(shù)據(jù)服務(wù)基于大數(shù)據(jù)架構(gòu)提供統(tǒng)一的數(shù)據(jù)服務(wù)能力，提供北斗數(shù)據(jù)資源對外開放的共享通道，包括實時接口服務(wù)、批量作業(yè)服務(wù)、文件傳輸服務(wù)，從數(shù)據(jù)定義、服務(wù)開發(fā)、服務(wù)消費、運行管控實現(xiàn)數(shù)據(jù)資源的閉環(huán)管理。2數(shù)據(jù)總線實現(xiàn)2.1數(shù)據(jù)抽取和加工DI(DataIntegration)是一個高性能、易管控的數(shù)據(jù)集成平臺，通過DI可以完成對各種類型數(shù)據(jù)的訪問、過濾、清洗、轉(zhuǎn)換、加載等ETL過程，通過DI實現(xiàn)不同模式，如：基于觸發(fā)器、基于時間戳、基于全文比對、基于日志的數(shù)據(jù)同步，最終實現(xiàn)異構(gòu)數(shù)據(jù)的有機整合，在數(shù)據(jù)集成的過程中，借助DI其強大的模型管控能力，在實施過程中進行開發(fā)過程的規(guī)范化、代碼自動化、代碼和質(zhì)量可控化、調(diào)度管理統(tǒng)一化和監(jiān)控可視化。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在平臺中的所有設(shè)備和基動作流數(shù)據(jù)。這些數(shù)據(jù)是由于吞吐量的要求而通過處理日志和日志聚合來解決。對于像數(shù)據(jù)總線一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過數(shù)據(jù)總線的并行加載機制來統(tǒng)一線上和離線的消息處理，也是為了通過集群來提供實時的消息。元數(shù)據(jù)平臺支持北斗復(fù)雜異構(gòu)數(shù)據(jù)源的采集，提供多種采集適配器可快速對接北斗各類元數(shù)據(jù)，建立統(tǒng)一、集中的元數(shù)據(jù)資源庫。提供元模型自定義功能，支持元數(shù)據(jù)管理需求自定義元模型。支持通過界面或圖形的方式進行元數(shù)據(jù)及關(guān)系的維護，提供多層次、細粒度的圖形化分析功能；具有強大的元數(shù)據(jù)版本、元數(shù)據(jù)變更管理功能。支持元數(shù)據(jù)批量導(dǎo)出以及分析結(jié)果導(dǎo)出，支持元數(shù)據(jù)全文檢索功能。支持分布式部署多個采集器，解決跨云元數(shù)據(jù)采集問題，對同一個元數(shù)據(jù)采集來源，支持主、備采集器部署模式，實現(xiàn)高可靠的元數(shù)據(jù)采集。QualityCube系統(tǒng)集數(shù)據(jù)質(zhì)量類別管理、質(zhì)量度量規(guī)則管理、質(zhì)量檢核方法管理、質(zhì)量檢核方法審核、數(shù)據(jù)質(zhì)量檢核調(diào)度、數(shù)據(jù)質(zhì)量檢核執(zhí)行、數(shù)據(jù)質(zhì)量檢核入庫、問題數(shù)據(jù)展現(xiàn)、問題數(shù)據(jù)趨勢分析、數(shù)據(jù)質(zhì)量檢核監(jiān)控、檢核日志管理、頁面配置管理、數(shù)據(jù)質(zhì)量報告組件為一體，以暴露和提升系統(tǒng)數(shù)據(jù)質(zhì)量為目標，度量規(guī)則和檢核方法為主線，通過自身調(diào)度模塊或者第三方調(diào)度為觸發(fā)，幫助北斗建立統(tǒng)一的數(shù)據(jù)質(zhì)量管理和度量管理體系。2.2數(shù)據(jù)處理引擎Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。SparkStreaming是北斗的流計算引擎，主要應(yīng)用于流數(shù)據(jù)加工。SparkStreaming具有高性能、穩(wěn)定性好等特征，并且根據(jù)在測試和實際部署應(yīng)用中遇到的問題和需求，豐富SparkStreaming的功能、簡化流計算應(yīng)用的開發(fā)以及管理成本；另外Kafka作為生產(chǎn)環(huán)境中常用的數(shù)據(jù)源，SparkStreaming也做了對應(yīng)的性能優(yōu)化和功能開發(fā)。SparkStreaming同時兼具批處理和事件兩種處理模式，其數(shù)據(jù)處理的延遲在100毫秒到2秒之間，因此SparkStreaming可以滿足絕大部分的準實時處理數(shù)據(jù)的場景。SparkStreaming集群支持靈活的進行線性擴展。SparkStreaming提供高級語言和SQL的編程接口，降低編程難度，通過簡單的接口完成復(fù)雜的業(yè)務(wù)處理邏輯。2.3數(shù)據(jù)共享中臺數(shù)據(jù)服務(wù)共享中臺(DataServicePlatform)基于大數(shù)據(jù)架構(gòu)提供統(tǒng)一的數(shù)據(jù)服務(wù)能力，是北斗數(shù)據(jù)資源對外開放的共享通道，提供實時接口服務(wù)、批量作業(yè)服務(wù)、從數(shù)據(jù)定義、服務(wù)開發(fā)、服務(wù)消費、運行管控四方面著手，實現(xiàn)數(shù)據(jù)資源的閉環(huán)管理。數(shù)據(jù)服務(wù)的本質(zhì)是業(yè)務(wù)活動的抽象，業(yè)務(wù)活動需求由業(yè)務(wù)人員提出，數(shù)據(jù)服務(wù)開發(fā)人員依據(jù)需求進行開發(fā)和數(shù)據(jù)服務(wù)的共享發(fā)布。中臺支持批量作業(yè)服務(wù)、實時接口服務(wù)、文件傳輸服務(wù)三種數(shù)據(jù)服務(wù)形式，并且提供在線、離線兩種服務(wù)開發(fā)方式。過程中可以根據(jù)具體業(yè)務(wù)場景需求，制定服務(wù)發(fā)布和安全策略。服務(wù)消費是在數(shù)據(jù)服務(wù)化后，面向應(yīng)用的一系列操作動作。數(shù)據(jù)服務(wù)中臺為消費者提供數(shù)據(jù)預(yù)覽、申請、審批等功能，具備單個、批量申請的能力，具備向消費方推送或由消費方拉取的服務(wù)方式；提供數(shù)據(jù)流量、權(quán)限和優(yōu)先級的服務(wù)控制；支持按照計劃、事件觸發(fā)等多種方式進行服務(wù)調(diào)度。3結(jié)論綜上，在北斗大量數(shù)據(jù)中，要發(fā)揮其數(shù)據(jù)的價值必須整合和加工現(xiàn)