大數(shù)據(jù)的計(jì)量數(shù)據(jù)采集與應(yīng)用分析

大數(shù)據(jù)的計(jì)量數(shù)據(jù)釆集與應(yīng)用分析摘要：隨著信息技術(shù)和人工智能的不斷發(fā)展，大數(shù)據(jù)的計(jì)量數(shù)采集己經(jīng)被普遍應(yīng)用于現(xiàn)代化發(fā)展的諸多領(lǐng)域，并在不同的領(lǐng)域取得了顯著的成績(jī)。從大數(shù)據(jù)的計(jì)量數(shù)據(jù)應(yīng)用出發(fā)，進(jìn)行了計(jì)量數(shù)據(jù)倉庫相對(duì)獨(dú)立建設(shè)的計(jì)量數(shù)據(jù)采集與應(yīng)用研究，并且通過與企業(yè)數(shù)據(jù)倉庫建立共享接口的方法實(shí)現(xiàn)了企業(yè)內(nèi)部數(shù)據(jù)的有效共享，并以此為基礎(chǔ)開展了一系列計(jì)量信息服務(wù)的應(yīng)用實(shí)踐。本文作者分析了大數(shù)據(jù)的計(jì)量數(shù)據(jù)采集與應(yīng)用。關(guān)鍵詞：大數(shù)據(jù)；計(jì)量數(shù)據(jù)；采集；應(yīng)用0、引言大數(shù)據(jù)經(jīng)過幾年的發(fā)展，在中國己經(jīng)結(jié)岀了豐碩的果實(shí)。國家電網(wǎng)推出的終端智能電表便是一例。智能電表收集數(shù)據(jù)的目的首先是為收費(fèi)，但實(shí)際上這些數(shù)據(jù)能夠產(chǎn)生巨大的價(jià)值。根據(jù)用電量數(shù)據(jù)能夠判斷房屋空置率，可以指導(dǎo)房?jī)r(jià)、地價(jià)的調(diào)控。電網(wǎng)的監(jiān)控?cái)?shù)據(jù)結(jié)合經(jīng)濟(jì)指標(biāo)可以判斷該地區(qū)乃至全國工業(yè)制造業(yè)在不同區(qū)域發(fā)展的情況。大數(shù)據(jù)是在對(duì)傳統(tǒng)的數(shù)據(jù)庫進(jìn)行數(shù)據(jù)挖掘的基礎(chǔ)上發(fā)展而來，但與傳統(tǒng)數(shù)據(jù)庫不同的是，它的結(jié)構(gòu)化程度不一樣。傳統(tǒng)數(shù)據(jù)的格式結(jié)構(gòu)類型都是統(tǒng)一的，而大數(shù)據(jù)的格式結(jié)構(gòu)類型千差萬別。它采用的技術(shù)、工具、方法都跟傳統(tǒng)數(shù)據(jù)庫有很大的不同，與之相應(yīng)地形成了一門新的數(shù)據(jù)科學(xué) 云計(jì)算。需要指出的是，大數(shù)據(jù)和云計(jì)算是天然結(jié)合的。云計(jì)算相當(dāng)于一個(gè)挖掘機(jī)，大數(shù)據(jù)好比一個(gè)金礦，沒有強(qiáng)大的計(jì)算（挖掘）能力，大數(shù)據(jù)中有價(jià)值的部分就不能被挖掘，沒有大數(shù)據(jù)，云計(jì)算就相當(dāng)于殺雞的牛刀、打蚊子的大炮。1、 計(jì)量數(shù)據(jù)采集系統(tǒng)計(jì)量數(shù)據(jù)采集系統(tǒng)通過對(duì)電力用戶的用電信息的采集，并對(duì)采集的信息進(jìn)行處理，同時(shí)對(duì)整個(gè)數(shù)據(jù)進(jìn)行實(shí)時(shí)在線監(jiān)控，從而更好地分析和管理電力客戶的用電行為，尤其是在計(jì)量是否異常、電能質(zhì)量高低的監(jiān)測(cè)方面具有十分重要的效果，而這些功能在促進(jìn)電網(wǎng)智能化的過程中發(fā)揮了巨大的作用。常見的計(jì)量數(shù)據(jù)采集系統(tǒng)一般由三部分組成，一是采集設(shè)備；二是通信信道；三是主站。該系統(tǒng)的基本建設(shè)目標(biāo)是要求實(shí)現(xiàn)“全覆蓋、全采集”，系統(tǒng)建設(shè)要求必須覆蓋全部電力用戶，保證用戶用電過程的各類信息全面采集，還需要采集電力用戶各時(shí)段電能示值、電壓、電流、功率、功率因數(shù)、剩余電量電費(fèi)等數(shù)據(jù)項(xiàng)值，系統(tǒng)對(duì)大用戶的數(shù)據(jù)采集要求是每隔15分鐘采集一次，居民用戶則要求要低一些，至少采集每日日末凍結(jié)數(shù)據(jù)即可，每日采集的數(shù)據(jù)數(shù)量非常巨大。一旦系統(tǒng)建成，就能利用其對(duì)用戶的電表運(yùn)行的情況進(jìn)行分析。2、 大數(shù)據(jù)的計(jì)量數(shù)據(jù)采集與存儲(chǔ)架構(gòu)設(shè)計(jì)開展大數(shù)據(jù)應(yīng)用，既是對(duì)多年來企業(yè)信息化項(xiàng)目建設(shè)所形成的信息資源的發(fā)掘利用，又是對(duì)企業(yè)信息化項(xiàng)目的持續(xù)改進(jìn)與完善。通常企業(yè)在計(jì)量信息化方而會(huì)建設(shè)有流體能源計(jì)量、電力能源計(jì)量和物資計(jì)量等一系列圍繞著計(jì)量管理業(yè)務(wù)的計(jì)量信息系統(tǒng)。這些計(jì)量信息系統(tǒng)項(xiàng)目都是以滿足不同計(jì)量類型或不同業(yè)務(wù)領(lǐng)域的計(jì)量工作為目標(biāo)而開發(fā)建設(shè)的，為了適應(yīng)企業(yè)管理的綜合分析與決策需要，就必須按照一定的主題對(duì)這些不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行挖掘處理，建設(shè)計(jì)量數(shù)據(jù)倉庫，從而形成如圖1所示的而向大數(shù)據(jù)的計(jì)量數(shù)據(jù)采集架構(gòu)體系。建設(shè)而向大數(shù)據(jù)的計(jì)量數(shù)據(jù)采集架構(gòu)體系，主要有以下工作內(nèi)容：(1)現(xiàn)有計(jì)量信息系統(tǒng)改造與完善。對(duì)現(xiàn)有的計(jì)量信息系統(tǒng)改造與完善的主要任務(wù)是為數(shù)據(jù)挖掘準(zhǔn)備好“采集接口”，接口的核心內(nèi)容是各計(jì)量信息系統(tǒng)為計(jì)量數(shù)據(jù)挖掘提供計(jì)量數(shù)據(jù)基礎(chǔ)模型與訪問方法。(2)計(jì)量數(shù)據(jù)倉庫建設(shè)。首先要確定系統(tǒng)所包含的計(jì)量管理及相關(guān)的主題域，然后對(duì)每個(gè)主題域的內(nèi)容進(jìn)行描述，描述的內(nèi)容包括主題域的公共碼鍵、主題域之間的聯(lián)系和充分代表主題的屬性組。(3)計(jì)量數(shù)據(jù)提取工具設(shè)計(jì)。將各計(jì)量信息系統(tǒng)所分散采集的計(jì)量數(shù)據(jù)提取到計(jì)量數(shù)據(jù)倉庫需要通過設(shè)計(jì)一個(gè)在數(shù)據(jù)挖掘領(lǐng)域稱為“ETL”的數(shù)據(jù)提取工具來完成。ETL它是用來實(shí)現(xiàn)將數(shù)據(jù)從各計(jì)量信息系統(tǒng)的采集接口經(jīng)過提取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)至數(shù)據(jù)倉庫的三個(gè)基本過程。(4)共享接口設(shè)計(jì)。為了能夠更加充分的利用計(jì)量數(shù)據(jù)，還需要提取ERP、MES等各類企業(yè)信息化系統(tǒng)的數(shù)據(jù)，通?？梢越ㄔO(shè)一個(gè)共享接口來從企業(yè)數(shù)據(jù)倉庫提取計(jì)量管理所需數(shù)據(jù)，同時(shí)也通過其為企業(yè)管理的其他領(lǐng)域提供計(jì)量數(shù)據(jù)。3、大數(shù)據(jù)的計(jì)量數(shù)據(jù)采集3.1數(shù)據(jù)時(shí)間戳檢查從計(jì)量數(shù)據(jù)采集系統(tǒng)現(xiàn)場(chǎng)采集終端中獲取數(shù)據(jù)時(shí)，終端己對(duì)數(shù)據(jù)進(jìn)行了數(shù)據(jù)發(fā)生時(shí)刻的標(biāo)識(shí)，在G/DW376.1通信協(xié)議中稱為“終端抄表時(shí)刻”，更為準(zhǔn)確的名稱應(yīng)為數(shù)據(jù)發(fā)生時(shí)刻。檢驗(yàn)數(shù)據(jù)時(shí)刻原木是為了檢查終端對(duì)抄表失敗的處理邏輯，當(dāng)終端與電能表通信失敗時(shí)，終端內(nèi)存中的實(shí)時(shí)數(shù)據(jù)區(qū)會(huì)保留上次成功時(shí)刻的數(shù)據(jù)，但在形成H凍結(jié)數(shù)據(jù)時(shí)，常有終端廠商有意或無意地用此數(shù)據(jù)作為H末凍結(jié)值，導(dǎo)致H凍結(jié)數(shù)據(jù)很可能是多天以前的數(shù)據(jù)。2不能出現(xiàn)空值、零值電能表對(duì)有功電能示值的計(jì)量，至少必須有正向有功總電能示值，對(duì)于兩費(fèi)率電能表還有峰、谷示值，對(duì)于四費(fèi)率電能表還有尖、峰、平、谷示值。但在數(shù)據(jù)采集過程中，常會(huì)發(fā)生數(shù)據(jù)缺項(xiàng)，例如：有峰谷示值，但缺少總示值等異常情況。檢查邏輯分為3個(gè)部分：數(shù)據(jù)記錄中“正向有功總”不能為空值（NULL）；有功電能示值中，尖峰有值（不為零或者空）時(shí)，峰、平、谷任一無值（空或者零），但允許峰平谷同時(shí)無值；有功電能示值峰、平同時(shí)有值，而谷為NULL或者平、谷同時(shí)有值而峰為NULLo電能表通信規(guī)約中，對(duì)于多費(fèi)率表定義了費(fèi)率1、費(fèi)率2、費(fèi)率3……費(fèi)率14,可以設(shè)置多個(gè)時(shí)段，設(shè)置時(shí)段與費(fèi)率的關(guān)系。由于參數(shù)可設(shè)置，不同類型、不同廠商、不同時(shí)期、不同供電單位對(duì)此均有不同的設(shè)置，結(jié)果同樣的四費(fèi)率電表，費(fèi)率1代表的可能是尖，也可能是峰；也可能用費(fèi)率4來代表尖，這就是費(fèi)率順序不同。3.3電能示值下降在通過前面幾項(xiàng)檢查后，同一個(gè)記錄內(nèi)的數(shù)據(jù)間邏輯己檢查通過，下而考慮同一只電能表連續(xù)幾日之間的數(shù)據(jù)關(guān)系。電能示值應(yīng)該是一直累計(jì)增長(zhǎng)的一個(gè)數(shù)值，當(dāng)日的數(shù)值一定不會(huì)小于昨日的數(shù)值，所以檢查邏輯也很簡(jiǎn)單，僅針對(duì)“總電能示值”檢查：當(dāng)Dl<D2且DKD3時(shí)，D1無效。D1為當(dāng)日總電能示值，D2為昨日總電能示值，D3為前日總電能示值。這里增加了一個(gè)DKD3的判定，是為了防止D2突然增長(zhǎng)本身無效而導(dǎo)致誤判。4電能示值突增電能表突然異常計(jì)量（飛走）或者抄表時(shí)突然出現(xiàn)一個(gè)奇異的大數(shù)值，也是自動(dòng)化抄表中經(jīng)常碰到的問題，突然增長(zhǎng)量一般不易界定，筆者建議的判定規(guī)則是：當(dāng)Dl-D2>1500時(shí)，D1無效；當(dāng)Dl-D2>300且D2-D3V10時(shí)，D1無效；當(dāng)DKD2且D1>D3時(shí)，D2無效。D1為當(dāng)日總電能示值，D2為昨日總電能示值，D3為前日總電能示值。4、 大數(shù)據(jù)的計(jì)量數(shù)據(jù)應(yīng)用1生產(chǎn)制造通過計(jì)量業(yè)務(wù)管理中的許可資質(zhì)，對(duì)生產(chǎn)制造企業(yè)的場(chǎng)地、人員、生產(chǎn)設(shè)備等條件進(jìn)行把控，跟蹤管理廠商在計(jì)量裝置生產(chǎn)階段的元器件信息、生產(chǎn)進(jìn)度等情況，可以實(shí)現(xiàn)將計(jì)量資產(chǎn)全壽命周期管理的質(zhì)量管控前移，從源頭上把控潛在質(zhì)量問題的風(fēng)險(xiǎn)點(diǎn)。2超期未檢基于大數(shù)據(jù)挖掘與分析技術(shù)，按照相關(guān)的檢定規(guī)程和技術(shù)規(guī)范，結(jié)合檢定數(shù)據(jù)、設(shè)備運(yùn)行數(shù)據(jù)、現(xiàn)場(chǎng)檢驗(yàn)數(shù)據(jù)，實(shí)現(xiàn)對(duì)檢定質(zhì)量問題的實(shí)時(shí)報(bào)警、及時(shí)預(yù)警，精確定位檢定質(zhì)量問題的成因，及時(shí)發(fā)現(xiàn)缺陷，為計(jì)量器具和計(jì)量機(jī)構(gòu)的評(píng)價(jià)提供依據(jù)，指導(dǎo)輪換，提升設(shè)備現(xiàn)場(chǎng)運(yùn)行可靠性，為完善檢定能力提供合理化建議。對(duì)計(jì)量器具和設(shè)備的未檢判定主要包括：①看計(jì)量器具和設(shè)備的檢測(cè)H期、周期檢測(cè)H期；②證書是否在有效期；③判斷檢定機(jī)構(gòu)選擇的計(jì)量標(biāo)準(zhǔn)設(shè)備（在本機(jī)構(gòu)的機(jī)構(gòu)資質(zhì)內(nèi)包含）是否有檢定證書并在有效期內(nèi)。4.3報(bào)廢管理計(jì)量器具和檢定設(shè)備報(bào)廢處置在計(jì)量全生命周期的末端，缺少過程監(jiān)控手段。報(bào)廢管理過程中，審核審批人員能根據(jù)計(jì)量器具和設(shè)備的資產(chǎn)編號(hào)等信息，在大數(shù)據(jù)的資源中檢查計(jì)量器具和設(shè)備的基木信息、重檢情況、工作狀態(tài)、工作年限等，不容易遺漏相關(guān)信息，全程掌握?qǐng)?bào)廢的實(shí)際情況，減少資源浪費(fèi)現(xiàn)象，影響計(jì)量專業(yè)管理水平提升?；诖髷?shù)據(jù)的計(jì)量資產(chǎn)全生命周期管理基本實(shí)現(xiàn)了計(jì)量管理業(yè)務(wù)管控橫向協(xié)同、縱向貫通，以流程為核心的專業(yè)、部門、層級(jí)間協(xié)同運(yùn)轉(zhuǎn)。關(guān)鍵業(yè)務(wù)領(lǐng)域集中管控力度得到加強(qiáng)，實(shí)現(xiàn)了對(duì)各類計(jì)量管理業(yè)務(wù)的全面監(jiān)控、執(zhí)行跟蹤、過程掌控、綜合考核、閉環(huán)管理的目標(biāo)?？偠灾?，計(jì)量器具和設(shè)備的全生命周期管理是一項(xiàng)涉及而廣且復(fù)雜的系統(tǒng)工程，各個(gè)環(huán)節(jié)有效而科學(xué)的管理和運(yùn)作，才能使計(jì)量管理業(yè)務(wù)達(dá)到最優(yōu)化，使自身的計(jì)量管理業(yè)務(wù)能力及計(jì)量器具和設(shè)備的壽命得到顯著提升。4.4合規(guī)性應(yīng)用合規(guī)性應(yīng)用主要指是否超范圍開展檢驗(yàn)或檢定的判定依據(jù)，包括對(duì)檢定證書、定量包裝報(bào)告、型式試驗(yàn)報(bào)告的判定。（1）檢定證書。對(duì)檢定證書的判定主要包插：①判斷檢定員是否在檢定人員數(shù)據(jù)庫中；②檢定員證書是否在有效期；③判斷該檢定員所選計(jì)量標(biāo)準(zhǔn)裝置（在木機(jī)構(gòu)的機(jī)構(gòu)資質(zhì)內(nèi)包含）是否有并在有效期內(nèi)；④判斷社會(huì)公用計(jì)量標(biāo)準(zhǔn)證書數(shù)據(jù)庫信息：項(xiàng)目（包含新增項(xiàng)目）、地域、有效期是否有效；⑤檢定員證書的項(xiàng)目和模板項(xiàng)目（對(duì)應(yīng)的計(jì)量器具或檢定項(xiàng)目要補(bǔ)充完全）名稱是否對(duì)應(yīng)。（2）定量包裝檢驗(yàn)報(bào)告。對(duì)定量包裝檢驗(yàn)只有授權(quán)（法定計(jì)量技術(shù)機(jī)構(gòu)考核證書信息資源庫）條件，主要判定內(nèi)容有：①判斷檢驗(yàn)人員是否在定量包裝檢驗(yàn)人員數(shù)據(jù)庫中；②定量包裝檢驗(yàn)人員證書是否在有效期；③判斷法定計(jì)量技術(shù)機(jī)構(gòu)考核證書信息資源庫：有定量包裝報(bào)告的授權(quán)、經(jīng)確認(rèn)的商品量檢測(cè)項(xiàng)目表中包含該項(xiàng)目（4項(xiàng)）、地域、有效期是否有效。（3）型式試驗(yàn)報(bào)告。對(duì)型式試驗(yàn)報(bào)告的判定，主要內(nèi)容