基于K-means的功率特性測試數(shù)據(jù)清洗方法

【摘要】風(fēng)電場技術(shù)后評估主要目的在于評估項(xiàng)目建成后是否達(dá)到設(shè)計(jì)發(fā)電能力，是否充分發(fā)揮了前評估所判定技術(shù)層的預(yù)期功效。目前，大多數(shù)業(yè)主單位開展的后評估工作主要服務(wù)于投資決策，尚未對風(fēng)電場運(yùn)行維護(hù)、升級改造、對比及對標(biāo)分析等深入開展工作。由于缺乏統(tǒng)一的后評估標(biāo)準(zhǔn)，不同風(fēng)機(jī)、風(fēng)電場之間橫向?qū)Ρ?、對?biāo)等存在客觀困難，對生產(chǎn)分析與性能評估帶來諸多問題。同時(shí)，現(xiàn)場缺少計(jì)算相關(guān)生產(chǎn)指標(biāo)的工具，如人為手動(dòng)計(jì)算，工作量大，計(jì)算精度低?；谏鲜銮闆r，用于風(fēng)電場后評估指標(biāo)的工具應(yīng)用前景十分廣闊，本方法針對后評估工具中功率曲線計(jì)算與評估中數(shù)據(jù)清洗方面進(jìn)行說明。一、研究意義風(fēng)能作為一種清潔和可再生的能源。近年來，世界各地安裝的風(fēng)力發(fā)電機(jī)越來越多。風(fēng)電機(jī)組安裝的數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)已經(jīng)廣泛的用于風(fēng)力發(fā)電工況檢測，其中包括風(fēng)電曲線異常數(shù)據(jù)檢測。風(fēng)電功率曲線是在風(fēng)電機(jī)組運(yùn)行特性的評價(jià)過程中的一項(xiàng)重要指標(biāo)，與風(fēng)電機(jī)組的設(shè)計(jì)依據(jù)、性能評價(jià)指標(biāo)、發(fā)電量考核指標(biāo)、風(fēng)電場的收益關(guān)系十分密切。風(fēng)電機(jī)組良好的發(fā)電性能是保證風(fēng)力發(fā)電企業(yè)生產(chǎn)運(yùn)行管理和發(fā)展戰(zhàn)略規(guī)劃的決定因素。功率曲線作為描述風(fēng)電機(jī)組運(yùn)行性能的一個(gè)重要指標(biāo)，但由于受到溫度、氣壓和機(jī)組自身特性等因素的影響，不同風(fēng)場、不同機(jī)組、不同時(shí)間所形成的功率曲線具有相當(dāng)大的差異性。明確實(shí)際功率曲線與合同功率曲線之間的差異，對于技術(shù)后評估工作具有相當(dāng)大的參考價(jià)值。本文介紹的基于K-means的功率特性測試數(shù)據(jù)清洗方法是功率曲線模擬流程中數(shù)據(jù)預(yù)處理的一部分，對于提升功率曲線模擬的準(zhǔn)確性具有一定意義。二、研究方法基于風(fēng)電功率曲線的異常數(shù)據(jù)可以歸納為三種A、B、C三種類型。A類異常數(shù)據(jù)主要是通用數(shù)據(jù)異常問題，包括全空數(shù)據(jù)、部分缺失數(shù)據(jù)、重復(fù)數(shù)據(jù)、時(shí)間異常數(shù)據(jù)、時(shí)間重復(fù)數(shù)據(jù)等。B類異常數(shù)據(jù)主要是按需數(shù)據(jù)異常問題，包括時(shí)間間隔不達(dá)標(biāo)數(shù)據(jù)、狀態(tài)位異常數(shù)據(jù)、風(fēng)速越界數(shù)據(jù)、限功率數(shù)據(jù)等。C類異常數(shù)據(jù)主要是離散數(shù)據(jù)異常問題，包括傳感器故障數(shù)據(jù)、傳感器噪聲數(shù)據(jù)和一些不受控隨機(jī)因素造成的異常數(shù)據(jù)等。針對不同類別的異常數(shù)據(jù)，使用不同的數(shù)據(jù)識別和清洗方法?；贙-means的數(shù)據(jù)清洗方法主要針對C類異常數(shù)據(jù)。三、通用數(shù)據(jù)清洗通用數(shù)據(jù)清洗模塊主要用于處理通用數(shù)據(jù)異常的問題。對于全空數(shù)據(jù)，主要存在于SCADA導(dǎo)出和合并過程中，對于全空數(shù)據(jù)的清洗有眾多方法。其中無論是判斷任一字段是否為空還是判斷文檔大小，均可以對全空數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。對于部分缺失數(shù)據(jù)，主要存在于SCADA采集過程中出現(xiàn)某種導(dǎo)致的錯(cuò)誤或是導(dǎo)出過程中存在某些異常造成的數(shù)據(jù)部分缺失，對于研究的字段進(jìn)行針對性的非空檢測是處理部分缺失數(shù)據(jù)的可靠方法。對于重復(fù)數(shù)據(jù)，主要存在于SCADA采集過程中出現(xiàn)某種導(dǎo)致的錯(cuò)誤導(dǎo)致的重復(fù)或是導(dǎo)出過程中存在某些異常造成的數(shù)據(jù)重復(fù)，對于重復(fù)數(shù)據(jù)的識別主要基于特殊字段的重復(fù)檢測，清洗手段需要根據(jù)所研究的參變量選擇完全清洗和部分清洗兩種數(shù)據(jù)清洗的程度。對于時(shí)間異常數(shù)據(jù)，主要存在于SCADA時(shí)鐘序列出錯(cuò)或者數(shù)據(jù)導(dǎo)出未知錯(cuò)誤導(dǎo)致的時(shí)間序列紊亂和重復(fù)的問題，部分?jǐn)?shù)據(jù)可能已被上述重復(fù)數(shù)據(jù)處理，更詳細(xì)的處理方法是采用堆棧容器中轉(zhuǎn)數(shù)據(jù)的方式檢測時(shí)間序列問題。對于時(shí)間重復(fù)數(shù)據(jù)，主要是對時(shí)間序列進(jìn)行重檢測，時(shí)間一定程度上作為整個(gè)數(shù)據(jù)集的主鍵，具有唯一標(biāo)識數(shù)據(jù)條的作用，應(yīng)該著重保證時(shí)間維度的數(shù)據(jù)正確性，這里采用二次循環(huán)檢測方式來完全保證。四、按需數(shù)據(jù)清洗按需數(shù)據(jù)清洗模塊主要用于處理按需數(shù)據(jù)異常的問題。對于時(shí)間間隔不達(dá)標(biāo)數(shù)據(jù)，主要是按照相關(guān)標(biāo)準(zhǔn)IEC61400-12-1-2005以及IEC61400-12-2-2013中的要求，對時(shí)間間隔低于10min的數(shù)據(jù)進(jìn)行清洗。在十分鐘級數(shù)據(jù)整合和處理的過程過，很大可能會造成時(shí)間間隔的不符合使用者要求的情況出現(xiàn)，這里對不同時(shí)間戳格式的數(shù)據(jù)應(yīng)采用不同的數(shù)據(jù)間隔格式來清洗數(shù)據(jù)。對于狀態(tài)位異常數(shù)據(jù)，功率特性測試要求非正常位的數(shù)據(jù)需要剔除，這里對狀態(tài)位異常數(shù)據(jù)條進(jìn)行按需清洗。由于不用廠家不同風(fēng)機(jī)型號的狀態(tài)位標(biāo)識各有不同，這里應(yīng)結(jié)合實(shí)際情況按照需求對異常位數(shù)據(jù)進(jìn)行清洗。對于風(fēng)速異常數(shù)據(jù)，這里主要是針對越界、冰凍等數(shù)據(jù)進(jìn)行清洗。越界數(shù)據(jù)的剔除方面，功率特性測試要求風(fēng)速區(qū)間應(yīng)在0-50m/s的范圍之內(nèi)，實(shí)際數(shù)據(jù)中有少量數(shù)據(jù)對應(yīng)的風(fēng)速區(qū)間超過了這個(gè)范疇，應(yīng)按照需求對越界風(fēng)速數(shù)據(jù)條進(jìn)行清洗。冰凍數(shù)據(jù)的清洗主要基于風(fēng)速標(biāo)準(zhǔn)差閾值的設(shè)定，若風(fēng)速數(shù)據(jù)標(biāo)準(zhǔn)差過低且溫度達(dá)到結(jié)冰條件，則應(yīng)對冰凍數(shù)據(jù)進(jìn)行清洗。對于功率異常數(shù)據(jù)，這里主要針對限功率數(shù)據(jù)進(jìn)行清洗。功率特性測試要求對限電條件下的數(shù)據(jù)進(jìn)行清洗，由于限功率涉及外部限功率和內(nèi)部限功率，所使用的策略不同，實(shí)際應(yīng)用過程中應(yīng)當(dāng)結(jié)合風(fēng)電場運(yùn)維手冊和秒級數(shù)據(jù)進(jìn)行清洗。五、離散數(shù)據(jù)清洗離散數(shù)據(jù)清洗模塊主要用于處理離散數(shù)據(jù)異常的問題。離散數(shù)據(jù)的影響因素眾多，很難從單一字段對數(shù)據(jù)進(jìn)行清洗工作，離散數(shù)據(jù)的主要特點(diǎn)是圍繞正常曲率隨機(jī)分布，沒有預(yù)測方法，連續(xù)性較差。這里使用無監(jiān)督學(xué)習(xí)中的K-means聚類方法對離散數(shù)據(jù)進(jìn)行清洗。在功率特性測試的過程中，針對爬升階段(風(fēng)速在切入風(fēng)速和額定風(fēng)速之間)和滿發(fā)階段(風(fēng)速在額定風(fēng)速和切出風(fēng)速之間)兩個(gè)階段分別構(gòu)建模型。對于任一階段，以給定的數(shù)據(jù)集作為數(shù)據(jù)輸入，數(shù)目為M，定義構(gòu)建一個(gè)具有k的簇的模型，根據(jù)經(jīng)驗(yàn)和實(shí)際情況，通常我們選擇k=4作為參數(shù)設(shè)置。對于每一個(gè)10min數(shù)據(jù)X1、X2、X3…Xm，首先選擇初始化的k個(gè)類別中心a1、a2…ak。對于每一個(gè)數(shù)據(jù)條，通過風(fēng)速和功率的二維方式標(biāo)記距離類別中心的aj最近的類別j。之后更新每個(gè)類別的中心點(diǎn)aj為隸屬于該類別的所有數(shù)據(jù)條的均值。重復(fù)上述的操作直到滿足最終的終止條件即迭代到達(dá)上限。而每一個(gè)中心點(diǎn)更新公式為經(jīng)過離散數(shù)據(jù)異常清洗模塊，由傳感器故障造成的錯(cuò)誤數(shù)據(jù)可以得到有效的清洗，同時(shí)由于迭代次數(shù)和k簇?cái)?shù)目可控，噪聲數(shù)據(jù)的清洗程度則根據(jù)實(shí)際情況來界定。六、清洗結(jié)果經(jīng)過三個(gè)模塊的數(shù)據(jù)清洗之后，可以觀察相關(guān)