利用交叉表和緩沖技術提高獲得建模樣本數(shù)據(jù)的效率

1、利用交叉表和緩沖技術提高獲得建模樣本數(shù)據(jù)的效率    摘要：在分析建模的過程中需要對大量的歷史測量數(shù)據(jù)進行計算和處理，運算過程中會消耗大量的計算機資源，處理不好會造成等待時間過久，計算機死機。本文介紹了DSIMS4.0大壩安全信息管理網(wǎng)絡系統(tǒng)在分析建模的過程中如何利用交叉表和緩沖技術提高獲得建模樣本數(shù)據(jù)的效率。關鍵字：DSIMS4.0；交叉表；緩沖；建模；樣本0 引言隨著大壩安全監(jiān)測技術的進一步發(fā)展，模型分析的方法已被廣泛應用于安全評判和測值預報中。DSIMS4.0大壩安全信息管理網(wǎng)絡系統(tǒng)可采用最小二乘、全回歸和逐步回歸的方法，快速生成統(tǒng)計模型、確定模型

2、和混合模型。在分析建模的過程中需要對大量的歷史數(shù)據(jù)進行樣本的提取和運算，利用常規(guī)方法，在數(shù)據(jù)樣本的提取和運算過程中會消耗大量的計算機資源，占用很長計算的時間，DSIMS4.0管理系統(tǒng)充分利用數(shù)據(jù)庫交叉表技術和數(shù)據(jù)緩沖技術，減少建模數(shù)據(jù)的準備時間，減少了計算機系統(tǒng)資源的消耗，極大的提高了建模的效率。1 交叉表技術1.1交叉表查詢(Crosstab)交叉表是用來顯示源于表中某個字段的總結值（合計、計數(shù)以及平均值等）。并將它們分組放置在查詢結果中，一組列在數(shù)據(jù)表的左側一組列在數(shù)據(jù)表的上部。通常交叉表的數(shù)據(jù)都是從其它非直觀性表中轉換而成左側和上部的數(shù)據(jù)可以互換交叉形成不同的用戶需求格式交叉表形式(Cr

3、osstab）經(jīng)常用于總結報表中。1.2交叉表的結構設計(1)原有的測點表結構第一列是測點，第二列是時間，最后一列是測量數(shù)據(jù)的最終成果，我們可以知道這樣的數(shù)據(jù)表結構一點也不直觀，在“觀測時間”列中，因為有的觀測點與觀測時間都是相同的，這樣的數(shù)據(jù)表結構明顯的造成了時間字段的冗余。(2)通過交叉表技術形成的數(shù)據(jù)表結構通過交叉處理后，提取樣本的效率會有所提高，但還不明顯，當我們對測量數(shù)據(jù)以日為單位進行提取時就能看到明顯的效果，以日為單位提取樣本時，就要按日對測量數(shù)據(jù)進行平均，通常的處理辦法是把數(shù)據(jù)提取出來，然后通過后臺程序來進按日求平均，生成新的數(shù)據(jù)表，而通過數(shù)據(jù)庫交叉表技術，只用一個SQL語句，就

4、能從數(shù)據(jù)庫中得到測量數(shù)據(jù)按日平均的交叉表同樣的我們還可以利用交叉表技術取到按月，按年，統(tǒng)計出來平均值、最小值、最大值等特征值數(shù)據(jù)，在DSIMS4.0大壩安全信息管理網(wǎng)絡系統(tǒng)中，交叉表技術不僅應用在數(shù)據(jù)建模的過程中，也充分應用在了表格數(shù)據(jù)的顯示中。1.3利用cub語句來實現(xiàn)與別的地方的交叉表技術有所不同，我們使用的交叉表不是用程序在后臺形成的，而是通過一個sql語句完成的，所以極大提高的建模數(shù)據(jù)樣本準備的效率，sql的cub語句可以完成對數(shù)據(jù)庫的一次查詢而形成交叉表。2 數(shù)據(jù)緩沖技術2.1樣本處理過程中存在問題提取歷史數(shù)據(jù)只是樣本處理的第一步，在建模擬定模型因子的過程中，我們經(jīng)常用到的是上游水位

5、的1到4次方，以及上游水位中的承前因子(如前第20天到前第30天的平均水位)。對同樣是上游水位的測量數(shù)據(jù)，因為存在多個上游水位的因子，及承前因子的存在，那么對同一影響量數(shù)據(jù)，就存在多次處理，每處理一次都要到訪問歷史數(shù)據(jù)，尤其是對承前的處理，將會更頻繁的去訪問歷史數(shù)據(jù)，處理不好將會造成頻繁的訪問數(shù)據(jù)庫。通過數(shù)據(jù)的數(shù)據(jù)緩沖技術，可以減少對數(shù)據(jù)庫的重復訪問。2.2緩沖器的結構設計緩沖器是通過后臺的程序來實現(xiàn)，第一步，我們通過交叉表取到測點的歷史數(shù)據(jù)，第二步，我們要來處理這些歷史數(shù)據(jù)，以生成樣本數(shù)組，我們設計了一個緩沖器用來接收這些數(shù)據(jù)，通過交叉表技術取得歷史數(shù)據(jù)后，緩沖器接收這些歷史數(shù)據(jù)，在樣本處理

6、的過程中程序直接訪問緩沖器，而無需再去訪問數(shù)據(jù)庫。緩沖器結構如圖4 圖4每一個影響量對應一個承前緩沖(MeaVAheadBuff)，承前緩沖中又包含一個數(shù)據(jù)緩沖(CycFloatBuf)，在承前緩沖中_Pid 記錄了測點的標號，_Vtype 記錄了測值的類型，通過_Pid、_Vtype確定了唯一的測點監(jiān)測量，LastDayCount上次數(shù)據(jù)時間的日子數(shù)（自1900年以來的日子數(shù)），_AheadDay記錄了承前的天數(shù)，數(shù)據(jù)緩沖中DataS數(shù)組就具體測量數(shù)據(jù)的緩沖他的大小是由承前天數(shù)的多少來決定的，如果沒有承前因子，Datas就保留一個數(shù)據(jù)成員，為當前測量時間點的測值。數(shù)據(jù)緩沖(CycF

7、loatBuf)中_CurReadPos記錄當前的讀位置，類似于游標的作用；_TopReadPos記錄第一個可以讀的位置；_WritePos記錄寫位置，數(shù)組中寫位置的索引號。通過這三個索引，緩沖Datas可以反復的接收數(shù)據(jù)，無需再新建數(shù)組，從而減少了對類存的占用，通過GetAvgValue()方法可以求得緩沖中有效值部分的平均值。利用這種結構的緩沖器，充分起到了減少數(shù)據(jù)對計算機內(nèi)存的占用，減少了程序對數(shù)據(jù)庫的訪問，極大的提高了獲得建模樣本數(shù)據(jù)的效率。3 結語通過交叉表技術的應用，使得到測量數(shù)據(jù)表顯得簡捷而直觀，減少了數(shù)據(jù)的冗余。數(shù)據(jù)緩沖的應用，減少了程序對數(shù)據(jù)庫的訪問。DSIMS4.0大壩安全信息管理網(wǎng)絡系統(tǒng)在分析建模 的過程中充分利用交叉表和緩沖技術提高了獲得建模樣本數(shù)據(jù)的效率。參考文獻：王學萌，張繼中，王榮.灰色系統(tǒng)分析