實時數據庫和歷史數據庫

實時數據庫實時數據庫系統(tǒng)體系結構設計和描述作為流程工業(yè)自動控制系統(tǒng)的綜合數據平臺，實時數據庫在企業(yè)生產信息的集成、存儲和處理環(huán)節(jié)均起著關鍵作用，是流程工業(yè)信息化的核伯基礎設施。實時數據庫具有強大的多源異構數據采集接口，優(yōu)異的實時數據存儲與巧問性能，高效的歷史數據壓縮與條件檢索能力，以及數據與服務的高可靠性和高可用性。關系數據庫服務器應用服務器設備管理安全管理調度管理實時管理作站工作站工作站工作站工關系數據庫服務器應用服務器設備管理安全管理調度管理實時管理作站工作站工作站工作站工工作站DCS化工、石化工作站工作站DCS化工、石化工作站SCADA 機臺長輸管線智能儀表HMIPLC密煉、準備、成型圖1.1實時數據庫在流程工業(yè)信息化架構中的定位由圖1.1可見，實時數據庫位于流程工業(yè)信息化架構中的MES層，對PCS層的工業(yè)現場過程數據進行實時采集、可靠存儲和高效處理，為同層的實時管理、調度管理、設備管理、安全管理等應用提供高效的數據服務。工程數據系統(tǒng)分析流程工業(yè)的實時數據庫中需要管理的數據有:位號實時數據、位號的歷史數據、服務器信息、位號的屬性信息、系統(tǒng)狀態(tài)信息、角色權限信息、批次信息、計算結果信息等。主要的時態(tài)關系包括服務器的有效性和位號的有效性位號的暫態(tài)屬性；實時數據和歷史數據的時態(tài)，位號的有效性和相關實時數據和歷史數據的有效性系統(tǒng)的暫態(tài)信息服務器的狀態(tài)信息等。這些數據之間的關系如圖1.2所示。服務器j——r服務器屬性I 1自定義組位號代 其他索引位號屬性 實時數據 內存歷史數據圖1.2實時數據庫系統(tǒng)功能數據模型現存實時數據庫系統(tǒng)數據管理模型分析目前現存的一些實時數據庫產品有Wonderware公司的IndustrialSQLServer\AspenTech公司的InfoPlus、HoneyWell公司的UnifomreneepHD、OSI公司的PI等。它們的實時數據庫模型主要采用如下兩類方法來建模。使用關系數據庫的數據模型這種數據模型可以方便地表達復雜的邏輯關系,但是關系數據庫很難支持對數據對象的描述，其查詢和訪問速度也很難滿足高實時性的要求。W6ndersare公司的nldusitralsQLsverer就是這樣的一個實時關系數據庫系統(tǒng)。按照傳統(tǒng)的功能模塊式的數據管理模型這種方式在數據管理上,它根據功能的需要添加相應的數據單元管理模塊,根據需要與其他模塊建立聯系。這種方式使得各種數據單元模塊清晰,在一定程度上方便了擴展。但是,模塊之間關系復雜,同實時數據庫的事務處理的模型很難集成,因而實時數據庫事務的處理實現更加復雜。目前普遍使用的是這種方式。位號映射模型在位號的數據管理模型中,我們采用位號映射的方法來組織管理各種位號數據?；诹鞒坦I(yè)需求的考慮,我們將位號分為4類:源位號、目標位號、虛擬位號、無源位號。這些位號的邏輯關系和存儲結構如圖1.3所示。1.3位號映射結構數據設計根據流程工業(yè)的需求我們首先確定位號屬性、服務器屬性、實時數據中包含的內容等(這里只列出主要的信息項)。參見表1.1-1.3：

表1.1服務器屬性表服務器靜態(tài)屬性和定義描述服務器名稱服務器節(jié)點名服務器PROGID服務器描述接口軟件名稱節(jié)點名稱節(jié)點ID接口軟件類型服務器類型服務器句柄服務器運行狀態(tài)服務器運行狀態(tài)標志服務器的啟動時間當前時間上次更新的時間服務器狀態(tài)服務器名稱，具有唯一性服務器節(jié)點名，具有唯一性服務器PROGID,具有唯一性服務器描述接口軟件名稱，具有唯一性節(jié)點名稱節(jié)點ID1-OPC2-DDE3-otherOPC，DDE,other服務器句柄，具有唯一性服務器運行狀態(tài)服務器運行狀態(tài)標志服務器的啟動時間當前時間上次更新的時間服務器狀態(tài)表1.2位號屬性表項目內容和說明標準屬性使能屬性采集屬性數據處理屬性報警屬性類型屬性數據的工程類型位號的工程類型位號名、位號ID、上下限、位號單位、想成、來源等使能標志采樣頻率等數據處理相關參數哪種情況報警位號類型無、累計、給定、閾值、測量值開關量輸入、開關量輸出等變換、吹風器、合成等表1.3實時數據表項目描述工程量實際值標準量0-1之間的值時間位號數據改變的時間報警類型見位號的報警屬性說明質量碼標志位號的實時數據的可信程度流程工業(yè)大型實時數據庫的數據管理模型設計數據模型總體設計數據管理的總體模型中,按照實時數據庫的標準數據模型的建模方法,劃分數據模塊,在模塊內部按照功能組織數據,而且同一模塊內部的數據具有相同類型的時態(tài)特性,滿足事務處理和調度的需要。數據管理模型總體構成的示意圖如圖1.4所示。

目林效空（靜態(tài)）歷史戮據目標嫩轉；幼態(tài)1圖1.4實時數據庫數據管理分類示意圖不變數裾霞像效據目林效空（靜態(tài)）歷史戮據目標嫩轉；幼態(tài)1圖1.4實時數據庫數據管理分類示意圖不變數裾霞像效據管理區(qū)數據殍出粕據過程數相數據的存儲和多層索引在本實時數據庫中,采用內存實時數據庫的策略。為了滿足數據訪問的實時性,還要設計優(yōu)良的存儲和索引結構,同時使用高效的實現技術。實時數據庫中的位號數據按照表集的方式來組織,除建立位號級的索引外，同時給這些表建立相應的索引,從而形成多級索引的結構。根據實時數據庫的數據活動的分析,數據按照來源和數據類型進行分類,更加適合位號刷新活動和位號數據的存儲。所以可以根據來源和數據類型組織數據表,位號的靜態(tài)數據、實時數據、歷史數據采用相同的索引方式,可以共享同一套索引結構。在該模型中,采用位號的實時數據和靜態(tài)數據分別存儲的方式,將位號的靜態(tài)數據獨立處理可以支持更多的應用,方便擴展,如支持批次管理等。數據備份和恢復技術目前實時數據庫和內存數據庫理論中恢復技術都是基于事務提交方式設計的系統(tǒng)恢復技術,這通常是在強實時系統(tǒng)環(huán)境下的事務管理方式。在流程工業(yè)的實時數據庫系統(tǒng)中,事務是規(guī)定在某個時間長度內的,事務的提交方式不如強實時環(huán)境下的復雜,因而需要提出系統(tǒng)的基于工程數據安全的數據備份和恢復技術。在簡化強實時內存數據庫系統(tǒng)恢復技術后,分析了工程數據安全的需求,采用了一種增量備份和啟動恢復的策略,如圖1.5所示。苗粉數據圖1.5備份示意圖稚聆點操作區(qū)段管理苗粉數據圖1.5備份示意圖稚聆點操作區(qū)段管理實時數據庫 〈:U志文件查詢模型和查詢優(yōu)化這里指的查詢功能體系是指整個實時數據庫系統(tǒng)的查詢。其中查詢可以在幾個部件中進行。首先是實時數據庫核心部件,它提供實時數據庫中所有工程數據包括組態(tài)信息的查詢其次是組態(tài)軟件中的查詢,這里的查詢針對組態(tài)信息的查詢,完全按照關系數據庫的方式來組織，不僅包括各種條件查詢還可進行SQL語句查詢最后是Web服務器中的查詢。本節(jié)研究的重點是實時數據庫核心部分的查詢，在這部分中,查詢任務具有一定的復雜性,而且需要滿足實時性。實時數據庫的事務調度策略及其并發(fā)控制協(xié)議事務調度、并發(fā)訪問控制策略及其實現方法實時數據庫模塊的核心部件是實時事務調度器。實時事務調度器主要解決事務的優(yōu)先級分配策略、超載管理以及并發(fā)事務的沖突處理等,實時事務調度器對多個客戶端和數據采集接口發(fā)來的實時事務請求合理地調度,使盡可能多的實時事務在其截止期內完成。主要有以下幾個模塊:接收、暫存信息模塊。負責接收多個客戶端發(fā)來的請求信息,并將它們暫時存放到一內存緩沖區(qū)一郵箱R中，每個信息成為一個郵件。填寫事務信息模塊。該模塊負責清查、處理內存緩沖區(qū)。實時事務調度模塊。該模塊通過對系統(tǒng)中某時刻所有請求調度的事務進行優(yōu)先級比較、沖突加鎖處理等一系列操作后,最終選擇出本次調度將投入運行的事務。4.優(yōu)先級分配管理模塊。該模塊根據一定的原則對到達系統(tǒng)的事務分配優(yōu)先級,使得系統(tǒng)調度的事務有一定的尺度。并發(fā)控制模塊。避免并發(fā)訪問沖突。模塊之間的關系如圖1.6所示:優(yōu)輪級分配管理模塊實時事用謁度模塊并發(fā)控制模坡事務消息接收模塊消息隊列處理模塊1.6事務調度模塊間的關系優(yōu)輪級分配管理模塊實時事用謁度模塊并發(fā)控制模坡事務消息接收模塊消息隊列處理模塊1.6事務調度模塊間的關系1.3.2流程工業(yè)實時數據庫并發(fā)控制協(xié)議先分析流程工業(yè)實時數據庫中并發(fā)訪問發(fā)生的情況,實時數據庫系統(tǒng)中的事務有客戶端訪問事務、數據采集事務、組態(tài)事務。針對不同的數據這些事務還可細分。并發(fā)訪問示意如圖1.7所示?？蛻舳嗽L問事務客戶端訪問事務圖1.7實時數據庫系統(tǒng)的并發(fā)訪問事務關系歷史數據庫歷史數據庫系統(tǒng)概述DCS歷史數據庫最主要的功能是對歷史數據進行存儲和查詢，它按一定的周期大小對實時數據庫的實時數據進行采集、存儲，以記錄模擬量點和開關量的變化過程。DCS歷史數據最主要的作用是用于操作員站的趨勢查看和數值顯示，對于歷史數據分析，可分為在線形式和離線形式兩種，在線形式主要是對歷史趨勢的分析，而轉儲到光盤或者磁帶的部分則只能采用離線分析形式。DCS歷史數據庫體系結構圖2.1歷史數據庫系統(tǒng)框架圖DCS歷史數據庫系統(tǒng)框架如圖2.1所示，歷史數據庫主要由初始化模塊、數據收集模塊、數據存儲模塊以及數據查詢模塊組成，這些是DCS歷史數據庫的核心功能模塊。歷史數據庫通過API調用從實時數據庫采集實時數據。數據收集模塊：包括模擬量點和開關量的收集。模擬量點收集按照組態(tài)設定好的收集周期對各點依次執(zhí)行收集，并依次存儲到內存緩沖區(qū)中。開關量開始收集時，先從實時庫讀取各個點的初始值，之后等待消息隊列有新消息通知時才從定長消息隊列取出變位信息并轉換成變位結構體存放在開關量的內存緩沖區(qū)。數據存儲模塊：數據存儲模塊在內存緩沖區(qū)的數據收集滿十分鐘或者程序退出時，將內存緩沖區(qū)的數據轉儲為一個相應大小和相同時間段的磁盤文件。它要根據規(guī)則進行一系列操作，包括根據內存緩沖區(qū)的整十分鐘起始時間計算出十分鐘序號并作為文件名、創(chuàng)建文件并按數據文件結構的設計將相關信息從內存復制到文件、文件重名時的處理、存儲完要對所用內存緩沖區(qū)初始化。開關量和模擬量點的存儲分別用一個線程執(zhí)行。數據查詢模塊：根據信息指定的查詢類型、查詢方向、查詢時間長度等判斷是執(zhí)行模擬量點查詢還是開關量查詢，是從內存緩沖區(qū)查詢還是從磁盤文件查詢。并執(zhí)行響應的查詢操作。歷史庫初始化：每次在歷史庫剛開啟時，需要歷史數據庫初始化模塊來負責一些初始化操作，為后面的數據收集、存儲、查詢做好準備。數據收集模擬量點收集方式模擬量點收集時按照工程師站組態(tài)好的固定大小的周期進行收集，用一個以收集周期為計數周期的變量來控制，當該變量能被周期整除時，就對所有模擬量點執(zhí)行收集。收集時，由模擬量點收集線程調用實時庫提供的API接口，依據需要收集的所有點的點號排列順序依次讀取模擬量點的實時值。每個模擬量點只存儲采集值和質量位，總共5字節(jié)。這樣的存儲結構如表2.1所示。表2.1模擬量點歷史數據存儲結構字段名字段類型描述dwValueDWORD采集時刻的值bStatBYTE歷史狀態(tài)開關量點收集方式DCS歷史數據庫對開關量點采用有變才存的策略，即任何一個開關量點，假如它原來是“0”狀態(tài)，那么下一次收集要等到它變成“1”狀態(tài)才收集。DCS歷史數據庫的開關量點變位存儲結構如表2.2所示。其中歷史值包括1bit歷史狀態(tài)，“無效標志位”、“可疑標志位”、“禁止標志位”分別只需1bit，因而每個開關量的歷史數據值只需一個字節(jié)。表2.2開關量點變位結構體字段名字段類型描述iTimetime_t發(fā)生變位的時間shMsshort發(fā)生變位時間的毫秒數shPidunsignedshort發(fā)生變位的開關量點的點號bValueBYTE歷史值數據存儲歷史數據具有一次存儲，多次讀取的特點，設計思想是按日期來命名文件夾，文件夾里存放當天的所有數據文件?，F有的DCS歷史數據庫按整十分鐘來劃分每天的歷史數據，這樣每個十分鐘在當天144個十分鐘里都有自己的序號，以此

序號命名相應的文件。然后在當天文件夾下，創(chuàng)建該文件，最后根據文件結構的設計將內存緩沖區(qū)的數據寫入到文件。長期大量的數據并不影響歷史數據庫的搜索速度，因為增加的數據只是多一個文件夾，而文件夾得名字都是有規(guī)律的，可以根據查詢時間，直接打開對應的文件夾。同時用戶在需要獲取某個時間段的數據文件時能夠快速找到。歷史庫存儲路i/xx年1月1日//歷史庫存儲路i/xx年1月1日//xx年1月2日/xx年2月1日文件夾xx年2月2日數據文件1;DIG143.dat圖2.3歷史數據文件磁盤存儲目錄結構數據查詢在查詢數據時，系統(tǒng)會依次查看內存數據庫、二級緩存區(qū)和磁盤歷史數據庫，數據查詢流程如圖2.4所示，具體步驟為：（1）根據查詢條件遍歷內存數據庫中的實時數據，對內存數據庫中的數據進行篩選判斷，若所查數據都存在于內存數據庫中，則讀取符合條件的數據并返回；（2）進入二級緩存中查詢緩存區(qū)中的歷史數據，若所查數據都在二級緩存區(qū)中，則讀取符合條件的數據并返回；（3）根據查詢記錄點的記錄方式，進入時間索引文件，先按照順序查詢起始時間所在的信息單元，再查詢結束時間所在的信息單元，將所有滿足查詢條件的歷史文件組名記錄；根據歷史文件組名在二級索引文件進一步查詢，先在數據塊文件中查詢滿足符合時間條件的歷史數據塊信息，包括歷史數據塊的起止時間、起始位置；（5）進入對應的信號點索引信息文件，查詢記錄點所在數據塊的歷史數據信息，包括記錄點在對應歷史數據塊中的位置和壓縮后的歷史數據量；（6）根據信號點索引信息文件查詢到符合條件的歷史數據文件，讀取相應的歷史數據和“相對時間”。

下一數據塊圖下一數據塊圖2.4歷史數據查詢流程圖系統(tǒng)測試驗證實時數據庫管理實時數據庫編輯實現實時數據庫的管理，創(chuàng)建、刪除變量，設置、修改變量屬性，包括變量的基本屬性（變量名、讀寫屬性、變量類型、物理描述、工程單位、最大值、最小值、變量轉換系數等）、報警屬性（界限值報警和變化率報警）和數據采集屬性（數據來源、數據設備、寄存器、寄存器類型），其中數據報警

屬性設置報警方式，數據采集屬性設置變量值的來源與輸出。實時數據庫管理界面如圖3.1示。1- . . Iflfll^等*里屬性設置報警方式，數據采集屬性設置變量值的來源與輸出。實時數據庫管理界面如圖3.1示。1- . . Iflfll^等*里??#?敦■:.laiztll!K”1T*WTtiILCFsi,flhf行嗎H?住，l?t?k4：!!*! 9■OMR理“Ml則」.■i>惴■■翌上白■吧舊 .:科 1 =i..1TF4EFriCI：.:<11 ?U￡ii1 FUJ-：■!HIk2"n-iiii?-:"s~in-WLWX1HHiWfgqBld：C■GUI■“■4 iU-J中 E；144r^1」，都|imHF?1；? !?BFW"3i3.il；：lk￡HI-jL1"eL-M>喉&<Th-.-lEK4E>m-1，■看：7LWa;：::■■閨/Eu'■wvrp-^iilwi-一..d-E1Ifcti1 ,慶外上一；早“w<F"；”.-<I%*n?-;h|r<i-jWW『Ifflilr-lSfRI-.h：.----■,--ii，l”嗎i.4 113以i：\-1R^l?a---fal-PE-4KP-B：aKHLE4e<141-UPEH<n-l；-CJLM■bj 怔一!叫j”犀鵬，3M*110■匕 ■%!：?=1ti,2"*叫t.*酎t]X二二E，t：“甲u.IF圖3.1實時數據庫管理界面歷史記錄配置歷史記錄配置軟件界面如圖2.6示，主要包括了窗口標簽、菜單欄、工具欄、導航欄、詳細信息列表顯示區(qū)和狀態(tài)欄等。其中，窗口標簽顯示了當前歷史數據庫的狀態(tài)。導航欄顯示了歷史記錄方式及其分組。詳細信息列表顯示區(qū)以列表形式顯示所有歷史記錄點的詳細信息，包括工作站、TagID、變量名、變量類型、記錄方式等。配置信息中可以設置存儲路徑、添加/刪除記錄點，用來完成歷史數據存儲路徑的設置和記錄點的添加、刪除和查詢功能。

配置信息⑥:存儲踹徑配置(的=*=整度配置信息⑥:存儲踹徑配置(的=*=整度RME制"寶端/翱［3］：■,M同磨密idM：r0出第舶記錄［5~壽命名箱口口1-「：I舉荒期記胤|浦4?金席總相口可i3233440]2m1510611?段投量慳擬量」也忖田植養(yǎng)盅圖3.2歷史記錄配置界面實時監(jiān)控實時歷史數據庫需要長時間穩(wěn)定、在線運行，為組態(tài)軟件的運行提供數據支持，系統(tǒng)每隔1秒從實時數據庫讀取實時數據刷新到組態(tài)畫面上，用戶可以看到記錄點的最新實時數據，實現電站管理、設備管理，查看設備數據、氣象數據。系統(tǒng)運行時候實時數據更新如圖3.3示。:.?二;”g.句運回ljZ=JJ文W舊組㈤GV)上地㈢:二件或城M斯 p-"1，hEKkkP.-n自~日頭的史可心465)n電橫■『為捌C軍擷TO-(32)□五拇-X-￡32)C主換-四-辭公 .口去換-3C3>Q室拉-葉[T>Q底風爵f[-二代)□吹風m-AO-■:加卜■G我區(qū)*-DJ<32J.七qR^ffl-UCi-{32}-G也義科內-4門?收鴻乖-，-心一￡政風iltTA(t>2')G白磁(L)-Al-(-368-c什成：L)-Afl-d電,o號或fl)-I>I-《盟》-cfrS!：1j-DO-(32)-c合或LL)-MA-(17).■■-n吉成(：)-j?-<J7)；，電告情(2)-U-(22fi■-娘]1■■?■H ?!■■■■—■■Bl■■■■口■ne■—，I序號 學將Ml!掖料站氈量電2t 量程上閩 播號哭n 俏號昊生 和蚓_”；-m;用 ?：Bj44＞;a型A5.=S陀. 她煙5把jaos :曲㈤.gja坤a r也過用ihil-sir/融皿ys 葬？慟導T聞帚 t;.：'：^ 巖豈瑰花上" MOFEAmw 4, r *如強 u門抬*醇而酣m |IK TLW榔1!后二部用二十力 wwi-j&ftffli 就如 S ,心照 炳：哮徘:喃皿叼欣 密播33睛I圖蝎 flJWft已粘Mldu 期網HH"端 帆細 曬 期U居 小E郡電察應”石 等唐赤號1爆交 TiJH。,方聲￡同!S3 除掰中32斕? 飄抽 t 制tUE禺M出如 2?市?用工j；=+：-： ei麻《■鄭區(qū)iaq whmMq泳 州^健 、 才屆器11用士毒寫keT血 尋育和m母劇 口■洲|力 受上唱itJ 常tewqow 凱詢h ? 口不事割包場mp二空 赤f西口工二嘶閡 EJ_M煙 時汽/制&巾 加＞:二期＞哨野 演僦 I 削W我 ”也￡毋*柚1「二端m 游ma懵Iri^ffib IftA 蚪*值此4嶙..柳EWE?Hj!更網憂事耐電*I哪閭 IIJW方 上知母￡［Q＜1 WMS^^IliEKi EDLEKfiO t 制tU登R川*』?『電虜出LHHf 空片卡靠用工?2?&二I&H ?&軸沔冷。|工度 第1.隨｝ t ?加拉？?。?:后雨1：融訕1TMi￡ 填件M用I:二「：a 3I.M9泌 電五輻lidnil wwn-'jaaw 血山 上m *如金?川:山考第麻(H1f￡皿0 笠:手懦用工南；駛 力小1除 於3W忡t 階劭一 r ，肛1；號1HE用標國F?二的 ，〒酊司I般陽 口朋心JEU la11 常倒拗a皚！ 作網