基于負載均衡的國土資源調度模型研究

基于負載均衡的國土資源調度模型研究

隨著社會經濟各領域對國土資源數據的需求增加，以及國土資源監(jiān)督管理和技術的不斷提高，對國土資源信息數據的使用形式和效率提出了更高的要求。同時，黑龍江省金土工程進入區(qū)級應用階段，大量業(yè)務數據和二次國土資源調查形成的1.1萬空間數據構成了黑龍江省國土資源信息數據。然而，在使用數據時，存在許多問題，包括數據分布的業(yè)務數據和空間數據。該數據的軟件具有很強的特異性，操作復雜。用戶請求的速度較慢，數據信息無法獲取。最終，形成的大量成果閑置，無法直接參與土地資源管理和其他領域的生產和生活?，F在，問題的方法是每年增加硬件設備的投資。經過研究，作者認為，由于缺乏區(qū)域信息數據的硬件資源，軟件層面沒有形成普遍的系統(tǒng)架構，網絡中的信息數據分布不足，無法系統(tǒng)優(yōu)化物理節(jié)點和業(yè)務應用。黑龍江省國土資源信息數據包括業(yè)務信息、空間信息和大量的過程數據,已經具備大數據概念,國土專網同時具備構建行業(yè)云基礎.因此本研究利用云計算、物聯(lián)網和GIS集成技術,從計算力整合、數據分布式部署、節(jié)點緩存優(yōu)化、負載均衡算法,以及云計算、物聯(lián)網和GIS集成構架等方面進行研究,通過節(jié)點優(yōu)化模型、負載均衡模型和業(yè)務平臺模型共同構成黑龍江國土資源數據高效利用云計算模型.同時利用云計算模型搭建測試平臺,通過壓力測試、性能測試和穩(wěn)定性測試,驗證模型的性能和實用性.達到現有硬件設施不變的情況下,提高信息數據利用效率,創(chuàng)新國土資源數據利用形式.1部署策略及流程節(jié)點優(yōu)化策略模型是指在確定節(jié)點計算力同時,通過部署對應數據資源,達到整體調控用戶訪問量目的.在對黑龍江省國土專網內的硬件資源調研的基礎上,首先對13個地市進行計算力評價,設定節(jié)點層級和數據分布式部署策略.在數據分類的基礎上,設計數據處理流程,通過以計算力權值模型為核心的策略模型構建,達到對用戶請求進行節(jié)點緩存分配的目的.1.1各級單位計算力計算力是指以省廳、各地市國土局、各縣區(qū)國土分局作為基礎單位,對能用于國土資源數據管理計算機硬件計算性能的總和.因此選取CPU頻率、個數、線程、硬盤轉速、容量等14項指標,對全省計算機性能指標進行統(tǒng)計.歸一化后作為確定服務器計算力的基礎依據.各級單位可能擁有多臺服務器,因此各級單位計算力指標為各臺服務器單項指標加和,即式中:i為指標編號,n為擁有服務器臺數.因為各單項指標性能對整體計算力具有聯(lián)動效應,需要全省統(tǒng)一協(xié)同確定各單項指標對計算力影響程度,因此構建權重計算矩陣R后,采用熵權法確定各指標權重,基本模型如下:式中:j為各級單位編碼總數,hi為熵值,wi為指標權重.經過計算得出各項權重,見表1.采用各指標權重與各單位指標和的乘積作為各級單位計算力CPj:依據各級單位計算力結果,將計算力值域平均分為5個等級,得出計算力分布圖如1所示.可以看出黑龍江省國土資源信息計算力存在嚴重的結構性差異,省級計算力尤為突出,占到全省計算力的37%.但所有的服務器都是承擔著與省廳基本一致的數據部署情況.有些區(qū)縣只有一臺低性能服務器同時承載業(yè)務功能和空間數據服務功能,而有的地市、區(qū)縣將業(yè)務服務器和空間數據服務器分開,更有的地市具有自己的小型計算中心.1.2實現四級以上省市數據服務器的部署根據計算力分布及實際情況,首先需要對服務器資源進行分類,即縣級業(yè)務服務器、縣級空間服務器、市級業(yè)務服務器、市級空間服務器、市級數據備份服務器、省級數據備份服務器等6類服務器,并增加設置緩存節(jié)點和邏輯調度服務器.并設定將五級市縣只作為當地數據的業(yè)務數據服務器;在四級以上市縣部署所轄地區(qū)的數據的業(yè)務服務器和空間服務器;在三級以上市縣部署邏輯調度服務器;在二級以上市部署備份所轄地區(qū)數據的市級數據備份服務器;在一級省市計算力設置全省數據的省級數據級備份中心.優(yōu)化后的各級服務器都會在計算力相對充沛的時候承擔所轄地區(qū)的用戶請求,具體拓撲結構如圖2所示.1.3存儲的計算力權數據和用戶請求在節(jié)點間通信過程中,不同的請求,響應數據類型有所不同,進而處理過程中被分配到物理資源也應有所差異.因此將數據分為邏輯業(yè)務數據、邏輯空間數據、非邏輯業(yè)務數據、非邏輯空間數據4類數據.即在各服務器節(jié)點設置邏輯處理方法,判斷并緩存用戶的4類請求,通過優(yōu)化策略模型分發(fā)至相對空閑的服務器.同時采用省、市、縣三級協(xié)同處理數據的方式,達到計算力之和瞬時均等.即當用戶請求任何一個縣、市、或全省的數據,其用戶數據都會得到同等計算力的分配.為達到計算力之和瞬時均等,根據全省計算力分布,計算得出各地瞬時計算力權值.定時將計算力權值發(fā)送給各服務器,供各服務器上的邏輯處理方法調用.根據以上設計,邏輯處理方法形成了不同層級的緩存節(jié)點,緩存節(jié)點根據計算力權值決定是否發(fā)送給調度服務器,最后利用資源調度模型完成對數據請求的處理,并周期性修正計算力權值.具體數據流程如圖3所示.1.4計算力權值模型確定用戶請求根據計算力權值分配節(jié)點內存,如有節(jié)點服務器能夠接收節(jié)點內存,就需要剩余計算力占系統(tǒng)內剩余計算力的比重,以及上一周期該服務器處理數據的效率.同時,邏輯數據可能占據內存的時間較長并可能隨時都會有新請求補充進內存,因此非邏輯數據較多的服務器應有機會分配到更多的用戶請求.因此確定計算力權值模型如下:式中:Wcp為計算力權值,PR為服務器剩余計算力占據系統(tǒng)內總剩余計算力的比重了,Q為上一周期服務器數據處理效率了,S為積壓數據中非邏輯數據的比重.其中,其中,T為周期時間,N為該服務器積壓用戶請求總數,n為上一周期處理用戶請求數,Nnl為該服務器中積壓的非邏輯數據請求數.2基于效率的負載均衡算法確定節(jié)點優(yōu)化策略模型后,就需要對用戶請求進行響應計算、資源分配和通信傳輸,就需要構建資源調度模型進行負載均衡的計算.在調研過程中可以看出,國土資源信息數據利用存在物理節(jié)點較復雜,數據形式及邏輯關系類型多樣,但瞬時訪問量不大.因此需要一種部署方便,能夠快速實現資源調度和分配,并能夠處理多種邏輯關系數據的負載均衡算法.匈牙利算法作為一種用增廣路徑求二分圖最大匹配的算法,可以在多項式時間內解決問題,非常符合黑龍江省國土資源數據高效利用的需求.具有循環(huán)歷遍次數少,指向快速明確,數據邏輯關系容易設置和實現,適用于物理資源相對充足,部署方式需要靈活的網絡構架中.因此選用匈牙利算法作為負載均衡核心算法,并利用Matlab實現其核心算法,并生成com組件部署在邏輯調度服務器,實現對資源的合理調度.2.1負載un設定服務器數量為n;請求任務為m;總請求任務數為M;運行時間定為Tn,即n服務器完成m請求所需要的時間;負載定為Un,即n服務器上完成現有分配請求所需要的時間;網絡延遲定位Dn,即因傳輸介質所造成的時間損耗.設Wnm為第n臺服務器去執(zhí)行第m個請求任務時的綜合權重.Wnm與Wcp權值負相關,Wnm越小表示完成請求任務的條件越好.定義調度變量:基于Wnm構建綜合權重矩陣,并轉換為0-1線性規(guī)劃問題.2.2算法流程具體算法步驟和流程見圖4所示.2.3com組件資源調度模型需要在服務形式在邏輯調度服務器運行.采用C#開發(fā)服務程序,調用基于匈牙利算法的com組件,并接收、歷遍和采集專網內的資源請求和處理信息,提供給匈牙利算法進行計算,再將結果與用戶請求進行耦合,完成資源分配.文本采用MatlabR2010a來編寫資源調度模型,并編譯成com組件.具體核心代碼如下:3saas層和gis的模型構建為整合節(jié)點優(yōu)化策略模型和資源調度模型,需要建立業(yè)務平臺架構模型,通過在IaaS、PaaS、SaaS層分別集成物聯(lián)網技術和GIS二次開發(fā)技術,通過服務的形式,簡單快捷為用戶提供國土資源信息數據獲取和使用的渠道.業(yè)務平臺模型作為云計算模型的重要組成部分,通過改變信息數據利用形式和方法,改善用戶利用數據的體驗和效果,進一步提高其利用效率.同時為測試云計算模型的整體性能提供測試載體.3.1基于云計算模型的金土工程業(yè)務優(yōu)化業(yè)務平臺依托節(jié)點優(yōu)化策略和資源調度模型進行設置.達到功能操作簡單化、操作平臺多元化、信息變更實時化,檢索查詢快捷化等要求.從構架結構和數據流程2個方面開展對現有金土工程業(yè)務系統(tǒng)的優(yōu)化.主要功能則保持穩(wěn)定的基礎上,大幅增加GIS現實和操作的功能,主要實現的功能包括:建設用地審批、地籍變更、現狀地物與監(jiān)察影像對照等.實現云計算模型的同時,使云計算模型能夠開展各項測試.3.2平臺總體架構現有金土工程應用平臺完全采用了B/S結構,沒有考慮到數據分布式利用效率,以及空間數據與業(yè)務數據的邏輯結構和性能特點的不同.為適應整體的云計算模型,根據云計算、物聯(lián)網基本構架思想,按照“分層設計、模塊構建”的思想,規(guī)劃出平臺整體總體架構.平臺總體架構如圖5所示,顯示出了平臺的組成及各組成部分相互之間的關系.在平臺的總體架構中,建設遵從黑龍江省金土工程標準體系,依托信息安全保障體系和國土資源管理體系,在IaaS層集成物聯(lián)網的傳輸層和感知層,在PaaS層集成物聯(lián)網的應用層,利用SaaS層來進行新應用系統(tǒng)的構建和已有系統(tǒng)的集成,借助信息共享平臺實現信息資源的共享,通過信息服務平臺提供各項信息服務.按照平臺總體架構進行系統(tǒng)的規(guī)劃與設計,有利于金土工程升級改造,集成和減少國土相關單位“信息孤島”出現,從而減少集成的難度和投入,最終提升金土工程成體性能.3.3系統(tǒng)流程架構根據系統(tǒng)總體構架,將信息數據流程進行整體設計并優(yōu)化,集成資源調度模型和節(jié)點優(yōu)化模型,實現系統(tǒng)的穩(wěn)定安全運行,以及各終端設備的高效無縫鏈接,具體流程架構如圖6所示.3.4s架構平臺的開發(fā)根據模型設計并實現建設用地審批、地籍變更、現狀地物與監(jiān)察影像對照等業(yè)務功能,并且保證能在多平臺上執(zhí)行測試頁面.功能實現通過C#語言對ArcGIS平臺進行二次開發(fā),通過ArcGISServer和AppLogic設置地圖和業(yè)務服務器提供發(fā)布數據所需的硬件環(huán)境;通過ArcGISOnline和ArcGISWebMappingAPI在PaaS層部署開發(fā)所需的API;ArcGISSever發(fā)布空間數據資源并調用響應的API實現以上功能.證明本研究所構成的模型體系能夠解決黑龍江省國土資源信息化建設中所面臨的突出問題,并能提供云計算所需的測試界面.應用如圖7所示.4測試實驗和結果為了測試多用戶請求同時訪問土資源數據高效利用云計算模型時性能和極限指標,需要對模型進行負載測試,從而對模型的各項性能給出量化分析.因此,根據國土部門日常工作特點,選擇建設用地審批用例模擬和代替日常審批工作,采用地籍變更用例模擬和代替矢量數據操作工作,采用現狀地物與監(jiān)察影像對照用例模擬和代替空間數據查詢和影像數據瀏覽、對比和切換工作.本測試通過一臺IBM筆記本,主頻2.4GHz,內存4GB,采用windows7ultimatesp1x64操作系統(tǒng),部署LoadRunner11.0作為測試環(huán)境.測試方案為設定測試時間為6h,模擬一天國土業(yè)務工作工作時間;擬定逐步增加虛擬用戶數量到3000,前10min增加至2000.迭代次數設為10,即隨機選取測試案例循環(huán)10次.測試過程中,運行虛擬用戶的最大數目:2143;總吞吐量(Byte):25697503649;平均吞吐量(Byte/s):1189699.運行事務總數:21773356;事務執(zhí)行速率1008個/s;錯誤總數:379.用戶數達到2000之前錯誤數為8,用戶數達到2000之后錯誤數逐漸增多,可以確定同時并發(fā)用戶數達到2000時,本模型可正確運行.采用同樣硬件環(huán)境測試金土工程,案例采用建設用地審批、矢量數據操作,以及遙感影像瀏覽.測試10min,增加用戶至104個,無迭代,事務運行總數20464,錯誤總數:572.用戶數量達到63時出現8個錯誤.根據測試結果可以看出,所構建的模型相對現有金土工程系統(tǒng)性能優(yōu)勢比較明顯,并發(fā)能力大,響應時間短,錯誤率低,同時穩(wěn)定性高.同時響應時間、硬件利用率和整體性能也都大幅提高,解決了系統(tǒng)運行效率和穩(wěn)定性問題.根據黑龍江省金土工程用戶數量和業(yè)務種類,基本可以滿足要求.5研究結論與建議本研究根據黑龍江省國土資源信息化發(fā)展中所遇到的各種問題,結合現有基礎設施情況,采用云計算、物聯(lián)網和GIS相集成的理念,設計并研發(fā)了由節(jié)點優(yōu)化模型、資源調度模型、業(yè)務平臺構架模型等組成的國土資源數據高效利用云計算模型,構建了各層級結構和流程框圖.同時在黑龍江工程學院云計算及大數據技術實驗室經行模擬了黑龍江省國土資源硬件環(huán)境,并整體測試和驗證了本研究的可行性結果證明,本模型不僅提高了國土資源基礎物理環(huán)境的整體性能,增加了穩(wěn)定性,并且拓展了使用方式和應用模式.根據本研究成果,建議黑龍江省國土資源信息化建設中可首先依托省國土廳、哈爾濱市國土資源局和大慶市國土資源局,首先建立資源調度服務器和數據備份中心;再在各省市縣金土工程服務器中設置節(jié)點策略優(yōu)化軟件,建立節(jié)點緩存層,并與調度服務器實現數據交換;接著逐步在省市縣三級完善地圖服務器的配置,上級計算力充裕的地區(qū)要為