某電視臺智能監(jiān)管平臺設計

某電視臺智能監(jiān)管平臺設計本文所設計的智能監(jiān)管平臺在數(shù)據(jù)備份過程中具有較高的安全性、統(tǒng)一性及整體性，還能夠恢復數(shù)據(jù)。在分配資源過程中具有優(yōu)先級，并且實現(xiàn)數(shù)據(jù)恢復操作。和傳統(tǒng)系統(tǒng)對比，基于Hadoop技術(shù)的智能監(jiān)管平臺具有較高的效率及安全性。1.2研究現(xiàn)狀在我國社會不斷發(fā)展的過程中，企業(yè)數(shù)據(jù)量也在不斷的提高，以此現(xiàn)代企業(yè)對于海量數(shù)據(jù)的存儲及處理也越來越重視。目前，國內(nèi)外研究人員對Hadoop云計算平臺備受重視，此技術(shù)被廣泛應用到網(wǎng)絡領域中。已經(jīng)有公司內(nèi)部已經(jīng)創(chuàng)建了一萬節(jié)點以上規(guī)模的Hadoop集群對產(chǎn)品使用進行支持，比如廣告優(yōu)化選擇、反垃圾郵件系統(tǒng)、大數(shù)據(jù)處理、搜索排名等。目前，Yahoo還在深度研究Hadoop。Facebook屬于世界較為著名的社交網(wǎng)站之一，其中的數(shù)據(jù)處理量及存儲量較大，每天要添加TB以上壓縮之后的數(shù)據(jù)并且掃描，以此對于高性能云平臺使用尤為重要。Hadoop能夠有效滿足Facebook高性能的需求，其被Facebook應用到數(shù)據(jù)倉儲、日志處理及推薦系統(tǒng)中。國外各個科研院所也逐漸重視Hadoop的研究，越來越多的高校都逐漸加入到Hadoop的研究中，比如康奈爾大學、加州大學等。Hadoop也被廣泛應用到國內(nèi)公司中，比如百度，其提供社區(qū)搜索和百度百科等搜素引擎作為基礎的產(chǎn)品，要指定時間中實現(xiàn)數(shù)據(jù)線下分析和處理，并且到平臺進行反饋，要求云計算平臺具有良好的性能，從而實現(xiàn)處理。Hadoop應用到百度中的主要目的就是存儲日志并且對其統(tǒng)計，將網(wǎng)頁中的數(shù)據(jù)充分挖掘，并且實現(xiàn)數(shù)據(jù)在線反饋和用戶的網(wǎng)頁聚類。利用1100臺機器創(chuàng)建淘寶Hadoop，總存儲量位9.3PB，云技術(shù)團隊能夠優(yōu)化Hadoop，并且實現(xiàn)個性化修改。在學術(shù)研究方面，我國部分高校及科研所也開始研究Hadoop，主要內(nèi)容為存儲數(shù)據(jù)、優(yōu)化性能、作業(yè)調(diào)度、系統(tǒng)安全性及資源管理等。中科院研究人員分析了HDFS數(shù)據(jù)容災及小文件問題，并且制定了將糾刪碼作為基礎的解決對策。華北電力大學研究人員將智能電網(wǎng)狀態(tài)監(jiān)測數(shù)據(jù)特征為基礎，設計并實現(xiàn)了基于Hadoop平臺數(shù)據(jù)存儲系統(tǒng)的設計。二是分析數(shù)據(jù)管理平臺的系統(tǒng)需求，以安全快速為目標，能夠提供數(shù)據(jù)的安全檢索等功能。三是分析數(shù)據(jù)處理過程中的異常情況并且和原來老的系統(tǒng)進行比較，觀察性能和效率是否得到提高。1.4研究內(nèi)容本文以某電視臺需求發(fā)展趨勢，提出了以Hadoop分布式技術(shù)的智能監(jiān)管平臺，本文主要研究內(nèi)容為： 第一章，對本文的研究背景及研究現(xiàn)狀進行分析，總結(jié)國內(nèi)外相關工作； 第二章，對系統(tǒng)設計的關鍵技術(shù)進行分析； 第三章，對系統(tǒng)設計的非功能性及功能性需求進行分析； 第四章，詳細分析系統(tǒng)設計，包括硬件及模塊的設計； 第五章，對設計的系統(tǒng)進行實現(xiàn)和測試； 第六章，對本論文進行總結(jié)?？煽啃裕篐adoop是根據(jù)位實現(xiàn)數(shù)據(jù)存儲，其數(shù)據(jù)處理能力能夠滿足人們需求。高效性：Hadoop可在不同節(jié)點中實現(xiàn)數(shù)據(jù)狀態(tài)轉(zhuǎn)移，計算速度相較于其他計算方式而言更快。容錯性：Hadoop可完成多副本數(shù)據(jù)的保存，對失敗任務可完成重新分配。2.2HDFS文件操作Hadoop分布式文件系統(tǒng)（HDFS）屬于Hadoop核心內(nèi)容，其不同于普通的文件，為專門在MapReduce此種框架中大規(guī)模分布式的數(shù)據(jù)處理所設計，能夠使大數(shù)據(jù)集成為單一文件進行存儲。Hadoop還能夠?qū)υ诙嗯_機器中所分布的數(shù)據(jù)副本進行管理，從而使編程人員不再對其他細節(jié)像對單一文件編程進行考慮。HDFS具備容錯性等特點，能夠在低廉硬件中部署，使用Mater/Slave架構(gòu)，其中一個HDFS集群主要包括兩個節(jié)點，分別為節(jié)點和節(jié)點，節(jié)點屬主控制服務器范疇，主要功能是實現(xiàn)文件系統(tǒng)的管理和維護，以及對訪問文件進行協(xié)調(diào)。DataNode節(jié)點主要目的就是實現(xiàn)實際數(shù)據(jù)的存儲，對客戶讀寫請求進行處理，根據(jù)NameNode命令實現(xiàn)數(shù)據(jù)塊創(chuàng)建、刪除及復制等操作。利用HDFS還能夠?qū)ξ募芾恚话愕牟僮靼夸洝⑽募奶砑?，文件的刪除及獲取等。此操作具備相應命令行命令，還具有專門提供編程的JavaAPI。Hadoop文件API利用抽象類FlieSytem實現(xiàn)文件系統(tǒng)交互，利用其中的各種子類對HDFS及本地文件系統(tǒng)進行分別處理。在一般系統(tǒng)中，HDFS主要是應用到視頻文件存儲及處理所生成臨時文件中，文件一般以64MB劃分成為多個數(shù)據(jù)塊，所有數(shù)據(jù)塊都能夠在不同DataNode中存儲。2.3HDFS身份認證技術(shù)HDFS文件系統(tǒng)在全新Hadoop集群中缺乏用戶，整體的HDFS文件系統(tǒng)中只有根目錄“/”。在Hadoop超級用戶對HDFS上傳文件的時候，HDFS就會自動在根目錄中創(chuàng)建文件夾，并且在文件夾中再創(chuàng)建將此超級用戶名字進行命名的文件夾。假如超級用戶的名字是uperuer，那么HDFS就會創(chuàng)建/uer/uperuer文件夾，uperuer超級用戶中的傳輸文件存儲到此文件夾中。在最新用戶對HDFS文件系統(tǒng)使用的時候，超級用戶就會為新用戶在HDFS中創(chuàng)建用戶身份。在此過程中的操作一共有兩個：超級用戶要實現(xiàn)在/uer目錄中，并且創(chuàng)建于新用戶用戶名一樣的文件夾，之后將此文件夾所有權(quán)對此新用戶轉(zhuǎn)移，實現(xiàn)權(quán)限的設置。以此，超級就在HDFS中創(chuàng)建了用戶，用戶所上傳的文件都會在相應目錄中存儲，用戶對于文件夾具有全部權(quán)限，其能夠在此文件夾中實現(xiàn)文件夾及文件的創(chuàng)建。在默認的事后，Hadoop利用客戶端操作系統(tǒng)得到客戶端的用戶身份。但是由于其他用戶都是在遠程系統(tǒng)中，遠程客戶端通過自己名義創(chuàng)建同名賬戶，以此對HDFS進行訪問。那么此身份認證模式就能夠應用到合作團隊中，但是還不能夠應用到互聯(lián)網(wǎng)中。雖然Hadoop中存在認證機制，但是其無法對MapReduce進行計算，并且其中沒有KDC，也就是密鑰分配中心，所以要求額外配置及安裝，使用不方便。在利用FileSytem類中方法對HDFS數(shù)據(jù)讀取訪問的過程中要先得到FileSytem實例。方法中uer變量指的是得到FileSytem實例用戶uer。所以，能夠利用自定義方法認證用戶uer身份認證，之后利用上述靜態(tài)方法，使此合法用戶能夠得到自身FilSytem實例，以此具有足夠權(quán)限對HDFS實現(xiàn)文件操作訪問。2.4MapReduce介紹圖2-1是一種常見的編程模型，應用于數(shù)據(jù)集計算中。即概念“Map（映射）"和“Reduce（歸約）“，主要思想是基于函數(shù)編程語言發(fā)展而原來的，為編程人員在對分布式并行編程語言和編程方式不熟悉的情況下提供了有效的開發(fā)工具，將開發(fā)者設計的程序在分布式系統(tǒng)中予以應用。當前軟件通過制定Map函數(shù)并將一組鍵值對映射為新的鍵值對，通過指定并發(fā)Reduce函數(shù)來保證所有映射鍵值對共享相同鍵組。下圖為基本原理。是一種面向大數(shù)據(jù)的并行處理計算模型，其含義包含如下三個方面：1.是一個基于集群高性能的計算平臺(CluterInfratructure)。準許應用上次阿紅腫商務服務器構(gòu)成的并行計算集群。是一個運行軟件框架，具有自動化計算任務處理功能，自動劃分計算數(shù)據(jù)以及計算任務，在集群節(jié)點中完成任務的分配和計算結(jié)果的自動收集，將數(shù)據(jù)并行計算中涉及的很多復雜細節(jié)傳遞到系統(tǒng)主控模塊進行處理，因此這種處理方式在很大程度上降低了開發(fā)人員的工作強度。3.時一種函數(shù)式程序設計思想，提供了一種簡單的程序設計算法，利用兩個編程函數(shù)來實現(xiàn)對應的復雜計算任務，相對簡單、高效的完成大規(guī)模數(shù)據(jù)的編程以及處理提供下述主要功能：1.數(shù)據(jù)劃分和計算任務調(diào)度：系統(tǒng)將待處理大數(shù)據(jù)進行劃分，得到不同的數(shù)據(jù)塊，分別對應一個計算任務，同時通過對系統(tǒng)計算節(jié)點的調(diào)度來完成相應數(shù)據(jù)塊的處理工作，作業(yè)和任務調(diào)度主要實現(xiàn)分配和調(diào)度計算節(jié)點，除此之外也要完成不同節(jié)點運行狀態(tài)的監(jiān)控。2.數(shù)據(jù)/代碼互定位：為了盡可能減少數(shù)據(jù)通信，要滿足本地化數(shù)據(jù)處理原則，即對于一個計算節(jié)點而言要完后曾本地磁盤上分布數(shù)據(jù)的計算和處理，當不能滿足本地化數(shù)據(jù)處理原則時，可通過尋找其他節(jié)點將數(shù)據(jù)從網(wǎng)絡傳輸?shù)皆摴?jié)點，但應盡可能從本地機架上尋找可用節(jié)點，降低網(wǎng)絡通信延遲時間，提升系統(tǒng)響應效率。4.出錯檢測和恢復：利用商用服務器所構(gòu)成大規(guī)模計算集群中，節(jié)點硬件出錯可能性較大，因此對于而言需要檢測并完成出錯節(jié)點的隔離，調(diào)度并分配新的節(jié)點，完成出錯節(jié)點計算任務的執(zhí)行。除此之外，系統(tǒng)配備有備份冗余機制提升了數(shù)據(jù)儲存過程的可靠性，可完成出錯數(shù)據(jù)信息的及時檢測和恢復。2.5Hive數(shù)據(jù)庫工具是基于中的一個數(shù)據(jù)庫倉庫工具，可將結(jié)構(gòu)化數(shù)據(jù)文件映射為數(shù)據(jù)庫并，同時提供數(shù)據(jù)庫查詢功能，實現(xiàn)ql語句和任務的相互轉(zhuǎn)換運行，該工具的優(yōu)點為低成本，可通過這數(shù)據(jù)庫語言實現(xiàn)對的統(tǒng)計，因此無需開發(fā)專用工具，適合實現(xiàn)數(shù)據(jù)庫統(tǒng)計分析，是基于所構(gòu)建的技術(shù)構(gòu)建，提供一系列工具，可用來完成數(shù)據(jù)提取和轉(zhuǎn)化加載，可儲存、查詢和分析大規(guī)模數(shù)據(jù)。對簡單類的SQL查詢語言進行了定義，可將其稱之為，準許用戶實現(xiàn)數(shù)據(jù)查詢。除此之外，語言準許熟悉的開發(fā)者開發(fā)和來處理內(nèi)建和不能完成的復雜分析工作，未建立專門數(shù)據(jù)格式，可在Thrift之上工作，完成分隔符控制，準許用戶使用指定格式的數(shù)據(jù)。為一種低層封裝有的數(shù)據(jù)倉庫處理工具，利用不同的數(shù)據(jù)庫語言瓦城數(shù)據(jù)查詢，所有數(shù)據(jù)均儲存于所兼容的文件系統(tǒng)之中。在完成數(shù)據(jù)加載過程中不會對數(shù)據(jù)進行修改，僅將數(shù)據(jù)移動至HDFS中目錄之下，由此可知，不支持數(shù)據(jù)添加以及改寫，所有數(shù)據(jù)均在加載時確定，設計特點如下。支持創(chuàng)建索引，可實現(xiàn)數(shù)據(jù)查詢的優(yōu)化。具備不同的儲存類型，包含文本文件、中的文件。將元數(shù)據(jù)保存于關系數(shù)據(jù)庫中，因此減少了數(shù)據(jù)查詢時執(zhí)行語義檢查的時間?？梢允褂脙Υ嬗谖募到y(tǒng)中的所有數(shù)據(jù)信息。內(nèi)置用戶函數(shù)以及數(shù)據(jù)挖掘工具，支持用戶擴展函數(shù)實現(xiàn)其他操作。是一種高性能、可伸縮的分布式儲存系統(tǒng)，利用技術(shù)科在中完后曾結(jié)構(gòu)化儲存集群的搭建。與等商用產(chǎn)品相較而言，是的代碼為開源，與利用GFS作為文件儲存系統(tǒng)相類似，利用作為文件存儲系統(tǒng)；運行來對中產(chǎn)生的數(shù)據(jù)信息進行處理，同樣也通過來處理中中所產(chǎn)僧的數(shù)據(jù)信息；利用作為協(xié)同服務，相應的利用作為協(xié)同服務。［1］上圖描述中不同層系統(tǒng)。其中，位于結(jié)構(gòu)化存儲層，為提供儲存技術(shù)支持，為提供高性能的數(shù)據(jù)處理和數(shù)據(jù)計算能力，而了為提供穩(wěn)定服務以及機制。圖2-2不僅如此為提供有高層語言支持，因而在上完成數(shù)據(jù)統(tǒng)計和處理過程十分簡單。為提供數(shù)據(jù)導入功能，實現(xiàn)過程更為簡單，也使傳統(tǒng)數(shù)據(jù)庫和中實現(xiàn)數(shù)據(jù)遷移更為方便快捷。第三章計算機網(wǎng)絡安全管理系統(tǒng)需求分析圖3-13.1項目概述傳統(tǒng)播控中心通常采用豎井式技術(shù)架構(gòu)，其彈性和擴展性差，無法根據(jù)需要進行計算、存儲等資源的靈活、動態(tài)分配，對媒體融合背景下播出業(yè)務的發(fā)展形成了制約。如何實現(xiàn)由傳統(tǒng)電視業(yè)務向融合媒體業(yè)務轉(zhuǎn)型是電視臺面臨的一個新的挑戰(zhàn)，圖3-1為已建成的某廣電總臺播出分發(fā)平臺項目，以前電視臺業(yè)務只有其中四樓傳統(tǒng)頻道播出系統(tǒng)一小部分，高清化改造以后技術(shù)部門對于整個系統(tǒng)進行了重新的架構(gòu)，重新搭建了內(nèi)容服務平臺、智能監(jiān)管平臺、五樓高標清一體化播出系統(tǒng)等，江蘇廣電總臺播出分發(fā)項目為面向全媒體、可擴展、云架構(gòu)為基礎，率先采用SDVN（軟件定義視頻網(wǎng)絡）技術(shù)，引入IP矩陣來建立傳統(tǒng)基帶+IP總控傳輸分發(fā)平臺； 并且在平臺搭建過程中充分利用大數(shù)據(jù)技術(shù)實現(xiàn)了流程可視化以及智能監(jiān)管。本文現(xiàn)就智能監(jiān)管平臺這部分展開討論。以前電視臺的網(wǎng)絡傳統(tǒng)數(shù)據(jù)備份都是通過本機存儲介質(zhì)或者單一化的存儲服務器實現(xiàn)的，導致網(wǎng)絡出現(xiàn)部分安全隱患，如果網(wǎng)絡中的存儲介質(zhì)或者服務器被破壞，那么所備份數(shù)據(jù)就會失效。另外，對電視臺此種大規(guī)模數(shù)據(jù)來說，使用單一服務器及存儲介質(zhì)方式，對存儲介質(zhì)容量都是嚴峻考驗。圖3-2所以，本文就以現(xiàn)代主流需求發(fā)展趨勢提出了基于Hadoop的網(wǎng)絡智能安全監(jiān)管平臺。此系統(tǒng)基于多級網(wǎng)絡安全管理系統(tǒng)模型中添加了數(shù)據(jù)存儲中心，利用Hadoop實現(xiàn)。圖3-2此數(shù)據(jù)存儲中心能夠?qū)Χ喟踩芾碛驍?shù)據(jù)進行存儲，對級聯(lián)安管數(shù)據(jù)可用性及一致性進行了保證。另外，此系統(tǒng)任務調(diào)度是使用改進之后的Hadoop集群公平調(diào)度算法，對一級安管的最高級別安管任務優(yōu)先級進行保證。通過集群并行計算能力，對全部提交作業(yè)完成的速度進行保證。3.2系統(tǒng)的需求分析3.2.1系統(tǒng)的主要功能需求（1）管理人員。管理人員通過后臺模塊，實現(xiàn)設備的監(jiān)控及管理、檢索視頻。其主要功能為:對設備和應用進行監(jiān)控。設置監(jiān)控設備接入系統(tǒng)，管理人員手動操作，實現(xiàn)設備的實時監(jiān)控及視頻分析，在監(jiān)測預警內(nèi)容的時候，就會自動報警。圖3-3系統(tǒng)管理員用例圖（2）身份認證。圖3-3實現(xiàn)用戶注冊和登錄，在視頻文件管理中，要求為管理人員提供特殊權(quán)限，具備管理權(quán)限用戶在登錄之后才能夠到HDFS中上傳視頻。在視頻檢索中，由于視頻檢索操作并不會影響到系統(tǒng)，以此設置低權(quán)限用戶登錄實現(xiàn)檢索。（3）文件查看及管理。如果用戶具有管理員權(quán)限，能夠?qū)崿F(xiàn)Hadoop分布式文件系統(tǒng)的管理，比如上傳全新視頻文件，對HDFS文件目錄查看等。此模塊能夠提供視頻數(shù)據(jù)處理基本的存儲服務，也是Hadoop框架中的主要核心內(nèi)容。（4）能夠快速部署虛擬機終端。為了結(jié)合部門的實際工作需求，電視業(yè)務要保證24小時不間斷，所以必須能夠快速部署虛擬機終端，方便維護和管理。圖3-4為虛擬機軟件界面。圖3-4虛擬機遠程管理圖3.2.2系統(tǒng)的非功能性需求系統(tǒng)在對以上功能需求滿足以后，并不表示實際業(yè)務需求全部滿足，要基于性能、安全性、可維護性及可擴展性全面考慮實現(xiàn)系統(tǒng)的方案，也就是非功能性需求。其設計的范圍交廣，結(jié)合智能預警系統(tǒng)，對系統(tǒng)可靠性、易用性、安全性進行考慮。系統(tǒng)性能：性能關系著系統(tǒng)的處理速度，具有較多的衡量標準，比如系統(tǒng)并發(fā)數(shù)、響應時間、資源使用率等，要基于此方面考慮系統(tǒng)的設計。由用戶參與的操作時間不能夠太長，包括系統(tǒng)移動端操作，等待時間在三秒一下。Hadoop集群分布式存儲數(shù)據(jù)要保證各個階段中的均衡存儲，從而提高資源的使用率?？煽啃裕嚎煽啃跃褪窍到y(tǒng)在出現(xiàn)異常的時候，降低系統(tǒng)的損失。其主要判斷指標包括恢復能力、異常能力及容錯能力。易用性：其是將應用角度為基礎，對用戶在使用過程中的難易程度進行考慮。比如易看、易用及易學等。總體來說，就是要求系統(tǒng)操作簡單，重點突出，方便用戶快速的尋找信息及操作。本文所設計系統(tǒng)界面較為簡單，將重要的操作及信息突出，操作習慣滿足一般管理，用戶容易上手操作。安全性：安全性是指系統(tǒng)數(shù)據(jù)的安全性，在驗證數(shù)據(jù)訪問需求以后實現(xiàn)，在沒有應用功能的時候訪問用戶數(shù)據(jù)。一般系統(tǒng)就是通過數(shù)據(jù)庫服務管理業(yè)務數(shù)據(jù)，包括非關系數(shù)據(jù)及關系數(shù)據(jù)庫，以此能夠降低通過另外方式訪問數(shù)據(jù)庫的幾率，保證數(shù)據(jù)的安全性。（a）計算機網(wǎng)絡安全管理系統(tǒng)的結(jié)構(gòu)（b）計算機網(wǎng)絡安全管理系統(tǒng)的軟件流程圖4-1計算機網(wǎng)絡安全管理系統(tǒng)通過圖4-1表示，系統(tǒng)是將Hadoop分布式文件系統(tǒng)作為基礎，和云存儲的用戶操作及訪問客戶端平臺相互結(jié)合，用戶在使用過程中不需要對磁盤中文件數(shù)據(jù)的存儲進行掌握和了解。4.2系統(tǒng)的硬件結(jié)構(gòu)設計計算機網(wǎng)絡安全管理系統(tǒng)硬件主要包括智能分析儀、中心服務器、視頻監(jiān)控攝像頭、管理端PC機、Android移動端、計算集群。通過層次劃分硬件接口，使其成為數(shù)據(jù)應用層、采集分析層及存儲加工層。圖4-2為系統(tǒng)的硬件結(jié)構(gòu)。數(shù)據(jù)應用層是基于系統(tǒng)用戶的，主要包括PC管理端及Android移動端。PC端能夠和監(jiān)控設備進行接入，還能夠?qū)崿F(xiàn)設防及登錄，錄像相應數(shù)據(jù)，檢索上傳的圖片。移動端會定期接收服務器發(fā)送的信息及短信，實現(xiàn)預警視頻的播放，對監(jiān)控實時的查看。4.3系統(tǒng)的功能模塊設計4.3.1通信模塊通信模塊為安全管理系統(tǒng)神經(jīng)，安全設備通過此模塊能夠?qū)Ψ掌魃蠄笫录盃顟B(tài)。在通信設備設計的過程中，要滿足以下需求：首先，對固定端口進行實時監(jiān)控，對安全設備上報的相應安全信息進行接收；其次，實現(xiàn)多通信協(xié)議的兼容；然后，使級聯(lián)關系網(wǎng)絡安全管理系統(tǒng)相互通信；最后，及時將相應管理信息發(fā)送到安全設備中。為了使上述需求得到滿足，要對各種通信協(xié)議完成封裝，因此全部協(xié)議通過ICE進行實現(xiàn)，下圖為模塊構(gòu)成。圖4-3通信模塊的構(gòu)成該模塊為事件模塊，安全設備可上報為安全狀態(tài)及事件。設備管理模塊能夠?qū)崿F(xiàn)管理命令的下發(fā)，每種操作都具備操作及控制反饋結(jié)構(gòu)，方便管理人員或者程序判斷，開始接下來的操作。通信模塊不僅能夠封裝底層通信細節(jié)，還能夠封裝不同通信協(xié)議。要充分對使用過程中的便捷性進行考慮，在對通信模塊進行設計時可通過面向?qū)ο蟮姆绞綄崿F(xiàn)通信模塊功能，因此系統(tǒng)使用者無需考慮細節(jié)部分，只要根據(jù)約定對面向?qū)ο蠼涌谑褂镁托?。為了方便擴展，通信模塊能夠?qū)δK封裝。通信模塊可提供程序綁定端口、注冊處理例程等功能。通過通信模塊完成客戶端程序創(chuàng)建，發(fā)送業(yè)務請求信息，可實現(xiàn)業(yè)務處理結(jié)果的接收等功能。圖4-4為通信模塊的功能。圖4-4通信模塊的功能4.3.2設備管理模塊本文中網(wǎng)絡安全管理系統(tǒng)操作都是將安全管理設備作為基礎，圖4-5如何實現(xiàn)高兼容性，完善功能并且簡單管理的安全設備管理模塊具有重要的作用。本文系統(tǒng)管理中的安全設備包括主流市場中的安全設備種類，主要類別為：補丁管理類、防火墻類、防病毒類、入侵檢測類、漏洞掃描類、接入認證類、一體化防護、網(wǎng)閘類、主機安全管理監(jiān)控類及數(shù)據(jù)備份類?；景踩O備管理模塊的操作都是將設備的刪除及添加為基礎，結(jié)合設備管理信息及策略完成使用資源配置，除系統(tǒng)確定接口的安全設備、下級可信設備、安全主機和未知設備管理都是設備管理。圖4-54.3.3事件處理模塊時間處理模塊指的是為用戶帶來體驗的模塊，基于通信模塊劃分成為事件預處理、事件入庫及頁面展現(xiàn)三部分。事件收集包括兩種，一種為主動上報安全設備，即安全設備管理事件，其二為對服務器評估后出現(xiàn)的，包含設備離線或異常，利用服務器進行判斷。在完成安全管理模塊設計過程中，主要包括十種安全設備，和網(wǎng)絡安管系統(tǒng)自身事件相互結(jié)合，一共具有十一種事件。在所有事件中，根據(jù)事件的內(nèi)容又劃分成為風險事件、管理日志事件、登錄事件、設備離線或者異常事件、策略違規(guī)及空策略事件及設備基本信息/實時信息事件。但是，通過事件所收集的信息并不一定都是能用的，要進行判斷，將不可用的信息剔除。事件處理流程在最高級別安全服務器中還添加了事件格式轉(zhuǎn)換的部分，將所有上報事件利用一定格式到本地文件中上報，到hadoop集群中定時的上傳。圖4-6為具體處理流程。4.3.4安全評估模塊安全評估模塊以安全系統(tǒng)整體為核心，以此能夠?qū)Υ讼到y(tǒng)的安全性進行判斷。本系統(tǒng)通過定性和定量分析相結(jié)合的方法，將系統(tǒng)中的安全設備相互結(jié)合，利用此種規(guī)則網(wǎng)絡情況。局域網(wǎng)中的安全事件是利用此系統(tǒng)對原始數(shù)據(jù)檢查的基礎，包括登錄、管理、狀態(tài)等事件。利用通信中間件ICE，服務器都能夠得到其中的安全事件。該系統(tǒng)利用事件完成網(wǎng)絡狀況分析并得到相應結(jié)果，將結(jié)果呈現(xiàn)于客戶。安全評估要對設備運行情況、是否部署設備、安全事件信息和其他不安全因素進行判斷，圖4-7為安全評估的內(nèi)容。圖4-7安全評估的內(nèi)容但是在設計的過程中要充分考慮，有可能不被程序控制，要人工進行實現(xiàn)。所以安全評估主要包括人工檢查及程序檢查。利用服務器或者管理人員發(fā)起安全評估，通過hadoop中的map/reduce能夠?qū)踩u估的流程進行實現(xiàn)，在級聯(lián)安全管理中，通過對hadoop調(diào)度算法予以改進，將最安全評估任務充分展現(xiàn)，為本文系統(tǒng)設計的重點。此系統(tǒng)中的安全評估特點包含下述方面： 其一，計算量大，利用傳統(tǒng)業(yè)務處理方式要花費十分鐘以上的計算時間； 其二，大部分都是定時發(fā)送的，一般是在每天下午五點實現(xiàn)日安全檢查，每周周五下午六點實現(xiàn)周安全評估，每月的28號晚上八點實現(xiàn)月安全評估等； 其三，在完成計算之后，使結(jié)果對管理員進行呈現(xiàn)就行，不需要實時的展現(xiàn)； 其四，在對最高級網(wǎng)絡安全管理系統(tǒng)進行安全檢查的過程中，大部分都包括級聯(lián)關系幾倍安全檢查，由于最高級系統(tǒng)結(jié)果要求低級聯(lián)關系系統(tǒng)進行管理，并基于此對下級系統(tǒng)進行分析。綜合上述結(jié)果可知，該系統(tǒng)通過利用改進后的調(diào)度算法，在系統(tǒng)中基于不同用戶來劃分提交作業(yè)的級別。若用戶提交作業(yè)級別較多，則相應會降低二級、三級用戶級別。也就是這個時候要對作業(yè)優(yōu)先級明確指定，從而代表作業(yè)重要程度。基于此，要想使最高級別作業(yè)執(zhí)行時，同級別以及低級別在完成作業(yè)提交后不占用資源，對高級別作業(yè)獨占集群資源就能保證。在低級別作業(yè)運行的過程中，提交高級別作業(yè)之后才能夠搶占資源，從而保證高級別作業(yè)隨時隨地都能夠快速響應。公平調(diào)度器屬于實現(xiàn)Hadoop集群資源共享的任務調(diào)度器，其不僅具備支持缺額調(diào)度、層次調(diào)度的功能，同時可實現(xiàn)資源搶占和作業(yè)調(diào)度策略，隊列的不同，能夠支持FIFO及公平調(diào)度兩種不同的調(diào)度方式，且作業(yè)優(yōu)先級的改變只能完成作業(yè)調(diào)度的控制。若利用現(xiàn)代公平調(diào)度算法，即使為高級別作業(yè)也會被搶占，此時那么就會使高級別作業(yè)進度導致拖延，也就是目前調(diào)度算法不能實現(xiàn)作業(yè)優(yōu)先級的資源搶占，改進后若最新提價作業(yè)中由一次獲取時間與當前時間相差在Tmin以上，則該作業(yè)后沒有minShare量資源，此時調(diào)度器此時調(diào)度器將自動終止中當前制定的任務。如果在作業(yè)最后獲得的一半時間與目前的時間差值高于，則本次作業(yè)中完成后并未得到資源，此時調(diào)度器將自動終止中當前制定的任務。在改進型算法中優(yōu)先級能夠?qū)崿F(xiàn)資源分配及排序，還能夠?qū)Y源搶占進行控制。假如此系統(tǒng)多級能夠?qū)崿F(xiàn)安全評估命令提交，通過已改進的調(diào)度算法實現(xiàn)案管系統(tǒng)任務實現(xiàn)，即便是低級別安管系統(tǒng)中評估任務在執(zhí)行中，提交高級別任務后，能夠保證短時間內(nèi)完成高級別安全評估，低級別安全評估不會受到影響。4.3.5數(shù)據(jù)備份模塊數(shù)據(jù)備份模塊能夠?qū)?shù)據(jù)完整性及一致性進行保證，其為容災基礎，不管服務器中數(shù)據(jù)是對整體管理系統(tǒng)或者系統(tǒng)個人用戶來說都較為重要。圖4-8為電視工作業(yè)務流程。圖4-8使用hadoop技術(shù)可實現(xiàn)安裝數(shù)據(jù)的一致化，結(jié)合數(shù)據(jù)備份功能，從而實現(xiàn)本系統(tǒng)數(shù)據(jù)存儲中心的創(chuàng)建。圖4-9為數(shù)據(jù)模塊的功能。圖4-9數(shù)據(jù)模塊的功能通過圖4-9可以看出來，數(shù)據(jù)備份模塊主要包括Hadoop集群備份功能及安管備份接口兩部分，其中安管備份接口主要實現(xiàn)數(shù)據(jù)整合，數(shù)據(jù)信息包含下屬兩大部分：首先，級聯(lián)安管信息備份。在全新下級網(wǎng)絡安全管理系統(tǒng)到整體級聯(lián)網(wǎng)絡添加的時候就會初始化，從而得出唯一的服務器標識符和網(wǎng)絡安全管理域唯一的標識符，此信息和此服務器其他的基本信息到最高級別網(wǎng)絡安全管理系統(tǒng)職工擦混熟，比如服務器IP和MAC，之后通過服務器使此部分信息到Hadoop集群中上傳，對信息保存的可靠性、穩(wěn)定性進行保證。目前因為下級網(wǎng)絡安全管理系統(tǒng)服務器出現(xiàn)意外的情況，進而將引發(fā)重裝，其中最高級Hadoop集群信息為唯一憑據(jù)信息。其次，在整體內(nèi)網(wǎng)區(qū)域中所發(fā)生的數(shù)據(jù)備份，即出現(xiàn)對應安全事件時候通過格式轉(zhuǎn)換，到指定文件中保存，并且此文件會使文件信息到Hadoop集群中定時的上傳。設置Hadoop集群無法實現(xiàn)多用戶寫入，全部寫入操作只能夠通過一級安管用戶實現(xiàn)，對數(shù)據(jù)完整性及可用一致性進行保證，全部寫入操作只能夠通過一級安管用戶實現(xiàn)，對數(shù)據(jù)可用性、完整性及一致性進行保證。集群中能夠事先文件寫入、管理及讀取操作。在實現(xiàn)身份認證之后，就要實現(xiàn)備份配置，也就是配置策略模塊。數(shù)據(jù)備份策略主要包括完全備份、增量備份及差異備份，系統(tǒng)管理人員能夠以實際情況下選擇使用哪種備份。另外，不僅具有基本備份策略，系統(tǒng)管理人員還能夠修改備份副本數(shù)量和數(shù)據(jù)塊的大小。在實現(xiàn)策略配置之后，就實現(xiàn)數(shù)據(jù)備份模塊。此模塊為系統(tǒng)核心，利用文件整合、網(wǎng)絡傳輸?shù)炔僮?，使級?lián)結(jié)構(gòu)需要備份數(shù)據(jù)文件到級聯(lián)結(jié)構(gòu)HDFS網(wǎng)絡中寫入。此操作占據(jù)大量帶寬，在各級安管系統(tǒng)中將此進程啟動，對CPU資源及內(nèi)存資源進行分配。雖然能夠使安管服務器運行性能得到暫時降低，但是還會使其他功能正常的使用進行保證。在實現(xiàn)備份之后，就會為其他級聯(lián)安管服務器發(fā)送系統(tǒng)消息，表示完成級聯(lián)結(jié)構(gòu)備份。圖4-10系統(tǒng)數(shù)據(jù)備份的流程4.4.1用戶認證模塊用戶認證模塊為進入到系統(tǒng)的基礎，對數(shù)據(jù)備份功能來說，因為是對于整體系統(tǒng)級聯(lián)結(jié)構(gòu)功能，所以一般操作人員并沒有此種操作權(quán)限，只是使權(quán)限賦予到高級別系統(tǒng)管理人員中。在網(wǎng)絡安管管理系統(tǒng)中的操作人員及安全管理人員角色并不沖突，簡單來說就是一個賬號不僅具備操作人員權(quán)限，還具備系統(tǒng)管理人員權(quán)限。通過網(wǎng)絡安全管理和監(jiān)察系統(tǒng)中的權(quán)限控制系統(tǒng)實現(xiàn)數(shù)據(jù)備份功能身份認證策略的制定，圖4-11為用戶認證模塊的流程。另外，還要實現(xiàn)數(shù)據(jù)備份操作接口頁面的處理。利用任何手段進入到此功能前都要事先身份驗證，只有滿足條件使用功能人員才能夠打開界面，如果使用人員不符合條件，就會返回失敗信息。4.4.2策略配置模塊用戶在通過身份認證以后，就能夠進入到數(shù)據(jù)備份策略配置模塊中。此模塊的主要目的就是配置數(shù)據(jù)備份操作參數(shù)，其中大部分參數(shù)都是于HDFS系統(tǒng)配置文件中的字段及參數(shù)具有密切關系，具體參數(shù)配置為： 其一，數(shù)據(jù)備份策略。此參數(shù)在模塊中尤為重要，所以也就決定數(shù)據(jù)備份要使用哪種備份方式實現(xiàn)操作。備份策略主要包括完全、增量及差異三種備份，不同備份策略都具有有點及在指定場合中使用。目前方案為首次備份只能夠使用完全備份方式，實現(xiàn)兩種備份文件生成，在安管級聯(lián)結(jié)構(gòu)的HDFS網(wǎng)絡中存儲。首次之后數(shù)據(jù)備份操作能夠利用三種不同數(shù)據(jù)備份策略中的一種，對每次備份使用不同策略，數(shù)據(jù)備份模塊會以實際情況處理。其二，數(shù)據(jù)備份分塊大小，此參數(shù)為可選選項。以HDFS系統(tǒng)需求，數(shù)據(jù)塊默認大小為64MB，此大小在實際操作中是能夠改變的。但是在HDFS中要充分考慮降低內(nèi)存消耗和硬盤尋道時間，此大小的三種選擇為64MB、128MB、256MB。其三，定時備份的方式和時間。為了節(jié)約系統(tǒng)管理人員工作量，對系統(tǒng)數(shù)據(jù)備份操作進行規(guī)范，要為用戶提供定是備份的功能。系統(tǒng)利用定時分配能夠在指定時間中備份，但是此并不是完全備份，只是提高差異備份及增量備份，并且沒有通過數(shù)據(jù)備份級聯(lián)結(jié)構(gòu)無法實現(xiàn)定時備份操作。其四，數(shù)據(jù)備份副本數(shù)目。為了滿足數(shù)據(jù)安全需求，使數(shù)據(jù)可靠性得到提高，實現(xiàn)容災容錯目的，HDFS系統(tǒng)中還具有副本策略內(nèi)容。一般，HDFS會使文件生成副本。將副本放置到相同DataNode中，其他副本在不同DataNode中放置。利用備份副本數(shù)目的設置，操作人員能夠選擇滿足此系統(tǒng)情況副本數(shù)量實現(xiàn)數(shù)據(jù)備份。4.4.3數(shù)據(jù)備份模塊確認數(shù)據(jù)備份的配置，頂級安管為NameNode實現(xiàn)數(shù)據(jù)備份，圖4-12為數(shù)據(jù)備份模塊的流程。圖4-12數(shù)據(jù)備份模塊的流程通過圖4-12表示，以相應數(shù)據(jù)備份策略，數(shù)據(jù)備份模塊使用的操作各不相同： 其一，完全備份。其主要指的是全部備份級聯(lián)結(jié)構(gòu)系統(tǒng)數(shù)據(jù)，在此要檢查是否為首次備份，假如不是首次備份，要將上次完全備份所產(chǎn)生的數(shù)據(jù)進行刪除，之后實現(xiàn)完全備份。完全備份操作實現(xiàn)三份備份的生成，其都是相互獨立，每份備份數(shù)據(jù)中具有多副本。利用三份備份能夠保證之后差異備份及增量備份不會出現(xiàn)沖突。其二，增量備份。增量備份指的是對于上次備份來說的備份方式，此種備份方式所備份數(shù)據(jù)就是上次備份以后所改變的數(shù)據(jù)。假如系統(tǒng)管理人員選擇此種備份方式，根據(jù)時間尋找最近備份實現(xiàn)操作。假如成功增量備份，以此對此份備份副本實現(xiàn)備份操作。假如失敗，利用此份備份副本還原，并且實現(xiàn)錯誤信息返回。其三，差異備份。差異備份指的是對上次完全備份來說的備份方式，此種備份方式的數(shù)據(jù)就是上次完全備份以后所改變的數(shù)據(jù)。假如系統(tǒng)管理人員使用此種備份方式，那么就要尋找上次完全備份實現(xiàn)操作。簡單來說，將增量備份改變的備份進行忽略。假如成功備份，就要依次實現(xiàn)備份副本的操作。假如失敗，就要還原此份備份副本，并且返回錯誤信息。但是，不管使用哪種備份，所產(chǎn)生的數(shù)據(jù)都在整體級聯(lián)結(jié)構(gòu)非頂級安管服務器中分布。在成功備份之后，對管理員返回成功信息。圖4-13數(shù)據(jù)恢復的流程4.5.1身份認證模塊此模塊與數(shù)據(jù)備份身份認證模塊類似，還是面向?qū)⑾到y(tǒng)管理身份登錄系統(tǒng)管理人員操作，主要是由于恢復數(shù)據(jù)對于某個網(wǎng)絡安全管理和監(jiān)察系統(tǒng)服務器都存在一定的影響，包括整體安管級聯(lián)結(jié)構(gòu)，所以要重視身份認證。利用身份認證能夠避免低級別操作人員隨意對系統(tǒng)攻擊或者恢復，從而破壞級聯(lián)服務器。圖4-12為身份認證模塊的流程。4.5.3數(shù)據(jù)恢復模塊以系統(tǒng)管理人員所選擇的數(shù)據(jù)恢復模塊，此模塊實現(xiàn)數(shù)據(jù)恢復。圖4-15為數(shù)據(jù)恢復模塊的流程。圖4-15數(shù)據(jù)恢復模塊的流程通過流程圖表示，要實現(xiàn)恢復前系統(tǒng)的增量備份實現(xiàn)數(shù)據(jù)回滾。然后尋找用戶指定數(shù)據(jù)備份文件，以用戶選擇的安管平臺尋找DataNode中相應文件的位置。之后利用Map函數(shù)在所有DataNode中部署，將數(shù)據(jù)取出，之后利用Reduce函數(shù)實現(xiàn)匯攏，從而得出此安管系統(tǒng)數(shù)據(jù)備份文件，利用網(wǎng)絡傳輸實現(xiàn)傳輸，然后實現(xiàn)數(shù)據(jù)恢復。假如用戶使用多安管平臺實現(xiàn)數(shù)據(jù)恢復，那么其中就會具有優(yōu)先級問題。NameNode能夠保證全部操作不堵塞，使資源對高優(yōu)先級安管系統(tǒng)進行分配，一般就是使資源盡量對高級別安管系統(tǒng)進行分配。此種方法的主要優(yōu)勢就是高級別安管系統(tǒng)具有更多下級安管級聯(lián)，具有較大的內(nèi)部結(jié)構(gòu)，數(shù)據(jù)也比較多，所以要求更多資源實現(xiàn)，以此，要求改進Hadoop公平調(diào)度算法。對優(yōu)先級需求來說，已經(jīng)具有改進公平調(diào)度算法。在利用Tmin或者Thare時長以后分配Jnew資源不足的時候，就會尋找秋天pool中運行作業(yè)Jelected，對Jelected與Jnew之間優(yōu)先級的關系，假如Jelected優(yōu)先級比Jnew優(yōu)先級要小，那么就會將Jelected殺掉，使資源到Jnew分配。相反，使Thare及Tmin作為目前時間，不進行其他操作。但是此種算法具有一定的問題，也就是產(chǎn)生優(yōu)先級作業(yè)阻塞。在提出全新高優(yōu)先級作業(yè)之后，將其他pool中優(yōu)先級作業(yè)Jelected殺掉，并且搶占其他的資源，就會使Jelected只能夠在完成高優(yōu)先級作業(yè)之后才能夠繼續(xù)的進行。假如此Jnew大，那么要長時間才能夠?qū)崿F(xiàn)。Jelected只需要少量資源就能夠?qū)崿F(xiàn)，但是基于此中改進算法，Jelected也只能夠在Jnew實現(xiàn)之后才能夠繼續(xù)的運行，浪費了大量的時間。假如Jnew比較大，那么整體Hadoop集群資源都會在其中集中，低優(yōu)先級作業(yè)就無法工作。以此，就要提出改進調(diào)度算法，基于公平從而滿足高優(yōu)先級作業(yè)處理需求：首先，對優(yōu)先級任務到相應pool中規(guī)定。在提出作業(yè)時，利用及代表資源可滿足實際需求，找尋中的作業(yè)： 其一，若，那么的中，此時中，對作為當前時間完成修改，進而實現(xiàn)對的標記，不完成其他操作，在下次中實現(xiàn)其他額外資源尋找時不會選擇標記后的； 其二，若＞，且的中，使為當前時間，同時使中的中資源降低到r某weight，使降低的資源對Jnew進行分配。在全新任務Jnew提出一段時間之后如果資源無法滿足需求，那么就要尋找其他pool中運行，對其優(yōu)先級進行對比。若優(yōu)先級高，則需對資源占用情況予以考觀察。若資源占用低于中權(quán)重乘系數(shù)，代表此作業(yè)資源較低，但是使其能夠繼續(xù)的運行，不搶奪pool中的資源。在通過一段時間之后，Jnew就會繼續(xù)尋找其他Jelected資源。通過觀察表示中比權(quán)重乘系數(shù)大則需搶奪資源。利用此方法，不僅能夠?qū)θ孔鳂I(yè)都運行，還能夠分配高優(yōu)先級作業(yè)資源。通過合理的調(diào)度算法在最下級安管系統(tǒng)中實現(xiàn)數(shù)據(jù)恢復保證系統(tǒng)的正常、穩(wěn)定運行，除此之外還能利用大量資源完成集中操作。在數(shù)據(jù)恢復出現(xiàn)問題的死后，以之前增量備份結(jié)果實現(xiàn)回滾，對系統(tǒng)管理員返回錯誤信息，若數(shù)據(jù)恢復正常，則系統(tǒng)管理員會收到成功信息，并且對相應安管設備進行重啟。4.6一次性口令身份認證設計人們能夠利用數(shù)字證書、口令等方法認證用戶ue身份，只有通過認證的合法用戶才能夠具有自身FileSytem實例，具備對HDFS訪問的權(quán)限。在數(shù)據(jù)庫中創(chuàng)建和HDFS用戶同名的用戶信息記錄，利用口令認證方式認證用戶身份，用戶認證成功就是HDFS中的合法用戶。充分考慮靜態(tài)口令身份會被竊聽，并且容易受到字典攻擊、重放攻擊等問題，一次性口令身份認證的認證安全性較高，并且容易實施，以此就設計一次性口令身份認證方案。4.6.1符號和標識為了方便描述方案，約定符號的含義為：U指的是用戶端； S指的是服務器端； A^B指的是A對B發(fā)送消息； pwd指的是用戶口令，uid指的是用戶身份標識； P指的是服務器公鑰，d指的是服務器私鑰； Pu指的是用戶公鑰，du指的是服務器私鑰； P（M）指的是利用公鑰實現(xiàn)對消息的加密； Pu（M）指的是利用公鑰實現(xiàn)對消息的加密； d（M）指的是利用私鑰實現(xiàn)對消息的解密； du（M）指的是利用私鑰實現(xiàn)對消息的解密密； H（M）指的是使用對于消息M實現(xiàn)Hah運算。4.6.2注冊過程認證方案用戶注冊的過程為： 其一，利用安全信道，用戶請求進行注冊。用戶得到服務器公鑰P，在用戶端將口令pwd及uid進行輸入，使用功能服務器公鑰P對uid進行加密，從而到服務器中傳輸； 其二，服務器在接收自身私鑰d解密之后，就能夠得出uid，對數(shù)據(jù)庫中的uid是否相同進行監(jiān)測。如果相同，那么要求用戶重新將全新的uid輸入，要不然就執(zhí)行下一步； 其三，用戶利用系統(tǒng)生成自身公鑰私鑰對，也就是Pu和Du，對私鑰dU安全保存，并且對服務器將Pu公開。另外，用戶端還能夠產(chǎn)生隨機數(shù)R1，對進行計算，之后使A和R1使用服務器公鑰P實現(xiàn)加密，對服務器P（A，R1）進行傳輸； 其四，服務器在接收？，（A,R1）之后，利用私鑰d解密之后得出A與R1，使其與相應uid進行保存，在認證的時候進行使用，結(jié)束用戶注冊。4.6.3認證過程假如用戶為第i次認證，那么服務器端存儲認證數(shù)據(jù)的隨機數(shù)就是Ri，認證的過程為：1:U-S:P（uid，Ri+1）2:SfU:Pu（M,Ri，RTi）3:UfS:H（pwdRi+1），H（pwdRi）RTj4:S—U:Succe或者Faliure在第一步中，用戶端實現(xiàn)pwd及uid的輸出，從而能夠產(chǎn)生隨機數(shù)Ri+1，使uid與Ri+1使用服務器公鑰R實現(xiàn)加密，對服務器P（uid，Ri+1）進行傳輸； 在第二步中，服務器使用私鑰d解密接收P（uid，Ri+1），能夠得出uid及Ri+1，對數(shù)據(jù)庫中是否有uid進行驗證。如果沒有，那么就表示uid不合法，此次認證的請求失敗。如果存在，表示uid合法，對M=H（uidRi+1）進行計算，從而能夠得到隨機數(shù)RTi，將Ri取出來，傳輸?shù)接脩鬚u（M,Ri，RTi）中。在第三步中，用戶利用私鑰du對Pu(M,Ri,RTi)進行解密，能夠得出M、Ri及RTi，以uid及隨機數(shù)Ri+1，對H(pwdRi+1)進行計算，使其對比M。假如兩者不相等，那么表示服務器不合法，將會話終止。如果星等，對B=H(pwdRi+1)、Q=NRTi、N=H(pwdRi)進行計算。使B和Q到服務器中傳輸。在第四步中，服務器會接收8和Q，然后使Q和RTi實現(xiàn)異或運算，將N提取，使提取的保存到A，使A對比N。假如兩者不相等，表示用戶不合法，對用戶實現(xiàn)Failure消息的發(fā)送，此次的身份認證失??； 要不然，表示用戶合法，發(fā)送用戶Succe消息，對服務器存戶驗證信息A及隨機數(shù)Ri進行更新，使用功能B替換到A，并且將Ri+1替換到Ri，表示用戶能夠成功認證。4.6.4修改口令過程假設用戶之前的口令為pwd，最新的口令為ped1，在對口令修改之前，服務器端中的認證數(shù)據(jù)隨機數(shù)為Ri，對口令修改的過程為： 1：U-S:口令修改的請求2:S-U:Pu(Ri，RWi)3:U-S:P(E,D,Ri+1)4:S-U:Succe或者Faliure在第一步中，用戶對服務器發(fā)送口令修改的請求； 在第二步中，服務器將存儲的隨機數(shù)Ri取出，從而能夠產(chǎn)生RWi，傳送到用戶PU(Ri，RWi)中； 在第三步中，用戶使用私鑰dU對Pu(Ri，RWi)進行解密，從而能夠得出Ri及RWi，并且產(chǎn)生Ri+1的隨機數(shù)，對C=H(pwdRi)、F=P(E,D,Ri+1)、E=CRWi、D=H(pwd1Ri+1)，使F對服務器傳輸； 在第四步中，服務器使私鑰d對F進行解密，從而能夠得出E、Ri+1及D，使E和RWi實現(xiàn)異或運算，從而能夠得出C，使存儲中的C和A進行對比，假如不相同，那么表示不是合法用戶對密碼修改，將Failure消息對用戶發(fā)送，將此次修改操作進行取消。假如相同，就將Suce消息對用戶發(fā)送，使用D替換成為存儲的A，使用Ri+1替換成為存儲的Ri，成功修改口令。4.6.5方案的安全性安全性屬于身份認證方案需要充分考慮的問題，利用形式化分析的方法分析設計方案，表示此方案為安全性身份認證的方案，并且實現(xiàn)下述安全性： 其一，方案中用戶在認證的過程中都會產(chǎn)生不同的隨機數(shù)，也就是RTi及Ri+1，保證每次認證傳輸數(shù)據(jù)不同，并且也有不同的認證口令，所以即便是攻擊者將此數(shù)據(jù)截獲，也無法重放攻擊； 其二，假如入侵者冒充服務器S，因為服務器自身具備私鑰，并沒有傳輸?shù)骄W(wǎng)絡專供，而且Ri+1都是變化的，所以冒充者無法通過客戶端對H（uidRi+1）的驗證，以此冒充者就得不到具有價值的信息。假如入侵者冒充用戶U，但是因為uid并沒有在網(wǎng)絡中明文傳輸，所以冒充者并不了解uid，以此就無法利用服務器實現(xiàn)初步認證。即便是冒充者對P（uid，Ri+1）進行截獲通過初步認證，但是其并沒有用戶私鑰，無法對信息進行解密并且計算，以此也就是無法實現(xiàn)服務器下一步認證，那么反感就能夠抵御冒充攻擊。其三，方案能夠有效實現(xiàn)雙向認證，服務器端利用對uid中是否存在及QRi及A是否相等進行查詢，從而對客戶端進行認證，客戶端利用對比H（uidRi+1）和沖是否相等，對服務器端進行認證。其四，此方案沒有認證序列值及Hah運算反復迭代，能夠?qū)π?shù)攻擊進行抵抗。其五，在整體認證中，網(wǎng)絡中并沒有傳輸明文信息，以此即便是在進行傳輸?shù)倪^程中截獲信息，也不會存在信息泄露，入侵者也可能都不知道用戶身份表示uid。第五章系統(tǒng)的實現(xiàn)和測試5.1系統(tǒng)主要功能的實現(xiàn)5.1.1通信模塊的實現(xiàn)本文所設計的智能監(jiān)管平臺中通信模塊利用Icc中間件予以實現(xiàn)，該部分的主要供是實現(xiàn)十倍系統(tǒng)、系統(tǒng)服務器之間通訊。使全部通信類都朝著虛類完成，并保證業(yè)務執(zhí)行函數(shù)定義為虛函數(shù)，基于此通過不同模塊完成業(yè)務執(zhí)行函數(shù)的重寫，基于此來重寫通信模塊的具體通信功能，使通信模塊將同步通信模式提供給模塊使用者，主要實現(xiàn)代碼：privatevoidtartconn_Click(objectender,EventArge) { ocketWatch=newSocket(AddreFamily.InterNetwork,SocketType.Stream,ProtocolType.Tcp); IPAddreipaddre=IPAddre.Pare(localip.Te某t.Trim());IPEndPointendpoint=newIPEndPoint(ipaddre,int.Pare(portte某t.Te某t.Trim()));ocketWatch.Bind(endpoint);ocketWatch.Liten(lO);threadWatch=newThread(WatchingConn);threadWatch.IBackground=true;threadWatch.Start();thi.Invoke(newAction(()=>{ recmg.AppendTe某t(“開始通信！"+ “\r\n“)； }))； } 服務器中存在中間進程icebo某，其主要目的就是接收全部調(diào)用接口所發(fā)送的服務器信息，利用regiterTopic函數(shù)對良好信息及需要丟棄信息進行區(qū)分。在驗證接收信息可用性之后，icebo某會使信息到其他事件中。事件處理模塊的主進程nmeventd能夠處理安全事件，但是nmd能夠及時判斷安全設備狀態(tài)，顯示在頁面中。另外，在時間處理模塊中，安全設備狀態(tài)較為特殊。在本文系統(tǒng)中，均定時通過安全事件方式進行上報，所有安全設備基本信息相互獨立，若其中包含特殊信息，則需予以標注說明。安全設備信息及事件一起被上報，通過nmd核心函數(shù)對其合法性進行判斷，主要包括：其一，狀態(tài)信息是否完整可用。其主要指的是是否對全部信息正確上報，對于部分非空字段，如果確實，就要丟失此狀態(tài)。其二，是否通過正常設備完成狀態(tài)信息的發(fā)送，該部分通過HandleIPConfice函數(shù)實現(xiàn)，函數(shù)能夠以狀態(tài)中的唯一標識符通過內(nèi)存及數(shù)據(jù)庫對設備基本信息進行讀取，對比上報基本信息，如果mac及ip信息不符，則需要實現(xiàn)設備狀態(tài)的轉(zhuǎn)移，不再進行操作。只能夠使用完整信息，假如滿足兩個條件，就會轉(zhuǎn)到相應安全設備模塊處理函數(shù)中，實現(xiàn)下一步內(nèi)容。5.1.4安全評估模塊的實現(xiàn)安全評估主要目的就是對網(wǎng)絡中是否具有安全隱患進行判斷，其與被管理安全設備和局域網(wǎng)中的工作機器具有密切的關系。其主要原則就是重復性依次遞減，例如防火墻檢查規(guī)則包含如下內(nèi)容：其一，對防火墻的工作狀態(tài)進行檢查，首先對其運行狀態(tài)進行檢測，判斷防火墻或一體化安全防護設備是否要按照既定的方式完成部署，對于需按照需求進行部署的可認為防火墻狀態(tài)為滿分，否則則認定為零分； 其二，對防火墻旁路進行檢查。對設備邊界訪問控制模塊網(wǎng)絡接口狀態(tài)和內(nèi)外網(wǎng)交換網(wǎng)絡數(shù)據(jù)包進行檢查，判斷其是否被旁路，對于在24h內(nèi)未發(fā)生旁路告警的項目可認定為滿分，對于在規(guī)定時間內(nèi)發(fā)生旁路告警的則認定為零分。其三，管理員口令檢查。對是否缺省進行檢查，對于已更改的口令項目認定為滿分，對于未更改的則認定為零分。在上述對防火墻的安全檢查中，繼承及兩個類，并實現(xiàn)及兩個函數(shù)。函數(shù)的主要功能是以安全檢查計劃分析各安全管理域情況。但是因為文件內(nèi)容是通過日期作為單位實現(xiàn)的，所以map函數(shù)結(jié)果是所有安管每天的記錄，和其他日獨立。函數(shù)操作是使函數(shù)輸出安全檢查周期、計劃等并實現(xiàn)重新整合，有利于完成頁面讀取。5.1.5數(shù)據(jù)備份模塊的實現(xiàn)數(shù)據(jù)備份模塊屬于系統(tǒng)數(shù)據(jù)備份過程中的運行部分，此為執(zhí)行和后臺程序。在接受數(shù)據(jù)備份策略所傳遞信息以后實現(xiàn)數(shù)據(jù)備份的操作。首先，實現(xiàn)本級自身數(shù)據(jù)備份操作。利用數(shù)據(jù)備份代碼表示，利用HDFS自帶API，在安管HDFS中寫入文件操作。得到配置信息部分是通過數(shù)據(jù)備份策略，對頁面及HDFS默認系統(tǒng)配置實現(xiàn)的。代碼：publicboolBackUPDB(tringtrDbName,tringtrFileName){ SQLDMO.SQLServervr二newSQLDMO.SQLServerCla(); try {vr.Connect(ServerName,UerName,Paword); SQLDMO.Backupbak二newSQLDMO.BackupCla(); bak.Action二SQLDMO.SQLDMO_BACKUP_TYPE.SQLDMOBackup_Databae; bak.Initialize二true; bak.File二trFileName; bak.Databae二trDbName;bak.SQLBackup(vr);returntrue; }if(aveFileDialog.ShowDialog()==DialogReult.OK) {if(m.BackUPDB(數(shù)據(jù)名稱,aveFileDialog.FileName)) {MeageBo某.Show(“數(shù)據(jù)備份成功！“，“提示！"，MeageB。某Button.OK）; } }在完成備份之后，將相應目錄中的內(nèi)容刪除，之后利用網(wǎng)絡傳輸，頂級安管根據(jù)次數(shù)實現(xiàn)下級安管及自身發(fā)送某ml報文，對下級安管實現(xiàn)網(wǎng)絡傳輸工作通知。在備份安管系統(tǒng)之后，頂級安管就會作為NameNode對自身文件映射表進行更新，直到全網(wǎng)都完成備份。在全網(wǎng)都備份完成之后，機會自動調(diào)用方法對系統(tǒng)消息數(shù)據(jù)庫寫入信息完成備份。假如出現(xiàn)傳輸失敗的情況，那么對此安管系統(tǒng)記錄并且跳過，在全部安管系統(tǒng)都完成備份之后重新發(fā)送命令字。如果還是失敗，就要發(fā)送系統(tǒng)消息，表示哪些因為哪些網(wǎng)絡原因?qū)е掳补軅浞菔?，通過系統(tǒng)管理人員對其進行處理。5.1.6桌面虛擬化的實現(xiàn)將摸擬桌面協(xié)議發(fā)送到終端設備之后，終端設備通過接收該協(xié)議內(nèi)容獲得與傳統(tǒng)PC機相同的體驗，用戶登錄到虛擬主機，只需輸入正確的口令信息后即可隨時完成自己桌面系統(tǒng)的訪問，系統(tǒng)操作指令通過網(wǎng)絡傳送到服務器實現(xiàn)相應的運算處理，同時利用桌面遠程協(xié)議將桌面視圖在終端中予以顯示，其交互圖如下。圖5-1虛擬桌面系統(tǒng)信息交互（1）虛擬化桌面服務器端主要由虛擬桌面系統(tǒng)服務器、桌面分發(fā)管理等部分組成，虛擬化桌面服務器端的主要功能包含實現(xiàn)數(shù)據(jù)的儲存、系統(tǒng)托管以及虛擬桌面分發(fā)管理等等。（2）用戶可由此來接收服務器端托管工具，其運行環(huán)境要求較低，可在傳統(tǒng)計算機中運行何可在移動終端中運行?？傮w而言，通過服務器、儲存等加上虛擬化套件結(jié)構(gòu)服務器端可將實現(xiàn)服務器端的資源托管。對于系統(tǒng)管理員來說，可按照用戶的具體需求在服務器端完成資源的高效配置，使用戶獲取更好的用戶體驗，也能使得服務器端資源得到更為合理的利用。在平臺搭建時規(guī)劃了服務器虛擬化，并將其作為基礎服務器來提供計算能力設計?；跇I(yè)務能力統(tǒng)計結(jié)果可知：兩種不同的業(yè)務類型計算量分布在全天不同時間段，編單業(yè)務和播出整備業(yè)務計算量峰值未出現(xiàn)疊加，就計算量峰值而言，前者明顯小于后者。根據(jù)上述分析結(jié)果可知，若將后者節(jié)目單編排在相同的虛擬化環(huán)境中進行部署，而部署虛擬化桌面需要瘦客戶機、網(wǎng)絡等資源的投入小于原有工控機換代投入，在確定利用虛擬化技術(shù)完成基礎平臺搭建之后，需在相同虛擬化硬件上配置服務器及桌面虛擬化。通過實際調(diào)研結(jié)果發(fā)現(xiàn)，VM