多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護管理系統(tǒng)

1 多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護管理系統(tǒng) 的研究與實現(xiàn) 摘 要 隨著 中國移動數(shù)據(jù)業(yè)務的蓬勃發(fā)展 ，提供數(shù)據(jù)業(yè)務應用的各類 系統(tǒng) 的數(shù)量和種類也在 不斷 地攀升 ， 眾多的業(yè)務 系統(tǒng) 增加了日常維護 的 復雜 度 ，也給維護人員的工作帶來了新的挑戰(zhàn)。 本報告 針 對中國移動現(xiàn)網(wǎng)各類數(shù)據(jù)業(yè)務 系統(tǒng) 維護現(xiàn)狀 進 行了 分析， 闡述了多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護管理的必要性， 提出了多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護 管理 系統(tǒng) 的 功能需求 , 并 對 各系統(tǒng)日常 監(jiān)控 的 內(nèi)容和 通信 接口進行 了 研究和 梳理 ， 詳細 剖析 了實現(xiàn) 多數(shù)據(jù)業(yè)務系統(tǒng)各 指標 采集 的技術手段 , 在此基礎上 描述了 多 數(shù)據(jù) 業(yè)務平臺統(tǒng)一維護 管理系統(tǒng)的 整體架構和各模塊功能 ，闡述了如何實現(xiàn)各業(yè)務系統(tǒng)不同監(jiān)控指標的統(tǒng)一配置 ， 統(tǒng)一調(diào)度， 集中告警和統(tǒng)一報表生成 , 從而 達到 多數(shù)據(jù)業(yè)務平臺的統(tǒng)一 全面自動化 維護 。 2 目錄 目錄 . 2 引言 . 3 第一章 數(shù)據(jù)業(yè)務系統(tǒng)維護概述 . 4 第一節(jié) 數(shù)據(jù)業(yè)務系統(tǒng)簡介 . 4 第二節(jié) 數(shù)據(jù)業(yè)務系統(tǒng)維護現(xiàn)狀和統(tǒng)一維護的必要性 . 6 第三節(jié) 多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護系統(tǒng)功能需求 . 7 第二章 多數(shù)據(jù)業(yè)務平臺監(jiān)控分析 . 9 第一節(jié) 監(jiān)控指標分類描述 . 9 第二節(jié) 現(xiàn)網(wǎng)設備采集通信接口匯總 . 10 第三章 多數(shù)據(jù)業(yè)務統(tǒng)一維護系統(tǒng)的實現(xiàn) . 13 第一節(jié) 系統(tǒng)監(jiān)控開發(fā)包 . 14 第二節(jié) 采集模塊 . 15 第三節(jié) 密碼管理模塊 . 25 第四節(jié) 實時告警模塊 . 25 第五節(jié) 存儲模塊 . 26 第六節(jié) 報表模塊 . 28 第七節(jié) 配置模塊 . 29 第八節(jié) 監(jiān)控處理模塊 . 34 第四章 統(tǒng)一管理平臺的現(xiàn)網(wǎng)部署 . 34 第一節(jié) 硬件部署 . 34 第二節(jié) 軟件部署 . 35 第三節(jié) 網(wǎng)絡部署 . 36 第四節(jié) 現(xiàn)網(wǎng)監(jiān)控指標的部署 . 37 第五節(jié) 軟件系統(tǒng)測試 . 39 第六節(jié) 試運行結(jié)果 . 40 第五章 項目總結(jié) . 42 第一節(jié) 預期目標評估 . 42 第二節(jié) 項目成果帶來的效益 . 43 3 引言 系統(tǒng) 日常 維護的目的在于通過實時監(jiān)控 現(xiàn)網(wǎng)各 主機 系統(tǒng) 以及 網(wǎng)絡 設備 的 運行狀況 從而 及時 發(fā)現(xiàn)潛在問題并快速作出響應。系統(tǒng)監(jiān)控的自動化也隨著現(xiàn)網(wǎng) 數(shù)據(jù)業(yè)務 系統(tǒng)的增多而變得愈加重要。 上海移動的數(shù)據(jù)業(yè)務系統(tǒng)僅欽州機房就有 400 多臺主機 服務器 和 網(wǎng)絡 設備 。它們因業(yè)務的不同 所實現(xiàn) 的 功能也各不相同 ，需要 監(jiān)控的內(nèi)容 也各種各樣，主要包括 系統(tǒng) 硬件 運行 狀態(tài)指標、系統(tǒng)軟件運行狀態(tài) 指標、 業(yè)務運行容量和質(zhì)量指標 等 三類 。 為全面 保障各數(shù)據(jù)業(yè)務 系統(tǒng)可靠、穩(wěn)定、高效地運行， 提高 日維 的工作質(zhì)量和工作效率， 需要對監(jiān) 控任務 實現(xiàn)集中化、 自動 化管理和維護，以 協(xié)助 日維工作人員 完成繁雜的日維工作 ，做到有 問題 及時發(fā)現(xiàn) ，防患于未然 。 本報告將著重闡述如何實現(xiàn)多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護系統(tǒng)，以滿足 現(xiàn)網(wǎng) 多數(shù)據(jù) 業(yè)務 日常 維護的需求。 文章內(nèi)容安排如下 ： 第一章 主要 回顧了現(xiàn)網(wǎng)數(shù)據(jù)業(yè)務系統(tǒng)的維護現(xiàn)狀， 闡述了對各數(shù)據(jù)業(yè)務平臺實施統(tǒng)一維護管理的必要性和迫切性 ， 并根據(jù)業(yè)務系統(tǒng)維護日常要 求提出了實現(xiàn)多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護管理系統(tǒng)的功能需求。 第二章 對現(xiàn)網(wǎng)所需要的各監(jiān)控 指標進行分類描述，并梳理了現(xiàn)網(wǎng)數(shù)據(jù)業(yè)務系統(tǒng)的各類維護通信接口 。 4 第三 章 提出了 多數(shù)據(jù)業(yè)務 平臺統(tǒng)一維護管理系統(tǒng) 的設計 框架， 然后依 次對 系統(tǒng)監(jiān)控開發(fā)包， 采集模塊 ， 密碼管理模塊 ， 實時告警模塊 ， 存儲模塊 ， 報表模塊 ， 配置模塊 和監(jiān)控處理模塊 的功 能 和 部分 實現(xiàn) 進行了 詳細 描述 。 第四章 闡述 了 該 維護 管理系統(tǒng) 的 硬件、 軟件 和網(wǎng)絡 部署 ， 以及 對 現(xiàn)網(wǎng) 各數(shù)據(jù)業(yè)務系統(tǒng) 監(jiān)控指標的實施 方案 ，并介紹了 系統(tǒng) 測試 和試運行狀況 。 第五章 總結(jié) 了該創(chuàng)新項目 創(chuàng)新成果 和取得的收益。 第一章 數(shù)據(jù)業(yè) 務 系統(tǒng)維護 概述 第一節(jié) 數(shù)據(jù)業(yè)務系統(tǒng)簡介 上海移動數(shù)據(jù)業(yè)務機房目前 有 欽州 機房 ， 浦東 IDC 機房 ，怒江 IDC 機房 ， 金橋 機房 ，它們 承擔 上海所有數(shù)據(jù)業(yè)務和部分全網(wǎng) 數(shù)據(jù)業(yè)務 的業(yè)務 服務。 其中大多數(shù) 的 數(shù)據(jù)現(xiàn)網(wǎng)業(yè)務 的業(yè)務系統(tǒng)都部署在欽州機房，包括 ADC 管理平臺 、手機網(wǎng)游、WAPPUSH、 MISC 管理平臺 、彩鈴門戶、集團總機門戶、彩話門戶、 WWW 門戶、個人數(shù)據(jù)門戶、企信通、行業(yè)網(wǎng)關 M 模塊、IP 電話系統(tǒng) 、 農(nóng)信通、城管通、小區(qū)短信、 LBS、閃信、親子通、天網(wǎng)、信令采集系統(tǒng)、電子商務 、流媒體手機電視和視頻監(jiān)控等20 多種業(yè)務， 共 有 400 多臺主機和網(wǎng)絡設備。 眾多的 業(yè)務系統(tǒng)總結(jié)下來 存在以下特點。 5 、 功能各不相同。不同的業(yè)務 為提供不同的服務 實現(xiàn) 了不同的功能 ， 這就使得業(yè)務系統(tǒng)的 各 主機和網(wǎng)絡 設備 在 功能各有差異。 大致可 分為 數(shù)據(jù)庫服務器， 文件服務器， WEB 服務器，應用服務器 ， 負載均衡 服務器 ， 防火墻 服務器 ， 路由設備，交換設備 等 。 、 服務器硬件設備類型 差異。 不同的業(yè)務是由不同廠商提供的，這就決定了硬件設備的 多樣性 。 目前硬件設備的廠商有3COM， B16， BigIP， Cisco， Compaq， Dell， EMC， HP， IBM，Juniper， NetApp， NetScreen， Redware， Raritan， SDK， Sun，UU，中興，華為，大華，安氏，思科，港灣，綠盟，融天科技等 30 多家廠商。 、 軟件類 型的差異。 不同業(yè)務應用是由不同軟件開發(fā)商提供的， 各系統(tǒng) 運行的操作系 統(tǒng)類型 和 版本 ， 第三方軟件類型 和 版本，以及業(yè)務應用軟件使得軟件 千差萬別 。 如 操作系統(tǒng)有Windows， AIX， HP-UNIX， SUNOS， SUSELinux， RedhatLinux。數(shù)據(jù)庫軟件有： ORACLE,MYSQL,SQLServer 等。 WEB 服務器軟件有 IIS， APACHE， WebLogic 等。 軟硬件的差異決定了日常維護工作的繁雜性 ，也 給日常維護人員帶來了挑戰(zhàn)。 為 確保各主機和網(wǎng)絡設備穩(wěn)定、安全、高效的運行， 日常維護工作就需要對現(xiàn)網(wǎng)系統(tǒng)進 行全方位的監(jiān)控，通過定時采集各個系統(tǒng)的 性能 和功能指標，實現(xiàn)對異常問題早發(fā)現(xiàn)，早分析，早排除，從而防患于未然 。 6 第二節(jié) 數(shù)據(jù)業(yè)務系統(tǒng)維護現(xiàn)狀 和統(tǒng)一維護 的必要性 通過對目前 數(shù)據(jù)業(yè)務系統(tǒng)維護 狀況 的調(diào)查， 總結(jié)起來有以下幾個特點。 1、 日維監(jiān)控工具 分散 且 不統(tǒng)一 。 目前一些業(yè)務如 MISC，小區(qū)短信，企信通，天網(wǎng) 等 系統(tǒng)的監(jiān)控工具是由業(yè)務開發(fā)商提供的，只針對 單個業(yè)務 使用， 風格各異，且 不具有通用性 ， 無法 用于其它系統(tǒng)維護使用 。另有 一些業(yè)務 的監(jiān)控工具 是由 業(yè)務負責人自己編寫，各自 負責 運行和維護 。 分散各異 的監(jiān)控工具 之間的協(xié)同工作能力較 差， 使得日 常 維 值 人員難以達 到同時兼顧 ， 影響 維護效率 。 2、 系統(tǒng) 安全 埋有隱患 。 部分業(yè)務 頻繁地 手工 登錄訪問系統(tǒng)主機查看系統(tǒng) 和業(yè)務的 運行狀況 ， 既 耗費人力又 難以做到安全防護 而且 易產(chǎn)生誤操作從而影響現(xiàn)網(wǎng)業(yè)務的正常運行 。 另外， 有些對主機遠程訪問 密碼 使用 明文保存 和分散管理的 方式，安全性 和維護性 不高。 3、 監(jiān)控指標 不全面。 各業(yè)務主機系統(tǒng)和網(wǎng)絡設備既 需要有共同 的 監(jiān)控指標如 硬件運行狀態(tài) 指標 CPU 利用率 、 內(nèi)存空間使用率 、 磁盤空間利用率 和 磁盤讀寫繁忙率 等， 也 需要有 根據(jù)不同設備和業(yè)務的差異而不同的 軟件 運行 狀態(tài) 指標和 業(yè)務運行 狀態(tài)指標 。 所有指標 數(shù)據(jù)均正常才能確保 整個 業(yè)務的穩(wěn)定 ，可靠運行 。而目前大多數(shù)業(yè)務系統(tǒng)對于很多關鍵性 指標 均 沒有 達 到實時自動化 監(jiān)控 ，無法做到防患于未然。 7 4、 監(jiān)控 指標 數(shù)據(jù) 存儲 分散 或 無 存儲。 由于監(jiān)控工具的分散使得監(jiān)控采集數(shù)據(jù)各自 存放， 既 增加了軟硬件的開銷， 又 難以進行系統(tǒng)和業(yè)務的橫向指標比較。另外， 部分自己開發(fā)的簡易的 監(jiān)控工具 沒有存儲功能，難以生成 數(shù)據(jù) 報表和 統(tǒng)計報表 進行分析 。 5、 告警系統(tǒng) 欠主動 。大部分 業(yè)務 僅能將告警匯報在 各自的業(yè)務 維護系統(tǒng) 內(nèi)，需要管理員定期去提取、查看 , 可能會 導致問題 發(fā)現(xiàn) 不及時 。 、 業(yè)務報表數(shù)據(jù)手工填寫和 生成 。 業(yè)務報表需日維人員登錄到各系統(tǒng)上采集 業(yè)務指標 后，手工填寫到報表中，重復性的手工操作既花費了時間，實時性和準確性也無法 充分 保證。 7、 監(jiān)控指標擴展性 較弱 。 對現(xiàn)有的廠商提供的各業(yè)務監(jiān)控工具，如有業(yè)務功能擴展或欲新增監(jiān)控指標，需向廠商提出新的需求，并委托廠商開發(fā)，然后 進行軟件升級， 從而增加了時間延遲 、 費用開銷和升級風險。 第三節(jié) 多數(shù)據(jù)業(yè)務平臺 統(tǒng)一維護系統(tǒng)功能需求 基于以上分析， 傳統(tǒng)的 系統(tǒng) 維護方式已經(jīng)無法滿足 日益增加的數(shù)據(jù)業(yè)務系統(tǒng)日常維護的要求，我們需要建立一個能夠 支持多數(shù)據(jù)業(yè)務的統(tǒng)一維護管理系統(tǒng)，來協(xié)助日 維人員完成 繁雜的日常監(jiān)控任務，從而提高 工作效率和工作質(zhì)量。 該系統(tǒng)需要實現(xiàn)以下功能： 8 1、 實現(xiàn) 各種數(shù)據(jù)業(yè)務 系統(tǒng)下各種監(jiān)控指標的數(shù)據(jù)提取，屏蔽各種監(jiān)控方式的差異，實現(xiàn)采集手段的集中配置，采集任務的統(tǒng)一調(diào)度和采集結(jié)果的集中化實時展示。 2、 支持監(jiān)控方式的通用性，提取監(jiān)控方式的共同點，便于將此監(jiān)控方式快速應用到同類型的其他業(yè)務 、 系統(tǒng)和指標的監(jiān)控。 3、 支持監(jiān)控方式的可擴展。便于新的采集接口和采集內(nèi)容的快速開發(fā)和部署。 4、 實現(xiàn)實時告警和告警方式的多樣化，支持基本聲音顏色告警，支持擴展的 EMAIL， SMS 告警，支持企信通平臺的 實時 短 信下發(fā)。 5、 支持告警方式的可定制功能，可以根據(jù)需求快速開發(fā)和部署，同時支持短信內(nèi)容和下發(fā)對象的自定義功能。 6、 支持監(jiān)控指標數(shù)據(jù)的統(tǒng)一存儲 和備份 ，實現(xiàn)數(shù)據(jù)匯聚，便于進行統(tǒng)計分析和報表生成。 7、 支持業(yè)務指標報表的自動化生成。 8、 系統(tǒng)自身用戶界面友好，部署成本應相對較低，且易于維護和升級。 9、 系統(tǒng)設計有前瞻性，能有效應對 后續(xù) 移動數(shù)據(jù)業(yè)務的增長。 9 第二章 多數(shù)據(jù)業(yè)務平臺監(jiān)控分析 集中監(jiān)控是實現(xiàn)統(tǒng)一維護的關鍵內(nèi)容，也是集中告警，統(tǒng)一存儲和統(tǒng)一報表的功能實現(xiàn)的前提條件。本章將對現(xiàn)網(wǎng)監(jiān)控指標和通信接口進行梳理。 第一節(jié) 監(jiān)控指標 分 類 描述 現(xiàn)網(wǎng)數(shù)據(jù)業(yè)務指標 依據(jù) 業(yè)務 功能 和 軟硬件的不同而各種各樣， 既有通用的監(jiān)控指標也有業(yè)務相關的獨有的監(jiān)控指標。歸納起來 分為 以下 三類。 1、 系統(tǒng) 硬件運行狀態(tài)指標 。 系統(tǒng)硬件 運行 狀態(tài) 指標是指各 主機 、 網(wǎng)絡設備 的 硬件資源的使用情況 ， 包括 CPU利用率，內(nèi)存空間利用率，磁盤利用率 ， 磁盤讀寫繁忙率 和 網(wǎng)絡帶寬利用率 等 。 它們是系統(tǒng)穩(wěn)定 和 高效運行的 基礎，也是最 基本的 監(jiān)控指標。 當然 ， 根據(jù)設備功能 的不同 對不同的性能監(jiān)控指標 有所側(cè)重 ， 如 對于應用服務器， CPU 利用率和內(nèi)存利用率 的監(jiān)控比較重要，它們 直接決定了應用程序的運行效率 ，也會反映業(yè)務 服務 的質(zhì)量 。 而 對于存儲服務器，磁盤利用率 和IO 讀寫繁忙率的監(jiān)控就更 重要。 系統(tǒng)運行性能指標也會依據(jù)操作系統(tǒng) 和設備類型 的不同而表現(xiàn)為不同的指標 數(shù)據(jù) 。 詳細內(nèi)容見附件一： 系統(tǒng) 硬件運行狀態(tài)指標 。 10 2、 系統(tǒng)軟件運行狀態(tài) 指標。 這類指標 主要 指業(yè)務正常運行在 功能 和性能 上的要求 ， 會因業(yè)務的不同而各有差異，包括 網(wǎng)絡連通性， URL 連 通性 和有效性 ， 服務運行狀態(tài)， 進程運行實例數(shù) ， 進程運行狀態(tài)， 應用程序運行狀態(tài) 和 數(shù)據(jù)庫運行狀態(tài) 等等 。 通過檢查這些指標可以判斷各軟件 在功能 和性能 上 是否正常運行。 具體指標詳細內(nèi)容見附件二：系統(tǒng)軟件運行狀態(tài)指標 。 3、 業(yè)務 運行 容量和 質(zhì)量 指標 。 業(yè)務容量和質(zhì)量指標 是評估業(yè)務運行情 況和 運行 能力的重要手段，也是部門和中心 KPI 考核 指標， 主 要分為業(yè)務運行 成功率和業(yè)務并發(fā) 處理 能力 兩大類。 這類指標會因業(yè)務的不同而 各不相 同。 具體內(nèi)容見附件 三 ：日報表 業(yè)務指標 。 第二節(jié) 現(xiàn)網(wǎng) 設備 采集通信 接口匯總 各業(yè)務主機從安全性和可維護性上考慮提供了不同的外部訪問 服務 接口 ，日維人員通過這些 服務 遠程訪問現(xiàn)網(wǎng)設備和 業(yè)務 功能 。 歸納起來 有 以下幾種。 1、 遠程登錄 （ Telnet ， SSH）服務 。 遠程登錄服務是 現(xiàn)網(wǎng) 所有 主機 操作系統(tǒng) （ Sun Solaris， HP Unix， Windows：Telnet， SUSELinux， RedHatLinux， AIX） 和網(wǎng)絡設備操作系統(tǒng)（ CiscoIOS， HuaWeiVRP） 默認支持 的服務類型，用戶可以 通過 網(wǎng)絡遠程登錄到 遠程 IP 網(wǎng)絡 計算 11 機上，并 以 本地 虛擬終端方式 在遠程設備上 執(zhí)行操作 。其中， SSH 服務實現(xiàn)了 網(wǎng)絡 傳輸 數(shù)據(jù) 的 壓縮和加密。既能防止 網(wǎng)絡傳輸過程中傳輸內(nèi)容被截獲，也能提高傳輸效率 ，它 完全 實現(xiàn)了 Telnet 的功能 。 現(xiàn)網(wǎng) 一些主機和網(wǎng)絡設備開放 了 遠程 登錄端 口，便 于 系統(tǒng)維護的日維人員 通過網(wǎng)管網(wǎng)絡 對 主機，網(wǎng)絡設備的運行狀態(tài)做 日常 檢查和錯誤診斷 等 日常維護工作 。 2、 文件傳輸 （ FTP， SFTP） 服務 。 文件傳輸服務也是所有 現(xiàn)網(wǎng)主機 操作系統(tǒng)默認支持的服務類型。用戶通過虛擬終端 連接 到 遠程計算機 上， 實現(xiàn) 將 文件從遠程計算機上拷到本地計算機 或把本地計算機的文件 推 送到遠程計算機去 的功能 。 SFTP 服務 是采用加密方式來傳輸數(shù)據(jù)的 ，比 FTP 在傳輸方式上更安全。 通過文件傳輸服務 ，日維人員在需要日志、 報表傳輸 時可以方便的通過網(wǎng)管網(wǎng)絡實現(xiàn)對各種 類型 文件 的獲取 。 3、 超文本鏈接 （ HTTP， HTTPS） 服務 。 HTTP 服務通過服務器端 開放 WEB 服務偵聽端口 提供 WEB 應用 ， 客戶端只需 通過 標準 WEB 瀏覽器 ，就可以訪問業(yè)務WEB 服務器提供的網(wǎng)站 。 在日常維護工作中， 日維人員通過在本地部署 如 IE， FireFox， Netscape 等 Web 瀏覽器 ， 就可以方便 地 進行 WWW 網(wǎng)站的有效性 測試 ，日常報表數(shù)據(jù)、業(yè)務運行狀態(tài)和 日志 查詢 等操作 。 12 4、 簡單網(wǎng)絡管理 （ SNMP） 服務 。 SNMP 服務 提供了一種從網(wǎng)絡 主機 設備 和網(wǎng)絡設備 中 提取和 收集 設備 管理信息 （ MIB） 的方法 。 MIB 來自 各廠家 為產(chǎn)品 定義 的被管理對象名 的 集合， 包括 設備 性能 特性、數(shù)據(jù)吞吐量、通信超載和錯誤 等與設備相關的數(shù)據(jù)指標。 SNMP 服務 功能 包括管理站 和 代理兩部分 ， 它們 分別部署在同一個或兩個 不同 的網(wǎng)絡 設備上。 SNMP 提供 了兩種管理信息的獲取方式： 提取 （ SNMP Get） ， 指的是 由管理站 發(fā)起要求獲得管理信息的 請求，代理 則 根據(jù)請求中的 MIB 標識從當前設備上提取對應的 MIB 值，將結(jié)果返回給管理站 ； 收集 （ SNMP Trap） ， 指的 是 代理 上設置相應 MIB 信息 的告警規(guī)則 ，當出現(xiàn) 告警 ，代理將主動向管理站 發(fā)送或在網(wǎng)絡上廣播 Trap 包 來 報告意外情況。 目前，所有的主流操作系統(tǒng)都支持 SNMP 服務 。系統(tǒng)維護的 日維人員通過在本地部署 SNMP 管理站，來 查看 遠程 網(wǎng)絡設備的運行狀態(tài) 。 5、 網(wǎng)絡控制報文（ ICMP） 協(xié)議 。 用于在 IP 主機、路由器之間傳遞控制消息?？刂葡?包括 網(wǎng)絡 是否連 通 、主機是否可達、路由是否可用等網(wǎng)絡本身的消息。這些控制消息雖然并不傳輸用戶數(shù)據(jù)，但是對于用戶數(shù)據(jù)的傳遞起著重要的作用。 所有的 主機系統(tǒng)和 網(wǎng)絡設 13 備 默認 都支持此協(xié)議。日維人員通常使用 Ping 程序和transrouter 程序來測試 網(wǎng)絡連通性和主機可到達性。 6、 數(shù)據(jù)庫服務器網(wǎng)絡偵聽服務。數(shù)據(jù)庫服務器網(wǎng)絡偵聽服務 用于 偵聽數(shù)據(jù)庫 客戶端 到 數(shù)據(jù)庫 服務器的 連接請求，提供通過網(wǎng)絡遠程 訪問數(shù)據(jù)庫 的 服務 。 所有的主流數(shù)據(jù)庫（ Oracle， Sql server， SysBase， Mysql）都支持這種網(wǎng)絡接入服務。通過在服務器端開啟網(wǎng)絡偵聽服務，將客戶端部署到本地網(wǎng)管主機，日維人員可以實現(xiàn)數(shù)據(jù)庫的遠程接入和數(shù)據(jù)訪問。 第三章 多數(shù)據(jù)業(yè)務統(tǒng)一維護系統(tǒng)的實現(xiàn) 統(tǒng)一維護系統(tǒng) 設計采用分層次的模塊化結(jié)構，基于 Windows和 Linux 操作系統(tǒng)為開發(fā)平臺，以 系統(tǒng)監(jiān)控 開發(fā)包和 Oracle 數(shù)據(jù)庫作為承載模塊進行實現(xiàn)?？傮w框架如下圖所示： 14 承 載 模 塊監(jiān) 控 處 理 模 塊采集方法配置告警配置閥值配置調(diào)度配置被 監(jiān) 控 網(wǎng) 絡 設 備配 置 模 塊密碼配置采集模塊密碼管理模塊告警模塊O r a c l e告 警 接 收 對 象存儲配置存 儲 模 塊統(tǒng) 一 備份 系 統(tǒng)報 表 模 塊圖表 1 多數(shù)據(jù)業(yè)務平臺統(tǒng)一維護系統(tǒng)框架圖 如 圖所示，為實現(xiàn)系統(tǒng)功能 , 在 系統(tǒng)監(jiān)控 開發(fā)包和 Oracle 數(shù)據(jù)庫等形成的軟件承載基礎上，設計了配置模塊，密碼管理模塊，采集模塊，監(jiān)控處理模塊 , 存儲模塊 , 告警模塊和報表模塊 , 并通過各模塊之間的消息傳遞，方法調(diào)用和網(wǎng)絡端口通信來完成對各監(jiān)控指標的配置，調(diào)度，告警 , 存儲和統(tǒng)計等功能。下面就對各模塊功能作詳細描述。 第一節(jié) 系統(tǒng)監(jiān)控開發(fā)包 系統(tǒng) 監(jiān)控開發(fā)包 是由 Ks-soft 公司基于 Dephi 集成開發(fā)環(huán)境 推出的基礎開發(fā)包 , 通常 運行在 Windows 系列操作系統(tǒng)平臺 之上 ，主要適用于 主機監(jiān)控軟件 的二次開發(fā) 。它提供了標 準化展示界面 15 及統(tǒng)一調(diào)度功能 , 支持代理方式的數(shù)據(jù)采集，代理可以運行在Windows， AIX， Linux， Unix 操作系統(tǒng)上。 在采集方式上，它支持通用的 SNMP 采集方式 可 用于遠程 MIB 庫信息的提??； 也具備 ODBC 開放式調(diào)用接口 , 為實現(xiàn)數(shù)據(jù)庫統(tǒng)一訪問提供了可能； 而提供代理和非代理方式下的 開放的外部可執(zhí)行程序調(diào)用接口 , 則 為用戶的個性化監(jiān)控需求的采集實現(xiàn)提供了支持 。 我們通過編寫 多重 可執(zhí)行腳本和程序可以實現(xiàn)所有現(xiàn)網(wǎng)業(yè)務系統(tǒng)監(jiān)控指標的采集需求 ， 如果有新的業(yè)務指標需要新的采集方法，只要添加新編寫的 VB 腳本 、 可執(zhí)行程序 或 Shell 腳本，經(jīng)過獨立測試后就可以集成到現(xiàn)有采集功能列表，靈活實現(xiàn)業(yè)務指標采集功能的擴展，節(jié)省了二次開發(fā)的費用，節(jié)約了維護成本。另外，為了增強代碼的通用性，我們還采用程序模塊參數(shù)化的思想，使得同一程序通過接收不同參數(shù)實現(xiàn)多指標采集的代碼共享。 在告警方式上，通過開放的外部可執(zhí)行程序的調(diào)用，我們也可以根據(jù)需求實現(xiàn)任意方式的告警通知。 總之，該開發(fā)包為 我們在其上 進行二次 開發(fā) ，實現(xiàn)多數(shù)據(jù)業(yè)務 平臺 的統(tǒng)一 維護 管理系統(tǒng)提供了 較好的 支持。 第 二 節(jié) 采集 模塊 采集模塊負責與遠程主機和網(wǎng)絡設備進行通信執(zhí)行定時數(shù)據(jù)采集功能。通 過提取采集方式，讀取參數(shù)輸入來選擇調(diào)用不同的 16 應用程序?qū)崿F(xiàn)代理或無代理方式下的采集數(shù)據(jù)的提取，同時接收采集數(shù)據(jù)。 采集方式根據(jù)采集端口 共 分為兩種 ： 一、 客戶機 /代理 /服務器模式 。 這種方式通過在被監(jiān)控的主機端部署代理軟件，提供了 采集端 （客戶端） 和被采集端 （服務器）通信的 統(tǒng)一的 TCP 端口，從而 不依靠其它通信端口 和服務 就能夠?qū)崿F(xiàn)本地 網(wǎng)管 主機的 到 遠程 網(wǎng)絡設備的 訪問 。 消息流程圖 如 下 所示 ： 客 戶 機代 理 服 務 器A u t h e n t i c a t i o n R e q u e s t ( U s e r / P a s s w d )A u t h e n t i c a t i o n S u c c c e s sC o n t e n t s R e q u e s tE x e c u t e C o n t e n t s R e q u e s tR e s u l t r e s p o n s eR e s u l t R e s p o n s eC l o s e C o n n e c t i o n C o n n e c t i o n R e q u e s tC o n n e c t i o n S u c c e s sC l o s e S u c c e s s建 立 連 接認 證執(zhí) 行 請 求斷 開 連 接C r e a t e S u b P r o c e s sE x e c u t e圖表 2 客戶機 /代理 /服務器 消息 流程 、 建立連接 階段 。 運行在服務器主機系統(tǒng)上 的代理 ，開放 TCP 偵聽端口并始終保持偵聽狀態(tài)；客戶機通過Socket 發(fā)起建立連接請求，其中包 括代理所在的主機名和端口 信息，代理偵聽器接收到連接請求 ，查找預 17 先配置的主機名列表，如果是合法主機，則返回連接成功。 、 認證階段。 客戶機收到連接響應后立即發(fā)送用戶名和密碼認證請求給代理程序，代理進行密碼校驗成功后將生成 通信文件描述符 ， 客戶端返回認證成功。代理主進程創(chuàng)建 通信 子進程， 通信 子進程根據(jù) 通信文件描述符 將與客戶端進行通信。主進程關閉通信文件描述符繼續(xù)偵聽端口上的連接請求 ，這 種方式將避免了多個請求連接阻塞，實現(xiàn)了并發(fā)訪問 。 、 內(nèi)容請求執(zhí)行階段?？蛻舳税l(fā)送命令請求并等待代理執(zhí)行返回，代理 通信 子進程 在 接收 到 命令請求 后 ，直接 轉(zhuǎn)發(fā) 給服務器執(zhí)行請求， 服務器 在 解析并 執(zhí)行 命令請求后將結(jié)果返回給代理通信子進程，后者 將結(jié)果通過轉(zhuǎn)發(fā)給客戶機 。 、 連接斷開階段?？蛻魴C收到執(zhí)行結(jié)果后將斷開 Socket連接，代理 在收到請求后則 退出通信子進程?？蛻魴C和代理隨即釋放系統(tǒng)資源，返回連接前狀態(tài)。 代理 方式的優(yōu)點在于， 客戶機和服務器之間可以減少 互操作 次數(shù) ，降低網(wǎng)絡流量 ； 另外， 通過開放統(tǒng)一端口， 限制 客戶機源地址 和密碼認 證 來 實現(xiàn)安全的數(shù)據(jù)訪問 。 這種訪問方式的 缺點是需要在遠程網(wǎng)絡主機上 額外部署軟件程序并占用主機 資源 。 由以上消息流程可以看出，代理實現(xiàn)通信連接 18 和轉(zhuǎn)發(fā)功能，而和請求內(nèi)容和返回結(jié)果無關。這樣，客戶機即可根據(jù)實際需求自由定制請求內(nèi)容，只要請求能被服務器應用程序解釋執(zhí)行，同時，對服務器端返回的結(jié)果，客戶機程序同樣能夠解釋即可。對于這種采集方式，在實現(xiàn)手段上按 服務器端的 操作系統(tǒng) 類型 分為兩類。 、 采用 Shell 腳本方式提取采集指標數(shù)據(jù) (適用于 Linux，Unix， AIX 操作系統(tǒng) )。 Shell 是所有非 Windows 操作系統(tǒng)以外的 主流操作系統(tǒng)都支持的 解釋型的 編程語言。它既是 命令語言，又是一種程序設計語言。作為命令語言，它交互式地解釋和執(zhí)行用戶輸入 系統(tǒng)命令，文件操作命令，以及各種應用程序命令 ；作為程序設計語言，它 仍然支持交互式命令的解釋執(zhí)行，并定義了各種變量和參數(shù)， 提供了許多在高級語言中才具有的控制結(jié)構，包括循環(huán)和分支。 當 手工提取這類操作系統(tǒng)的指標數(shù)據(jù)時， 可通過 輸入一個或多個 Shell 交互命令的方式實現(xiàn)。 一般來說 ，只要 Shell 命令能夠做到的，我們都能 通過 Shell 腳本，實現(xiàn)該類操作系 統(tǒng)的任何指標 的采集 邏輯 。 下圖是對 Shell 概念的描 述圖。 19 操 作 系 統(tǒng) 內(nèi) 核S h e l l 解 釋 器S h e l l 命 令S h e l l 腳 本圖表 3 Shell 概念描述圖 、 采用 VBS 腳本方式提取采集指標數(shù)據(jù) （適用于Windows 系列操作系統(tǒng)） 。 VBS 是一種 Windows 腳本，Visual Basic 的 一個抽象子集， 解釋執(zhí)行器宿主 host 是Windows 操作 系統(tǒng)內(nèi)置的 。 VBS 源代碼文件 無需編譯就可以直接執(zhí)行，便于調(diào)試和更新， 使各種各樣的任務自動化， 能 極大 地 提高工作效率。 它最 強大 的地方就是提供了對 indows 通用 COM 對象的 支持。 只 要找到包含有 所 需要的功能的模塊文件，并在腳本中規(guī)范的引用，就可以實現(xiàn)特定的功能 。目前業(yè)界提供了眾多的 COM 對象 包括操作系統(tǒng) Build-In 的 組件 可供調(diào)用 ，能夠 實現(xiàn) Windows 操作系統(tǒng)上任意指標的數(shù)據(jù)采集。 下圖是 VBS 的概念描述圖 以及本地 采集方式 下 的COM 組件的支持 。 20 操 作 系 統(tǒng) 內(nèi) 核H o s t 宿 主 解 釋 器C O M 組 件V B S 腳 本圖表 4 VBS 概念描述圖 采集接口 COM 對象 服務器操作系統(tǒng) 命令方式 Scripting.Shell Windows 文本文件 Scripting.FileSystemObject,Scripting.File Windows Excel 文件 Excel.Application Windows 圖表 5 COM 組件列表 二、 通過 通用 遠程通信服務端口 實現(xiàn)遠程監(jiān)控 。 這種方式是 在本地運行 可執(zhí)行 程序 來模擬 完整的 手工遠程訪問操作，消息流程如 下圖 所示 。 它無需在遠程網(wǎng)絡設備上安裝額外的代理 程序， 從而不占用因此 產(chǎn)生的 軟硬件 資源消耗。但 對于難以提取的 復雜的 監(jiān)控指標 需要進行多次交互，增加了網(wǎng)絡流量 。 我 們 可以 盡量多的將多個操作放在一條命令里執(zhí)行，也可以 將 它們 編寫成可執(zhí)行文件保存在遠程主機，在本地發(fā)送指令觸發(fā) 可執(zhí)行 文件 遠程運 行， 通過 這些 方式 來 減少 因頻繁 交互 而產(chǎn)生的網(wǎng)絡帶寬的消耗 。 21 客 戶 機服 務 器A u t h e n t i c a t i o n R e q u e s t ( U s e r / P a s s w d )A u t h e n t i c a t i o n S u c c c e s sC o m m a n d o r E v e n t R e q u e s tR e s u l t R e s p o n s eC l o s e C o n n e c t i o n C o n n e c t i o n R e q u e s tC o n n e c t i o n S u c c e s sC l o s e S u c c e s s建 立 連 接認 證執(zhí) 行 請 求斷 開 連 接.E x e c c u t e圖表 6 通用網(wǎng)絡通信服務交互 消息流程 、 建立連接。 服務器打開遠程網(wǎng)絡通信服務，如 SSH，Telnet， HTTP， SNMP， ICMP， 數(shù)據(jù)庫 網(wǎng)絡服務 等服務。 此時服務對應的偵聽端口將被開啟，負責接收客戶端的請求?？蛻魴C發(fā)送連接請求給服 務端的主機名和端口號，服務器將返回連接成功響應。 、 認證階段。認證階段的行為依據(jù)不同服務而有不同的表現(xiàn)。 SHH， Telnet 服務 的認證是 在 成功連接后通過用戶名 、 密碼的方式進行認證； HTTP 服務本身無需認證，對 Web 應用的訪問權限依賴 Web 應用程序是否提供認證功能 而定 ； ICMP 服務則無需認證過程； SNMP 的認證是通過指定服務器端 Community 完成的； 數(shù)據(jù)庫 網(wǎng) 22 絡 服務 是通過數(shù)據(jù)庫 實例名 、 用戶名 和 密碼進行認證的 。 、 執(zhí)行階段。 登錄完成后客戶機 可以通過發(fā)送命令和消息請求方式完成和服務器操作的交互，并對命令執(zhí)行和消息返 回結(jié)果進行分析和處理，根據(jù)實際需要可能進行多次交互最終實現(xiàn)遠程操作目的。 、 客戶端在獲得處理結(jié)果后將主動斷開此次連接，雙方系統(tǒng) 釋放 此次操作 所 占資源 ，并返回連接前狀態(tài) 。 根據(jù)以上 消息流程，依賴各類遠程通訊端口， 我們通過 采用以下 不同的 技術手段，可以實現(xiàn)任意消息和命令的發(fā)送來獲得服務器端的各項指標的提取 ： 、 數(shù)據(jù)庫 方式 。 通過 ODBC 技術實現(xiàn)對數(shù)據(jù)庫的集中訪問。微軟開發(fā)了開放數(shù)據(jù)互聯(lián)（ ODBC）中間件，它屏蔽了不同數(shù)據(jù)庫軟件的差異，提供統(tǒng)一的數(shù)據(jù)庫訪問接口。 用戶 在客戶端上安裝數(shù)據(jù)庫 ODBC 驅(qū)動程序， 然后 創(chuàng)建數(shù)據(jù)源， 即可 對不同數(shù)據(jù)庫服務器進行遠程訪問 ，再 通過編寫不同的 SQL 語句， 就能完成 不同實例下的各庫指標的統(tǒng)一接口提取。 ODBC實現(xiàn)參考模型如下圖所示： 23 S q l s e r v e rM y s q lO r a c leO D B C 接 接接 接O r a c l e O D B C 接M y s q l O D B C 接S q l s e r v e r O D B C 接接 圖表 7 ODBC 實現(xiàn)參考模型 、 命令提取 方式。 這種方式 通常通過遠程登錄服務SSH,Telnet 執(zhí)行服務器可執(zhí)行命令完成的， COM 組件WeOnlyDo.wodSSHCom.1提供了對象供 VBS調(diào)用實現(xiàn)遠程登錄，命令發(fā)送，命令接收，退出登錄等一系列的步驟，可以完成任何命令 形式的數(shù)據(jù)采集功能 。 、 文件方式。 這種方式一部分是通過 向 服務器 發(fā)送 命令的方式實現(xiàn)的，但對于復雜的文件格式和數(shù)據(jù)的提取，我們是通過將文件 FTP 到客戶端，然后執(zhí)行文件讀取操作實現(xiàn)的。 FTP可以通過 Window 提供的內(nèi)置的 COM組件 Wscript.shell 來實現(xiàn)。 、 WEB 方式。 這種方式是通過客戶端打開瀏覽器，進行Web 應用訪問實現(xiàn)指標數(shù)據(jù)的提取，對于這種方式，Windows 提供了內(nèi)置的 COM 組件 24 Internetexplorer.application實現(xiàn)網(wǎng)頁打開 和 關閉操作 ；對象 document 則 實現(xiàn)對網(wǎng)頁任意內(nèi)容 的提取。 、 WQL 方式。是 Windows 管理技術 （ WMI）查詢語言 ，WMI 提供 訪問、配置、管理和監(jiān)視幾乎所有的 Windows資源 的功能 ，包括驅(qū)動器，文件系統(tǒng)，進程，服務，共享，注冊表，網(wǎng)絡模塊，事件日志，用戶等對象。通過編寫 WMI 查詢語言（ WQL）語句完成對 Windows資源對象的狀態(tài)的提取。 Windows 提供了內(nèi)置的 COM對象 Winmgmt:服務器名 實現(xiàn)對 遠程 WMI 服務的接入。 、 SNMP 方式。 Cisco 網(wǎng)絡設備提供對外開放的 指標 MIB OID 列表，通過在服務器上開啟 SNMP 服務并定義 身份驗證 字段 Community 字段值，客戶端提供服務器主機名， Community 值和 MIBOID 就可以實現(xiàn)對應指標的提取。 從以上 采集 實現(xiàn) 方式 可以看出， 不同的 主機和網(wǎng) 絡 設備 可以根據(jù)實際情況 的 需要 采取 不同的 方式 ， 詳細采集 命令 和采集實現(xiàn) 方式 見 附件一：系統(tǒng)硬件運行狀態(tài)指標 .xls， 附件二 ：系統(tǒng) 軟件 運行狀態(tài)指標 .xls， 附件三：日報表業(yè)務指標 .xls。 25 第 三 節(jié) 密碼管理 模塊 VBS 腳本在實現(xiàn)遠程登陸方式采集時都需要遠程主機的主機名或 IP 地址，用戶名和密碼信息。這種情況下密碼就需通過明文方式多處存放，為了提高操作的安全性，通過密 碼管理功能模塊將密碼加密后統(tǒng)一存儲到數(shù)據(jù)庫表中供采集模塊的可執(zhí)行程序調(diào)用。同時，我們開發(fā)了動態(tài)鏈接庫 PrjEncryptionDB.DLL 提供了 PrjEncryptionDB.ClsEncryptionDB 對象 供 各 VB 腳本和可執(zhí)行程序調(diào)用來獲取主機名或 IP 地址和用戶名對應的訪問密碼 , 從而達到了一處保存，多處使用的安全的密碼管理功能。該功能模塊加密算法采用了支持反解密的二進制異或算法，用于在采集模塊程序提取后的遠程登錄操作。 第 四 節(jié) 實時告警模塊 此模塊負責超過閥值的監(jiān)控任務采集數(shù)據(jù)的異常告警。當采集模塊執(zhí) 行返回后， 如 返回數(shù)值滿足告警閥值，此模塊將被觸發(fā)執(zhí)行，告警流程如下所示。 接 收 輸入 參 數(shù)并 處 理告 警 發(fā) 送并 返 回 狀態(tài)析 構 通信 對 象創(chuàng) 建 通信 對 象圖表 8 告警 處理 流程 告警模塊選擇加載預定義的告警方式程序 ， 接收輸入?yún)?shù)并作相應處理 ， 創(chuàng)建發(fā)送通信對象 ， 設置發(fā)送內(nèi)容和發(fā)送接受對象 ，發(fā)送告警信息并返回 發(fā)送狀態(tài)，最后 析構通信對象。 為有效保證 26 實時告警， 根據(jù)系統(tǒng)網(wǎng)絡部署的需求，我們 還 實現(xiàn)了通過數(shù)據(jù)業(yè)務的企信通平臺 實時 下發(fā)異常告警功能，它是通過 VBS 調(diào)用企信通提供的外部開發(fā)接口對象 empp.Emptcl 完成的。輸入?yún)?shù)為：接收者，告警指標名稱，告警時間，采集結(jié)果，采集結(jié)果狀態(tài)等信息。 下圖為通過企信通平臺實現(xiàn)的告警下發(fā)短信樣式。 監(jiān) 控 告 警 通 知指 標 名 ： 根 目 錄 監(jiān) 控 主 機 數(shù) 據(jù) 庫 性 能 表 空 間 利 用 率狀 態(tài) ： B a d返 回 值 ： 9 1 . 2 7時 間 ： 2 0 0 9 - 3 - 1 1 1 9 ： 2 0 ： 4 1 維 護 圖表 9 下發(fā)短信 樣式 第 五 節(jié) 存儲模塊 此模塊提供了系統(tǒng)數(shù)據(jù)的集中存儲功能， 便于該平臺配置數(shù)據(jù)和采集數(shù)據(jù)的 統(tǒng)一 存儲 和 備份。 對定時采集的數(shù)據(jù)可以選擇忽略，文件存儲，數(shù)據(jù)庫存儲三種存儲方式。對存儲內(nèi)容可以選擇所有調(diào)度均存儲，狀態(tài)改變時存儲和告警時存儲等多種方式 ， 其中 對于數(shù)據(jù)量較小和不經(jīng)常變化的信息，通常采用文件存儲的方式 ,主要存放在文件系統(tǒng)內(nèi)。包括， 指標任務列表：用于對各指標配置數(shù)據(jù)的存儲。 采集方法列表：用于記錄已支持的各種采集方式信息。 告警方式列表：用于記錄已支持的不同的告警方式。 日志文件：用于記錄該平臺運行狀態(tài)信息。 27 對于經(jīng)常變化和數(shù)據(jù)量比較大的信息， 我們將它們同于存儲到Oracle 數(shù)據(jù)庫 。 包括 : 采集數(shù)據(jù)列表：用于實時記錄各指標的采集數(shù)據(jù)信息。 密碼存儲列表：用于記錄遠程訪問的主機登陸密碼信息。 其它各模塊可以通過上述列表對相應數(shù)據(jù)進行讀寫操作。各列表存 儲內(nèi)容和關系結(jié)構圖如圖所示。 指 標 任 務 列 表P K T e s t I dT i t l eF K 1 T e s t M e t h o dS c h e d u l e M o d eI n t e r v a lA l e r t M e t h o dA l e r t C o n d i t i o nA l e r t V a l u eF K 2 A l t e r M e t h o d采 集 方 法 列 表P K T e s t M e t h o dM e t h o d N a m eP a r a m e t e r 1P a r a m e t e r 2P a r a m e t e r 3. . . . . .告 警 方 式 列 表P K A l t e r M e t h o dA l t e r N a m eP a r a m e t e r 1P a r a m e t e r 2P a r a m e t e r 3. . . .采 集 數(shù) 據(jù) 列 表F K 2 T e s t i dD a t e t i m eR e p l yF K 1 S t a t u s I D采 集 狀 態(tài) 列 表P K S t a t u s I DS t a t u s密 碼 存 儲 列 表P K H o s t O r D N SP K U s e r N a m eP a s s w o r d圖表 10 存儲列表關系結(jié)構圖 所有采集到信息都可通過系統(tǒng)監(jiān)控開發(fā)包所提供的開放式采集指標數(shù)據(jù)存儲接口加以存儲 ,當然 ,考慮到 系統(tǒng)軟 、硬 件運行狀態(tài)指標 的采集間隔比較短（ 10 分鐘），采集數(shù)據(jù)比較大；業(yè)務日報表指標采集周期相對來講較長（天），為便于不同類型數(shù)據(jù)的統(tǒng)計分析和報表生成，通過編寫存儲過程將這兩類數(shù)據(jù)分別存放到 Oracle 數(shù)據(jù)庫的 2 張數(shù)據(jù)表中。 28 考慮到每天會有大量的采集數(shù) 據(jù)入庫，我們定義了 Linux 定時任務，對采集數(shù)據(jù)列表中的采集記錄進行每天舊數(shù)據(jù) 定時清理 ，確保數(shù)據(jù)庫數(shù)據(jù)表空間被循環(huán)利用。舊數(shù)據(jù)清理策略為，對設備性能 和業(yè)務運行功能 數(shù)據(jù)在數(shù)據(jù)庫中只 保留 1 個月的記錄，而 對于日報表指標 采集數(shù)據(jù)設置保留 1 年的記錄 。 另外，為了防止所有數(shù)據(jù)的丟失，我們對所有的數(shù)據(jù)列表進行備份，將 Windows 文件系統(tǒng)和 Linux Oracle 數(shù)據(jù)庫系統(tǒng)接入了欽州