集團(tuán)公司智慧IT運(yùn)維平臺-技術(shù)路線方案

1、PAGE 集團(tuán)公司智慧IT運(yùn)維平臺技術(shù)路線方案目 錄 TOC o 1-4 h z u HYPERLINK l _Toc528144440 1.目標(biāo)及范圍 PAGEREF _Toc528144440 h 5 HYPERLINK l _Toc528144441 1.1 項(xiàng)目目標(biāo) PAGEREF _Toc528144441 h 5 HYPERLINK l _Toc528144442 1.2 項(xiàng)目范圍 PAGEREF _Toc528144442 h 6 HYPERLINK l _Toc528144443 2.技術(shù)方案 PAGEREF _Toc528144443 h 7 HYPERLINK l _Toc

2、528144444 2.1 技術(shù)路線 PAGEREF _Toc528144444 h 7 HYPERLINK l _Toc528144445 2.1.1 關(guān)鍵技術(shù) PAGEREF _Toc528144445 h 8 HYPERLINK l _Toc528144446 運(yùn)行監(jiān)控系統(tǒng) PAGEREF _Toc528144446 h 8 HYPERLINK l _Toc528144447 配置管理數(shù)據(jù)庫系統(tǒng) PAGEREF _Toc528144447 h 27 HYPERLINK l _Toc528144448 IT服務(wù)管理系統(tǒng) PAGEREF _Toc528144448 h 31 HYPERLIN

3、K l _Toc528144449 運(yùn)維門戶 PAGEREF _Toc528144449 h 33 HYPERLINK l _Toc528144450 大屏展示 PAGEREF _Toc528144450 h 36 HYPERLINK l _Toc528144451 平臺集成 PAGEREF _Toc528144451 h 38 HYPERLINK l _Toc528144452 2.1.2 特色技術(shù) PAGEREF _Toc528144452 h 39 HYPERLINK l _Toc528144453 電信級的統(tǒng)一數(shù)據(jù)采集技術(shù) PAGEREF _Toc528144453 h 39 HYPE

4、RLINK l _Toc528144454 科學(xué)的業(yè)務(wù)可用性量化算法 PAGEREF _Toc528144454 h 43 HYPERLINK l _Toc528144455 特色的移動(dòng)終端應(yīng)用技術(shù)（掌上運(yùn)維） PAGEREF _Toc528144455 h 45 HYPERLINK l _Toc528144456 強(qiáng)大的系統(tǒng)集成ESB數(shù)據(jù)總線 PAGEREF _Toc528144456 h 52 HYPERLINK l _Toc528144457 高效的告警掃描產(chǎn)品 PAGEREF _Toc528144457 h 54 HYPERLINK l _Toc528144458 面向SOA的流程引擎

5、 PAGEREF _Toc528144458 h 54 HYPERLINK l _Toc528144459 CMDB靈活建模和調(diào)和技術(shù) PAGEREF _Toc528144459 h 58 HYPERLINK l _Toc528144460 大屏綜合展示開發(fā)技術(shù) PAGEREF _Toc528144460 h 59 HYPERLINK l _Toc528144461 2.1.3 系統(tǒng)性能 PAGEREF _Toc528144461 h 61 HYPERLINK l _Toc528144462 設(shè)備管理數(shù)量 PAGEREF _Toc528144462 h 61 HYPERLINK l _Toc5

6、28144463 響應(yīng)時(shí)間 PAGEREF _Toc528144463 h 62 HYPERLINK l _Toc528144464 容量 PAGEREF _Toc528144464 h 62 HYPERLINK l _Toc528144465 2.2 系統(tǒng)總體架構(gòu)及部署 PAGEREF _Toc528144465 h 62 HYPERLINK l _Toc528144466 2.2.1 總體架構(gòu) PAGEREF _Toc528144466 h 62 HYPERLINK l _Toc528144467 2.2.2 系統(tǒng)組成及系統(tǒng)體系結(jié)構(gòu) PAGEREF _Toc528144467 h 63 H

7、YPERLINK l _Toc528144468 2.3 標(biāo)準(zhǔn)化 PAGEREF _Toc528144468 h 64 HYPERLINK l _Toc528144469 2.3.1 運(yùn)行監(jiān)控系統(tǒng) PAGEREF _Toc528144469 h 64 HYPERLINK l _Toc528144470 運(yùn)行監(jiān)控系統(tǒng)接口規(guī)范 PAGEREF _Toc528144470 h 64 HYPERLINK l _Toc528144471 監(jiān)控對象命名規(guī)范 PAGEREF _Toc528144471 h 66 HYPERLINK l _Toc528144472 運(yùn)行監(jiān)控服務(wù)目錄 PAGEREF _Toc5

8、28144472 h 68 HYPERLINK l _Toc528144473 運(yùn)行監(jiān)控服務(wù)及報(bào)表申請流程 PAGEREF _Toc528144473 h 70 HYPERLINK l _Toc528144474 2.3.2 服務(wù)管理系統(tǒng) PAGEREF _Toc528144474 h 73 HYPERLINK l _Toc528144475 服務(wù)管理系統(tǒng)接口規(guī)范 PAGEREF _Toc528144475 h 73 HYPERLINK l _Toc528144476 運(yùn)維術(shù)語和運(yùn)維流程 PAGEREF _Toc528144476 h 73 HYPERLINK l _Toc528144477

9、相關(guān)指標(biāo) PAGEREF _Toc528144477 h 75 HYPERLINK l _Toc528144478 基礎(chǔ)數(shù)據(jù) PAGEREF _Toc528144478 h 77 HYPERLINK l _Toc528144479 2.3.3 配置管理系統(tǒng) PAGEREF _Toc528144479 h 78 HYPERLINK l _Toc528144480 配置項(xiàng)分類標(biāo)準(zhǔn) PAGEREF _Toc528144480 h 78 HYPERLINK l _Toc528144481 配置項(xiàng)命名標(biāo)準(zhǔn) PAGEREF _Toc528144481 h 79 HYPERLINK l _Toc528144

10、482 配置項(xiàng)信息變更規(guī)范 PAGEREF _Toc528144482 h 81 HYPERLINK l _Toc528144483 配置項(xiàng)信息模板 PAGEREF _Toc528144483 h 85 HYPERLINK l _Toc528144484 2.4 安全設(shè)計(jì) PAGEREF _Toc528144484 h 85 HYPERLINK l _Toc528144485 2.4.1 物理安全 PAGEREF _Toc528144485 h 86 HYPERLINK l _Toc528144486 2.4.2 網(wǎng)絡(luò)安全 PAGEREF _Toc528144486 h 86 HYPERLIN

11、K l _Toc528144487 2.4.3 主機(jī)安全 PAGEREF _Toc528144487 h 86 HYPERLINK l _Toc528144488 2.4.4 數(shù)據(jù)安全 PAGEREF _Toc528144488 h 89 HYPERLINK l _Toc528144489 2.4.5 應(yīng)用安全 PAGEREF _Toc528144489 h 91 HYPERLINK l _Toc528144490 2.4.6 安全管理 PAGEREF _Toc528144490 h 92 HYPERLINK l _Toc528144491 2.5 與其他系統(tǒng)的集成 PAGEREF _Toc5

12、28144491 h 93 HYPERLINK l _Toc528144492 2.6 備份方案 PAGEREF _Toc528144492 h 94 HYPERLINK l _Toc528144493 2.6.1 備份方案 PAGEREF _Toc528144493 h 94 HYPERLINK l _Toc528144494 備份技術(shù)介紹 PAGEREF _Toc528144494 h 94 HYPERLINK l _Toc528144495 備份策略介紹 PAGEREF _Toc528144495 h 94 HYPERLINK l _Toc528144496 備份技術(shù)要求 PAGEREF

13、 _Toc528144496 h 95 HYPERLINK l _Toc528144497 重點(diǎn)備份內(nèi)容 PAGEREF _Toc528144497 h 96 HYPERLINK l _Toc528144498 2.6.2 恢復(fù)方案 PAGEREF _Toc528144498 h 96 HYPERLINK l _Toc528144499 恢復(fù)時(shí)間與策略 PAGEREF _Toc528144499 h 96 HYPERLINK l _Toc528144500 備份恢復(fù)處理流程 PAGEREF _Toc528144500 h 97 HYPERLINK l _Toc528144501 備份恢復(fù)處理方

14、案 PAGEREF _Toc528144501 h 98 HYPERLINK l _Toc528144502 3.軟硬件配置方案 PAGEREF _Toc528144502 h 101 HYPERLINK l _Toc528144503 3.1 軟件配置清單 PAGEREF _Toc528144503 h 101 HYPERLINK l _Toc528144504 3.1.1 運(yùn)行監(jiān)控配置清單 PAGEREF _Toc528144504 h 101 HYPERLINK l _Toc528144505 3.1.2 服務(wù)管理配置清單 PAGEREF _Toc528144505 h 103 HYPE

15、RLINK l _Toc528144506 3.1.3 配置管理配置清單 PAGEREF _Toc528144506 h 104 HYPERLINK l _Toc528144507 3.1.4 運(yùn)維門戶配置清單 PAGEREF _Toc528144507 h 104 HYPERLINK l _Toc528144508 3.1.5 大屏展示配置清單 PAGEREF _Toc528144508 h 105 HYPERLINK l _Toc528144509 3.2 硬件配置清單配置建議 PAGEREF _Toc528144509 h 105 HYPERLINK l _Toc528144510 3.

16、2.1 生產(chǎn)環(huán)境硬件配置建議 PAGEREF _Toc528144510 h 105 HYPERLINK l _Toc528144511 3.2.2 測試環(huán)境硬件配置清單 PAGEREF _Toc528144511 h 106 HYPERLINK l _Toc528144512 3.2.3 數(shù)據(jù)庫配置建議 PAGEREF _Toc528144512 h 107目標(biāo)及范圍項(xiàng)目目標(biāo)集團(tuán)公司在總部和企業(yè)層面已經(jīng)建立了以綜合網(wǎng)管系統(tǒng)和SAP SLM系統(tǒng)為主的運(yùn)維支持系統(tǒng)，運(yùn)維支持系統(tǒng)概覽如 REF _Ref328568448 h * MERGEFORMAT 圖所示。圖 運(yùn)維支持系統(tǒng)概覽集團(tuán)公司總部建立

17、呼叫中心系統(tǒng)實(shí)時(shí)響應(yīng)了用戶有關(guān)門戶、OA、基礎(chǔ)應(yīng)用、安全、視頻、MES等系統(tǒng)的服務(wù)請求；工單系統(tǒng)實(shí)現(xiàn)了總部運(yùn)維人員處理系統(tǒng)故障的工單流轉(zhuǎn)；SAP SLM實(shí)現(xiàn)了ERP系統(tǒng)服務(wù)請求受理、事件管理、應(yīng)用監(jiān)控及變更管理；網(wǎng)管監(jiān)控系統(tǒng)實(shí)現(xiàn)了因特網(wǎng)、主干網(wǎng)、局域網(wǎng)、服務(wù)器、安全設(shè)備、企業(yè)防火墻、基礎(chǔ)應(yīng)用等基礎(chǔ)設(shè)施的故障和性能監(jiān)控；資金集中監(jiān)控系統(tǒng)實(shí)現(xiàn)了資金集中系統(tǒng)的網(wǎng)絡(luò)設(shè)備、服務(wù)器、安全設(shè)備、存儲、負(fù)載均衡、災(zāi)備和應(yīng)用系統(tǒng)的一體化監(jiān)控；MES應(yīng)用監(jiān)控評價(jià)系統(tǒng)對MES應(yīng)用進(jìn)行監(jiān)控，為MES上線達(dá)標(biāo)、驗(yàn)收達(dá)標(biāo)及深化應(yīng)用提供了報(bào)告和依據(jù)。在企業(yè)，已建成76家企業(yè)的綜合網(wǎng)管系統(tǒng)，實(shí)現(xiàn)了對企業(yè)基礎(chǔ)設(shè)施的監(jiān)控；基本建

18、成防病毒管理Bigfix系統(tǒng)，截至2012年1月，共安裝18.3萬臺，授權(quán)數(shù)18萬。同時(shí)，廣州石化、茂名石化、燕山石化、北京石油等部分企業(yè)已建設(shè)了運(yùn)維服務(wù)管理系統(tǒng)。本次項(xiàng)目的總體目標(biāo)是整合運(yùn)維支持系統(tǒng)，建設(shè)集中的一體化運(yùn)維平臺，支撐集團(tuán)公司IT運(yùn)維共享服務(wù)，提高運(yùn)行效率，降低成本，實(shí)現(xiàn)總部和企業(yè)運(yùn)維統(tǒng)一調(diào)度和集中管控，達(dá)到國內(nèi)領(lǐng)先、國際一流的水平。（1）建設(shè)集團(tuán)公司IT運(yùn)維平臺，實(shí)現(xiàn)運(yùn)行監(jiān)控、配置管理數(shù)據(jù)庫、IT服務(wù)管理、運(yùn)維門戶與大屏展示；實(shí)現(xiàn)與SAP SLM、SSOC、云資源管理平臺、資金集中監(jiān)控系統(tǒng)、加油卡監(jiān)控等系統(tǒng)的集成。具體實(shí)現(xiàn)如下：統(tǒng)一調(diào)度運(yùn)維資源：建成集中的服務(wù)管理系統(tǒng)，集成SA

19、P SLM，實(shí)現(xiàn)運(yùn)維支持工作的全過程管控和知識共享，通過在線流程有機(jī)協(xié)同總部、區(qū)域中心和企業(yè)之間，運(yùn)維隊(duì)伍與項(xiàng)目組之間的運(yùn)維支持工作。集中監(jiān)控應(yīng)用系統(tǒng)：建成集中的運(yùn)行監(jiān)控系統(tǒng)，實(shí)現(xiàn)對50套應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控，從用戶使用的角度進(jìn)行可用性監(jiān)控，及時(shí)發(fā)現(xiàn)和處理問題，縮短系統(tǒng)不可用時(shí)間。集中管理配置信息：建成集中的配置管理數(shù)據(jù)庫系統(tǒng)，實(shí)現(xiàn)50套應(yīng)用系統(tǒng)與總部管理的基礎(chǔ)設(shè)施的統(tǒng)一管理，為運(yùn)維支持、變更風(fēng)險(xiǎn)分析、重大問題處理決策等及時(shí)地提供真實(shí)數(shù)據(jù)。大屏展示運(yùn)維情況：提升運(yùn)維門戶和大屏展示，通過系統(tǒng)集成大屏展示應(yīng)用監(jiān)控指標(biāo)、信息安全狀況、服務(wù)受理情況、重大問題處理情況等運(yùn)維服務(wù)信息。（2）制定集團(tuán)公司IT

20、運(yùn)維標(biāo)準(zhǔn)與規(guī)范。包括運(yùn)行監(jiān)控規(guī)范、服務(wù)管理規(guī)范、 配置管理規(guī)范等。項(xiàng)目范圍項(xiàng)目范圍包含總部基礎(chǔ)設(shè)施和總部統(tǒng)建的50套應(yīng)用系統(tǒng)，以及與兩家試點(diǎn)企業(yè)已有運(yùn)維系統(tǒng)的集成?；A(chǔ)設(shè)施的范圍主要包括總部4個(gè)數(shù)據(jù)中心，11個(gè)區(qū)域中心，涵蓋服務(wù)器、存儲、安全設(shè)備、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、中間件等，當(dāng)前共有各類設(shè)備7000臺左右，具體數(shù)量以實(shí)際為準(zhǔn)。應(yīng)用系統(tǒng)的范圍主要包括ERP、MES、資金集中管理、總部生產(chǎn)營運(yùn)指揮、電子商務(wù)、合同管理、綜合辦公、加油卡（區(qū)外）、APC等50套應(yīng)用系統(tǒng)，主要涵蓋了SAP、.NET、JAVA、Domino等技術(shù)平臺。技術(shù)方案技術(shù)路線IT運(yùn)維平臺系統(tǒng)的建設(shè)將采取如下總體技術(shù)思路，兼并考慮

21、平臺的整體性與可擴(kuò)充性。采用先進(jìn)的企業(yè)級架構(gòu)技術(shù)采用先進(jìn)的工作流引擎和組件化技術(shù)支持自動(dòng)配置項(xiàng)發(fā)現(xiàn)和識別支持豐富的接口實(shí)現(xiàn)工具，保證相關(guān)系統(tǒng)協(xié)同運(yùn)維平臺主要包括呼叫中心系統(tǒng)、服務(wù)管理系統(tǒng)、運(yùn)行監(jiān)控系統(tǒng)、配置管理數(shù)據(jù)庫系統(tǒng)、綜合展示與運(yùn)維門戶，平臺實(shí)施的技術(shù)路線為：產(chǎn)品路線選擇先進(jìn)的成熟產(chǎn)品，在考慮利舊的同時(shí)，考慮易于適應(yīng)運(yùn)維業(yè)務(wù)、平臺需求變更的產(chǎn)品；選擇系統(tǒng)間接口采用標(biāo)準(zhǔn)協(xié)議或具有集成相關(guān)系統(tǒng)成熟套件的產(chǎn)品；基于云架構(gòu)進(jìn)行基礎(chǔ)設(shè)施及應(yīng)用部署。實(shí)施路線將專業(yè)工具與通用平臺相結(jié)合，通過系統(tǒng)集成滿足專業(yè)管理需求與通用管理需求。參照最佳運(yùn)維實(shí)踐，定制業(yè)務(wù)流程及主要功能。對于不能由產(chǎn)品定制實(shí)現(xiàn)的功能，根

22、據(jù)產(chǎn)品技術(shù)路線，采取J2EE或.NET及其他技術(shù)路線進(jìn)行二次開發(fā)，采用標(biāo)準(zhǔn)接口或其他技術(shù)手段進(jìn)行集成 每個(gè)子系統(tǒng)使用的關(guān)鍵技術(shù)詳細(xì)描述如下。關(guān)鍵技術(shù) IT運(yùn)維平臺在技術(shù)的選擇上遵循先進(jìn)性和成熟型的原則，確保IT運(yùn)維平臺達(dá)到國內(nèi)領(lǐng)先。具體采用關(guān)鍵技術(shù)分系統(tǒng)描述。運(yùn)行監(jiān)控系統(tǒng)統(tǒng)一數(shù)據(jù)采集運(yùn)行監(jiān)控系統(tǒng)的數(shù)據(jù)采集層通過與被管系統(tǒng)的接口采集相關(guān)數(shù)據(jù)，送到數(shù)據(jù)處理層進(jìn)行數(shù)據(jù)處理。數(shù)據(jù)采集是運(yùn)行監(jiān)控系統(tǒng)的重點(diǎn)，采集的效率、準(zhǔn)確性直接影響到整套運(yùn)行監(jiān)控系統(tǒng)的效率。因此，需要一套高效、準(zhǔn)確的采集平臺。自主開發(fā)的統(tǒng)一數(shù)據(jù)采集平臺（軟件登記名稱：統(tǒng)一采集云平臺軟件V7.0）經(jīng)過多年的沉淀和積累可以很好地解決以上問題

23、。統(tǒng)一采集平臺的建設(shè)目標(biāo)是構(gòu)建基于云架構(gòu)的采集共享平臺，能夠?qū)崿F(xiàn)統(tǒng)一采集、統(tǒng)一共享、統(tǒng)一管控：統(tǒng)一采集：統(tǒng)一采集控制，對基礎(chǔ)設(shè)施的監(jiān)控進(jìn)行管控，對不同廠商的監(jiān)控工具進(jìn)行集中管理，實(shí)現(xiàn)監(jiān)控軟件的起?？刂?，策略的統(tǒng)一管理、下發(fā)，支持采集客戶端的的自動(dòng)分發(fā)、集中部署。 可接入各種設(shè)備系統(tǒng)，具備靈活的擴(kuò)展性。支持第三方廠家適配器插件，提高采集系統(tǒng)的平臺能力和開放性。 更合理的采集策略和并行度，采集執(zhí)行效率提升。支持云計(jì)算技術(shù)，突破硬件采集瓶頸。統(tǒng)一共享：按需采集，根據(jù)管理需要靈活設(shè)定采集范圍和采集指標(biāo)。采集平臺處理能力可根據(jù)負(fù)載進(jìn)行調(diào)整，克服采集資源浪費(fèi)的問題。統(tǒng)一的北向接口，采集規(guī)模可以平滑伸縮，通

24、過采集機(jī)管理功能，滿足應(yīng)用和用戶規(guī)模伸縮的需要。對不同的數(shù)據(jù)源采用不同的采集適配器，以插件形式集成在統(tǒng)一采集平臺。一次采集多處復(fù)用，實(shí)現(xiàn)數(shù)據(jù)開放性，并可按照約定接口向第三方系統(tǒng)提供數(shù)據(jù)。統(tǒng)一管控：管理采集能力伸縮，支持超大規(guī)模數(shù)據(jù)采集，多服務(wù)器并行處理，實(shí)現(xiàn)大數(shù)據(jù)量的并行采集，提升采集效率。動(dòng)態(tài)負(fù)載均衡，通過采集節(jié)點(diǎn)同構(gòu)、互換能力及任務(wù)轉(zhuǎn)移等措施來保障采集服務(wù)的高可靠性和容錯(cuò)能力。指標(biāo)算法可視化。可視化的指標(biāo)算法管理可方便維護(hù)人員對各類指標(biāo)算法的維護(hù)和使用，是實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理和采集過程管理的基礎(chǔ)。采集流程透明化，可監(jiān)控?cái)?shù)據(jù)處理過程，簡化了接入過程，減少了維護(hù)工作量。功能架構(gòu)統(tǒng)一數(shù)據(jù)采集的功能架

25、構(gòu)如圖所示：圖 統(tǒng)一數(shù)據(jù)采集功能架構(gòu)具備如下功能： 采集適配器實(shí)現(xiàn)與設(shè)備側(cè)的接口協(xié)議適配，從設(shè)備側(cè)獲取原始數(shù)據(jù)，進(jìn)行數(shù)據(jù)解析（詞法分析，數(shù)據(jù)格式標(biāo)準(zhǔn)化，根據(jù)處理規(guī)則將采集到的底層數(shù)據(jù)轉(zhuǎn)換成相應(yīng)的信息模型的數(shù)據(jù)）。采集適配器的功能組成如下：協(xié)議適配、數(shù)據(jù)獲取、告警風(fēng)暴抑制、數(shù)據(jù)解析、數(shù)據(jù)上報(bào)，并支持被動(dòng)接收設(shè)備側(cè)發(fā)送的數(shù)據(jù)。經(jīng)過解析后的源數(shù)據(jù)通過適配器北向接口向上共享。 采集調(diào)度及處理數(shù)據(jù)處理接收采集任務(wù)，主動(dòng)調(diào)用相應(yīng)采集適配器從設(shè)備側(cè)獲取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行解析、歸一化，并根據(jù)需要進(jìn)行KPI指標(biāo)計(jì)算。原始數(shù)據(jù)、歸一化數(shù)據(jù)、KPI指標(biāo)均可以推送到數(shù)據(jù)共享層，可以文件、數(shù)據(jù)庫、消息等方式進(jìn)行傳送和保存

26、。支持采集適配器的靈活擴(kuò)展以支持不同設(shè)備的數(shù)據(jù)接入。同時(shí)可以接收訂閱策略，根據(jù)策略和當(dāng)前時(shí)間實(shí)例化成采集任務(wù)，根據(jù)各采集節(jié)點(diǎn)的運(yùn)行環(huán)境和資源空閑情況進(jìn)行判斷，能夠選擇合適的采集節(jié)點(diǎn)，并把任務(wù)下發(fā)；能夠接收采集節(jié)點(diǎn)反饋的任務(wù)執(zhí)行情況，并監(jiān)控各采集節(jié)點(diǎn)運(yùn)行狀態(tài)；根據(jù)任務(wù)的采集結(jié)果分析數(shù)據(jù)是否完整，能夠根據(jù)設(shè)定的策略觸發(fā)數(shù)據(jù)的補(bǔ)采。支持如下采集能力：自動(dòng)采集能力滿足定時(shí)任務(wù)周期性自動(dòng)采集數(shù)據(jù)，采集周期和采集時(shí)間根據(jù)要求可任意設(shè)置。采集的時(shí)間粒度可以基于單個(gè)網(wǎng)元選擇。手動(dòng)采集能力滿足任意時(shí)間通過手工方式下發(fā)采集任務(wù)。通過對要采集數(shù)據(jù)范圍設(shè)置開關(guān)量，即可隨時(shí)手動(dòng)按網(wǎng)元或時(shí)間進(jìn)行數(shù)據(jù)采集。全量采集功能提供

27、按照全部被管理對象的全量采集任務(wù)集中下發(fā)，根據(jù)數(shù)據(jù)需要進(jìn)行全量數(shù)據(jù)的集中采集做系統(tǒng)整體數(shù)據(jù)更新能力。單網(wǎng)元采集功能在全量采集基礎(chǔ)上補(bǔ)充提供針對單網(wǎng)元的數(shù)據(jù)采集及數(shù)據(jù)更新，作為全量采集缺失的有效補(bǔ)充機(jī)制。 采集接入管理適配器的注冊、查詢、裝載以及采集單元設(shè)置。 采集策略管理對采集策略的配置、查詢等設(shè)置。能夠根據(jù)采集對象、采集指標(biāo)、采集頻率、采集時(shí)間、啟停狀態(tài)靈活定義被管理網(wǎng)元的采集策略。可支持批量采集策略配置，即一次對一組被管理對象設(shè)定采集策略。采集策略支持按分鐘、小時(shí)、天采集，可以是周期性連續(xù)的時(shí)間段，也可以根據(jù)實(shí)際使用需求需要針對一天中的特定的幾個(gè)時(shí)間點(diǎn)進(jìn)行定制任務(wù)性采集數(shù)據(jù)。 指標(biāo)算法管理

28、采集算法的導(dǎo)入/導(dǎo)出、編輯、差異分析以及指標(biāo)的核查分析等。 數(shù)據(jù)共享管理數(shù)據(jù)訂閱請求，對數(shù)據(jù)消費(fèi)者的管理和查詢、權(quán)限授權(quán)、根據(jù)設(shè)定的數(shù)據(jù)訂閱權(quán)限判斷該訂閱請求是否合理并作出響應(yīng)。數(shù)據(jù)準(zhǔn)備好后，給訂閱該數(shù)據(jù)的外部系統(tǒng)發(fā)送通知消息以及數(shù)據(jù)的訪問方法，外部系統(tǒng)主動(dòng)獲取數(shù)據(jù)，對同一份數(shù)據(jù)的不同訂閱者分別發(fā)送通知。 負(fù)載均衡管理設(shè)置采集機(jī)/組啟停、采集服務(wù)查詢、負(fù)載均衡監(jiān)控及負(fù)荷閾值查看。 采集數(shù)據(jù)監(jiān)控分析對采集到的數(shù)據(jù)進(jìn)行完整性等監(jiān)控及質(zhì)量問題分析。 系統(tǒng)自身管理對統(tǒng)一采集平臺自身的管理，把適配器注冊到平臺中，設(shè)置訪問設(shè)備的信息，對統(tǒng)一采集平臺中任務(wù)執(zhí)行情況、數(shù)據(jù)共享情況的監(jiān)控，設(shè)定各外部應(yīng)用系統(tǒng)對數(shù)

29、據(jù)訂閱的權(quán)限，支持通過統(tǒng)一采集平臺直接完成外部系統(tǒng)對數(shù)據(jù)的訂閱。部署架構(gòu)統(tǒng)一數(shù)據(jù)采集平臺的部署結(jié)構(gòu)如圖所示：統(tǒng)一數(shù)采的部署結(jié)構(gòu)圖各采集機(jī)做為采集節(jié)點(diǎn)，部署在各個(gè)專業(yè)網(wǎng)域內(nèi)，和被管理設(shè)備進(jìn)行交互。采集調(diào)度服務(wù)器、消息服務(wù)器和各個(gè)采集節(jié)點(diǎn)進(jìn)程之間保持網(wǎng)絡(luò)暢通，各采集節(jié)點(diǎn)之間可以不直接連通。這種部署方式通過采集節(jié)點(diǎn)同構(gòu)、互換能力及任務(wù)轉(zhuǎn)移等措施，可以保障采集服務(wù)的高可靠性和容錯(cuò)能力。采集調(diào)度服務(wù)器及其存儲設(shè)備，部署控制層和應(yīng)用層，根據(jù)需要可以部署為主備服務(wù)器，支持在不同機(jī)器上分布部署。消息服務(wù)器，接受、傳遞、轉(zhuǎn)發(fā)消息，根據(jù)需要可以部署為主備服務(wù)器。數(shù)據(jù)來源本項(xiàng)目中，統(tǒng)一數(shù)據(jù)采集平臺的數(shù)據(jù)來源如下圖：

30、在本項(xiàng)目中統(tǒng)一數(shù)據(jù)采集的數(shù)據(jù)來源有三方面：（1）直接采集網(wǎng)絡(luò)、服務(wù)器、存儲、數(shù)據(jù)庫、中間件等基礎(chǔ)設(shè)施的性能數(shù)據(jù)、告警和主要配置數(shù)據(jù)。（2）直接采集22套應(yīng)用系統(tǒng)的可用性和響應(yīng)時(shí)間等應(yīng)用監(jiān)控?cái)?shù)據(jù)。22套應(yīng)用系統(tǒng)包括會計(jì)集中、業(yè)務(wù)公開、合同管理、電子商務(wù)、綜合辦公、總部門戶、股份/集團(tuán)公司網(wǎng)站、總部生產(chǎn)營運(yùn)指揮、零售管理、目錄服務(wù)系統(tǒng)、統(tǒng)一郵件系統(tǒng)、統(tǒng)一通信系統(tǒng)、代理服務(wù)系統(tǒng)、文檔安全管理系統(tǒng)、統(tǒng)一身份管理、PKI/CA、日志審計(jì)系統(tǒng)、時(shí)間服務(wù)、防病毒。（3） 通過和其他監(jiān)控系統(tǒng)集成，實(shí)現(xiàn)對50套重點(diǎn)應(yīng)用系統(tǒng)（ REF _Ref349655104 h * MERGEFORMAT 表 1.6 REF

31、 _Ref349655112 h * MERGEFORMAT 表 1.8）中另外28套應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控。其他監(jiān)控系統(tǒng)包括SAP Solution Manager、微軟SCOM、安全SOC、資金集中監(jiān)控系統(tǒng)、加油卡監(jiān)控系統(tǒng)、MES應(yīng)用評價(jià)、APC運(yùn)行監(jiān)控、勘探開發(fā)監(jiān)控、機(jī)房環(huán)境監(jiān)控系統(tǒng)。統(tǒng)一數(shù)據(jù)采集至少提供但不限于以下三種數(shù)據(jù)采集方式：通過配置實(shí)現(xiàn)采集：通過配置Syslog、SNMP Trap、Socket、ODBC、NetFlow、Eflow等方式將事件日志、告警信息、性能參數(shù)以及各類事件數(shù)據(jù)發(fā)送到采集服務(wù)器或數(shù)據(jù)集中管理組件。安裝代理實(shí)現(xiàn)采集：在服務(wù)器上安裝采集引擎代理程序，執(zhí)行后臺采集服

32、務(wù)以及采集腳本，將目標(biāo)系統(tǒng)上的事件日志、告警信息、性能參數(shù)以及各類事件數(shù)據(jù)收集后發(fā)送給采集服務(wù)器或數(shù)據(jù)集中管理組件。采集到的數(shù)據(jù)暫存于被管服務(wù)器端，緩存時(shí)長可調(diào)整，具備主動(dòng)數(shù)據(jù)上傳能力，在與上層模塊通訊中斷的情況下，主動(dòng)嘗試重連，提供斷點(diǎn)續(xù)傳能力。定時(shí)輪詢采集：通過ICMP、HTTP定時(shí)輪詢、用戶模擬體驗(yàn)來獲取被管對象的數(shù)據(jù)。平臺至少支持：SNMP、 SNMP Trap、SYSLOG、專用Agent、Telnet/SSH、Ping、ODBC、JDBC、WebService、Flow、SMI-S、Http/Https、JMX、Socket等數(shù)據(jù)采集協(xié)議和接口。重點(diǎn)支持協(xié)議支持如下：表 運(yùn)行監(jiān)控系

33、統(tǒng)支持的數(shù)據(jù)采集協(xié)議內(nèi)容規(guī)范數(shù)據(jù)采集SNMP、SNMPTrap V1、V2、V3：采集支持Snmp協(xié)議的產(chǎn)品。Syslog：采集支持Syslog協(xié)議的產(chǎn)品。Agent：采集專用Agent的數(shù)據(jù)，主要指服務(wù)器代理。Flow：Netflow、Netstream、Cflow、Sflow采集支持Flow協(xié)議的產(chǎn)品。ODBC/JDBC：采集存儲在數(shù)據(jù)庫的系統(tǒng)日志。API采集：運(yùn)行監(jiān)控系統(tǒng)主動(dòng)調(diào)用被監(jiān)控系統(tǒng)提供的API，來獲取監(jiān)控信息。SMIS采集：存儲設(shè)備、光纖交換機(jī)、HBA卡等SAN存儲設(shè)備運(yùn)行數(shù)據(jù)采集。FTP，NFS或SMB等通用文件接口：采集基于文件的日志，包括數(shù)據(jù)庫日志文件、中間件日志文件、業(yè)務(wù)

34、系統(tǒng)日志文件、定時(shí)采集系統(tǒng)資源而生成的文件等。專用日志采集接口：通過監(jiān)控設(shè)備提供接口獲取日志。采用代理獲?。和ㄟ^第三方代理獲取日志。包括但不限于SHELL、BAT、SOCKET等采集方式。終端用戶體驗(yàn)：通過模擬用戶操作行為，探測應(yīng)用可用性。使用情況監(jiān)控：注冊用戶數(shù)、在線用戶數(shù)、交易量、成功交易次數(shù)、失敗交易次數(shù)等。針對不同的監(jiān)控對象將獲取不同的數(shù)據(jù)內(nèi)容，包括：針對網(wǎng)絡(luò)設(shè)備，獲取的信息包括：接口數(shù)量、IP/MAC地址、接口索引、接口類型、接口描述、接口速率、工作狀態(tài)、管理狀態(tài)、接口流量、VLAN信息、丟包信息、錯(cuò)包信息等；針對安全設(shè)備，獲取安全設(shè)備的安全告警日志和運(yùn)行狀態(tài)等信息；針對主機(jī)系統(tǒng)，獲

35、取的信息包括：操作系統(tǒng)類型和版本、網(wǎng)絡(luò)接口數(shù)量、IP地址/MAC地址、子網(wǎng)掩碼、CPU編號、內(nèi)核數(shù)、內(nèi)存大小、CPU動(dòng)態(tài)信息、內(nèi)存動(dòng)態(tài)信息、系統(tǒng)進(jìn)程動(dòng)態(tài)信息、硬盤動(dòng)態(tài)信息、用戶訪問信息等；針對數(shù)據(jù)庫，獲取的信息包括：數(shù)據(jù)庫名稱、數(shù)據(jù)路徑、基本目錄、數(shù)據(jù)庫版本、字符集、配置的臨時(shí)表大小、臨時(shí)表目錄、數(shù)據(jù)表信息、緩存信息、線程信息、鎖信息、頁和行鎖信息、查詢命中率、數(shù)據(jù)庫內(nèi)存使用性能指標(biāo)、數(shù)據(jù)庫特定表的空間性能指標(biāo)、表空間性能指標(biāo)、數(shù)據(jù)文件或數(shù)據(jù)設(shè)備的讀寫次數(shù)性能指標(biāo)、數(shù)據(jù)庫碎片的情況性能指標(biāo)、數(shù)據(jù)庫日志空間或回滾段使用情況性能指標(biāo)等指標(biāo)針對中間件，獲取的信息包括：中間件系統(tǒng)類型、中間件系統(tǒng)版本信

36、息、會話動(dòng)態(tài)信息、進(jìn)程池動(dòng)態(tài)信息、JDBC連接池動(dòng)態(tài)信息、事務(wù)數(shù)動(dòng)態(tài)信息、事務(wù)的平均持續(xù)時(shí)間、JVM動(dòng)態(tài)信息、EJB動(dòng)態(tài)信息等；針對存儲設(shè)備，獲取基本信息、健康度、磁盤信息、主機(jī)端口映射信息、陣列l(wèi)un信息、陣列組信息等；虛擬化管理：樹立并建立虛擬化資源對象間的關(guān)系模型，實(shí)現(xiàn)對虛擬化配置管理系統(tǒng)、運(yùn)行狀態(tài)和故障管理、虛擬機(jī)運(yùn)行性能管理。終端用戶體驗(yàn)：對模擬終端用戶訪問各應(yīng)用系統(tǒng)（如登錄、查詢、報(bào)表、退出等）的過程進(jìn)行監(jiān)測，監(jiān)測終端用戶訪問應(yīng)用系統(tǒng)的可用性與響應(yīng)時(shí)間；應(yīng)用系統(tǒng)使用情況：應(yīng)用性能管理應(yīng)該重點(diǎn)關(guān)注應(yīng)用交易的狀態(tài)，包括注冊用戶數(shù)、在線用戶數(shù)、交易量、成功交易次數(shù)、失敗交易次數(shù)；自定義對

37、象監(jiān)控：根據(jù)運(yùn)行監(jiān)控系統(tǒng)的要求，系統(tǒng)提供對監(jiān)控對象和監(jiān)控內(nèi)容的擴(kuò)展，擴(kuò)展方式簡便，提供可視化、腳本等多種形式的擴(kuò)展方式。關(guān)鍵技術(shù)管理服務(wù)器雙機(jī)熱備統(tǒng)一采集平臺支持分布部署，在日常運(yùn)行過程中管理服務(wù)器屬于系統(tǒng)的核心中樞，統(tǒng)一采集平臺通過對自身軟件管理控制功能的優(yōu)化改造，無需采用例如HA等第三方的雙機(jī)熱備軟件，即可實(shí)現(xiàn)管理服務(wù)器的雙機(jī)熱備。通過雙機(jī)熱備方式，解決管理機(jī)單點(diǎn)故障，保障在一臺機(jī)器故障的情況下，能夠自動(dòng)完成切換，不丟失采集任務(wù)，正常輸出數(shù)據(jù)，為上層應(yīng)用提供穩(wěn)定的數(shù)據(jù)支撐。統(tǒng)一采集平臺實(shí)現(xiàn)的雙機(jī)熱備功能，是針對系統(tǒng)自身的實(shí)時(shí)性特點(diǎn)所定制的高可用解決方案，屬于應(yīng)用軟件級別的雙機(jī)熱備，不僅能夠

38、應(yīng)對網(wǎng)絡(luò)、主機(jī)等基礎(chǔ)設(shè)施層面的故障，還能夠支持應(yīng)對主機(jī)應(yīng)用程序的掛死等故障，保障采集任務(wù)的不丟失，有效提升了統(tǒng)一采集平臺的穩(wěn)定性與安全。統(tǒng)一采集平臺實(shí)現(xiàn)管理服務(wù)器的雙機(jī)熱備，主要包括主備服務(wù)器信息同步功能、主用服務(wù)器狀態(tài)監(jiān)控功能、主/備服務(wù)器切換功能。用例示意圖如下：流程示意圖如下：采集節(jié)點(diǎn)負(fù)載均衡和容災(zāi)采集節(jié)點(diǎn)心跳監(jiān)控：采集節(jié)點(diǎn)實(shí)時(shí)上報(bào)心跳信息給管理服務(wù)器，心跳信息中包含系統(tǒng)資源占用情況，包括CPU、內(nèi)存占用情況，管理服務(wù)器通過心跳信息及時(shí)掌握各采集節(jié)點(diǎn)的狀態(tài)，管理服務(wù)器在3個(gè)心跳周期沒有收到心跳就置該采集節(jié)點(diǎn)為不可用狀態(tài)，不會再給該采集節(jié)點(diǎn)下發(fā)任務(wù)，同時(shí)發(fā)送告警信息及時(shí)通知維護(hù)人員。采集節(jié)

39、點(diǎn)負(fù)載均衡：根據(jù)當(dāng)前采集節(jié)點(diǎn)的資源空閑情況、當(dāng)前運(yùn)行任務(wù)情況，待下發(fā)的任務(wù)權(quán)重，計(jì)算出發(fā)給每個(gè)采集節(jié)點(diǎn)的任務(wù)。支持定向到采集節(jié)點(diǎn)：由于網(wǎng)絡(luò)路由限制，允許對采集節(jié)點(diǎn)進(jìn)行分組，在采集節(jié)點(diǎn)組內(nèi)部進(jìn)行負(fù)載均衡，支持對某個(gè)采集源的采集定向到某一個(gè)采集節(jié)點(diǎn)。采集節(jié)點(diǎn)容災(zāi)：當(dāng)某個(gè)采集節(jié)點(diǎn)硬件出現(xiàn)故障后，該采集節(jié)點(diǎn)上正在執(zhí)行的任務(wù)會被重新分發(fā)給其他采集節(jié)點(diǎn)完成。系統(tǒng)自恢復(fù)能力采集節(jié)點(diǎn)和管理服務(wù)器之間的網(wǎng)絡(luò)斷開后，采集節(jié)點(diǎn)應(yīng)該能夠不斷嘗試和管理服務(wù)器通訊，網(wǎng)絡(luò)恢復(fù)后采集節(jié)點(diǎn)會及時(shí)上報(bào)心跳信息，后續(xù)管理服務(wù)器就會把該采集節(jié)點(diǎn)置為可用狀態(tài)，下發(fā)新的任務(wù)。監(jiān)控?cái)?shù)量監(jiān)控?cái)?shù)量每級節(jié)點(diǎn)支持的管理對象下限如下，可通過軟硬件處

40、理能力進(jìn)一步擴(kuò)展：網(wǎng)絡(luò)設(shè)備對象：不低于2000個(gè)（含虛擬網(wǎng)絡(luò)設(shè)備）。服務(wù)器對象：不低于2000個(gè)操作系統(tǒng)（含虛擬服務(wù)器）。通用應(yīng)用服務(wù)對象：不低于500個(gè)應(yīng)用實(shí)例（含DNS、IIS、tomcat等）。數(shù)據(jù)庫對象：不低于200個(gè)數(shù)據(jù)庫實(shí)例，含Oracle、SQL Server、My SQL等數(shù)據(jù)庫支持，并支持對神通數(shù)據(jù)庫的管理開發(fā)定制。存儲設(shè)備對象：不低于20個(gè)。應(yīng)用系統(tǒng)：不低于100個(gè)，主要為自主設(shè)計(jì)開發(fā)的專用業(yè)務(wù)系統(tǒng)。數(shù)據(jù)存儲能力系統(tǒng)保存所有原始告警數(shù)據(jù)，原始告警與監(jiān)控系統(tǒng)或網(wǎng)元管理終端所獲告警保持一致，告警數(shù)據(jù)一致性能達(dá)到100%。原始粒度性能數(shù)據(jù)默認(rèn)在線保持3月以上，小時(shí)粒度性能數(shù)據(jù)默認(rèn)

41、在線保持1年以上，日粒度性能數(shù)據(jù)默認(rèn)在線保持2年以上。且此時(shí)間可以根據(jù)用戶需求自行修改；支持在線數(shù)據(jù)在線修改功能，用戶可通過對應(yīng)用界面進(jìn)行修改。支持超過1年的數(shù)據(jù)歸檔導(dǎo)出，支持?jǐn)?shù)據(jù)倒入恢復(fù)功能。各種日志文件、歷史告警文件應(yīng)至少能保存6 個(gè)月的事件。6個(gè)月以上數(shù)據(jù)采用光盤、磁帶等介質(zhì)進(jìn)行備份，脫機(jī)保存，應(yīng)提供查詢功能。視圖管理拓?fù)湟晥D主要是對IT基礎(chǔ)網(wǎng)元拓?fù)潢P(guān)系的展示，業(yè)務(wù)視圖主要是對BSM（業(yè)務(wù)服務(wù)管理）要體現(xiàn)的業(yè)務(wù)系統(tǒng)與IT基礎(chǔ)網(wǎng)元相互關(guān)系的展示。在拓?fù)潢P(guān)系展示和業(yè)務(wù)關(guān)系展示的理論框架中，都包含服務(wù)的分解與構(gòu)建、應(yīng)用映射等功能的模塊，所以，運(yùn)行監(jiān)控子系統(tǒng)中采用統(tǒng)一的視圖管理實(shí)現(xiàn)拓?fù)湔故竞蜆I(yè)務(wù)

42、視圖的展示。架構(gòu)設(shè)計(jì)圖 web視圖技術(shù)架構(gòu)Topology在每一層次位置情況如下：數(shù)據(jù)源：配置文件將作為File數(shù)據(jù)被使用。在Topology模塊中，對于XML File數(shù)據(jù)的需求與依賴程度遠(yuǎn)遠(yuǎn)高于其它模塊，主要是因?yàn)門opology的全局開關(guān)與默認(rèn)參數(shù)、交互動(dòng)作、事件插件、指標(biāo)字典、顯示轉(zhuǎn)換器、告警、圖標(biāo)、右鍵菜單等等核心功能全部基于配置工作，并進(jìn)一步用于屏蔽項(xiàng)目個(gè)性化帶來的分支維護(hù)與版本升級壓力。PM與AM分別指性能服務(wù)層與告警服務(wù)層，這部分并不發(fā)生改變，主要為客戶端提供實(shí)時(shí)的、高性能的性能與告警數(shù)據(jù)。Hyperspace是新的系統(tǒng)架構(gòu)中用于提供資源服務(wù)的模塊，與PM、AM同級，也是中層服

43、務(wù)的一部分。Topology 的所有資源數(shù)據(jù)都將不再依賴于數(shù)據(jù)庫，而是直接從Hyperspace查詢獲得，這其中不僅僅包括最基本的網(wǎng)元等，還包括更加高級的樹與圖。Database的作用在Topology核心功能中被弱化，但是在Topology各個(gè)業(yè)務(wù)的外圍功能中，地位不降反升，主要是因?yàn)橼厔?、統(tǒng)計(jì)、排名、狀態(tài)類數(shù)據(jù)均存在通過Topology集中圖形化展示的需求。架構(gòu)層次：服務(wù)端：服務(wù)端DAO層次將借助Spring Transaction來進(jìn)行事務(wù)管理。另外，服務(wù)端對于拓?fù)鋱D資源維護(hù)過程中的一些觸發(fā)式的預(yù)計(jì)算也要進(jìn)行更多的支持，以便客戶端能夠更方便、更專注的完成圖形繪制的工作。數(shù)據(jù)交互：新架構(gòu)上

44、變更較大的是由服務(wù)端向客戶端主動(dòng)推送數(shù)據(jù)，在一個(gè)瀏覽器中，Topology通過FlashPlayer與Web的整體框架共用同一個(gè)已經(jīng)在服務(wù)端注冊過的消息客戶端，從而接收由服務(wù)端主動(dòng)推送給Topology模塊的告警、資源變更、狀態(tài)變更等消息，并在圖中將變更快速、直觀體現(xiàn)出來。此外，Hyperspace向外提供RESTful的WebService訪問接口，并提供Java與JavaScript兩種語言的客戶端，所以Topology將直接應(yīng)用其提供的客戶端完成對于資源數(shù)據(jù)和圖結(jié)構(gòu)數(shù)據(jù)的獲取?？蛻舳耍翰捎肑avaScript + CSS3 + SVG技術(shù)。除了智能手機(jī)的屏幕過小不適合瀏覽拓?fù)浣Y(jié)構(gòu)視圖外，

45、Pad等屏幕稍大的移動(dòng)終端應(yīng)該能夠支持拓?fù)鋱D形的顯示。智能終端推送可考慮小規(guī)模的異步輪詢模式，以極小代價(jià)獲取服務(wù)端是否更新的動(dòng)態(tài)標(biāo)識，來達(dá)成推送的跨終端平臺能力。圖形引擎拓?fù)涞膱D形繪制完全由圖形引擎（GraphEngine）負(fù)責(zé)，它的接口比純粹的點(diǎn)、線、面繪圖更加高級，提供專門用于組織、繪制二維拓?fù)鋱D形的全部高度抽象接口。這些接口與具體繪制的拓?fù)錁I(yè)務(wù)無關(guān)。另外，圖形引擎對其定義的接口用哪一種繪圖技術(shù)來實(shí)現(xiàn)也不關(guān)心，只要這種技術(shù)能夠?qū)崿F(xiàn)圖形引擎所定義的接口，那么業(yè)務(wù)邏輯部分就可以通過圖形引擎的接口完成拓?fù)鋱D的繪制。大數(shù)據(jù)技術(shù)數(shù)量龐大的IT資源，在運(yùn)行過程當(dāng)中，時(shí)時(shí)刻刻都在產(chǎn)生大量的運(yùn)行事件信息，

46、同時(shí)也積累了超大數(shù)據(jù)量的歷史運(yùn)行數(shù)據(jù)。采用大數(shù)據(jù)分析處理技術(shù)為告警相關(guān)性挖掘、長周期性能分析與預(yù)測、實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)性能數(shù)據(jù)分析、告警日志檢索、應(yīng)用流量分析、數(shù)據(jù)分析挖掘等應(yīng)用場景提供了新的途徑和方法。大數(shù)據(jù)分析處理在產(chǎn)品系統(tǒng)中的應(yīng)用場景說明：大數(shù)據(jù)技術(shù)說明Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲。Hadoop的成員架構(gòu)如下圖所示： Hadoop成員架構(gòu)圖本次系統(tǒng)中使用到的Hadoop框架內(nèi)容包括：（1）HDFSHadoop分布式文件系統(tǒng)(Distributed File System)

47、 HDFS (Hadoop Distributed File System)（2）Map-Reduce并行計(jì)算框架，0.20前使用 org.apache.hadoop.mapred 舊接口，0.20版本開始引入org.apache.hadoop.mapreduce的新API。本項(xiàng)目中此項(xiàng)技術(shù)用來解決大數(shù)據(jù)的預(yù)處理或特定要求下的大規(guī)模計(jì)算。具體特點(diǎn)：海量數(shù)據(jù)快速加載。海量數(shù)據(jù)的清洗與轉(zhuǎn)換工作。海量數(shù)據(jù)轉(zhuǎn)換為Hbase格式數(shù)據(jù)。Hbase HYPERLINK /view/1993870.htm t _blank HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。（ HYP

48、ERLINK /view/1993870.htm t _blank HBase和 HYPERLINK /view/4600961.htm t _blank Avro已經(jīng)于2010年5月成為頂級 Apache 項(xiàng)目），本次項(xiàng)目中，將使用Hbase作為大數(shù)據(jù)的索引查詢庫使用，滿足快速的ID查詢需求。具體特點(diǎn)：滿足海量數(shù)據(jù)的快速查詢。滿足海量數(shù)據(jù)的過濾、排序、分揀等操作。HiveHive：數(shù)據(jù)倉庫工具，可以使用SQL腳本方式，對數(shù)據(jù)進(jìn)行開發(fā)，本項(xiàng)目作為日常的匯總統(tǒng)計(jì)工具。具體特點(diǎn)：滿足對數(shù)據(jù)的稽核統(tǒng)計(jì)與Impala的結(jié)合，滿足近線短周期的大數(shù)據(jù)快速JDBC、ODBC方式查詢。Redis內(nèi)存數(shù)據(jù)庫技術(shù)

49、redis是一個(gè)key-value存儲系統(tǒng)。和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set -有序集合)和hashs（哈希類型）。本項(xiàng)目中，Redis庫作為編碼集中管理，保持在集群內(nèi)部的編碼統(tǒng)一。告警相關(guān)性挖掘通過時(shí)間序列模型、 Hadoop 技術(shù)、數(shù)據(jù)挖掘、時(shí)間窗口模型等大數(shù)據(jù)技術(shù)，進(jìn)行告警壓縮、告警規(guī)則生成、告警預(yù)測、告警歷史處理經(jīng)驗(yàn)分析、故障定位，提升告警壓縮率、準(zhǔn)確率、關(guān)聯(lián)度。日志告警檢索利用Hbase數(shù)據(jù)裝載、與索引裝載的異步實(shí)現(xiàn)、大數(shù)據(jù)壓縮等Hadoop技術(shù)和Hive開發(fā)的數(shù)

50、據(jù)分析，對非結(jié)構(gòu)化日志數(shù)據(jù)的海量處理和檢索，精準(zhǔn)定位關(guān)鍵字熱點(diǎn)區(qū)域，對關(guān)鍵字進(jìn)行重點(diǎn)組織、過濾、分析、報(bào)告輸出。實(shí)現(xiàn)查詢的跨越級目標(biāo)，實(shí)現(xiàn)秒級查詢。數(shù)據(jù)庫設(shè)計(jì)數(shù)據(jù)庫架構(gòu)設(shè)計(jì)做好數(shù)據(jù)庫的設(shè)計(jì)與優(yōu)化是保證系統(tǒng)性能的關(guān)鍵：數(shù)據(jù)庫的設(shè)計(jì)，包括表的設(shè)計(jì)、索引的設(shè)計(jì)等。增量層將去除不必要的索引；根據(jù)表、索引的設(shè)計(jì)情況，估算每個(gè)表的基準(zhǔn)數(shù)據(jù)量及大小，還有表數(shù)據(jù)的增長情況，合理設(shè)計(jì)每個(gè)表的參數(shù)值。對于數(shù)據(jù)量大的表，采用分區(qū)表和物化視圖等技術(shù)，以及在設(shè)計(jì)上考慮歷史表等方法來提高性能；根據(jù)表、索引的設(shè)計(jì)情況，合理設(shè)計(jì)表空間的大小、在磁盤上的分布以及相關(guān)的參數(shù)；合理調(diào)整數(shù)據(jù)庫的初始化參數(shù)以及操作系統(tǒng)的內(nèi)核參數(shù)等；合

51、理規(guī)劃連接池及客戶端對數(shù)據(jù)庫的連接數(shù)目；根據(jù)現(xiàn)場實(shí)際情況，定期監(jiān)測和檢查數(shù)據(jù)庫的使用情況，并對不合理參數(shù)做出調(diào)整。同時(shí)，也定期對數(shù)據(jù)庫中的碎片進(jìn)行整理。大數(shù)據(jù)表設(shè)計(jì)存儲空間設(shè)計(jì)不要為監(jiān)控實(shí)例多、監(jiān)控周期少的性能數(shù)據(jù)表設(shè)置存儲的限制。在ORACLE數(shù)據(jù)庫中，對于一些數(shù)據(jù)容量比較小的表格，設(shè)置存儲配額限制是合理的，可以提高空間的利用率。對于大表設(shè)則不對其存儲空間做出任何的限制。為大表分配足夠的臨時(shí)空間查詢時(shí)，我們還會經(jīng)常的進(jìn)行排序操作。當(dāng)記錄多的話，這個(gè)排序動(dòng)作，要求具有比較大的臨時(shí)存儲空間。所以，當(dāng)某個(gè)表預(yù)計(jì)會有很大的記錄數(shù)量的時(shí)候，我們就要給其分配足夠多的臨時(shí)空間?？紤]表和表的索引分離存放大表

52、所對應(yīng)的索引通常也比較大。一般來說，索引的數(shù)量是隨著表記錄的數(shù)量增加而增加，兩者是接近于一個(gè)正比例的關(guān)系?？紤]把表和他的索引分別存儲于不同的表空間中，最大的好處是讓索引比較容易的獲得所需要的連續(xù)的存儲空間，從而提高輸入輸入的效率。大表分區(qū)設(shè)計(jì)當(dāng)數(shù)據(jù)庫表記錄達(dá)到千萬條以上時(shí)，不但影響著數(shù)據(jù)庫的運(yùn)行效率，也增大了數(shù)據(jù)庫的維護(hù)難度，可以通過對大表進(jìn)行合理分區(qū)得到很大的改善。當(dāng)表和索引變得非常大時(shí)，分區(qū)可以將數(shù)據(jù)分為更小、更容易管理的部分來提高系統(tǒng)的運(yùn)行效率。系統(tǒng)通常按照如下的規(guī)劃進(jìn)行分區(qū)：5分鐘性能表按天分區(qū)，小時(shí)表10天一個(gè)分區(qū)，天匯總表是1個(gè)月一個(gè)分區(qū)，表月也是一個(gè)月一個(gè)分區(qū)。表及索引分區(qū)對用戶

53、的訪問數(shù)據(jù)是透明的，完全不影響前端應(yīng)用的數(shù)據(jù)訪問邏輯。每個(gè)分區(qū)可以被單獨(dú)管理，可以不依賴于其他分區(qū)而單獨(dú)發(fā)揮作用，因而，分區(qū)可以提高可管理性、性能與可用性，從而給各種各樣的應(yīng)用程序帶來極大的好處。性能設(shè)計(jì)告警信息處理運(yùn)行監(jiān)控系統(tǒng)擁有強(qiáng)大告警數(shù)據(jù)處理能力，在處理設(shè)備產(chǎn)生告警的同時(shí)也能接受Trap、syslog等告警數(shù)據(jù)。網(wǎng)絡(luò)正常情況下，集中告警系統(tǒng)的告警平均響應(yīng)時(shí)間（指從網(wǎng)元發(fā)生告警到集中告警系統(tǒng)顯示告警）不大于30 秒。告警處理時(shí)延（即本系統(tǒng)接口收到告警到本系統(tǒng)終端顯示出告警之間的時(shí)延）：不超過3秒。收集處理告警信息的能力：大于1000條/秒。系統(tǒng)能處理的最大當(dāng)前告警能力：大于5000條/秒。

54、在系統(tǒng)滿負(fù)荷情況下，告警響應(yīng)時(shí)間應(yīng)不大于以上指標(biāo)的150%。設(shè)備管理數(shù)量每級節(jié)點(diǎn)支持的管理對象下限如下，并可通過軟硬件處理能力進(jìn)一步擴(kuò)展：網(wǎng)絡(luò)設(shè)備對象：不低于2000個(gè)（含虛擬網(wǎng)絡(luò)設(shè)備）。服務(wù)器對象：不低于2000個(gè)操作系統(tǒng)（含虛擬服務(wù)器）。通用應(yīng)用服務(wù)對象：不低于500個(gè)應(yīng)用實(shí)例（含DNS、IIS、tomcat等）。數(shù)據(jù)庫對象：不低于200個(gè)數(shù)據(jù)庫實(shí)例，含Oracle、SQL Server、My SQL等數(shù)據(jù)庫支持，并支持對神通數(shù)據(jù)庫的管理開發(fā)定制。存儲設(shè)備對象：不低于20個(gè)。應(yīng)用系統(tǒng)：不低于100個(gè)，主要為自主設(shè)計(jì)開發(fā)的專用業(yè)務(wù)系統(tǒng)。系統(tǒng)處理效率監(jiān)控系統(tǒng)擁有高效的系統(tǒng)處理能力，具體參數(shù)如下

55、：后臺采集及解析處理，單個(gè)等效網(wǎng)元不超過2毫秒。后臺處理響應(yīng)：后臺數(shù)據(jù)平均處理速度小于7秒，最大不超過20秒。一般頁面響應(yīng)時(shí)間：用戶進(jìn)行界面操作時(shí)，系統(tǒng)響應(yīng)時(shí)間小于2秒；用戶進(jìn)行查詢、匯總數(shù)據(jù)時(shí)，系統(tǒng)響應(yīng)時(shí)間小于5秒；用戶生成報(bào)表時(shí)，系統(tǒng)響應(yīng)時(shí)間小于10秒。以上時(shí)間均排除網(wǎng)絡(luò)延遲的干擾。系統(tǒng)自身流量占用：平均每次采集請求/應(yīng)答流量約為1 Kbyte，經(jīng)過數(shù)據(jù)壓縮后，流量約為0.5Kbyte，約每 5分鐘采集一次，則帶寬需求為： “50 * 0.5K*8 / 300 = 0.67 Kbit/s”。數(shù)據(jù)庫：數(shù)據(jù)入庫能力大于500條/秒。運(yùn)行監(jiān)控系統(tǒng)自身軟件占用資源：在系統(tǒng)硬件資源滿足的前提下，系統(tǒng)

56、資源平均內(nèi)存占用少于30%、峰值內(nèi)存占用少于70%，平均CPU占用少于30%,峰值CPU占用少于60%，主動(dòng)擁有資源自動(dòng)釋放功能，會定期整理系統(tǒng)資源。服務(wù)器端數(shù)據(jù)庫性能穩(wěn)定。數(shù)據(jù)存儲能力系統(tǒng)需要保存所有原始告警數(shù)據(jù)，原始告警應(yīng)與監(jiān)控系統(tǒng)或網(wǎng)元管理終端所獲告警保持一致，告警數(shù)據(jù)一致性能達(dá)到100%。性能數(shù)據(jù)默認(rèn)在線保持1年以上，且此時(shí)間可以根據(jù)用戶需求自行修改；支持在線數(shù)據(jù)在線修改功能，用戶可通過對應(yīng)用界面進(jìn)行修改。支持超過1年的數(shù)據(jù)歸檔導(dǎo)出，支持?jǐn)?shù)據(jù)倒入恢復(fù)功能。各種日志文件、歷史告警文件應(yīng)至少能保存6 個(gè)月的事件。6個(gè)月以上數(shù)據(jù)采用光盤、磁帶等介質(zhì)進(jìn)行備份，脫機(jī)保存。配置管理數(shù)據(jù)庫系統(tǒng)資源模

57、型管理采用自主開發(fā)的成熟的資源建模軟件產(chǎn)品GOAT，通過建立對象到關(guān)系型數(shù)據(jù)的映射和轉(zhuǎn)換，達(dá)到了數(shù)據(jù)的對象化封裝，包括對象查詢，數(shù)據(jù)檢查，規(guī)則約束等。按照現(xiàn)在廣泛使用的ORM的方法，完成對持久層產(chǎn)品的兩個(gè)重要組件的創(chuàng)建和修改，它們是持久層JAVA類和映射文件（MAP文件）。通過按照對象映射，規(guī)則約束條件等生成的JAVA類，最終打包成J2EE的EJB發(fā)布在中間件的服務(wù)器上，并以此對外提供API方式訪問。GOAT系統(tǒng)包括模型文件處理(Model Handle)、模型編輯模塊(ModelEditor)、持久化模塊(Persistent Module)、資源數(shù)據(jù)對象管理、數(shù)據(jù)導(dǎo)入、導(dǎo)出模塊、監(jiān)控管理接

58、口模塊和數(shù)據(jù)處理模塊。GOAT數(shù)據(jù)來源于：通過數(shù)據(jù)采集層采集的配置數(shù)據(jù)通過數(shù)據(jù)導(dǎo)入工具導(dǎo)入的客戶信息數(shù)據(jù)和手工錄入的網(wǎng)絡(luò)資源數(shù)據(jù)GOAT管理的數(shù)據(jù)包括：資源模型數(shù)據(jù)當(dāng)前網(wǎng)絡(luò)資源數(shù)據(jù)當(dāng)前業(yè)務(wù)資源數(shù)據(jù)模型文件處理（Model Handle）由于GOAT對持久層封裝了許多功能，比如數(shù)據(jù)檢查，規(guī)則約束等，按照現(xiàn)在廣泛使用的第三方持久層產(chǎn)品的方法，就必須完成對持久層產(chǎn)品的兩個(gè)重要組件的創(chuàng)建和修改，它們是持久層JAVA類和映射文件（MAP文件）。模型文件處理采用模型編輯器產(chǎn)生資源模型文件，把模型文件經(jīng)過解析后，按照模型文件中的要求對持久層需要的JAVA類（在JAVA類中實(shí)現(xiàn)規(guī)則定義，規(guī)則計(jì)算等封裝功能）和

59、MAP文件進(jìn)行創(chuàng)建或修改，之后生成可以運(yùn)行的類和配置文件，最后進(jìn)行發(fā)布部署。模型編輯模塊（Model Editor）通過模型編輯器Model Editor上圖形化的生成和修改工具， 可以定義生成xml文本格式資源模型文件。ModelEditor不僅能定義被管對象資源的屬性以及資源之間的相互關(guān)系，還能定義資源上可以實(shí)現(xiàn)的業(yè)務(wù)功能接口API等。文件格式：xml文件。保存位置：Server端目錄。文件分類：按照預(yù)定義的分類歸并，便于管理。模型文件內(nèi)容：資源模型文件能描述多種數(shù)據(jù)類型，支持屬性信息的傳遞，計(jì)算，分組，能夠表示引用和多種包含關(guān)系，并包括資源操作接口和狀態(tài)變化操作接口。模型建模功能：涉及了

60、對資源模型的類，屬性，方法，方案，相互關(guān)系，全局方法，存儲表等多種操作。其他Model Editor實(shí)現(xiàn)的功能：包括模型文件打開/編輯/關(guān)閉等一般操作，模型文件內(nèi)容的檢查，模型文件導(dǎo)入導(dǎo)出功能，具備了自檢查內(nèi)容，并可以后臺獨(dú)立操作，產(chǎn)生的文件格式是通用的xml格式。持久化模塊（Persistent Module）這個(gè)模塊采用了目前成熟的ORM技術(shù)，用以簡化對數(shù)據(jù)庫的操作。通過面向?qū)ο蠡牟僮?，將資源模型數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)庫中的數(shù)據(jù)，表和約束關(guān)系，方便和高效地實(shí)現(xiàn)了對資源模型數(shù)據(jù)的處理。持久化模塊中的Cache & Transaction Coordinator是基于ORM技術(shù)或者Applicati