（計(jì)算機(jī)應(yīng)用技術(shù)專(zhuān)業(yè)論文）gsm話務(wù)網(wǎng)管數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

g s m 話務(wù)網(wǎng)管數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 計(jì)算機(jī)應(yīng)用技術(shù)專(zhuān)業(yè) 研究生孔玨指導(dǎo)老師李志蜀 摘要：隨著電信網(wǎng)絡(luò)規(guī)模的增長(zhǎng)，電信業(yè)務(wù)的擴(kuò)充，電信運(yùn) 營(yíng)者對(duì)網(wǎng)絡(luò)管理的需求也不斷增加、改動(dòng)。計(jì)算機(jī)產(chǎn)業(yè)的飛速發(fā)展 無(wú)疑為以高效、智能為目標(biāo)的電信網(wǎng)網(wǎng)絡(luò)管理技術(shù)提供了根本的保 證。本文所述的省級(jí)g s m 話務(wù)網(wǎng)管系統(tǒng)已經(jīng)經(jīng)歷了一期、二期工 程，并在移動(dòng)、聯(lián)通共計(jì)5 4 個(gè)省級(jí)項(xiàng)目，陸續(xù)開(kāi)展三期工程的開(kāi) 發(fā)和施工。作者進(jìn)入與四川大學(xué)計(jì)算機(jī)學(xué)院合作的億陽(yáng)信通公司實(shí) 習(xí)，加入g s m 話務(wù)網(wǎng)管三期項(xiàng)目，從事網(wǎng)管底層數(shù)據(jù)采集平臺(tái)的 開(kāi)發(fā)工作。作者在職期間負(fù)責(zé)全網(wǎng)項(xiàng)目中諾基亞和摩托羅拉兩廠商 所有通信設(shè)備的性能和資源數(shù)據(jù)采集開(kāi)發(fā)。目前，g s m 網(wǎng)項(xiàng)目已 全面投入應(yīng)用，運(yùn)行穩(wěn)定。 數(shù)據(jù)采集平臺(tái)是網(wǎng)管系統(tǒng)的數(shù)據(jù)接入層，它負(fù)責(zé)從各廠商設(shè)備 采集原始數(shù)據(jù)，進(jìn)行歸一化處理，為網(wǎng)管系統(tǒng)所有中上層應(yīng)用提供 統(tǒng)一的數(shù)據(jù)平臺(tái)，因此數(shù)據(jù)采集系統(tǒng)是網(wǎng)管建設(shè)非常核心以及重要 的部分。 論文具體組織如下： 第一章，概述移動(dòng)通信網(wǎng)管系統(tǒng)的產(chǎn)生歷史。 第二章，闡述了電信網(wǎng)絡(luò)管理的理論背景。 第三章，詳述o s m 網(wǎng)性能數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)，并分析如何 既實(shí)現(xiàn)高效、準(zhǔn)確的數(shù)據(jù)采集，又保持系統(tǒng)應(yīng)用的靈活性、可擴(kuò)展 性；在采集系統(tǒng)的分析過(guò)程中，本文將穿插介紹相應(yīng)的技術(shù)原理及 特色，并且與二期系統(tǒng)進(jìn)行一定對(duì)比。 第四章，舉一個(gè)由作者開(kāi)發(fā)的具體設(shè)備采集實(shí)例，揭示通信設(shè) 備數(shù)據(jù)采集的實(shí)現(xiàn)過(guò)程。 第五章，文章簡(jiǎn)略概述系統(tǒng)正在著手進(jìn)行的軟件升級(jí)和功能擴(kuò) 展情況。 第六章，結(jié)束語(yǔ)。 關(guān)鍵詞：電信網(wǎng)絡(luò)管理系統(tǒng)、數(shù)據(jù)采集、l d a p 、文件數(shù)據(jù)庫(kù) 2 t h ed e s i g na n di m p l e m e n t a t i o no f d a t ac o l l e c t i o ni ng s mn e t w o r k m a n a g e m e n ts y s t e m c o m p u t e r a p p l i c a t i o n s g r a d u a t ek o n gj u ea d v i s o rl iz h i s h u a b s t r a c t ：w i t ht h e g r o w t ho ft e l e c o m m u n i c a t i o nn e t w o r k ，t h e r e q u i r e m e n to fn e t w o r km a n a g e m e n ti si n c r e a s i n g a n dt h eh i g h - s p e e d d e v e l o p m e n to fc o m p u t e rs c i e n c eg u a r a n t e e st h eh i g h - e f f i c i e n c ya n d i n t e l l i g e n c eo ft e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n ts y s t e m t h e g s mn e t w o r km a n a g e m e n ti nt h i sp a p e r ，w h i c hi sd e v e l o p e db yb o c o i n t e r - t e l e c o mc o r p o r a t i o nc o o p e r a t e d 、i t l lc o m p u t e r d e p a r t m e n t s i c h u a nu n i v e r s i t y ，h a s a l r e a d yb e e nt h r o u g ho n ep e r i o d ，s e c o n d p e r i o d ，a n dn o w i sg o i n gt ob et h i r dp e r i o di n5 4p r o v i n c e so fc m c c a n du n i c o m ih a v eb e e ne n g a g e di nt h ed e v e l o p m e n to fd a t a c o l l e c t i o ns y s t e mi nt h e 也i r dp e r i o dp r o j e c t a n da l lt h ee q u i p m e n t so f m o t o r o l aa n dn o k i ai sm yt a s k n o w , t h eg s mn e t w o r km a n a g e m e n t s y s t e mh a sa l r e a d yb e e na p p l i e da n di sr u n n i n gs t a b l y t h ed a t ac o l l e c t i o nf l a ti st h ed a t a - a c c e s s e dl a y e ro fn e t w o r k m a n a g e m e n ts y s t e m t h ef l a tc o l l e c t st h ed a t af r o mm a n yk i n d so f 3 t e l e c o m m u n i c a t i o n e q u i p m e n t s w h i c h a r em a d e b y d i f f e r e n t m a n u f a c t u r e r s ，a n df i n a l l yp r e s e n t sau n i f o r md a t af l a tt ot h eo t h e r a p p l i c a t i o n so fg s m n e t w o r km a n a g e m e n ts y s t e m t h i sp a p e ri so r g a n i z e da sf o l l o w s ： c h a p t e r1 ，t h eh i s t o r yo fm o b i l et e l e c o m m u n i c a t i o nn e t w o r k m a n a g e m e n ts y s t e m c h a p t e r2 ，id e s c r i b et h eb a c k g r o u n dt h e o r yo ft e l e c o m m u n i c a t i o n n e t w o r km a n a g e m e n ts y s t e m c h a p t e r3 t h ep a p e ra n a l y z e st h eg s mn e t w o r kd a t ac o l l e c t i o n s y s t e m a tt h es a l n et i m e ，i 繭v et h ec h a r a c t e r so ft e c h n o l o g yi nt h i r d p e r i o dp r o j e c tw h i c ha r eb e t t e rt h a nt h es e c o n d c h a p t e r4 ，ig i v ea ni n s t a n c et od e s c r i b et h ei m p l e m e n to fd a t a c o l l e c t i o nw h i c hi sb o t hh i g h - e f f i c i e n ta n df l e x i b l e c h a p t e r5 ，a n a l y z i n gp r o b l e m sa n dt a l k i n ga b o u tt h et r e n do fe l k s y s t e md e v e l o p m e n t c h a p t e r6 ，t h es u m m a r i z a t i o n k e y w o r d s ：t e l e c o m m u n i c a t i o nm a n a g e m e n tn e t w o r ks y s t e m ， d a t ac o l l e c t i o n ，l d a p , t e x td a t a b a s e 4 1引言 中國(guó)通信市場(chǎng)不斷擴(kuò)大，電信網(wǎng)絡(luò)規(guī)模的增長(zhǎng)速度驚人，每個(gè) 電信網(wǎng)絡(luò)的運(yùn)營(yíng)者都趨向擁有可以經(jīng)營(yíng)多種業(yè)務(wù)和可以負(fù)擔(dān)大量用 戶(hù)的電信網(wǎng)絡(luò)。電信網(wǎng)絡(luò)的規(guī)模在增長(zhǎng)，電信網(wǎng)絡(luò)內(nèi)的設(shè)備也在增 長(zhǎng)，不同類(lèi)型的設(shè)備，不同廠商的設(shè)備出現(xiàn)在同一個(gè)電信網(wǎng)絡(luò)內(nèi)， 而不同類(lèi)型的設(shè)備有不同的特性，需要不同的管理方式，不同廠商 的設(shè)備有不同的管理接口，提供不同的管理信息，并且這些管理接 口、管理信息隨時(shí)可能變動(dòng)。如何管理這樣龐大復(fù)雜的電信網(wǎng)絡(luò)是 電信運(yùn)營(yíng)者所面對(duì)的問(wèn)題，也是電信網(wǎng)網(wǎng)絡(luò)管理所面臨的一大問(wèn) 題。 g s m 話務(wù)網(wǎng)是目前移動(dòng)通信的主體運(yùn)營(yíng)網(wǎng)絡(luò)，網(wǎng)絡(luò)規(guī)模大、 結(jié)構(gòu)復(fù)雜、業(yè)務(wù)總類(lèi)多。電信運(yùn)營(yíng)商為了發(fā)展的需要，在總部和省 一級(jí)移動(dòng)電話網(wǎng)絡(luò)管理中心建設(shè)綜合網(wǎng)絡(luò)管理系統(tǒng)，以實(shí)現(xiàn)集中化 管理與維護(hù)。本文介紹的省級(jí)g s m 話務(wù)網(wǎng)網(wǎng)管系統(tǒng)，是對(duì)移動(dòng)通 信網(wǎng)絡(luò)管理的全面、整體以及可持續(xù)發(fā)展的綜合解決方案。網(wǎng)管上 層應(yīng)用按照運(yùn)營(yíng)商的需求向其提供有效的管理數(shù)據(jù)，而這些以多種 形式呈現(xiàn)的數(shù)據(jù)均源自網(wǎng)管底層的數(shù)據(jù)采集平臺(tái)。要實(shí)現(xiàn)不同廠商、 不同設(shè)備數(shù)據(jù)快速、準(zhǔn)確采集入庫(kù)。就需要一個(gè)健壯、高效，同時(shí) 又具備可擴(kuò)展性的數(shù)據(jù)采集系統(tǒng)?？梢哉f(shuō)，數(shù)據(jù)采集平臺(tái)在網(wǎng)管系 統(tǒng)中扮演了一個(gè)核心并且重要的角色，它屏蔽了底層網(wǎng)絡(luò)設(shè)備的異 構(gòu)問(wèn)題，為網(wǎng)管中上層應(yīng)用提供了統(tǒng)一的數(shù)據(jù)平臺(tái)。 2 背景知識(shí) 2 1t m n 基本原理 t m n ( t e l e c o m m u n i c a t i o nm a n a g e m e n tn e t w o r k ，電信管理網(wǎng) 絡(luò)) 是i t u t ( 國(guó)際電信聯(lián)盟) 提出來(lái)的關(guān)于網(wǎng)絡(luò)管理系統(tǒng)化的解 決方案。在c c i t t 的推薦標(biāo)準(zhǔn)m 3 0 1 0 中對(duì)t m n 作了如下的定義， 即t m n 提供一個(gè)有組織的體系結(jié)構(gòu)，以實(shí)現(xiàn)各種類(lèi)型的運(yùn)營(yíng)系統(tǒng) 和( 或) 電信設(shè)備的互聯(lián)，同時(shí)使用一種共同的結(jié)構(gòu)和包括協(xié)議和 消息的標(biāo)準(zhǔn)化的接口來(lái)交換管理信息。電信管理網(wǎng)將一系列網(wǎng)絡(luò)管 理功能綜合起來(lái)，通過(guò)采集網(wǎng)絡(luò)工作參數(shù)、控制相應(yīng)設(shè)備等，協(xié)調(diào) 整個(gè)網(wǎng)絡(luò)的正常運(yùn)營(yíng)。 t m n 和電信網(wǎng)的關(guān)系如下圖2 1 所示： 電信網(wǎng)絡(luò) 圖2 1t m n 與電信網(wǎng)關(guān)系圖 2 2 2g s m 數(shù)字移動(dòng)通信原理 g s m ( g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n ，全球移動(dòng)通信 系統(tǒng)) 是最重要的第二代移動(dòng)通信標(biāo)準(zhǔn)之一，本文介紹的采集系統(tǒng) 正是以采集g s m 網(wǎng)絡(luò)單元( 簡(jiǎn)稱(chēng)網(wǎng)元) 的數(shù)據(jù)為例。 g s m 系統(tǒng)典型結(jié)構(gòu)如下圖2 2 所示，可以看作四個(gè)子系統(tǒng)或功 能實(shí)體組成，即m s 、b s s 、n s s 、o s s 。 r ：0 s s ： ii 圖2 2g s m 系統(tǒng)結(jié)構(gòu)圖 圖示說(shuō)明： m s ：m o b i l es t a t i o n ，移動(dòng)臺(tái) b s s ：b a s es t a t i o ns y s t e m ，基站子系統(tǒng) b s c ：b a s es t a t i o nc o n t r o l l e r ，基站控制器 b t s ：b a s et r a n s c e i v e rs t a t i o n ，基站收發(fā)信臺(tái) n s s ：n e t w o r ks w i t c h i n gs y s t e m ，網(wǎng)絡(luò)交換予系統(tǒng) o s s ：o p e r a t i o ns u p p o r ts y s t e m ，操作支持予系統(tǒng) o m c ：o p e r a t i o na n dm a i n t e n a n c ec e n t e r ，操作維護(hù)中心 m s c ：m o b i l e s e r v i c es w i t c h i n gc e n t e r ，移動(dòng)業(yè)務(wù)交換中心 v l r ：v i s i t o rl o c a t i o nr e g i s t e r ，來(lái)訪用戶(hù)位置寄存器 h l r ：h o m el o c a t er e g i s t e r ，歸屬用戶(hù)位置寄存器 a u c ：a u t h e n t i c a t i o nc e n t e r ，鑒權(quán)中心 e i r ：e q u i p m e n ti d e n t i f i c a t i o nr e g i s t e r ，移動(dòng)設(shè)備識(shí)別寄存器 主要子系統(tǒng)和功能實(shí)體介紹如下： ( 1 ) m s ( 移動(dòng)臺(tái)) m s 是公用g s m 移動(dòng)通信網(wǎng)中用戶(hù)使用的設(shè)備。 ( 2 ) b s s ( 基站子系統(tǒng)) b s s 是由b t s ( 基站收發(fā)信臺(tái)) 和b s c ( 基站控制器) 這兩部 分的功能實(shí)體組成，是g s m 系統(tǒng)中與無(wú)線蜂窩方面關(guān)系最直接的 基本組成部分。 ( 3 ) n s s ( 網(wǎng)絡(luò)交換子系統(tǒng)) n s s 由六個(gè)功能單元組成，即m s c ( 移動(dòng)業(yè)務(wù)交換中心) 、 h l r ( 歸屬用戶(hù)位置寄存器) 、v l r ( 訪問(wèn)用戶(hù)位置寄存器) 、a u c ( 鑒權(quán)中心) 、e i r ( 移動(dòng)設(shè)備識(shí)別寄存器) 、o m c ( 操作與維護(hù)中 心) 。n s s 主要包含有g(shù) s m 系統(tǒng)的交換功能和用于用戶(hù)數(shù)據(jù)與移 動(dòng)性管理、安全性管理所需的數(shù)據(jù)庫(kù)功能。 m s c 是網(wǎng)絡(luò)的核心，它提供交換功能并面向系統(tǒng)其它功能實(shí) 體，m s c 可從三種數(shù)據(jù)庫(kù)，即h l r 、v l r 和a u c 獲取處理用戶(hù) 位置登記和呼叫請(qǐng)求所需的全部數(shù)據(jù)。反之，m s c 也根據(jù)其最新 獲取的信息請(qǐng)求更新數(shù)據(jù)庫(kù)的部分?jǐn)?shù)據(jù)。 0 m c 用于對(duì)g s m 系統(tǒng)的集中操作與維護(hù)，允許遠(yuǎn)程集中操作 維護(hù)管理。o m c 根據(jù)與電信網(wǎng)絡(luò)中所接設(shè)備類(lèi)別不同分為管理無(wú) 線設(shè)備的o m c r ( o m c r a d i o ) 和管理交換設(shè)備的o m c s ( o m c s w i t c h ) ，o m c r 對(duì)b s s 進(jìn)行操作和維護(hù)，o m c s 對(duì)n s s 進(jìn)行操作和維護(hù)。網(wǎng)管系統(tǒng)對(duì)g s m 網(wǎng)無(wú)線和交換兩類(lèi)設(shè)備數(shù)據(jù)采 集，一般情況下通過(guò)管理無(wú)線和交換設(shè)備的o m c 進(jìn)行，有時(shí)候也 通過(guò)設(shè)備直聯(lián)網(wǎng)管系統(tǒng)進(jìn)行。 ( 4 ) o s s ( 操作支持系統(tǒng)) o s s 是相對(duì)獨(dú)立的對(duì)g s m 系統(tǒng)提供管理和服務(wù)功能的單元， 包括移動(dòng)用戶(hù)管理、移動(dòng)設(shè)備管理以及網(wǎng)路操作與控制。 2 3 省級(jí)g s 麓話務(wù)網(wǎng)管體系架構(gòu) 三期g s m 網(wǎng)絡(luò)管理系統(tǒng)的體系架構(gòu)主要分為5 個(gè)層次，從底 層業(yè)務(wù)到上層應(yīng)用依次為：數(shù)據(jù)采集層，數(shù)據(jù)處理層，核心服務(wù) 層，應(yīng)用服務(wù)層，應(yīng)用展現(xiàn)層。軟件結(jié)構(gòu)如下圖2 3 ： 圖2 3網(wǎng)管軟件體系結(jié)構(gòu)圖 數(shù)據(jù)采集層主要完成接入?yún)f(xié)議轉(zhuǎn)換、接入服務(wù)和數(shù)據(jù)采集的功 能，完成網(wǎng)絡(luò)的配置、性能、告警數(shù)據(jù)采集和網(wǎng)元操作維護(hù)的接口 管理。 數(shù)據(jù)處理層完成數(shù)據(jù)在時(shí)間、地域、網(wǎng)元等各種維度上的數(shù)據(jù) 匯總工作，為上層應(yīng)用提供不同維度和粒度的預(yù)處理數(shù)據(jù)。 核心服務(wù)層完成對(duì)象的標(biāo)準(zhǔn)化建模工作，并提供系統(tǒng)關(guān)鍵服 務(wù)，提高模塊重用程度，便于系統(tǒng)統(tǒng)一管理和集中控制。 應(yīng)用服務(wù)層完成系統(tǒng)核心業(yè)務(wù)，為上層程序提供基于業(yè)務(wù)的操 作管理功能。 應(yīng)用展現(xiàn)層為用戶(hù)直接提供基于c s 、b s 架構(gòu)的g u i ( 圖形用 戶(hù)界面) 功能。 2 4 網(wǎng)管數(shù)據(jù)采集系統(tǒng) 采集平臺(tái)是網(wǎng)管系統(tǒng)的數(shù)據(jù)接入層，它負(fù)責(zé)從不同廠商的通信 設(shè)備采集原始數(shù)據(jù)，進(jìn)行算法映射，形成歸一化數(shù)據(jù)。網(wǎng)元數(shù)據(jù)采 集類(lèi)型有兩種：配置管理數(shù)據(jù)和性能管理數(shù)據(jù)。為完成這兩種數(shù)據(jù) 采集任務(wù)，項(xiàng)目組設(shè)計(jì)了兩個(gè)相對(duì)獨(dú)立的采集系統(tǒng)：n r m 配置采 集系統(tǒng)和n p m 性能采集系統(tǒng)。n r m ( n e t w o r kr e s o u r c e m a n a g e m e n t ) 采集網(wǎng)元的配置管理數(shù)據(jù)，n p m ( n e t w o r k p e r f o r m a n c em a n a g e m e n t ) 采集網(wǎng)元的性能管理數(shù)據(jù)。 本文將僅對(duì)n p m 性能數(shù)據(jù)采集系統(tǒng)進(jìn)行分析，而不再介紹 n r m 采集系統(tǒng)，主要基于以下原因： ( 1 ) 性能數(shù)據(jù)采集時(shí)問(wèn)頻繁，數(shù)據(jù)量大，采集形式復(fù)雜多 樣。性能數(shù)據(jù)采集一般需要小時(shí)粒度，及時(shí)性要求高：而配置數(shù)據(jù) 比較穩(wěn)定，采集可以按情況一天一次，或幾天一次。 ( 2 ) n p m 系統(tǒng)不僅包含了n r m 系統(tǒng)的關(guān)鍵技術(shù)。并且軟件 體系設(shè)計(jì)更健壯，能夠支持性能數(shù)據(jù)采集的復(fù)雜性和實(shí)時(shí)性。 ( 3 ) n r m 系統(tǒng)和n p m 采集系統(tǒng)是兩個(gè)互不影響的系統(tǒng)，可 以獨(dú)立運(yùn)行。 3 n p m 系統(tǒng)設(shè)計(jì)分析 3 1 n p m 系統(tǒng)結(jié)構(gòu)要解決的問(wèn)題 二期網(wǎng)管系統(tǒng)在移動(dòng)通信網(wǎng)絡(luò)管理與維護(hù)中發(fā)揮了重要的作 用但隨著對(duì)業(yè)務(wù)處理能力的要求越來(lái)越高，也出現(xiàn)了一定的局限 性： ( 1 ) 采集時(shí)間不靈活 數(shù)據(jù)采集程序以u(píng) n i x 系統(tǒng)c r o n t a b 方式定時(shí)運(yùn)行，人工設(shè)定 不同設(shè)備采集時(shí)間及其間隔。要判斷不同廠商設(shè)備數(shù)據(jù)的產(chǎn)生時(shí) 聞。需要長(zhǎng)期的維護(hù)經(jīng)驗(yàn)，因此系統(tǒng)對(duì)維護(hù)人員有很強(qiáng)的依賴(lài)型， 而且無(wú)法適應(yīng)數(shù)據(jù)產(chǎn)生時(shí)間發(fā)生突變的情況。 ( 2 ) 所采數(shù)據(jù)的完整性和及時(shí)性難以協(xié)調(diào) 一方面，運(yùn)營(yíng)商希望網(wǎng)元o m c 端產(chǎn)生原始數(shù)據(jù)后，網(wǎng)管系統(tǒng) 能夠及時(shí)采集呈現(xiàn)這需要采集時(shí)間盡量早；另一方面，網(wǎng)元的數(shù) 據(jù)產(chǎn)生時(shí)闖有一定的波動(dòng)范圍，為了在執(zhí)行采集程序時(shí)確保圊元數(shù) 據(jù)已經(jīng)產(chǎn)生，需要將程序執(zhí)行時(shí)間定的適當(dāng)晚，才能保證數(shù)據(jù)的完 整性。要人為確定一個(gè)最佳時(shí)間非常困難，并且還無(wú)法預(yù)防設(shè)備出 現(xiàn)突發(fā)事件所導(dǎo)致的數(shù)據(jù)延遲數(shù)個(gè)小時(shí)的情況。 ( 3 ) 網(wǎng)元配置信息管理有待加強(qiáng) 二期系統(tǒng)對(duì)所有網(wǎng)元配置信息諸如主機(jī)地址，接口信息等都通 過(guò)一個(gè)i n i 配置文件完成，并定時(shí)備份此文件。但是一個(gè)簡(jiǎn)單的i n i 文件不能配置更復(fù)雜的網(wǎng)元信息，傳統(tǒng)的文件備份方式也存在很大 安全隱患。 ( 4 ) 網(wǎng)管核心數(shù)據(jù)庫(kù)負(fù)擔(dān)過(guò)大 二期系統(tǒng)中，網(wǎng)管核心數(shù)據(jù)庫(kù)同時(shí)負(fù)責(zé)數(shù)據(jù)采集以及其它中上 層任務(wù)。采集系統(tǒng)對(duì)核心數(shù)據(jù)庫(kù)頻繁的進(jìn)行大規(guī)模數(shù)據(jù)操作增加、 修改、刪除大量臨時(shí)表及臨時(shí)數(shù)據(jù)，數(shù)據(jù)庫(kù)服務(wù)器負(fù)擔(dān)過(guò)重，并且 已經(jīng)開(kāi)始影響到網(wǎng)管中上層應(yīng)用。 3 2 n p m 采集系統(tǒng)結(jié)構(gòu) 三期網(wǎng)管工程的性能數(shù)據(jù)采集系統(tǒng)我們稱(chēng)之為n p m 采集系 統(tǒng)，它由采集配置管理、采集控制、采集實(shí)現(xiàn)三大部分組成。 系統(tǒng)架構(gòu)如圖3 1 所示： 囤3 1n p m 性能采集系統(tǒng)架構(gòu) n p m ：網(wǎng)管性能管理平臺(tái)，它將負(fù)責(zé)g s m 移動(dòng)話務(wù)網(wǎng)絡(luò)性能 數(shù)據(jù)的采集、存儲(chǔ)、分析，并且是網(wǎng)管中上層應(yīng)用以及其它支撐系 統(tǒng)獲得性能數(shù)據(jù)的唯一渠道。 n p m d b ：網(wǎng)管性能管理平臺(tái)核心數(shù)據(jù)庫(kù)，包括網(wǎng)管系統(tǒng)的底 層、中層和上層應(yīng)用數(shù)據(jù)。 m d ：網(wǎng)管數(shù)據(jù)采集服務(wù)器 m d d b ：采集服務(wù)器數(shù)據(jù)庫(kù)，它有限期的存儲(chǔ)數(shù)據(jù)采集過(guò)程中 使用的臨時(shí)表和臨時(shí)數(shù)據(jù)。三期系統(tǒng)采用獨(dú)立的數(shù)據(jù)庫(kù)輔助采集過(guò) 程，減輕核心數(shù)據(jù)庫(kù)n p m d b 的壓力，而n p m d b 所使用的底層表 數(shù)據(jù)由m d d b 同步得到。 o m c 數(shù)據(jù)源：通常設(shè)備的無(wú)線和交換數(shù)據(jù)都來(lái)自于管理無(wú)線和 交換設(shè)備的o m c ，也有部分?jǐn)?shù)據(jù)采自直聯(lián)網(wǎng)元。 匯總模塊：是網(wǎng)管性能管理平臺(tái)中層模塊。 系統(tǒng)通過(guò)數(shù)據(jù)源檢測(cè)模塊( d a t a c h e c k ) 按照一定的時(shí)間和網(wǎng)元 粒度來(lái)檢查數(shù)據(jù)的完整性，這種檢測(cè)需根據(jù)不同廠商設(shè)備特性完 成，基本上是定時(shí)( 可以配置) 去輪詢(xún)數(shù)據(jù)源的方式。一旦數(shù)據(jù)的 生成情況符合設(shè)置的完整性要求的時(shí)候，就發(fā)“采集任務(wù)請(qǐng)求”消 息給采集任務(wù)生成器( t a s k g e n e r a t o r ) ，讓它負(fù)責(zé)去調(diào)度實(shí)際采集 任務(wù)的執(zhí)行并進(jìn)行狀態(tài)跟蹤，采集任務(wù)由i n v o k e r 負(fù)責(zé)協(xié)調(diào)采集過(guò) 程的各步驟，將設(shè)備性能數(shù)據(jù)采集到m d d b 中。任務(wù)管理器 t a s k _ y a n a g e r 主要用來(lái)協(xié)調(diào)多采集服務(wù)器的數(shù)據(jù)同步請(qǐng)求，調(diào)度 同步任務(wù)，將采集到m d d b 中的數(shù)據(jù)同步到n p m d b 中，并由 s y n cp m 調(diào)用b r i d g e 燎匯總?cè)蝿?wù)消息發(fā)至匯總模塊，通知執(zhí)行網(wǎng)管 中層數(shù)據(jù)處理。 3 3 采集配置管理部分 網(wǎng)管二期系統(tǒng)采用一個(gè)i n i 文件存儲(chǔ)所有廠家o m c 網(wǎng)元的配 置信息。 比如一個(gè)標(biāo)志為o s s 3 0 3 的o m c 部分配置信息存儲(chǔ)格式如 下： o s s 3 0 3 】 0 m ch o s t o m cp w d 0 m cu i d v e n d o r n a m e v e r s i o n = $ o m ci p = $ o m cp w d = $ 0 m cu i d = m o t o r o l a = 1 6 2 0 # o m c 主機(jī)i p 地址 # o m c 登陸密碼 # o m c 登陸用戶(hù) # o m c 所屬?gòu)S商 # 設(shè)備版本 二期系統(tǒng)的配置管理相對(duì)于三期系統(tǒng)，有以下幾個(gè)不足點(diǎn)： 第一，舊系統(tǒng)的采集配置管理只是一個(gè)平面的一層結(jié)構(gòu)，難以 表示一個(gè)具有多層結(jié)構(gòu)的模型。 第二，二期系統(tǒng)中不同程序模塊間為共享配置數(shù)據(jù)產(chǎn)生了很多 臨時(shí)文件，在使用l d a p 技術(shù)以后，數(shù)據(jù)共享不再主要使用臨時(shí)文 件方式，而是通過(guò)訪問(wèn)l d a p 服務(wù)器獲得。系統(tǒng)性能得到優(yōu)化。 第三，二期系統(tǒng)的配置文件采用定時(shí)進(jìn)行文件備份的維護(hù)方 式，存在比較大的安全隱患。 三期系統(tǒng)所有廠商設(shè)備以及系統(tǒng)自身有關(guān)的配置信息都存放在 l d a p 服務(wù)器上，通過(guò)使用l d a p 技術(shù)，不同應(yīng)用有了統(tǒng)一的操作 接口。 3 3 1l d a p 技術(shù)原理 l d a p ( l i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l 輕型目錄訪問(wèn)協(xié) 議) 是一種部分基于x 5 0 0 目錄標(biāo)準(zhǔn)的開(kāi)放標(biāo)準(zhǔn)，但更簡(jiǎn)單、更精 練且可擴(kuò)展性更好。l d a p 目錄是一種數(shù)據(jù)庫(kù)，但它不是關(guān)系型數(shù) 據(jù)庫(kù)，而是一個(gè)樹(shù)狀的目錄型數(shù)據(jù)庫(kù)，信息被集中存儲(chǔ)在l d a p 服 務(wù)器上的l d a p 目錄中。 l d a p 目錄結(jié)構(gòu)與u n i x 文件系統(tǒng)非常相似，數(shù)據(jù)按層次存 儲(chǔ)?；窘M成元素有d n 、0 u 、數(shù)據(jù)項(xiàng)?！案被颉盎綿 n ” ( d i s t i n g u i s h e d n a m e ，專(zhuān)有名稱(chēng)) ，類(lèi)似于u n i x 系統(tǒng)的根目錄； 目錄被進(jìn)一步細(xì)分成組織單元o u ( o r g a n i z a t i o nu n i t s ) ；有一些 o u 下一級(jí)仍舊是o u ，類(lèi)似于u n i x 系統(tǒng)中文件夾下的文件夾，而 1 0 有些o u 中包含數(shù)據(jù)項(xiàng)，這是整個(gè)樹(shù)的葉子部分，這種“樹(shù)一葉” 結(jié)構(gòu)使l d a p 變得易于擴(kuò)展。l d a p 技術(shù)的主要特點(diǎn)有： ( 1 ) 目錄型數(shù)據(jù)庫(kù)和關(guān)系型數(shù)據(jù)庫(kù)最基本的不同是，目錄服 務(wù)器是為執(zhí)行快速查詢(xún)而設(shè)計(jì)的，而關(guān)系型數(shù)據(jù)庫(kù)還需要為事務(wù)處 理等復(fù)雜應(yīng)用進(jìn)行優(yōu)化。 ( 2 )目錄是一個(gè)典型的層次結(jié)構(gòu)，可以進(jìn)行特定的數(shù)據(jù)管 理。 ( 3 ) l d a p 專(zhuān)門(mén)制定了一套標(biāo)準(zhǔn)，處理數(shù)據(jù)訪問(wèn)，數(shù)據(jù)庫(kù)通 信等問(wèn)題，l d a p 應(yīng)用程序接口可以隱藏協(xié)議的細(xì)節(jié)問(wèn)題。 ( 4 ) l d a p 無(wú)需專(zhuān)門(mén)的d b a 管理數(shù)據(jù)庫(kù)，服務(wù)器易于安裝。 通過(guò)使用l d a p 協(xié)議，客戶(hù)機(jī)將查詢(xún)發(fā)送給l d a p 服務(wù)器 ( 從技術(shù)上講，l d a p 沒(méi)有“讀”功能：客戶(hù)機(jī)通過(guò)將搜索請(qǐng)求發(fā)送 給服務(wù)器來(lái)“讀”目錄項(xiàng)) 。服務(wù)器檢查客戶(hù)機(jī)權(quán)限( 即，客戶(hù)機(jī) 有權(quán)訪問(wèn)數(shù)據(jù)庫(kù)嗎? 可以讀被請(qǐng)求的樹(shù)嗎? 可以將信息寫(xiě)入數(shù)據(jù)庫(kù) 嗎? 可以刪除項(xiàng)嗎? ，等等) ，然后返回請(qǐng)求信息。凡乎所有的現(xiàn) 代編程語(yǔ)言都有l(wèi) d a p 的a p i ，這意味著幾乎任何一個(gè)軟件都可以 支持l d a p 。l d a p 的應(yīng)用系統(tǒng)見(jiàn)下圖3 2 ： 圖3 2l d a p 應(yīng)用系統(tǒng)結(jié)構(gòu) 3 3 2l d a p - a p i 模塊設(shè)計(jì) 采集系統(tǒng)采用p e r l 作為編程語(yǔ)言，p e r l 模塊n e t ：l d a p 可以用 于搜索l d a p 目錄，增加、刪除、修改目錄或數(shù)據(jù)項(xiàng)信息。采集系 統(tǒng)以n e t ：l d a p 為基礎(chǔ)編寫(xiě)l d a p - a p i ( l d a p a p i p m ) 模塊，提 供對(duì)l d a p 服務(wù)器的訪問(wèn)接口，模塊實(shí)現(xiàn)的主要功能如下表3 1 舞熬i 麓；囊謄善 接口參數(shù)說(shuō)明 瀛鞘搿j 蕊曩彗對(duì)象初始化 一i j j ：+ ，t ji ；：； i d a p b a s e ：搜索起點(diǎn) 按照關(guān)鍵字法搜索，通 ：露曩曩臻謄 g 章辮 囊峨髑葑囊 i d a p f i l t e r ：搜索目標(biāo) 過(guò)h a s h 表獲取搜索節(jié) ：t 囂：囂冀未蓋囂臻： 鬻聯(lián)鬻褰j(luò) 泌囊 點(diǎn)的各項(xiàng)屬性 囊囂囊嘏驀麓i ； i d a p _ b a s e ：搜索起點(diǎn) 通過(guò)準(zhǔn)確的d s n 名稱(chēng) 疊冀誓t ；籌；j ：冀i j i d a p _ f i l t e r ：搜索目標(biāo) 搜索使用h a s h 表獲取 荔薹霧臻篙黲 搜索節(jié)點(diǎn)的各項(xiàng)屬性 辮然 e n t r y _ n a m e ：目錄名 增加指定節(jié)點(diǎn)及其屬 l d a p _ b a s e ：搜索起點(diǎn) 性 。：一；囂；曩，： a t t r _ h a s h ( h a s h 表) ：增加的屬性 緩j 驀警囂 l d a p _ b a s e ：搜索起點(diǎn) 刪除指定節(jié)點(diǎn) 蓑罄緊緩。 e n t r y _ n a m e ：節(jié)點(diǎn)名 瓣 l d a p _ b a s e ：搜索起點(diǎn) e n t r y _ n a m e ：節(jié)點(diǎn)名 增加指定節(jié)點(diǎn)某屬性 a t t rh a s ( h a s h 表) ：增加的屬性 瓣搿搿i i 囂辮 i d a p _ b a s e ：搜索起點(diǎn) 震 e n t r y _ _ n a m e ：節(jié)點(diǎn)名 刪除指定節(jié)點(diǎn)某屬性 a t t r _ a r r a y ( h a s h 表) ：待刪除屬 性 刪 i d a p _ b a s e ：搜索起點(diǎn) e n t r y _ n a m e ：節(jié)點(diǎn)名 修改指定節(jié)點(diǎn)某屬性 a n r _ a r r a y ( 數(shù)組) ；待刪除屬性 表3 1l d a p _ a p i 模塊 3 3 3l d a p 樹(shù)結(jié)構(gòu) n p m 采集系統(tǒng)的l d a p 樹(shù)結(jié)構(gòu)示例如下圖3 3 ： l _ 0 u 2 i n i l m d0 0 1 型! 竺耋竺! 皇lj d ：、 i 1 型里! ! ! ! ! ! ! ! 耋型羔塞j ，。、 圖3 3l d a p 樹(shù)結(jié)構(gòu)示意圖 o = n e t s c a p e r o o t 是l d a p 目錄的裉，采集系統(tǒng)所有的配置信息都 屬于組織單元o u = b o c o 以下層次。節(jié)點(diǎn)的專(zhuān)有名稱(chēng)d n 由根到此節(jié) 點(diǎn)中的一系列d n 組成，它們之間用逗號(hào)間隔。比如d n 是 “o u = 3 0 1 ，o u = d s n ，o u = i n i ，o u = b o c o ，o = n e t s e a p e r o o t ”的節(jié)點(diǎn)，表達(dá) 了如下的層次關(guān)系： b d 曲 們 h 刪一鎣：柏 芒j 一 一l “ l i i 【 0 o = n e t s c a p e r o o t l _ 0 u = b o c o o u = i n i l o u = d s n l o h 2 3 0 t 3 3 4 采集系統(tǒng)l d a p 節(jié)點(diǎn)類(lèi)型 ( 1 ) o m c 類(lèi)型節(jié)點(diǎn)：列出o m c 的詳細(xì)配置信息。 瘸擐鬈曩曩 值例描述 ：巧托電l 赫，、：。：j 。： o m c 節(jié)點(diǎn)類(lèi)型 鰳n 1 4 鋤j i s 曩i ： t p m m s c _ n o k i a t p m r a d 采集的目標(biāo)以短豎線間 ：o ，：j ：c 。、，i 、 i o b t sn o k i a t p dc e l l - h隔，所列舉參數(shù)在專(zhuān)門(mén) ：矗：、：、。， ：，。：，、一，： o _ n o k l a t p d r a d l 0 b s c 的映射文件中有定義 ：曩：o 、； “i e ?j，7n o k l a t p m j k g p 奠o k i a i t 蠹：蔓 p m _ d e s t c o d en o k i a 惑蕊瞧拶： 4 0 lt x t 數(shù)據(jù)源 蜱辮薅：警i 4 0 1 數(shù)據(jù)源 罐舔：曩 t 1 2 o m c 版本 。：v e n d b 一；i d ：，。： 4 設(shè)備廠商數(shù)字標(biāo)識(shí) 塑乎唧h m 糾1 二罌8 刪蹋i o p t b o c o d a l f n p m m a p p i n g 算法映射文件( 即 n o k i a r e l e a s e p u b p m _ n o k i a _ 2 0m a p p i n g 文件) 路徑 0 3 m a p o m e ，u s e 謄：； u s e 0 m cu s e r 螂l c * d蔓薹：； p a s s w o r do m cp a s s w d 。矗n i 涵薯 曩曩曩 4 0 1a 1 id s ni i s lf o rd a t a c h e c k 赫曲遺矗峨。： n o k i a ! 瓤溉灑噬一墨 o u = m d ，o u = n p m ，o u = i n i ，o u = b o c節(jié)點(diǎn)路徑 鷥蟄o !0 , 0 2 n e t s e a p e r o o t ，t 、i ”、，、一， 鰳瓤斌：警j 警 4 0 l o u 名稱(chēng) 1 4 ( 2 ) d s n 類(lèi)型節(jié)點(diǎn)：列出某o m c 的數(shù)據(jù)源信息。 ? 穗擎：，、! 。 值例描述 一卿e c t c f a 拶：、：、。+ 。 d s n 節(jié)點(diǎn)類(lèi)型 一曲： 揣j _ 一一_ j ：、5 ：i4 0 1 設(shè)備數(shù)據(jù)庫(kù)名 攀鞭章，；：。：、：蠢， u s e rd bu s e r 憩j ；p 姆：；：? p a s s w d d bp a s s w d 曩b 毋限j ：蠹o(jì) ：曩：j o d b c 數(shù)據(jù)庫(kù)驅(qū)動(dòng)類(lèi)型 辟a _ 謄蠢：樹(shù)0 d e ：j ：，：o u = d s n ，o u = i n i ，o u = b o c o ，o = n節(jié)點(diǎn)路徑 、：f ：一! 曩+ 、一 ：；：j j 疊、一。i j ：j e t s c a p e r o o t ，、+y x+ 。 o u ：嗣a m e ：一一，、：4 0 1o u 名稱(chēng) ( 3 ) d a t a c h e c k 類(lèi)型節(jié)點(diǎn)：配置設(shè)備數(shù)據(jù)檢測(cè)信息。 。桶性：，： ：、： 值描述 、， j j 姝森蔽ii 、 d a t a c h e c k 節(jié)點(diǎn)類(lèi)型 o m c1 4 一； t ：、： 4 0 1 鬻孵蕾誓曩 d 4 0 lb t s 進(jìn)行d a t a e h e e k 操作的數(shù) 、：i ：。：7s ：譬，：i 據(jù)類(lèi)型 t e s 如好a ( ：d 贏d ；=，：。：+ + ， d a t a c h e c k ，p l id 4 0 1 一b t s d 砒a e h e c k 啟動(dòng)命令 # 蝴f i 虹菇：?r “曩j 羔i n o k i a _ b t s x m l d a t a c h e k 的配置文件 i q y o b e e c 嘞心： g p - n p mi n v o k e r p l 執(zhí)行i n v o k e r 的命令格 _ ，一 、 i f ，+ i 式 燃i 貶謄鬻“ o p t b o c o d a l n p m t r a c e 日志路徑 ：，、一“ n d a t a c h e c k d 4 0 1b t s 1 0 9 、b 強(qiáng)s e n o d e 、一o u = d a t a c h e c k ，o n = m d ，o u = n p 節(jié)點(diǎn)路徑 m ，o u = i n i ，o u = b o c o ，o = n e t s e a p i ，6 + ，” e r o o t 9 j o 捌 i 蝎 4 0 1o u 名稱(chēng) 3 4 采集控制部分運(yùn)行機(jī)制 3 4 1 采集控制機(jī)制 n p m 采集系統(tǒng)通過(guò)檢測(cè)數(shù)據(jù)源生成情況，來(lái)控制采集任務(wù)并 驅(qū)動(dòng)日常采集。采集控制部分負(fù)責(zé)底層采集任務(wù)的生成調(diào)度，最終 實(shí)現(xiàn)主動(dòng)采集并及時(shí)通知匯總。 采集控制的基本機(jī)制如圖3 4 所示： 圖3 , 4 采集控制機(jī)制示意圖 1 6 首先通過(guò)d a t a c h e c k ( 數(shù)據(jù)源檢測(cè)工具) 來(lái)檢測(cè)采集是否可 行。然后生成采集任務(wù)發(fā)給特定m d ( 采集服務(wù)器) 上的 t a s k g e n e r a t o r ( 采集任務(wù)生成器) ，通過(guò)t a s k g e n e r a t o r 來(lái)調(diào)度 i n v o k e r 采集過(guò)程；調(diào)度完成后，t a s kg e n e r a t o r 向t a s km a n a g e r ( 任務(wù)管理器) 發(fā)送性能數(shù)據(jù)同步請(qǐng)求，t a s km a n a g e r 將協(xié)調(diào)多采 集服務(wù)器的數(shù)據(jù)同步請(qǐng)求。s y n c 完成到的數(shù)_pmm d d bn p m d b 據(jù)同步后，向即時(shí)匯總調(diào)度器發(fā)送即時(shí)匯總請(qǐng)求。d a l 2 d b 負(fù)責(zé)管 理從多個(gè)采集服務(wù)器( m d ) 發(fā)送的性能數(shù)據(jù)同步請(qǐng)求，擠調(diào)即時(shí) 匯總過(guò)程。 3 。4 2 d a t a c h e e k 數(shù)據(jù)源檢測(cè)工具 d a t a c h e c k 做為主動(dòng)采集的發(fā)起方，是駐留采集服務(wù)器或o m c 上的守護(hù)進(jìn)程，它定時(shí)的對(duì)o m c 的數(shù)據(jù)進(jìn)行完整性檢查，一旦某 時(shí)間段數(shù)據(jù)符合采集條件，就向t a s k g e n e r a t o r 任務(wù)生成器發(fā)送采 集任務(wù)消息，觸發(fā)采集。 3 4 2 1 采集模式分類(lèi) 對(duì)于不同設(shè)備，其數(shù)據(jù)產(chǎn)生與存儲(chǔ)形式也相應(yīng)不同，按設(shè)備采 集接口類(lèi)型分有數(shù)據(jù)庫(kù)接口和文件接口兩種模式。 數(shù)據(jù)庫(kù)模式采集使用應(yīng)用程序接口訪問(wèn)設(shè)備數(shù)據(jù)庫(kù)。數(shù)據(jù)源檢 測(cè)原理通常是：檢查特定表集合的數(shù)據(jù)是否有根據(jù)比例判斷是否 已經(jīng)符合采集條件專(zhuān)以上都符合，那么d a t a c h e c k 將會(huì)認(rèn)為一個(gè)特 定的采集任務(wù)已經(jīng)形成。 文件模式采集形式多樣，有的設(shè)備定時(shí)產(chǎn)生數(shù)據(jù)到特定目錄下， 有的需要在設(shè)備主機(jī)發(fā)命令取文件，有的通過(guò)代理協(xié)議訪問(wèn)等等， 待采數(shù)據(jù)可能存在于一個(gè)或幾個(gè)文件中。文件模式檢查數(shù)據(jù)的原理 通常是：檢查特定的文件列表中的文件是否存在專(zhuān)檢查文件是否還 在變化專(zhuān)判斷文件大小專(zhuān)以上都符合，那么d a t a c h e e k 將會(huì)認(rèn)為一 個(gè)特定的采集任務(wù)已經(jīng)形成。 3 4 2 2d a t a c h e c k 數(shù)據(jù)源檢測(cè)工具 d a t a e h e e k 采用“核心程序+ 廠家模塊”的方式，如圖3 5 所示 m a i np r o c e s s v e n d o rp r o c e s s d a t a c h e c k 1 rc h e c k o m e s t a t d a t a c h e c k p l d a t a c h e e k 圖3 , 5d a t a c h e c k 模塊設(shè)計(jì)圖 ( 1 ) 核心程序d a t a c h e c k p l 調(diào)用接口：d a t a c h e c k p l - i $ c h e c ki d 核心程序d a t a c h e e k p l 負(fù)責(zé)與廠家無(wú)關(guān)的流程處理，參數(shù) $ c h e c ki d 是l d a p 目錄中d a t a c h e c k 類(lèi)型節(jié)點(diǎn)的o u 名，以此調(diào)用 不同的數(shù)據(jù)源檢測(cè)模塊。 ( 2 ) 廠家模塊 廠家模塊由兩部分組成：x m l 配置文件和程序包。 x m l 文件用于配置不同設(shè)備采集條件：程序包必須包括兩個(gè) 函數(shù)c h e c k o m c s t a t 和d a t a _ c h e c k ，c h e c k _ o m c s t a t 檢查廠家的網(wǎng)元 o m c 狀態(tài)，d a t ac h e c k 檢測(cè)待采集數(shù)據(jù)的準(zhǔn)備情況。 3 4 3t a s kg e n e r a t o r 采集任務(wù)生成器 采集任務(wù)生成器是位于采集服務(wù)器上的守護(hù)進(jìn)程，每臺(tái)采集上 均會(huì)運(yùn)行一個(gè)t a s kg e n e r a t o r ，負(fù)責(zé)從各個(gè)廠家的d a t a c h e c k 模塊 接收消息，形成采集調(diào)度的實(shí)際任務(wù)。 任務(wù)生成器運(yùn)行時(shí)會(huì)f b r k 三個(gè)守護(hù)進(jìn)程： 進(jìn)程一：定時(shí)檢查自己的三個(gè)后臺(tái)進(jìn)程是否還在運(yùn)行，如果不 正常，將狀態(tài)記入r 志。 進(jìn)程二：以s o c k e t 方式從d a t a c h e c k 接收消息，并向 t a s km a n a g e r 發(fā)送消息。 d a t a c h e c k 發(fā)送簽到消息； 心跳檢測(cè)消息：控制d a t a c h e c k 的運(yùn)行情況。如果某一個(gè) d a t a c h e c k 心跳超時(shí)則重新啟動(dòng)它： 采集任務(wù)到達(dá)消息： 一個(gè)采集任務(wù)完成后向t a s km a n a g e r 發(fā)送性能同步、即時(shí) 匯總消息。 進(jìn)程三：接收消息隊(duì)列的消息并進(jìn)行處理，啟動(dòng)采集任務(wù)。 3 4 4t a s km a n a g e r 任務(wù)管理器 任務(wù)管理器是運(yùn)行在某一臺(tái)采集服務(wù)器上的守護(hù)進(jìn)程，負(fù)責(zé)管 理從多個(gè)采集服務(wù)器( m d ) 發(fā)送的性能數(shù)據(jù)同步請(qǐng)求，協(xié)調(diào)調(diào)用 性能同步( s y n cp m ) 過(guò)程，并負(fù)責(zé)監(jiān)控采集服務(wù)器上的 t a s kg e n e r a t o r 的運(yùn)行情況。 任務(wù)管理器運(yùn)行時(shí)會(huì)f b r k 三個(gè)守護(hù)進(jìn)程： 進(jìn)程一：定時(shí)檢查自己的三個(gè)后臺(tái)進(jìn)程是否還在運(yùn)行。否則啟 動(dòng)。定時(shí)查看表d a ld a t a c h e c k ( 存放d a t a c h e c k 的運(yùn)行信息) 中的 l a s tu p d t i m e 字段，來(lái)判斷該m d 上的t a s kg e n e r a t o r 是否正常運(yùn) 行，否則t e l n e t 到相應(yīng)m d 上重啟該m d 上的t a s kg e n e r a t o r 程序 進(jìn)程二：s o c k e t 偵聽(tīng)s e r v e r ，接收t a s kg e n e r a t o r 發(fā)送的s o c k e t 消息，并進(jìn)行相應(yīng)處理。 簽到消息：如果是首次簽到，將在表d a ld a t a c h e c k 中插入 一條記錄： 心跳檢測(cè)消息：均會(huì)把當(dāng)時(shí)的時(shí)間u p d a t e 到表 d a ld a l a c h e c k 中l(wèi) a s t ，以便第一個(gè)進(jìn)程判斷狀態(tài)；updtime 性能同步請(qǐng)求：則將該請(qǐng)求發(fā)送到消息隊(duì)列中： 進(jìn)程三：接收消息隊(duì)列的消息并進(jìn)行處理，啟動(dòng)同步程序 s y n cp m 。 9 3 4 5s y n c p m 性能同步 采集服務(wù)器m d 將數(shù)據(jù)采集入m d d b 的底層性能表，然后性能 同步程序負(fù)責(zé)生成導(dǎo)出m d d b 底層性能數(shù)據(jù)的腳本，并運(yùn)行之生成 數(shù)據(jù)文件，以f t p 的方式傳送到n p m ，再將文件導(dǎo)入n p m d b 對(duì) 應(yīng)表。 3 5 采集實(shí)現(xiàn)部分運(yùn)行機(jī)制 采集實(shí)現(xiàn)運(yùn)行機(jī)制如圖3 , 6 、圖3 7 所示： 一個(gè)采集任務(wù) 暑 要 黿 調(diào) 度 程 序 源文件校驗(yàn)( c h e c ks o u r c e ) 文件分析( p a r s e r ) 圖3 6 文件模式采集實(shí)現(xiàn)機(jī)制 以盈1 c o a t a 曲。吐， i 圖3 7 數(shù)據(jù)庫(kù)模式采集實(shí)現(xiàn)機(jī)制 i n v o k e r 是采集過(guò)程的總調(diào)度程序；f i l e c o l l e c t o r 負(fù)責(zé)取得文 件，c h e e k s o u r c e 負(fù)責(zé)檢查源文件中的錯(cuò)誤并記錄，p a r s e r 負(fù)責(zé) 解析源文件生成格式化的目的文件，c h e c k _ d e s t 負(fù)責(zé)檢查目的文 件的格式類(lèi)型錯(cuò)誤，o d b c _ e o l l e e t o r 負(fù)責(zé)將數(shù)據(jù)入m d d b 臨時(shí) 表，a d a p t o r 將臨時(shí)表數(shù)據(jù)整理入最終底層性能表。 3 5 1i n v o k e r 3 5 1 。li n v o k e r 設(shè)計(jì) i n v o k e r 負(fù)責(zé)全程調(diào)用采集的各個(gè)過(guò)程，工作流程如下圖3 8 所 示： i n v o k e r 初始化 從l d a p 讀取信息，向 d a l l n s l a n e e 添加目志 上 讀取x m l 配置文件， 組