論數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)的構(gòu)件庫(kù)管理系統(tǒng)

1、論數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)的構(gòu)件庫(kù)管理系統(tǒng)    【摘要】：通過(guò)較為成熟的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)存儲(chǔ)和檢索構(gòu)件信息。數(shù)據(jù)倉(cāng)庫(kù)中不僅存儲(chǔ)了構(gòu)件實(shí)體，還存放有構(gòu)件的描述信息、構(gòu)件的復(fù)用歷史信息、構(gòu)件的用戶反饋信息。通過(guò)數(shù)據(jù)挖掘技術(shù)在構(gòu)件倉(cāng)庫(kù)中查找構(gòu)件，為用戶提供高效、準(zhǔn)確的構(gòu)件查找和輔助選擇方案，為構(gòu)件復(fù)用成功提供了有效的技術(shù)保障?！娟P(guān)鍵詞】構(gòu)件；構(gòu)件倉(cāng)庫(kù)；數(shù)據(jù)挖掘；反饋；決策樹(shù)作者簡(jiǎn)介：陳文，23歲，男，四川南充人，軟件工程師，重慶西南大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院2005級(jí)碩士研究生，研究方向：軟件測(cè)試，軟件復(fù)用。1引言軟件構(gòu)件技術(shù)是軟件復(fù)用的一種重要手段，是近

2、年來(lái)軟件復(fù)用研究的熱點(diǎn)，目前出現(xiàn)了大量的基于構(gòu)件的應(yīng)用軟件開(kāi)發(fā)，取得了良好的效果。要使用基于構(gòu)件的軟件開(kāi)發(fā)技術(shù)，發(fā)揮構(gòu)件在軟件重用方面的優(yōu)勢(shì)，就必須要有支持整個(gè)軟件生命周期并包含有大量可用構(gòu)件的構(gòu)件庫(kù)系統(tǒng)，有效的構(gòu)件管理和高效的構(gòu)件查詢是構(gòu)件庫(kù)系統(tǒng)成功的關(guān)鍵。本文研究的重點(diǎn)是將數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘技術(shù)應(yīng)用到構(gòu)件庫(kù)系統(tǒng)中，為構(gòu)件庫(kù)管理員提供切實(shí)有效的構(gòu)件管理方法和為用戶提供高效的構(gòu)件查找方法和構(gòu)件選擇的輔助決策支持。2數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)2.1數(shù)據(jù)倉(cāng)庫(kù)技術(shù)著名的數(shù)據(jù)倉(cāng)庫(kù)專家W.H.Inmo在其著作BuildingDataWareHouse一書(shū)中給出了如下的數(shù)據(jù)倉(cāng)庫(kù)的定義：數(shù)據(jù)倉(cāng)庫(kù)是面向主題的（S

3、ubject-Oriented）,集成的（Interated），時(shí)變的（Time-Variant），非違約的（Non-volatile）一系列用于管理和決策制定的數(shù)據(jù)集。面向主題是數(shù)據(jù)倉(cāng)的重要特征，這是與傳統(tǒng)數(shù)據(jù)庫(kù)面向應(yīng)用相對(duì)應(yīng)的。主題是一個(gè)在較高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn)?；谥黝}組織的數(shù)據(jù)，被劃分為各自獨(dú)立的領(lǐng)域，每一個(gè)領(lǐng)域有自己的邏輯內(nèi)涵，互不交叉，數(shù)據(jù)只是為具體處理而組織在一起。傳統(tǒng)的E-R型數(shù)據(jù)模式能較好的執(zhí)行聯(lián)機(jī)事務(wù)處理（OLTP），但不適應(yīng)決策支持分析，而數(shù)據(jù)倉(cāng)庫(kù)則是為決策管理提供支持信息，根據(jù)業(yè)務(wù)需求從用戶的角度基于主題來(lái)組織數(shù)據(jù)，并形成相應(yīng)的數(shù)據(jù)視圖，匯總表等，因此適于聯(lián)機(jī)分析處理

4、（OLAP）。數(shù)據(jù)倉(cāng)庫(kù)的第二個(gè)特點(diǎn)是集成化，數(shù)據(jù)從面向應(yīng)用的操作環(huán)境中，提取到數(shù)據(jù)倉(cāng)庫(kù)中時(shí)，都要經(jīng)過(guò)集成化，統(tǒng)一原始數(shù)據(jù)中的所有矛盾如命名沖突，數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換等，最終達(dá)到：一致的命名，變量度量，編碼結(jié)構(gòu)，物理屬性等。數(shù)據(jù)倉(cāng)庫(kù)的另一個(gè)特點(diǎn)是非違約性。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是歷史數(shù)據(jù)，數(shù)據(jù)經(jīng)集成進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后，一般不需要改變。針對(duì)數(shù)據(jù)進(jìn)行的基本操作只是裝數(shù)據(jù)和訪問(wèn)數(shù)據(jù)，因此不存在傳統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)恢復(fù)，數(shù)據(jù)同步，修復(fù)死鎖等復(fù)雜問(wèn)題.2.2數(shù)據(jù)挖掘技術(shù)概述數(shù)據(jù)挖掘（DataMining）就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)

5、的非平凡過(guò)程，這些信息的表現(xiàn)形式為：規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進(jìn)而預(yù)測(cè)未來(lái)可能發(fā)生的行為。3當(dāng)前構(gòu)件庫(kù)系統(tǒng)應(yīng)用中的困難隨著構(gòu)件庫(kù)系統(tǒng)的發(fā)展，當(dāng)構(gòu)件數(shù)目逐漸增多時(shí)，用戶在查詢和選取構(gòu)件時(shí)會(huì)碰到以下一些困難：（1）在查詢的過(guò)程中，可能有多個(gè)滿足用戶查詢條件的構(gòu)件，如何快速有效地從眾多的候選構(gòu)件中，準(zhǔn)確的判斷并選取所需的構(gòu)件，這是一個(gè)復(fù)雜的決策過(guò)程，一般都依賴于用戶的復(fù)用經(jīng)驗(yàn)，以及對(duì)構(gòu)件的理解和主觀判斷。（2）通常用戶都是通過(guò)刻面、屬性、關(guān)鍵詞、關(guān)系等表達(dá)式，根據(jù)所需構(gòu)件的特征，進(jìn)行構(gòu)件的查詢。然而訪問(wèn)構(gòu)件的用戶具有不同的層次，可能不

6、熟悉構(gòu)件的刻面分類模式，對(duì)構(gòu)件的理解比較困難。（3）用戶查詢前并沒(méi)有一個(gè)明確的目標(biāo)，只是想通過(guò)查詢構(gòu)件庫(kù)，找到能夠利用和復(fù)用的構(gòu)件，因而，如何通過(guò)構(gòu)件的復(fù)用歷史和其它用戶的覽勝經(jīng)驗(yàn)，為用戶提供一定程度的復(fù)用幫助是很必要的。（4）對(duì)需求規(guī)約、設(shè)計(jì)、模式、測(cè)試計(jì)劃等文檔知識(shí)的構(gòu)件復(fù)用屬于間接復(fù)用，需要復(fù)用者首先進(jìn)行分析和理解。在大多數(shù)復(fù)用情況下，對(duì)構(gòu)件的復(fù)用是白盒復(fù)用，也是就根據(jù)構(gòu)件復(fù)用者的反饋，對(duì)構(gòu)件進(jìn)行適應(yīng)性修改。如何跟蹤軟件復(fù)用的經(jīng)驗(yàn)和構(gòu)件的使用歷史，輔助用戶選取相應(yīng)的分析，設(shè)計(jì)及改動(dòng)最小的構(gòu)件是關(guān)鍵。綜上所述，由于當(dāng)前的構(gòu)件描述多是基于構(gòu)件某一方面特征，如構(gòu)件接口、構(gòu)件屬性、運(yùn)行環(huán)境等進(jìn)行

7、描述，而缺乏對(duì)構(gòu)件的功能及非功能屬性的精確的，形式化的語(yǔ)義描述，這將導(dǎo)致某一候選構(gòu)件與需求構(gòu)件在構(gòu)件的描述匹配中完全一致，但該構(gòu)件并不一定能完成需求的功能。例如，用戶試圖尋找一個(gè)計(jì)算兩數(shù)相加輸出和的加法構(gòu)件，但候選的是一個(gè)計(jì)算兩相乘輸出積的乘法構(gòu)件，需求構(gòu)件與候構(gòu)件在構(gòu)件接口參數(shù)描述、環(huán)境依賴等方面完全匹配，但功能上卻大相徑庭。因?yàn)槿狈Ψ枪δ軐傩陨厦枋觯?dāng)前的構(gòu)件匹配也存在著即使候選構(gòu)件與需求構(gòu)件在功能上一致但由于在非功能屬性上不合要求仍不能完成用戶需求的問(wèn)題。特別是當(dāng)用戶應(yīng)用程序      在總體的非功能屬性上，例如用戶界面、程序安全性、適時(shí)

8、性、可靠性等，有特殊要求時(shí)，構(gòu)件的非功能屬性一致性就更加重要。構(gòu)件描述必須具有完全性、完備性、易解理性。構(gòu)件描述完全性指能夠描述構(gòu)件各個(gè)方面的特性，不存在構(gòu)件的某一特性不能描述的情況，完備性是指所有的構(gòu)件都能描述，不存在某一構(gòu)件不能描述的情況。理論的構(gòu)件描述方法是語(yǔ)義描述，即以形式化手段描述構(gòu)件的功能或行為語(yǔ)義，系統(tǒng)可以通過(guò)定理證明及基于知識(shí)的推理過(guò)程來(lái)尋找語(yǔ)義上等價(jià)或相近的構(gòu)件。遺憾的是這種基于語(yǔ)義的描述方法涉及許多人工智能難題，目前難于支持大型構(gòu)件庫(kù)工程實(shí)現(xiàn)。當(dāng)前基于不同構(gòu)件模型的較為成功的構(gòu)件描述語(yǔ)言CORBAIDL,DCOMIDL和EJBIDL以及被認(rèn)為是最好的通用構(gòu)件描述語(yǔ)言XML，

9、它們都能夠描述構(gòu)件多方面的特性,并且具備編譯和瀏覽工具的支持，但是在描述構(gòu)件接口語(yǔ)義和構(gòu)件間復(fù)雜的交互協(xié)議方面缺乏進(jìn)一步的支持，因此都不能很好的滿足構(gòu)件描述的完全性、完備性、易理解性三個(gè)方面的要求。例如CORBAIDL不能描述符合CORBA標(biāo)準(zhǔn)以外的構(gòu)件，也不能精確的描述構(gòu)件的功能及非功能性特點(diǎn)。因此基于當(dāng)前的各類構(gòu)件描述語(yǔ)言，它們的描述只能讓用戶獲得構(gòu)件某些方面的，抽象的認(rèn)識(shí)，尚不能讓用戶對(duì)整個(gè)構(gòu)件有全面清楚的認(rèn)識(shí)，故勢(shì)必影響構(gòu)件選取，構(gòu)件復(fù)用。而構(gòu)件的復(fù)用歷史，早期用戶對(duì)構(gòu)件的使用結(jié)果，使用評(píng)價(jià)，修改意件等復(fù)用經(jīng)驗(yàn)會(huì)對(duì)后期用戶對(duì)構(gòu)件的認(rèn)識(shí)，選取決策起到重要的輔助作用。因此有效的管理構(gòu)件的復(fù)

10、用歷史記錄，先期用戶的復(fù)用反饋信息非常重要。4基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的構(gòu)件管理傳統(tǒng)的基于聯(lián)機(jī)事處理理（OLTP）的E-R數(shù)據(jù)庫(kù)并不適于歷史數(shù)據(jù)的長(zhǎng)期存放與管理，而數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正是用于存放歷史數(shù)據(jù)信息，并對(duì)用戶提供決策支持的系統(tǒng)，適宜于聯(lián)機(jī)事務(wù)分析(OLAP)，故建立基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的用戶反饋信息庫(kù)以支持構(gòu)件的存儲(chǔ)和檢索是可行的。在用戶反饋信息庫(kù)中，對(duì)反饋信息進(jìn)行一定程序的量化處理，主要包括七個(gè)維度：時(shí)間維度Time，制作者維度Provider，用戶維Userinfo，組裝維Compositeinfo，測(cè)試維Testinfo，描述維Descripinfo，評(píng)價(jià)維Valuatinoinfo；兩類反饋事實(shí)

11、：細(xì)節(jié)事實(shí)Freedbackfact，聚集事實(shí)AggregrateFact。其多維模式如圖1所示：FeedbackFact圖1用戶反饋為數(shù)據(jù)模式用戶反饋通過(guò)收集工具捕獲用戶提交的反饋信息，并對(duì)用戶反饋信息進(jìn)行篩選、分類，集成存入數(shù)據(jù)倉(cāng)庫(kù)。由于用戶反饋庫(kù)采用多維數(shù)據(jù)模式，當(dāng)需要查詢和分析的主題不斷增加時(shí)，可以通過(guò)為新增的主題建立相應(yīng)的事實(shí)表和維表（可以共享原來(lái)的很多維表），數(shù)據(jù)庫(kù)結(jié)構(gòu)不變，集成到原來(lái)的信息庫(kù)中，逐步完善軟件企業(yè)信息倉(cāng)庫(kù)。這是符合數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的原則，即先從某一主題入手不斷加以完善。5基于決策樹(shù)的分類發(fā)現(xiàn)在軟件構(gòu)件查詢中的應(yīng)用數(shù)據(jù)挖掘所能發(fā)現(xiàn)的知識(shí)有如下幾種:廣義型知識(shí)，反映同類事物

12、共同性質(zhì)的知識(shí)；特征型知識(shí)，反映事物各方面的特征知識(shí)；差異型知識(shí)，反映不同事物之間屬性差別的知識(shí)；關(guān)聯(lián)型知識(shí)，反映事物之間依賴或關(guān)聯(lián)的知識(shí)；預(yù)測(cè)型知識(shí)，根據(jù)歷史的和當(dāng)前的數(shù)據(jù)推測(cè)未來(lái)數(shù)據(jù)；偏離型知識(shí)，揭示事物偏離常規(guī)的異常現(xiàn)象。所有這些知識(shí)都可以在不同的概念層次上被發(fā)現(xiàn)，隨著概念樹(shù)的提升，從微觀到中觀再到宏觀，以滿足不同用戶、不同層次決策的需要。至于發(fā)現(xiàn)工具和方法，常用的有分類、聚類、減維、模式識(shí)別、可視化、決策樹(shù)、遺傳算法、不確定性處理等。本文在基于前述建立的構(gòu)件倉(cāng)庫(kù)上，使用決策樹(shù)分類法對(duì)構(gòu)件進(jìn)行檢索。5.1決策樹(shù)分類方法分類在數(shù)據(jù)挖掘中是一項(xiàng)非常重要的任務(wù)，目前在商業(yè)上應(yīng)用最多。分類的目的

13、是學(xué)會(huì)一個(gè)分類函數(shù)或分類模型(也常常稱作分類器)，該模型能把數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)。給出一個(gè)數(shù)據(jù)集中的一些屬性，分類器可以預(yù)測(cè)出某一個(gè)特定的屬性。被預(yù)測(cè)的屬性叫做標(biāo)簽（label），用于預(yù)測(cè)的其他屬性叫做描述屬性（descriptiveattributes）。在生成分類器后，則可以利用它來(lái)對(duì)數(shù)據(jù)集中不包含標(biāo)簽屬性的記錄進(jìn)行分類，標(biāo)簽的值可以用分類器來(lái)預(yù)測(cè)。要構(gòu)造分類器，需要有一個(gè)訓(xùn)練樣本數(shù)據(jù)集作為輸入。訓(xùn)練集由一組數(shù)據(jù)庫(kù)記錄或元組構(gòu)成，每個(gè)元組是一個(gè)由有關(guān)字段(又稱屬性或特征)值組成的特征向量，此外，訓(xùn)練樣本還有一個(gè)類別標(biāo)記。一個(gè)具體樣本的形式可為:(v1，v2，.，vn；c

14、)；vi表示字段值，c表示類別。從訓(xùn)練集中自動(dòng)地構(gòu)造出分類器的算法叫做生成器（inducer），在生成分類器后，可以利用它來(lái)對(duì)數(shù)據(jù)集中不包含標(biāo)簽屬性的記錄進(jìn)行分類，標(biāo)簽屬性的值也可以用分類器來(lái)預(yù)測(cè)。決策樹(shù)分類方法屬于分類方法的一種，該方法的輸入是一組帶有類別標(biāo)記的數(shù)據(jù)，構(gòu)造的結(jié)果是一棵二叉樹(shù)或多叉樹(shù)。二叉樹(shù)的內(nèi)部節(jié)點(diǎn)（非葉子節(jié)點(diǎn)）一般表示為一個(gè)邏輯判斷，如形為（ai=vi），基中ai是屬性，vi是該屬性的某個(gè)屬性值；樹(shù)的邊是邏輯判斷的分支結(jié)果；多叉樹(shù)（ID3）的內(nèi)部節(jié)結(jié)點(diǎn)是屬性，邊是該屬性的所有取值，有幾個(gè)屬性值，就有幾條邊，樹(shù)的葉子節(jié)點(diǎn)都是類別標(biāo)記。5.2決策樹(shù)方法與構(gòu)件分類檢索決策樹(shù)分類算

15、法通常包括兩部分：一是樹(shù)的生成，開(kāi)始時(shí)所有數(shù)據(jù)都在根結(jié)點(diǎn)，然后根據(jù)設(shè)定的標(biāo)準(zhǔn)選擇測(cè)試屬性，用不同的測(cè)試屬性遞歸的進(jìn)行數(shù)據(jù)分割；二是樹(shù)的修剪，就是去掉一些可能是噪音或者異常的數(shù)據(jù)。構(gòu)造一棵決策樹(shù)就是形成一個(gè)訓(xùn)練集的分類，在分類過(guò)程中完成對(duì)目標(biāo)的獲取策略與規(guī)則提取。構(gòu)件倉(cāng)庫(kù)中構(gòu)件信息包構(gòu)件描述信息，復(fù)用歷史信息及用戶反饋信息。構(gòu)件描述信息如下表1所示，復(fù)用歷史信息如表2所示，用戶反饋信息如表3所示。表1構(gòu)件描述信息表構(gòu)件號(hào)入庫(kù)時(shí)間提供者功能描述非功能描述應(yīng)用領(lǐng)域其它0012006-1-1微軟XP升級(jí)視窗界面PC用戶。0022006-1-2瑞星殺毒安全性好PC用戶。0032006-1-2金算盤(pán)財(cái)務(wù)結(jié)

16、算計(jì)算精度高金融領(lǐng)域。0042006-1-5創(chuàng)業(yè)軟件CT機(jī)控制適時(shí)性好醫(yī)療領(lǐng)域。表2復(fù)用歷史信息表構(gòu)件號(hào)復(fù)用時(shí)間復(fù)用者復(fù)用結(jié)果復(fù)用領(lǐng)域其它0012006-11-7張三成功PC用戶。0012006-10-2李四成功PC用戶。0032006-7-2金軟d411金達(dá)軟件失敗財(cái)務(wù)軟件公司。0042006-9-19創(chuàng)業(yè)軟件部分成功醫(yī)療軟件公司。表3用戶反饋信息表構(gòu)件號(hào)反饋時(shí)間反饋者復(fù)用結(jié)果復(fù)用評(píng)價(jià)修改意件其它0012006-11-9張三成功良好需要更好的易操作性。0012006-10-3李四成功優(yōu)升級(jí)時(shí)間更短。0032006-7-12金軟d411金達(dá)軟件失敗差需更高計(jì)算精度及安全性。0042006-9-

17、20創(chuàng)業(yè)軟件部分成功一般更快的響應(yīng)時(shí)間。構(gòu)件分類模型圖2分類模型圖3基于ID3算法生成的決策樹(shù)利用ID3算法生成的決策樹(shù)可以用一組IFTHENELSE的形式表達(dá)。例如：IF（應(yīng)用領(lǐng)域=金融領(lǐng)域AND用戶反饋=總體良好AND復(fù)用歷史）=200次）THEN（評(píng)價(jià)=推薦）以上只是對(duì)構(gòu)件倉(cāng)庫(kù)中的構(gòu)件決策樹(shù)的簡(jiǎn)單介紹，實(shí)際應(yīng)用中還包括更多構(gòu)件特征信息如：構(gòu)件接口，依賴環(huán)境，非功能屬性等，這樣就能為用戶提供更全面更仔細(xì)的描述，確保對(duì)用戶選擇構(gòu)件的輔助決策作用的有效發(fā)揮。最后還應(yīng)對(duì)決策結(jié)果進(jìn)行驗(yàn)證和評(píng)價(jià)。結(jié)果的驗(yàn)證和評(píng)價(jià)是數(shù)據(jù)挖掘中不可或缺的環(huán)節(jié)。這是一個(gè)反復(fù)實(shí)驗(yàn)的過(guò)程，可以運(yùn)用構(gòu)件庫(kù)中其它的樣本進(jìn)行驗(yàn)證，

18、也可以選擇新安的樣本集進(jìn)行評(píng)價(jià)，直到復(fù)得出用戶滿意的結(jié)果為止。6結(jié)束語(yǔ)隨著構(gòu)件化軟件開(kāi)發(fā)的普及，構(gòu)件庫(kù)系統(tǒng)作為支持軟件開(kāi)發(fā)的基礎(chǔ)設(shè)施的作用將越來(lái)越重要，構(gòu)件的有效管理和高效檢索直接關(guān)系到基于構(gòu)件的軟件復(fù)用的成功。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)適宜于存放構(gòu)件及構(gòu)件復(fù)用歷史信息這類變化較少，相對(duì)穩(wěn)定的數(shù)據(jù)；同時(shí)基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘技術(shù)也有較為成熟的技術(shù)。本文嘗試將數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘技術(shù)就用于構(gòu)件庫(kù)管理系統(tǒng)，使用數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)構(gòu)件信息，使用決策樹(shù)的方法進(jìn)行構(gòu)件挖掘，輔助用戶進(jìn)行構(gòu)件的檢索和選取，為構(gòu)件復(fù)用成功提供了有效的技術(shù)保障。參考文獻(xiàn)1郭景峰,米浦波,劉國(guó)華.決策樹(shù)算法的并行性研究J.計(jì)算機(jī)工程,2002,28(8)