資料挖掘網(wǎng)路服務(wù)系統(tǒng)之探討

資料挖掘網(wǎng)路服務(wù)系統(tǒng)之探討

第9組資四A報(bào)告組員：蔡政緯王偉哲吳全恩劉光磊

1可編輯版目錄1.緒論2.文獻(xiàn)探討3.研究方法4.系統(tǒng)實(shí)作5.結(jié)論2可編輯版1.緒論-研究動(dòng)機(jī)

目前市面上已有許多獨(dú)立軟體開(kāi)發(fā)廠商以及應(yīng)用軟體服務(wù)供應(yīng)商針對(duì)一般企業(yè)組織在資料挖掘上的需求，推出套裝資料挖掘軟體或是資料挖掘相關(guān)的服務(wù)與技術(shù)支援。企業(yè)在實(shí)際使用現(xiàn)有的資料挖掘軟體與服務(wù)時(shí)經(jīng)常面臨以下的問(wèn)題：一、企業(yè)部門間異質(zhì)系統(tǒng)的整合與資料傳輸?shù)南嗳菪詥?wèn)題二、傳統(tǒng)資料挖掘軟體缺乏因應(yīng)使用者的需求而進(jìn)行流程彈性調(diào)整的能力三、軟體或服務(wù)的整合及維護(hù)成本過(guò)高3可編輯版研究目的

為了解決以上的問(wèn)題，我們將提出一個(gè)具有跨平臺(tái)能力，而且具有彈性流程調(diào)整能力的資料挖掘系統(tǒng)架構(gòu)。具體而言，本研究的主要目的是在解決目前企業(yè)所面臨到的以下問(wèn)題：一、克服異質(zhì)系統(tǒng)與資料交換格式的問(wèn)題二、提供彈性的資料挖掘流程三、降低軟體整合與維護(hù)成本4可編輯版2.文獻(xiàn)探討-資料挖掘「資料」(Data)、「資訊」(Information)與「知識(shí)」(Knowledge)等三者的定義與之間的關(guān)係。5可編輯版資料挖掘的相關(guān)技術(shù)

一、分類(Classification)：分類是一種監(jiān)督式學(xué)習(xí)(SupervisedLearning)，它的定義為根據(jù)一些已經(jīng)有類別的歷史資料來(lái)分析它們的所有特徵，再依據(jù)這些特徵對(duì)未分類或是新的資料進(jìn)行歸類，例如銀行根據(jù)某些規(guī)則將其顧客區(qū)分為高貢獻(xiàn)度族群、低貢獻(xiàn)度族群等類別。二、關(guān)聯(lián)法則(AssociationRule)：關(guān)聯(lián)法則的目的是從一堆看似無(wú)關(guān)的資料中，挖掘出不同項(xiàng)目之間發(fā)生的關(guān)聯(lián)性，探討在同一事件中某一項(xiàng)目出現(xiàn)時(shí)，另一個(gè)項(xiàng)目也在該事件出現(xiàn)的機(jī)率三、群集(Clustering)：群集就是將一大筆資料根據(jù)它們彼此間的相似程度，將類似的資料分在一群之中，而區(qū)隔不相似的資料。6可編輯版資料挖掘的步驟學(xué)者Fong等人(2002)認(rèn)為資料挖掘的過(guò)程一般可分為確認(rèn)挖掘目標(biāo)、資料選擇、資料準(zhǔn)備、資料轉(zhuǎn)換、資料儲(chǔ)存、資料挖掘與結(jié)果評(píng)估等七大步驟7可編輯版資料前處理資料清理資料整合資料轉(zhuǎn)換資料簡(jiǎn)化8可編輯版資料挖掘的應(yīng)用-1資料挖掘的相關(guān)應(yīng)用相當(dāng)?shù)膹V泛與多樣化，在許多領(lǐng)域如生物醫(yī)學(xué)領(lǐng)域、財(cái)務(wù)金融業(yè)、製造零售業(yè)等各方面都可以發(fā)現(xiàn)資料挖掘的相關(guān)應(yīng)用與研究。以生物醫(yī)學(xué)領(lǐng)域?yàn)槔?，近十年?lái)生物醫(yī)學(xué)領(lǐng)域的相關(guān)研究呈現(xiàn)爆炸性的成長(zhǎng)，從新藥物的開(kāi)發(fā)、癌癥療法的研究到人類DNA序列解析等研究領(lǐng)域，均藉助資訊科技與資料挖掘技術(shù)來(lái)處理龐大的資料。9可編輯版資料挖掘的應(yīng)用-2資料挖掘技術(shù)出現(xiàn)不過(guò)短短十多年，但卻能迅速地應(yīng)用於各種學(xué)術(shù)與商業(yè)領(lǐng)域，學(xué)者BerryandLinoff(1997)經(jīng)過(guò)規(guī)納分析之後，認(rèn)為以下五個(gè)因素促成了資料挖掘技術(shù)的崛起：一、大量資料的取得難度降低二、資料倉(cāng)儲(chǔ)系統(tǒng)的發(fā)展成熟三、電腦運(yùn)算速度的加強(qiáng)與網(wǎng)際網(wǎng)路的發(fā)展四、全球化商業(yè)競(jìng)爭(zhēng)的壓力五、資料挖掘軟體的取得方便10可編輯版企業(yè)應(yīng)用整合與網(wǎng)路服務(wù)

學(xué)者Coyle(2001)則認(rèn)為企業(yè)組織可以採(cǎi)取以下三種新技術(shù)來(lái)因應(yīng)目前劇烈競(jìng)爭(zhēng)的商業(yè)環(huán)境，它們分別為1.可延伸式標(biāo)記語(yǔ)言2.網(wǎng)路服務(wù)3.無(wú)線技術(shù)

11可編輯版異質(zhì)系統(tǒng)與資訊整合企業(yè)組織對(duì)於資訊整合的需求已從企業(yè)應(yīng)用系統(tǒng)的整合提升至更廣泛的資訊來(lái)源的整合，微軟(2002)認(rèn)為資訊系統(tǒng)整合的演進(jìn)大致上可分成以下三大階段：一、資料整合二、應(yīng)用程式整合三、服務(wù)整合

這三個(gè)資訊整合的階段清楚地表達(dá)出目前企業(yè)組織在系統(tǒng)整合與資料交換這兩大議題中所面臨到的限制所在，以及在不同階段中整合方式的差異之處。12可編輯版企業(yè)應(yīng)用整合企業(yè)應(yīng)用整合(EnterpriseApplicationIntegration;EAI)的發(fā)展是提供企業(yè)組織一套完整系統(tǒng)整合架構(gòu)的解決方案，以達(dá)成企業(yè)資訊的整合與分享。企業(yè)組織應(yīng)用EAI來(lái)進(jìn)行企業(yè)內(nèi)部的資訊整合來(lái)自以下三個(gè)因素：一、電子商務(wù)二、企業(yè)合併與組織功能的強(qiáng)化三、企業(yè)資源規(guī)劃雖然EAI是以企業(yè)主體為出發(fā)點(diǎn)，強(qiáng)調(diào)企業(yè)流程與資訊系統(tǒng)之間的整合與自動(dòng)化，藉著整體採(cǎi)用單一系統(tǒng)標(biāo)準(zhǔn)及軟體來(lái)達(dá)成企業(yè)組織內(nèi)部應(yīng)用程式的整合，但是所必須付出的成本依舊居高不下。而為了增加企業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業(yè)資訊整合的發(fā)展，除了必須以服務(wù)為導(dǎo)向外，也必須跳脫特定標(biāo)準(zhǔn)或介面的限制，而保有系統(tǒng)的彈性以及未來(lái)擴(kuò)充的能力。13可編輯版網(wǎng)路服務(wù)的應(yīng)用

由於WebService具有即時(shí)、彈性、標(biāo)準(zhǔn)化等特色，目前許多廠商紛紛開(kāi)始將WebService的相關(guān)技術(shù)與其原本的領(lǐng)域進(jìn)行整合。WebService在資訊技術(shù)(IT)領(lǐng)域的應(yīng)用大致上有以下所述的四個(gè)方面：一、入口網(wǎng)站二、企業(yè)應(yīng)用程式整合三、分散式運(yùn)算四、應(yīng)用程式服務(wù)提供者與獨(dú)立軟體開(kāi)發(fā)商14可編輯版3.研究方法本研究將以WebService架構(gòu)為基礎(chǔ)，將資料挖掘過(guò)程中的程序視為由一系列的WebServices所構(gòu)成，並透過(guò)動(dòng)態(tài)工作流程的概念，以敘述WebService流程的BPEL4WS語(yǔ)法，提供服務(wù)使用者得以根據(jù)實(shí)際上的需求自行編排資料挖掘WebService的整體流程，透過(guò)流程中各個(gè)WebService的執(zhí)行來(lái)達(dá)成使用者的目標(biāo)。15可編輯版系統(tǒng)概念-1

本研究所提出之系統(tǒng)架構(gòu)是參考W3C所提出之服務(wù)導(dǎo)向架構(gòu)的概念與基本架構(gòu)修改而來(lái)。為了達(dá)成SOA的遠(yuǎn)景，企業(yè)組織必須將系統(tǒng)或應(yīng)用程式加以分割成為許多具有不同功能特性的分散式子系統(tǒng)模組，這些分散於企業(yè)組織內(nèi)外部的子系統(tǒng)模組必須要支援統(tǒng)一的共通性標(biāo)準(zhǔn)，如此一來(lái)才能使得資訊毫無(wú)阻礙的在系統(tǒng)中傳遞，達(dá)成系統(tǒng)整合的目的。目前業(yè)界對(duì)於SOA架構(gòu)的作法是將應(yīng)用程式與系統(tǒng)建構(gòu)在網(wǎng)際網(wǎng)路上，也就是將應(yīng)用程式與系統(tǒng)加以「網(wǎng)路」化，而WebService架構(gòu)正是目前SOA架構(gòu)中最新的作法。16可編輯版系統(tǒng)概念-2W3C所提出SOA之基本架構(gòu)圖17可編輯版4.實(shí)作-範(fàn)例流程實(shí)作步驟過(guò)程18可編輯版以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長(zhǎng)度與寬度數(shù)值之集合19可編輯版20可編輯版

本步驟中所呼叫的遠(yuǎn)端WebService採(cǎi)用的分群演算法為K-Means。K-Means是屬於一種直接將資料集合進(jìn)行分割成為數(shù)個(gè)相互間無(wú)關(guān)聯(lián)的目標(biāo)群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數(shù)個(gè)群集，而群集的結(jié)果須滿足以下條件：1.每個(gè)群集中至少要有一個(gè)以上的物件2.每個(gè)物件須完全的歸屬於某個(gè)群集3.每個(gè)物件與其所歸屬的群集質(zhì)心間的歐基理德距離會(huì)小於與其他群集質(zhì)心間的距離21可編輯版22可編輯版

我們可根據(jù)其所在位置、參與流程的目的與方法，將他們分為三種角色：1.具資料挖掘需求的系統(tǒng)使用者，也就是流程設(shè)計(jì)者與流程使用者2.於網(wǎng)際網(wǎng)路上提供對(duì)資料庫(kù)進(jìn)行資料擷取和分群演算等WebServices的服務(wù)提供者3.作為上述兩者間的資料傳輸橋樑，由流程設(shè)計(jì)者所設(shè)計(jì)規(guī)劃完成的IrisFlow等23可編輯版24可編輯版25可編輯版26可編輯版27可編輯版5.結(jié)論此研究的貢獻(xiàn)可以歸納如以下幾點(diǎn)：1.導(dǎo)入WebService與XML相關(guān)技術(shù)做基礎(chǔ)，克服在傳統(tǒng)資料挖掘流程中所遇到的資料相容性問(wèn)題2.以工作流程的觀念做基礎(chǔ)，結(jié)合WebService流程描述語(yǔ)言BPEL4WS，有系統(tǒng)的提供在資料挖掘流程中關(guān)於活動(dòng)、流程順序等各方面的細(xì)節(jié)描述3.在資料挖掘流程中各步驟的演算活動(dòng)是由多個(gè)功能各異的WebService元件所組成，在日後因需求改變而使資料挖掘流程需進(jìn)行更新和修改時(shí)，較傳統(tǒng)資料挖掘軟體更具有流程變動(dòng)上的彈性