大數(shù)據(jù)時代的數(shù)據(jù)挖掘與商務(wù)智能(五)

1、12345事務(wù)數(shù)據(jù)庫事務(wù)數(shù)據(jù)庫D67891011121314151617學(xué)習(xí)器（訓(xùn)練器）學(xué)習(xí)器（訓(xùn)練器） 分類器分類器 類類1 類類2 類類m 未被分類的數(shù)據(jù)未被分類的數(shù)據(jù) 訓(xùn)練例訓(xùn)練例訓(xùn)練例訓(xùn)練例 訓(xùn)練例訓(xùn)練例學(xué)習(xí)（訓(xùn)練）過程學(xué)習(xí)（訓(xùn)練）過程 分分 類類 過過 程程模型模型 18根據(jù)具體問題和具體要求根據(jù)具體問題和具體要求來選擇不同的方法。來選擇不同的方法。1920ageincomestudentcredit_ratingbuys_computer=30highnofairno40mediumnofairyes40lowyesfairyes40lowyesexcellentno3140low

2、yesexcellentyes=30mediumnofairno40mediumyesfairyes40mediumnoexcellentno 選哪個屬性為選哪個屬性為類屬性類屬性由關(guān)心的問題而定，可為由關(guān)心的問題而定，可為buys_computer,123456789101112131421age?overcaststudent?credit rating?noyesfairexcellent40nonoyesyesyes30.402223 v1jmjj2j1mjj2j1m1ii2i),.,(IS.sslogssSSSSSS2425輸入3032=960，隱單元3，輸出4， 96034的網(wǎng)路。

3、26輸入單元輸入單元303032=96032=960，隱單元，隱單元4 4，輸出輸出單元單元3030（代表從最左到最右方向）（代表從最左到最右方向） 9609604 430 30 的網(wǎng)路。的網(wǎng)路。270 1 9輸入輸入手寫數(shù)字手寫數(shù)字人工神人工神經(jīng)網(wǎng)絡(luò)經(jīng)網(wǎng)絡(luò)輸出結(jié)果輸出結(jié)果2829結(jié)點(diǎn)結(jié)點(diǎn).xiO1O2Ok3031 ijiijjOwI jIje11O 每個每個都是非線性變換單元都是非線性變換單元IjOi323334n神經(jīng)網(wǎng)絡(luò)的設(shè)計者們用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷。神經(jīng)網(wǎng)絡(luò)的設(shè)計者們用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷。n綜合利用各種啟發(fā)式算法，使得用較少的計算取得一個合理的局部綜合利用各種

4、啟發(fā)式算法，使得用較少的計算取得一個合理的局部極小點(diǎn)成為可能。極小點(diǎn)成為可能。35363721( )2() 1,1,.,iiwwyw xbil3839404142) )( () )( () )| |( () )| |( (XPHPHXPXHP 43) )( () )( () )| |( () )| |( (XPHPHXPXHP )H|X(P n1kkHxPHXP) )| |( () )| |( (數(shù)據(jù)對象有數(shù)據(jù)對象有n個屬性，每個數(shù)據(jù)屬性是獨(dú)立的，就可計算每個個屬性，每個數(shù)據(jù)屬性是獨(dú)立的，就可計算每個) )| |( (HxPk4445) )( () )( () )| |( () )| |( (

5、XPHPHXPXHP 464748495051數(shù)據(jù)訓(xùn)練集測試集導(dǎo)出分類法評估準(zhǔn)確性52數(shù)據(jù)S1S2Sk訓(xùn)練集測試集53數(shù)據(jù)C1C2Ct組合得票新數(shù)據(jù)樣本類預(yù)測545556C1 C2 CT traintraintrainxc1(x)c2(x)cT(x)C* c*(x) = max cntt ct(x)S1 S2 ST 57585960Set of weightedinstances Classifier Ct train classifier adjust weights6162xc1(x)c2(x)cT(x)C* c*(x) = argmaxcm Sct(x)=cm log(1/bt)C1 t

6、rainS,w1trainC2 S,w2CT trainS,wT636465666768X1X2X3X4X5X6X1X2X4X3X5X6譜系關(guān)系圖譜系關(guān)系圖6970717273747576美國一所大學(xué)中空手道俱樂部成員間關(guān)系的網(wǎng)絡(luò)美國一所大學(xué)中空手道俱樂部成員間關(guān)系的網(wǎng)絡(luò)77787980818283848586878889文本文本集集預(yù)處理與預(yù)處理與文本表示文本表示分類器分類器評價評價分類結(jié)果特分類結(jié)果特征和概要征和概要 詞典詞典分類模型分類模型標(biāo)準(zhǔn)結(jié)果標(biāo)準(zhǔn)結(jié)果特征抽取特征抽取文本分類一般包括了文本表達(dá)、分類器的文本分類一般包括了文本表達(dá)、分類器的選擇與訓(xùn)練、分類結(jié)果的評價與反饋等過選擇與訓(xùn)練

7、、分類結(jié)果的評價與反饋等過程，如圖所示：程，如圖所示：文本分類系統(tǒng)文本分類系統(tǒng)909192網(wǎng)絡(luò)挖掘網(wǎng)絡(luò)挖掘網(wǎng)絡(luò)結(jié)構(gòu)挖掘網(wǎng)絡(luò)結(jié)構(gòu)挖掘網(wǎng)絡(luò)內(nèi)容挖掘網(wǎng)絡(luò)內(nèi)容挖掘網(wǎng)絡(luò)使用挖掘網(wǎng)絡(luò)使用挖掘網(wǎng)頁網(wǎng)頁內(nèi)容內(nèi)容挖掘挖掘檢索檢索結(jié)果結(jié)果挖掘挖掘定制定制使用使用跟蹤跟蹤存取存取模式模式挖掘挖掘網(wǎng)絡(luò)網(wǎng)絡(luò)組織組織挖掘挖掘網(wǎng)絡(luò)網(wǎng)絡(luò)引用引用挖掘挖掘媒體媒體信息信息挖掘挖掘93949596 擴(kuò)充智能數(shù)據(jù)分析算法擴(kuò)充智能數(shù)據(jù)分析算法 將智能數(shù)據(jù)分析應(yīng)用到新的數(shù)據(jù)類型將智能數(shù)據(jù)分析應(yīng)用到新的數(shù)據(jù)類型 發(fā)展分布的智能數(shù)據(jù)分析算法發(fā)展分布的智能數(shù)據(jù)分析算法 提高智能數(shù)據(jù)分析方法的容易度提高智能數(shù)據(jù)分析方法的容易度所面臨的挑戰(zhàn)所面臨

8、的挑戰(zhàn)97 數(shù)據(jù)量的增長數(shù)據(jù)量的增長 對交互式反應(yīng)和真實(shí)反應(yīng)時間減少的要對交互式反應(yīng)和真實(shí)反應(yīng)時間減少的要 求的加強(qiáng)求的加強(qiáng) 需要多種算法的組合或新的算法需要多種算法的組合或新的算法 算法要具有可擴(kuò)展性算法要具有可擴(kuò)展性擴(kuò)充智能數(shù)據(jù)分析算法擴(kuò)充智能數(shù)據(jù)分析算法98 時間序列數(shù)據(jù)時間序列數(shù)據(jù) 未組織數(shù)據(jù)未組織數(shù)據(jù),如文本如文本 半組織數(shù)據(jù)半組織數(shù)據(jù), 如如HTML和和XML文件文件 多媒體的合作數(shù)據(jù)多媒體的合作數(shù)據(jù) 多層次的多層次的,多度量單位的數(shù)據(jù)多度量單位的數(shù)據(jù) 集合數(shù)據(jù)，圖數(shù)據(jù)集合數(shù)據(jù)，圖數(shù)據(jù)將智能數(shù)據(jù)分析應(yīng)用到新的數(shù)據(jù)類將智能數(shù)據(jù)分析應(yīng)用到新的數(shù)據(jù)類型型99 數(shù)據(jù)的分布特性數(shù)據(jù)的分布特性

9、 計算環(huán)境越來越普及計算環(huán)境越來越普及 必須發(fā)展與之匹配的數(shù)據(jù)分析系統(tǒng)和算法必須發(fā)展與之匹配的數(shù)據(jù)分析系統(tǒng)和算法發(fā)展分布的智能數(shù)據(jù)分析算法發(fā)展分布的智能數(shù)據(jù)分析算法100 數(shù)據(jù)分析自動化程度的提高數(shù)據(jù)分析自動化程度的提高 提高用戶界面提高用戶界面, 支持隨機(jī)用戶的瀏覽支持隨機(jī)用戶的瀏覽 提高大型分布數(shù)據(jù)的可視化程度提高大型分布數(shù)據(jù)的可視化程度 發(fā)展用以管理數(shù)據(jù)分析的元數(shù)據(jù)的技術(shù)和系統(tǒng)發(fā)展用以管理數(shù)據(jù)分析的元數(shù)據(jù)的技術(shù)和系統(tǒng) 發(fā)展恰當(dāng)?shù)恼Z言和協(xié)議支持隨機(jī)提取數(shù)據(jù)發(fā)展恰當(dāng)?shù)恼Z言和協(xié)議支持隨機(jī)提取數(shù)據(jù) 提高智能數(shù)據(jù)分析的環(huán)境提高智能數(shù)據(jù)分析的環(huán)境收集收集加工加工 分析與挖掘分析與挖掘可視化以及必要的合作報告可視化以及必要的合作報告提高智能數(shù)據(jù)分析方法的容易度提高智能數(shù)據(jù)分析方法的容易度101支持單個研究數(shù)據(jù)分析者的研究支持單個研究數(shù)據(jù)分析者的研究 支持?jǐn)?shù)據(jù)挖掘的基礎(chǔ)學(xué)科的研究支持?jǐn)?shù)據(jù)挖掘的基礎(chǔ)學(xué)科的研究 支