數(shù)據(jù)挖掘在實(shí)際生活中的應(yīng)用

數(shù)據(jù)挖掘在學(xué)生學(xué)習(xí)成績(jī)中的應(yīng)用小組成員:說明由于我們小組分析的是上一學(xué)年我們計(jì)商兩個(gè)班級(jí)的學(xué)習(xí)成績(jī)與獎(jiǎng)學(xué)金獲得情況，因此涉及到了學(xué)生的一些個(gè)人信息。我們小組全體成員一致承諾：我們獲得的數(shù)據(jù)（通過輔導(dǎo)員老師獲得）僅用于本門課程的數(shù)據(jù)分析所用，對(duì)大家的姓名、學(xué)號(hào)、成績(jī)等敏感信息已做過處理，保證大家的隱私不被泄露。希望各位能夠予以理解！選題背景近年來，隨著高校的不斷擴(kuò)招，學(xué)生人數(shù)大幅增加，給高校學(xué)生管理、教學(xué)工作帶來了嚴(yán)峻考驗(yàn)。傳統(tǒng)的教學(xué)管理手段已經(jīng)不能滿足高校的快速發(fā)展?，F(xiàn)階段許多高校對(duì)學(xué)生的成績(jī)、學(xué)生的信息基本還停留在傳統(tǒng)的、簡(jiǎn)單的數(shù)據(jù)庫(kù)管理和查詢階段，不能發(fā)揮其應(yīng)有的作用。就以學(xué)生成績(jī)?yōu)槔?，教師?duì)學(xué)生的成績(jī)知識(shí)做一個(gè)簡(jiǎn)單的優(yōu)、良、中、差的考核，并不考慮影響學(xué)生學(xué)習(xí)成績(jī)的因素，有些可能是主觀因素，有些可能是客觀因素。如果某些客觀因素比如學(xué)習(xí)環(huán)境、師資力量等不能很好地解決，將嚴(yán)重影響學(xué)生的學(xué)習(xí)成績(jī)，制約學(xué)生的發(fā)展，而且嚴(yán)重阻礙了學(xué)校教育教學(xué)發(fā)展的腳步。因此，通過數(shù)據(jù)挖掘等技術(shù)理性的分析學(xué)生成績(jī)等關(guān)鍵信息，提高教學(xué)質(zhì)量與水平，是廣大師生最關(guān)心的問題之一。數(shù)據(jù)挖掘數(shù)據(jù)挖掘又稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)（KDD），是從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，是統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)技術(shù)和人工智能技術(shù)的綜合。數(shù)據(jù)挖掘的任務(wù)是從大量的數(shù)據(jù)中發(fā)現(xiàn)對(duì)決策有用的知識(shí)，發(fā)現(xiàn)數(shù)據(jù)特性以及數(shù)據(jù)之間的關(guān)系。利用貝葉斯分類器分析獎(jiǎng)學(xué)金概率問題獎(jiǎng)學(xué)金作為一種激勵(lì)機(jī)制，在人才培養(yǎng)過程中發(fā)揮非常重要的導(dǎo)向作用，其目的是為了引導(dǎo)和鼓勵(lì)學(xué)生刻苦學(xué)習(xí)、奮發(fā)向上，促進(jìn)學(xué)生全面素質(zhì)提高和個(gè)性健康發(fā)展。為了了解我們計(jì)商兩個(gè)班級(jí)上一學(xué)年獎(jiǎng)學(xué)金獲得情況，進(jìn)而考評(píng)上一學(xué)年我們電子商務(wù)系教學(xué)成果以及各位同學(xué)的學(xué)習(xí)成績(jī)情況，我們小組利用貝葉斯分類器的方法進(jìn)行了分析。貝葉斯分類器的分類原理：貝葉斯分類器的分類原理是通過某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。貝葉斯公式:p(X,Y)=p(Y|X)p(X)=p(X|Y)p(Y)變換式:P(YP(X 1Y)p(Y)IX)P(X)其中，X和Y在分類中可以分別表示樣本的屬性集合類別。p(X,Y)表示他們的聯(lián)合概率，p(X|Y)和p(Y|X)表示條件概率，p(Y|X)是后驗(yàn)概率，p(Y)稱為Y的先驗(yàn)概率。已知通過輔導(dǎo)員老師獲得2012-2013學(xué)年計(jì)商兩個(gè)班級(jí)學(xué)生獎(jiǎng)學(xué)金獲得情況統(tǒng)計(jì)數(shù)據(jù)如表1和表2所示：1如巧2013學(xué)年I■淘笫二I叩大學(xué)計(jì)算機(jī)與信息學(xué)院10計(jì)商質(zhì)曲獎(jiǎng)學(xué)金披油?清祝統(tǒng)計(jì)志2-2班級(jí)姓名測(cè)評(píng)總分茨空美級(jí)困同等級(jí)31算機(jī)與信息學(xué)院101Wal學(xué)號(hào)1學(xué)生137.1?1丙<hb-十算H巧信息學(xué)院十耳卜.]=倍冷子院Jutlui-j成」7^2學(xué)號(hào)盤學(xué)生二-汩I36.3536.0722甲丙6R十度機(jī)與信息學(xué)院學(xué)生436.932Tn算機(jī)與信息學(xué)院mi:C.3E3￡1算機(jī)與信息學(xué)院10i商虹學(xué)號(hào)巳35.063§h十算H巧信息學(xué)院Jut學(xué)a34.1163LU-十聳科與信電辛浣lui-j學(xué)號(hào)廿*34.39q■11十算機(jī)與信息學(xué)院34.18i12宣機(jī)與信息學(xué)院mi學(xué)號(hào)W學(xué)生1CI33.90i131算機(jī)與信島學(xué)院10i商虹學(xué)『1M三」4141十算卜1巧信息學(xué)院Jut學(xué)皆目33.2711Lb-十苴科=信巳幸阮lui-j學(xué)*;以：H32.50q16n十算機(jī)與信息學(xué)院10H司廠學(xué)號(hào)L4^=■432.50Z.:?n算機(jī)與信息學(xué)院mi司,:學(xué)號(hào)站圣三K31.52甲IS1算機(jī)與信島學(xué)院101商虹學(xué)與預(yù)M三:A.節(jié)丙L9h十算H巧信息學(xué)院Jut學(xué)E孑二*30.ilD丙土-十堂柘馬仁部旱E*101-j岸530.40丙21n十或機(jī)與信息學(xué)院mH-商A1學(xué)號(hào)L9—■='=)m買丙22|算機(jī)與信息學(xué)院mi命：彳生小芋三28.79丙2?算機(jī)與信島學(xué)院101Wal學(xué)字1M三也28.7?丙2'J1十算臨信息學(xué)院lutj-有妃^-■<-2228.65表1A1班獎(jiǎng)學(xué)金獲得情況120122013學(xué)年上件海第二工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院3計(jì)商庭班獎(jiǎng)學(xué)金獲得情況統(tǒng)計(jì)表2學(xué)院班級(jí)學(xué)號(hào)測(cè)評(píng)總分獲炎等級(jí)國(guó)推等級(jí)3T三身'宇院-〔川學(xué)號(hào)1姓名］沮LJ14卜算膺，m息字院項(xiàng)il字號(hào)。婦Z6.CO2S算機(jī)u宣息學(xué)10t商提學(xué)號(hào)3咤3：5,：03G61-具機(jī)與，言皂學(xué)IGt-商厘學(xué)號(hào)1吃，135.0937■1T-尋機(jī)頃m息學(xué)學(xué)號(hào)F姓名E35.023X1言息學(xué)E學(xué)號(hào)5姓名834.3S39宣息學(xué)院10^商占2學(xué)號(hào)ri-匕名TS4.81310T-異機(jī)與履息學(xué)LOT-商赧學(xué)號(hào)g34.67311■i1-具機(jī)與，言邑寧學(xué)號(hào)勺:4,412i-其擔(dān)與，m息學(xué)院學(xué)號(hào)N姓名1034.254A1.37-算機(jī)與言息學(xué)luH學(xué)號(hào)L1咤112,比4614算機(jī)與，m息學(xué)lot商位學(xué)號(hào)L2匕名1234.044Pj■lT-算機(jī)與，履息孝10t-加學(xué)號(hào)L3匕名1333.62416■.1-具機(jī)頃e息學(xué)卜泓3學(xué)號(hào)N32.9241"T卜算機(jī)馬，言息學(xué):(IT學(xué)號(hào)住姓名15京心418i卜算帕4言息學(xué)院lut-商&2學(xué)號(hào)"i_E51.S7表2A2班獎(jiǎng)學(xué)金獲得情況已知A1班總?cè)藬?shù)39,由表1可看出獲得獎(jiǎng)學(xué)金人數(shù)為22,獲得獎(jiǎng)學(xué)金的概率約為0.56已知A2班總?cè)藬?shù)36,由表2可看出獲得獎(jiǎng)學(xué)金人數(shù)16,獲得獎(jiǎng)學(xué)金的概率約為0.44A1、A2兩個(gè)班級(jí)總?cè)藬?shù)為75，獎(jiǎng)學(xué)金獲得者38人，其中A1班占獎(jiǎng)學(xué)金獲得者的比例為58%，A2班占獎(jiǎng)學(xué)金獲得者總?cè)藬?shù)的比例為42%。.根據(jù)以上數(shù)據(jù)可以得到獎(jiǎng)學(xué)金獲得概率及獲獎(jiǎng)人數(shù)占兩個(gè)班級(jí)獲獎(jiǎng)總?cè)藬?shù)的比例，如表3所示：班級(jí)獎(jiǎng)學(xué)金概率獲獎(jiǎng)人數(shù)占兩個(gè)班級(jí)獲獎(jiǎng)總?cè)藬?shù)的比例10計(jì)商A10.5658%10計(jì)商A20.4442%表3獎(jiǎng)學(xué)金獲得概率及所占比例通過以上數(shù)據(jù)，我們解決以下兩個(gè)問題：（1） 隨機(jī)從兩個(gè)班級(jí)中選出一個(gè)學(xué)生是獎(jiǎng)學(xué)金獲得者的概率是多少？（2） 隨機(jī)從兩個(gè)班級(jí)中選出一個(gè)學(xué)生，已知該學(xué)生是獎(jiǎng)學(xué)金獲得者，則此學(xué)生來自哪個(gè)班級(jí)的可能性最大？假設(shè)X表示“選出的一個(gè)學(xué)生是獎(jiǎng)學(xué)金獲得者”，Y=i，（i=10計(jì)商A1,10計(jì)商A2）表示“選出的學(xué)生是來自班級(jí)i”，則問題就轉(zhuǎn)換為求解p（X）與p（Y=ilX）。由表3得到后驗(yàn)概率為：P（XIY=10計(jì)商A1）=0.56，P（XIY=10計(jì)商A2）=0.44先驗(yàn)概率為：P（Y=10計(jì)商A1）=58%，P（Y=10計(jì)商A2）=42%由全概率計(jì)算公式得出：P（X）=P（XIY=10計(jì)商A1）P（Y=10計(jì)商A1）+P（XIY=10計(jì)商A2）P（Y=10計(jì)商A2）=0.56*0.58+0.44*0.42=0.3248+0.1848=0.5096因此，隨機(jī)從兩個(gè)班級(jí)中選出一個(gè)學(xué)生是獎(jiǎng)學(xué)金獲得者的概率是0.5096o卜面我們求解p（Y=i|X），根據(jù)貝葉斯定理可得:P（XIY=i）p（Y=i）P（Y=iIX）=P（X）由公式①可以計(jì)算出該獲獎(jiǎng)學(xué)生來自10計(jì)商A1班級(jí)的概率為:p（Y=10計(jì)商A1IX）=P（XIY=10計(jì)商A1）P（Y=10計(jì)商A1）0.56*0.58八= =0.640.5096同理可得，該獲獎(jiǎng)學(xué)生來自10計(jì)商A2班級(jí)的概率為:p（Y=10計(jì)商A2IX）=P（X1Y=10計(jì)商^2）P（Y=1。計(jì)商>2）0.44*0.42= =0.360.5096通過以上分析計(jì)算不難得出結(jié)論：隨機(jī)從兩個(gè)班級(jí)中選出一個(gè)學(xué)生，已知該學(xué)生是獎(jiǎng)學(xué)金獲得者，則此學(xué)生來自10計(jì)商A1班級(jí)的可能性最大。聚類分析中的k-means算法在學(xué)生獎(jiǎng)學(xué)金等級(jí)劃分中的應(yīng)用k-means算法是常見的基于劃分的聚類方法，其中相異度基于對(duì)象與類中心（簇中心）的距離計(jì)算，與簇中心距離最近的對(duì)象可以劃分為一個(gè)簇。此算法的目標(biāo)是每個(gè)對(duì)象與簇中心距離的平方和最小。根據(jù)對(duì)獎(jiǎng)學(xué)金獲得者學(xué)生的學(xué)習(xí)情況分析可知：獲獎(jiǎng)等級(jí)與該學(xué)生平時(shí)去圖書館的次數(shù)、平時(shí)上課遲到次數(shù)、上課座位前后、參加競(jìng)賽次數(shù)、宿舍評(píng)分等因素有關(guān)。比如，圖書館能為同學(xué)們提供安靜的、舒適的學(xué)習(xí)環(huán)境，同時(shí)能夠提高學(xué)生學(xué)習(xí)的自覺性，因此常去圖書館的同學(xué)學(xué)習(xí)成績(jī)一般都比很少去圖書館學(xué)生學(xué)習(xí)成績(jī)要好，相應(yīng)的拿到獎(jiǎng)學(xué)金的概率越大，拿到獎(jiǎng)學(xué)金的等級(jí)也越高。其他因素類似，這里不一一詳細(xì)用文字來描述。首先定義五個(gè)變量（每學(xué)期均按16周計(jì)算）：氣：一學(xué)期去圖書館次數(shù)（每周按七天計(jì)算，上限112次）X2:一學(xué)期遲到次數(shù)（每周按四天計(jì)算，上限64次）X3:一學(xué)期座位在前排次數(shù)（每周按四天計(jì)算，上限64次）X4:一學(xué)期參加各類競(jìng)賽次數(shù)（每學(xué)期上限5次）X5:一學(xué)期宿舍平均評(píng)分（上限20分）根據(jù)獎(jiǎng)學(xué)金獲得者獲獎(jiǎng)等級(jí)情況分析可知，能夠拿到一等及以上獎(jiǎng)學(xué)金的指標(biāo)為：X:96-112；x2:0-2；x3:60-64；X4:3-5；X5:19.5-20學(xué)生X1X2X3X4X51112160119.52106364219.5334348119.5485264119590162018.5656139120727452118.5873053118910719117表4根據(jù)不同獲獎(jiǎng)等級(jí)選取的學(xué)生信息在以上給定的9個(gè)樣本中選擇3個(gè)樣本：1號(hào)樣本代表能夠拿到一等及以上獎(jiǎng)學(xué)金6號(hào)樣本代表能夠拿到非一等及以上獎(jiǎng)學(xué)金9號(hào)樣本代表不能夠拿到獎(jiǎng)學(xué)金計(jì)算每一個(gè)樣本與這三個(gè)樣本的距離：d2,6d2,9d3,1d3,6d3,9d4,1d4,6d4,9d5,1d5,6d5,9d7,1106-56106-1034-112+3-1+64-39+3-7+64-19+3-134-56+3-134-10+d2,6d2,9d3,1d3,6d3,9d4,1d4,6d4,9d5,1d5,6d5,9d7,1106-56106-1034-112+3-1+64-39+3-7+64-19+3-134-56+3-134-10+3-785-112+2-185-5685-1090-11290-5690-1027-112+2-11-11-11-7+48-60+48-39+48-19+2-1++2-1++1-1++1-1++1-1++64-60+1-1+19.5-20=78.519.5-17=148.519.5-19.5=9219.5-20=33.519.5-17=59.519-19.5=32.5+64-39+1-1+19-20+64-19+62-60+62-394-1+=5662-19+1-1++0-1++0-1++0-1+52-60+1-1+19-17=12718.5-19.518.5-2018.5-1718.5-19.52659.5131.5=972,1|106-112+3-1+64-60+2-1+19.5-19.5〔=132,1d76=127-10〔+〔4-7〔+〔52-39〔+|1-1|+|18.5-20|=46.5d79=127-10〔+〔4-7〔+〔52-19〔+|1-1|+|18.5-17|=54.5d8,1〔73—112〔+0-1+53-60+1-1+|18—19.5d8,1d8,6=I73-56l+I0-11+I53-39l+RI+I18-20|=34dQ°=73-10+0-7+53-19+1-1+18-17=1058,9 1第一次聚類結(jié)果:學(xué)生與學(xué)生1的距離與學(xué)生6的距離與學(xué)生9的距離10--21378.5148.539233.559.5432.55612752659.5131.56-0-79746.554.5848.5341059--0表5第一次聚類結(jié)果把以上距離最小的樣本歸入相應(yīng)的類：根據(jù)第一次聚類結(jié)果數(shù)據(jù)不難看出，樣本1、2、4、5、8幾組數(shù)據(jù)比較接近，樣本3、6、7數(shù)據(jù)比較接近。因此，將以上樣本劃分為三類。第一類由樣本1、2、4、5、8組成，第二類由樣本3、6、7組成，第三類由樣本9組成。第一類：X1=(112+106+85+90+73)/5=93.2X2=(1+3+2+1+0)/5=1.4X3=(60+64+64+62+53)/5=60.6X4=(1+2+1+0+1)/5=1X5=(19.5+19.5+19+18.5+18)/5=18.9

第二類：氣二（34+56+27）/3=39X2=（3+1+4）/3=2.7X3=（48+39+52）/3=46.3X4=（1+1+1）/3=1X5=（19.5+20+18.5）/3=19.3第三類：氣=10X2=7X3=19氣=1X5=17新的樣本中心新中心x1x2x3x4x5第一類93.21.460.6118.9第二類392.746.3119.3第三類10719117表6新的樣本中心第二次聚類：學(xué)生2與新樣本的距離:2,1=|106-93.2〔+〔3—1.』+〔64-60.6〔+|1—1|+|19.5—18.9〔=18.42,1=106-39|+〔3-2.7〔+〔64-46.3〔+|1-1|+|19.5-19.3〔=83.2

2,3106-10+〔7-7+64-19+1—1+19.5-17=143.52,3學(xué)生3與新樣本的距離:d =|34-93.2|+|3-1.4|+148-60.6|+1-1|+119.5-18.9|=743,1d3,2=34-39|+3-2.71+|48-46.3|+11-1|+卜9.5-19.3|=d3,2卜=34-10+3-7+48-19+1-1+19.5-17=59.53,3 rr學(xué)生4與新樣本的距離：d =|85-93.2|+12-1.4|+164-60.6|+11-1|+119-18.9|=12.34,1d =|85-391+|2-2.7|+|64-46.3|+1-1|+119-19.3|=64.44,2d =|85-10|+12-7|+164-19|+|1-1|+畛-17|=1274,3學(xué)生5與新樣本的距離：d =p0-93.2|+1-1.4|+162-60.6|+10-1|+118.5-18.9|=6.4551d =|90-39|+11-2.7|+162-46.3|+10-1|+118.5-19.3|=70.25,2d53=|90-10|+11-^+162-191+|0-1|+118.5-17|=131.5學(xué)生7與新樣本的距離：d71=〔27-93.2+"-1.』+〔52-60.6〔+|1-1|+|18.5-18.9〔=76.6d72=〔27-39〔+〔4-2.7〔+〔53-46.3〔+|1-1|+|18.5-19.3〔=19.8d73=27-10+4-7+52-19+1-1+18.5-17=54.5學(xué)生8與新樣本的距離:d81d81〔73-93.2〔+|。-1.4〔+〔53-60.6〔+|1-1|+|18.9-18=30.1d82=〔73-39〔+〔0-2.7〔+|53-46』+|1-1|+|18.9-19.3〔=43.8d83=73-10+0-7+53—19〔+1—1+|18.9—17|=105.9第二次聚類結(jié)果：學(xué)生與第一類的距離與第二類的距離與第三類的距離10--218.483.2143.53747.259.5412.364.412756.470.2131.56-0-776.619.854.5830.143.8105.99--0表7第二次聚類結(jié)果觀察以上部分計(jì)算結(jié)果，第二次聚類和第一次聚類結(jié)果相同（其余計(jì)算部分省略），即第一類還是由樣本1,2,4,5,8組成，第二類由樣本3,6,7組成，第三類由樣本9組成。此時(shí)整個(gè)聚類過程結(jié)束。綜上計(jì)算分析得出結(jié)論：第一類為最有可能拿到一等及以上獎(jiǎng)學(xué)金，第二類為可能拿到非一等及以上獎(jiǎng)學(xué)金，第三類為拿不到獎(jiǎng)學(xué)金者。小組成員分工情況姓名工作任務(wù)A主題選定，參與討論，數(shù)據(jù)計(jì)算錄入B主題選定，參與討論，PPT制作C主題選定，參與討論，內(nèi)容修改D主題選定，參與討論，數(shù)據(jù)計(jì)算錄入E主題選定，參與討論，PPT制作、講解（組長(zhǎng)）組織討論，主題選定，數(shù)據(jù)處理，內(nèi)容策劃，文檔撰寫小組成員學(xué)習(xí)感言:（組長(zhǎng)）：經(jīng)過一學(xué)期《商務(wù)智能》這門課程的學(xué)習(xí)，使我們從剛開始對(duì)商務(wù)智能、數(shù)據(jù)挖掘概念的學(xué)習(xí)，到后來利用數(shù)據(jù)挖掘的一些方法去分析足球隊(duì)成員的組成情況、加上最后兩周上機(jī)實(shí)驗(yàn)的練習(xí)以及最終的期末大作業(yè)，使我們對(duì)數(shù)據(jù)挖掘有了一個(gè)更深層次的了解并能夠利用它進(jìn)行一些實(shí)際問題的分析與解決。在整個(gè)學(xué)習(xí)過程中，雖然我們小組有幾名同學(xué)在實(shí)習(xí)，但是有問題時(shí)我們還會(huì)通過網(wǎng)絡(luò)、電話、郵件等方式一起進(jìn)行討論，一起完成任務(wù)。A：通過這學(xué)期對(duì)商務(wù)智能這門課程的學(xué)習(xí)，我了解到了如何對(duì)目標(biāo)對(duì)象進(jìn)行數(shù)據(jù)挖掘和利用貝葉斯分類器分析問題等。這學(xué)期的學(xué)習(xí)還包括了很多商務(wù)智能相關(guān)的技術(shù)以及軟件的運(yùn)用，使自己受益良多，讓我的商務(wù)智能相關(guān)技術(shù)知識(shí)豐富了不少，也提高了我的軟件操作能力，利用數(shù)據(jù)之間的聯(lián)系，可以找出數(shù)據(jù)之外的隱含信息，對(duì)于我來說，這種能力至關(guān)重要，在以后走向社會(huì)時(shí)，有一個(gè)別人不會(huì)的技能，增加了自己的競(jìng)爭(zhēng)力。感謝小組成員的密切配合，讓我們可以把小組作業(yè)的工作順利的完成。B：通過這學(xué)期對(duì)商務(wù)智能這門課程的學(xué)習(xí)，我了解到如何對(duì)目標(biāo)對(duì)象進(jìn)行數(shù)據(jù)挖掘和利用貝葉斯分類器分析問題等知識(shí)。在這次的小組作業(yè)中我們?cè)谶x定了學(xué)生成績(jī)分析，但是設(shè)計(jì)到理論和計(jì)算的時(shí)也非常仔細(xì)，組長(zhǎng)組織大家討論選定了題目后按照步驟進(jìn)行計(jì)算，完成文章后大家進(jìn)行修改和討論，我制作了PPT。上完這門課后我對(duì)商務(wù)智能的概念、商務(wù)智能的應(yīng)用、數(shù)據(jù)挖掘的概念、聚類分析等又有了一個(gè)新的認(rèn)識(shí)，之前上課沒聽懂的知識(shí)點(diǎn)通過這次作業(yè)弄明白了。C：在這次的小組作業(yè)中我們?cè)谶x定了貼近生活的成績(jī)