統(tǒng)計(jì)學(xué)在數(shù)據(jù)挖掘中的簡單應(yīng)用

統(tǒng)計(jì)學(xué)在數(shù)據(jù)挖掘中的簡單應(yīng)用

高印會2016年5月主要內(nèi)容一、數(shù)據(jù)挖掘工作概述二、基本統(tǒng)計(jì)理論三、樸素貝葉斯分類算法四、隱馬爾科夫模型一、數(shù)據(jù)挖掘工作概述MongoDB/HBase數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。其工作包含多個(gè)方向：1.基礎(chǔ)數(shù)據(jù)挖掘包括常見的分類、聚類、預(yù)測、關(guān)聯(lián)分析等2.文本挖掘包括情感挖掘、主題模型、Tag挖掘等3.NLP(自然語言處理)4.推薦算法5.機(jī)器學(xué)習(xí)包括計(jì)算機(jī)視覺、深度神經(jīng)網(wǎng)絡(luò)等二、基本統(tǒng)計(jì)理論條件概率:同時(shí)P(A|B)與P(B|A)的關(guān)系如下:貝葉斯定理:常見分布:二項(xiàng)、泊松、高斯概率乘法：三、樸素貝葉斯分類(NaiveBayesianclassification)--簡介樸素貝葉斯分類當(dāng)特征屬性為連續(xù)值時(shí)，通常假定其值服從高斯分布。即：當(dāng)時(shí)，即某個(gè)類別下某個(gè)特征項(xiàng)劃分沒有出現(xiàn)時(shí)，就會產(chǎn)生該現(xiàn)象。對沒類別所有劃分的計(jì)數(shù)加1，這樣當(dāng)訓(xùn)練樣本集數(shù)量充分大時(shí)，并不會對結(jié)果產(chǎn)生影響，并且解決了上述概率為0的情況。--特殊情況處理樸素貝葉斯分類--通用流程介紹樸素貝葉斯分類職位三級職位類別分類--實(shí)際業(yè)務(wù)應(yīng)用四、隱馬爾科夫模型(HiddenMarkovModel)HMM的問題拋出：如何根據(jù)海藻的狀態(tài)序列和以往天氣狀態(tài)序列推測處以后的天氣狀態(tài)？--簡介隱馬爾科夫模型HMM的形式描述：一個(gè)隱馬爾科夫模型是一個(gè)三元組：(，，)--簡介馬爾科夫假設(shè)：給定一個(gè)狀態(tài)序列，一個(gè)狀態(tài)發(fā)生的概率只依賴于前n個(gè)狀態(tài)。HMM能解決的三個(gè)基本問題：--HMM解決的問題隱馬爾科夫模型隱馬爾科夫--HMM的維特比算法對于網(wǎng)格中的每一個(gè)中間以及終止?fàn)顟B(tài)，都有一個(gè)到達(dá)該狀態(tài)的最有可能路徑。我們稱這樣的路徑為局部最佳路徑，對應(yīng)的概率叫做局部最佳概率。下圖顯示的是天氣狀態(tài)對于觀察序列的一階狀態(tài)轉(zhuǎn)移情況：最可能的隱藏狀態(tài)序列是使下面這個(gè)概率最大的組合：Pr（觀察序列|隱藏狀態(tài)的組合）例如，對于網(wǎng)格中所顯示的觀察序列，最可能的隱藏狀態(tài)序列是下面這些概率中最大概率所對應(yīng)的那個(gè)隱藏狀態(tài)序列：Pr(dry,damp,soggy|sunny,sunny,sunny),Pr(dry,damp,soggy|sunny,sunny,cloudy),Pr(dry,damp,soggy|sunny,sunny,rainy),....Pr(dry,damp,soggy|rainy,rainy,rainy)這種方法是可行的，但是通過窮舉計(jì)算每一個(gè)組合的概率找到最可能的序列是極為昂貴的。我們可以利用這些概率的時(shí)間不變性來降低計(jì)算復(fù)雜度。--維特比算法簡介隱馬爾科夫模型--維特比算法簡介隱馬爾科夫模型隱馬爾科夫模型

--維特比應(yīng)用場景詞性標(biāo)注問題：4×1×1×2×2×2×3＝96種可能性，哪種可能性最大？基于語料庫的分詞算法：隱馬爾科夫模型--維特比應(yīng)用場景隱藏狀態(tài)值集合為(B,M,E,S)，每個(gè)狀態(tài)代表的是該字在詞語中的位置：