第十章_統(tǒng)計學習與推理

1、第十章：統(tǒng)計學習與推理普通高等教育“十二五”規(guī)劃教材生物信息學Bioinformatics第一節(jié) 統(tǒng)計學習與推理基礎(chǔ)一、fisher經(jīng)典參數(shù)統(tǒng)計理論fisher把判別分析、回歸分析和密度估計問題等表達為特定參數(shù)化模型的參數(shù)估計問題，并提出了估計所有模型未知參數(shù)的方法最大似然法。二、經(jīng)典非線性法ANN（artificial neural network）三、小樣本統(tǒng)計學習理論（一）VC維（二）推廣性的界對各種類型的函數(shù)集，統(tǒng)計學習理論系統(tǒng)地研究了其經(jīng)驗風險與期望風險之間的關(guān)系，即推廣性的界。（三）結(jié)構(gòu)風險最小（四）小樣本與轉(zhuǎn)導推理四、基于概率的方法基于概率的方法主要包括貝葉斯(Bayes)推理及

2、隱馬爾可夫模型(hidden Markov model,HMM)，其中貝葉斯推理需利用來源于經(jīng)驗和歷史資料的先驗信息。第二節(jié) 統(tǒng)計模型與參數(shù)推斷一、參數(shù)估計量的評選標準（一）無偏性參數(shù)估計量的期望值與參數(shù)真值是相等的，這種性質(zhì)稱為無偏性。具有無偏性的估計量稱為無偏估計量。（二）有效性（三）相合性（四）充分性與完備性二、最小二乘估計三、最大似然估計（一）似然函數(shù)對于離散型隨機變量，似然函數(shù)是多個獨立事件的概率函數(shù)的乘積，該乘積是概率函數(shù)值，它是關(guān)于總體參數(shù)的函數(shù)。例：一只大口袋里有紅、白、黑3種球，采用復置抽50次，得到紅、白、黑3種球的個數(shù)分別為12、24、14,根據(jù)多項式的理論建立似然函。（

3、二）最大似然估計所謂最大似然估計就是指使似然函數(shù)值為最大以獲得總體參數(shù)估計的方法。例：求紅、白、黑球?qū)嵗?的最大似然估計值。第三節(jié) 聚類分析、主成分分析與Fisher判別一、聚類分析（一）數(shù)據(jù)變換（二）親疏程度測度（三）系統(tǒng)聚類方法：最短距離法、最長距離法、中間距離法、重心距離法、類平均法、可變類平均法、可變法、離差平方和法。二、主成分分析（一）基本原理主成分分析（PCA）是把多個指標化為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法。（二）分析步驟1）原始數(shù)據(jù)的標準化2）樣本矩陣的相關(guān)系數(shù)矩陣3）特征向量4）選擇主成分三、Fisher判別基于Fisher準則，判別的結(jié)果應(yīng)使兩組間別最大，使每組內(nèi)的離散

4、性最小。確定線性判別函數(shù)為待求判別函數(shù)的系數(shù)。其中，第四節(jié) 貝葉斯推理一、貝葉斯定理二、樸素貝葉斯分類器三、貝葉斯應(yīng)用示例第五節(jié) 隱馬爾可夫模型一、馬爾可夫及隱馬爾可夫模型二、隱馬爾可夫模型的數(shù)學描述三、隱馬爾可夫模型的三個基本問題及解決方案1、評估問題及前向、后向算法2、解碼問題及Viterbi算法3、學習問題及Baum-Welch算法四、基于HMM的基因識別程序及HMM的優(yōu)缺點VEIL、HMMgene、GeneMark.hmm、Geneie、GENSCAN缺點：1）訓練所用的樣本數(shù)有限2）HMM是一個線性模型，不能描述蛋白質(zhì)序列中的高階相關(guān)性。3）只有當事件獨立時，模型產(chǎn)生一個序列的概率才

5、是產(chǎn)生各個獨立氨基酸的概率的乘積。第六節(jié) 動態(tài)神經(jīng)網(wǎng)絡(luò)一、基于MATLAB7.0的Elman神經(jīng)網(wǎng)絡(luò)實現(xiàn)（一）newelm功能：生成一個Elman神經(jīng)網(wǎng)絡(luò)（二）traingdx功能：采用自適應(yīng)學習速率動量梯度下降反向傳播算法對網(wǎng)絡(luò)進行訓練（三）learngdm功能：動量梯度下降權(quán)值和閾值學習函數(shù)（四）init功能：初始化神經(jīng)網(wǎng)絡(luò)函數(shù)（五）train功能：神經(jīng)網(wǎng)絡(luò)訓練函數(shù)（六）sim功能：對網(wǎng)絡(luò)進行仿真（七）tansig功能：正切sigmoid傳遞函數(shù)（八）logsig功能：對數(shù)sigmoid傳遞函數(shù)（九）purelin功能：純線性傳輸函數(shù)二、Elman神經(jīng)網(wǎng)絡(luò)應(yīng)用示例內(nèi)含子與外顯子識別第七節(jié)

6、支持向量機一、SVM分類二、SVM回歸三、SVM訓練算法（一）塊算法（二）固定工作樣本集方法四、SVM的優(yōu)缺點優(yōu)點：非線性、適用小樣本、泛化推廣能力優(yōu)異、避免局部極值、避免“維數(shù)災難”缺點：可解釋性差、對大訓練樣本計算復雜度高、核函數(shù)的選擇缺乏先驗的理論指導五、基于Python的LIBSVM簡介第八節(jié) MATLAB的應(yīng)用實例一、數(shù)據(jù)獲取NCBI EF221854二、序列分析（一）繪制密度圖 ntdensity(seq)（二）計算核苷酸數(shù)目 basecount(seq)（三）顯示核苷酸互補鏈 seqrcomplement(seq)（四）計算二聚體個數(shù) dimercount(mitochondria,chart,bar)（五）計算密碼子使用頻率 codoncount(ntseq)（六）ORF分析 f=seqshoworfs(ntseq)（七）序列翻譯 ND2AASeq=nt2aa(ND2Seq)（八）序列比對三、系統(tǒng)發(fā)生分析（一）首先建立MATLAB結(jié)構(gòu)，將要分析的各物種的信息輸入（二）準備序列（三）計算各序列之間的距離D