基于機(jī)器學(xué)習(xí)方法的前列腺病理切片圖像識(shí)別演示

（優(yōu)(You)選）基于機(jī)器學(xué)習(xí)方法的前列腺病理切片圖像識(shí)別課件第一頁(yè)，共八十五頁(yè)。本(Ben)文大綱第一章緒論第二章深度學(xué)習(xí)的基本方法第三章基于深度學(xué)習(xí)的前列腺病理圖像判斷第四章基于空間金字塔的前列腺癌病理圖像的識(shí)別總結(jié)與展望第二頁(yè)，共八十五頁(yè)。第(Di)一章緒論課題背景及意義前列腺形態(tài)組織特征簡(jiǎn)述國(guó)內(nèi)外研究現(xiàn)狀機(jī)器學(xué)習(xí)方法介紹第三頁(yè)，共八十五頁(yè)。1.1課題背(Bei)景及意義 最近幾十年，隨著人們生活水平的提高，健康越來(lái)越受到人們的重視，是當(dāng)前社會(huì)最為關(guān)注的話題之一。男性生殖系統(tǒng)最常見(jiàn)的惡性腫瘤就是前列腺癌，前列腺癌在西方發(fā)達(dá)國(guó)家的發(fā)病率以及死亡率僅次于肺癌，位居男性癌癥死亡的第二位。中國(guó)則是一直被認(rèn)為前列腺癌發(fā)病率較低的國(guó)家，所以在前列腺癌的診斷和研究方面落后于國(guó)際水平，同時(shí)在國(guó)內(nèi)也落后于肝癌、胃癌、乳腺癌等相對(duì)高發(fā)病率腫瘤的研究。但近年來(lái)，飲食、生活習(xí)慣西化以及受到人口老齡化等因素的影響，我國(guó)前列腺癌的發(fā)病率逞上升趨勢(shì)，逐步成為威脅中老年男性身心健康的頭號(hào)殺手。 近年來(lái)，隨著計(jì)算機(jī)技術(shù)以及機(jī)器學(xué)習(xí)方法的發(fā)展，計(jì)算機(jī)輔助診斷(CAD)系統(tǒng)成為臨床輔助診斷的一個(gè)新趨勢(shì)。CAD系統(tǒng)對(duì)于病理診斷有許多優(yōu)點(diǎn):1)CAD系統(tǒng)一旦核心算法確定，系統(tǒng)的準(zhǔn)確率只與內(nèi)部核心的算法有關(guān)，與人為因素?zé)o關(guān)，同一幅圖像不管診斷多少次，都會(huì)是相同的結(jié)果；2)CAD系統(tǒng)能夠捕捉到切片的所有區(qū)域，避免出現(xiàn)遺漏；3)CAD系統(tǒng)作為輔助，對(duì)提高醫(yī)生診斷的敏感性和特異性有很大幫助；4)CAD系統(tǒng)能讓醫(yī)療水平欠發(fā)達(dá)的地區(qū)，也能享受到科技進(jìn)步所帶來(lái)的好處。所以，越來(lái)越多的專家、學(xué)者投入到這一領(lǐng)域中來(lái)，前列腺輔助診斷系統(tǒng)的核心算法也成為了研究的熱點(diǎn)。第四頁(yè)，共八十五頁(yè)。1.2前列腺形態(tài)組織特征(Zheng)簡(jiǎn)述正常的前列腺組織學(xué)特征正常的前列腺組織有四種明顯的結(jié)構(gòu)特征：分葉結(jié)構(gòu)。腺腔和腺葉分割為小葉；大腺腔結(jié)構(gòu)。腺腔內(nèi)乳頭突起使得腺腔呈梅花狀結(jié)構(gòu),腺腔體積較大；腺腔上皮由內(nèi)外層細(xì)胞構(gòu)成雙層的結(jié)構(gòu)；腔內(nèi)有淀粉樣小體。 上述結(jié)構(gòu)特征一般不出現(xiàn)在有病變的前列腺組織中。因此，上述四種結(jié)構(gòu)特征弱化甚至消失就是前列腺癌診斷的重要依據(jù)。圖1-1正常的前列腺病理切片圖像第五頁(yè)，共八十五頁(yè)。1.2前列腺形態(tài)組織特征(Zheng)簡(jiǎn)述1.2.2前列腺癌的病理特征有癌變的前列腺組織主要有以下特征：腺體結(jié)構(gòu)的紊亂，浸潤(rùn)現(xiàn)象，細(xì)胞核的異型。前列腺癌病理圖像對(duì)應(yīng)的特征為：腺腔逐漸較小，且腺腔的邊界變得平滑，沒(méi)有凸起；間質(zhì)紋理比較紊亂，方向不一致；細(xì)胞核變大且數(shù)量明顯變多。圖1-2前列腺癌病理切片圖像第六頁(yè)，共八十五頁(yè)。1.3國(guó)(Guo)內(nèi)外研究現(xiàn)狀隨著計(jì)算機(jī)醫(yī)學(xué)圖像處理技術(shù)的發(fā)展，在病理分析和細(xì)胞組織形態(tài)等研究工作中，數(shù)字圖像里處理技術(shù)的作用越來(lái)越大，如何將圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)等技術(shù)最新的發(fā)展運(yùn)用到醫(yī)學(xué)圖像上，已成為當(dāng)前社會(huì)研究的熱點(diǎn)之一。在國(guó)內(nèi)，楊振森等人提出了前列腺直腸超聲圖像中紋理特征的提取方法，應(yīng)用于前列腺癌的早期診斷，識(shí)別準(zhǔn)確率達(dá)到90%以上?？傮w來(lái)說(shuō)，目前國(guó)內(nèi)在前列腺病理切片圖像研究方面還處于起步階段。在國(guó)外，AliTabesh等人從前列腺病理切片圖像中，提取了顏色直方圖、分形維數(shù)、分形編碼特征、小波特征、顏色、形狀和紋理等多特征融合，用于前列腺癌診斷和Gleason分級(jí)，分別取得了94.5%和77.6%的準(zhǔn)確率。目前國(guó)外的研究人員和學(xué)者主要工作在特征集類別、分類器選擇以及前列腺癌的分類策略方面。第七頁(yè)，共八十五頁(yè)。1.4機(jī)(Ji)器學(xué)習(xí)方法介紹近年來(lái)，計(jì)算機(jī)技術(shù)和機(jī)器學(xué)習(xí)方法都得到極大的發(fā)展，機(jī)器學(xué)習(xí)在圖像上的應(yīng)用也取得了相當(dāng)大的突破。特別是在2012年ImageNet目標(biāo)識(shí)別競(jìng)賽上，由GeoffHinton團(tuán)隊(duì)實(shí)現(xiàn)的基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的算法以85%的準(zhǔn)確率獲得最佳算法，將歷屆最好成績(jī)提高了11%，這引起了學(xué)術(shù)界和工業(yè)界的又一波機(jī)器學(xué)習(xí)的熱潮。本文在前列腺病理切片圖像的識(shí)別方面采用了深度學(xué)習(xí)算法和支持向量機(jī)（SupportVectorMachine，SVM）分類算法。第八頁(yè)，共八十五頁(yè)。1.4.1深度學(xué)(Xue)習(xí)簡(jiǎn)介

深度學(xué)習(xí)是一種無(wú)監(jiān)督學(xué)習(xí)。深度學(xué)習(xí)的概念最開(kāi)始來(lái)自于人工神經(jīng)網(wǎng)絡(luò)的研究。深度學(xué)習(xí)一般通過(guò)組合較低層的特征形成更為抽象的高層表示，從而發(fā)現(xiàn)數(shù)據(jù)特征的分布式表示,如圖1-3所示。圖1-3深度學(xué)習(xí)的特征層級(jí)對(duì)象模型對(duì)象的局部特征（邊緣特征的組合）邊緣特征第九頁(yè)，共八十五頁(yè)。1.4.1深度(Du)學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)算法是基于分布式表達(dá)(在上世紀(jì)80年代和連接機(jī)制一起被引入)的方法。 分布式表達(dá)所基于的假設(shè)是所觀測(cè)到的數(shù)據(jù)是由多種因素（并不是所有都被觀測(cè)到）交互產(chǎn)生的，也就是從其他因子組合中學(xué)習(xí)一個(gè)特殊的因子，這樣往往可以推廣到其他不可見(jiàn)因子的組合。深度學(xué)習(xí)加入了這些因子被組織成多層的這個(gè)假設(shè)（被視為一個(gè)先驗(yàn)的未知數(shù)據(jù)生成過(guò)程），對(duì)應(yīng)了不同層次的抽象或組成：高層次的表示是通過(guò)改造低層次的表示來(lái)獲得的。這些因子之間的關(guān)系可以被看作類似字典或維基百科中詞條之間的關(guān)系，盡管這些因子可能是數(shù)值的（比如人臉在圖像中的位置）或類別的（比如是否是人臉），而在字典中的條目則是純粹的符號(hào)。適當(dāng)數(shù)量的層數(shù)和結(jié)構(gòu)相關(guān)的因子，也是深度學(xué)習(xí)算法希望從樣本中發(fā)現(xiàn)的。第十頁(yè)，共八十五頁(yè)。1.4.1深度學(xué)習(xí)簡(jiǎn)(Jian)介深度學(xué)習(xí)算法也涉及其他重要的思想，對(duì)應(yīng)于這些未知潛在因子的廣泛先驗(yàn)信念。關(guān)于監(jiān)督學(xué)習(xí)的有趣任務(wù)（比如，給定一張圖像，預(yù)測(cè)出某人的臉是否出現(xiàn)在圖像中），一個(gè)重要的先驗(yàn)信息就在因子中，解釋了再輸入的觀測(cè)變化（比如圖像），有一些因子是和預(yù)測(cè)偏好高度相關(guān)的。許多深度學(xué)習(xí)算法實(shí)際上都是非監(jiān)督學(xué)習(xí)的框架，比如用許多未標(biāo)記的圖像，并從這些圖像中找他一組關(guān)于這些圖像的好的表示。深度學(xué)習(xí)在圖像分類、語(yǔ)音識(shí)別、手寫識(shí)別等方面都取得了比較好的效果，甚至在一些標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)效果已經(jīng)超過(guò)了傳統(tǒng)模式識(shí)別的方法。第十一頁(yè)，共八十五頁(yè)。1.4.2支持向量機(jī)簡(jiǎn)(Jian)介SVM廣泛地應(yīng)用于統(tǒng)計(jì)分類以及回歸分析，是一種監(jiān)督式的學(xué)習(xí)方法。SVM屬于一般化線性分類器，這類分類器的特點(diǎn)是他們能夠同時(shí)最小化經(jīng)驗(yàn)誤差與最大化幾何邊緣區(qū)，因此支持向量機(jī)SVM也被稱為最大邊緣區(qū)分類器。SVM是將較低維的向量映射到一個(gè)更高維的空間里，在這個(gè)高維空間里求得一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)樣本的超平面的兩邊得到兩個(gè)互相平行的超平面，分隔超平面使兩個(gè)平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。第十二頁(yè)，共八十五頁(yè)。第二章深度學(xué)習(xí)的基本(Ben)方法稀疏自編碼受限波爾茲曼機(jī)（RBM）棧式自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練深度信念網(wǎng)絡(luò)的訓(xùn)練第十三頁(yè)，共八十五頁(yè)。深度學(xué)習(xí)算法(Fa)需要構(gòu)建深度的架構(gòu)，有許多方法(Fa)都可以用來(lái)進(jìn)行構(gòu)建深度架構(gòu)，常用的有稀疏自編碼（SparseAutoencoder）、受限玻爾茲曼機(jī)（RestrictBoltzmannMachine）、稀疏編碼（SparseCoding）等。本章詳細(xì)介紹前面兩種方法，并分別介紹基于稀疏自編碼和受限玻爾茲曼機(jī)的深度網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練。其中基于稀疏自編碼的深度網(wǎng)絡(luò)稱作棧式自編碼（StackedAutoencoders）神經(jīng)網(wǎng)絡(luò)，基于受限玻爾茲曼機(jī)的深度網(wǎng)絡(luò)被稱作深度信念網(wǎng)絡(luò)（DeepBeliefNetworks，DBN）。第二章深度學(xué)習(xí)的基本方法第十四頁(yè)，共八十五頁(yè)。2.1稀疏自編(Bian)碼稀疏自編碼能有效構(gòu)建出深度神經(jīng)網(wǎng)絡(luò)，從而對(duì)輸入數(shù)據(jù)進(jìn)行深度學(xué)習(xí)。稀疏自編碼能夠?qū)W習(xí)出輸入數(shù)據(jù)的稀疏表示，達(dá)到降維的目的，該過(guò)程為無(wú)監(jiān)督的學(xué)習(xí)。神經(jīng)元神經(jīng)網(wǎng)絡(luò)模型反向傳播算法稀疏自編碼的含義第十五頁(yè)，共八十五頁(yè)。2.1.1神經(jīng)(Jing)元為了模擬人腦處理信息的特點(diǎn)，就用人工神經(jīng)元類比生物神經(jīng)元，人工神經(jīng)元主要有以下基本特征：神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；神經(jīng)元之間的聯(lián)接強(qiáng)度可以隨訓(xùn)練改變；信號(hào)可以是起刺激作用，也可以是抑制作用；一個(gè)神經(jīng)元接受信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)；每個(gè)神經(jīng)元可以有一個(gè)閾值。第十六頁(yè)，共八十五頁(yè)。2.1.1神經(jīng)(Jing)元對(duì)于樣本集(x(i),y(i))，神經(jīng)網(wǎng)絡(luò)算法提供了一種復(fù)雜又非線性的假設(shè)模型hw,b(x),它具有參數(shù)W，b，可以用這兩個(gè)參數(shù)來(lái)擬合我們的數(shù)據(jù)。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中最基本的單元。如下圖所示:圖2-1神經(jīng)元第十七頁(yè)，共八十五頁(yè)。2.1.1神(Shen)經(jīng)元這個(gè)神經(jīng)元是一個(gè)以x1,x2,x3及常數(shù)項(xiàng)1為輸入值的運(yùn)算單元，其輸出為：其中函數(shù)f:R→R稱為激活函數(shù)。激活函數(shù)將選用Sigmoid函數(shù)：（2-2）（2-1）第十八頁(yè)，共八十五頁(yè)。2.1.1神經(jīng)(Jing)元其實(shí)，這個(gè)神經(jīng)元的輸入輸出的映射關(guān)系就是一個(gè)邏輯回歸函數(shù)。對(duì)于公式(2-2),f(z)導(dǎo)數(shù)就如下所示，后面在求參數(shù)梯度的時(shí)候會(huì)用到。（2-3）第十九頁(yè)，共八十五頁(yè)。2.1.2神經(jīng)(Jing)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)?，F(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計(jì)性數(shù)據(jù)建模工具，常用來(lái)對(duì)輸入和輸出間復(fù)雜的關(guān)系進(jìn)行建模，或用來(lái)探索數(shù)據(jù)的模式。下圖就是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)：第二十頁(yè)，共八十五頁(yè)。2.1.2神經(jīng)網(wǎng)絡(luò)模(Mo)型如圖所示，使用圓圈來(lái)表示神經(jīng)網(wǎng)絡(luò)的輸入，其中“+1”的圓圈稱為“偏置單元”，也就是常數(shù)項(xiàng)。神經(jīng)網(wǎng)絡(luò)最左邊的一層是輸入層，最右的一層是輸出層。中間所有節(jié)點(diǎn)組成的一層被稱作隱藏層。圖所表示的神經(jīng)網(wǎng)絡(luò)有3個(gè)輸入單元(不包括常數(shù)項(xiàng))，3個(gè)隱藏單元以及1個(gè)輸出單元。圖2-3基本的神經(jīng)網(wǎng)絡(luò)示模型第二十一頁(yè)，共八十五頁(yè)。2.1.2神經(jīng)(Jing)網(wǎng)絡(luò)模型用ai(i)表示第l層第i號(hào)單元的輸出值。當(dāng)l＝1時(shí)，ai(i)=x，也就是第i個(gè)特征的輸入值。對(duì)于給定參數(shù)集合W,b，我們的神經(jīng)網(wǎng)絡(luò)就按照函數(shù)hW,b(x)計(jì)算輸出結(jié)果。 圖2-3的神經(jīng)網(wǎng)絡(luò)的計(jì)算過(guò)程就由以下步驟表示：（2-4）第二十二頁(yè)，共八十五頁(yè)。2.1.2神(Shen)經(jīng)網(wǎng)絡(luò)模型用zi(l)表示第l層第i單元輸入值的加權(quán)總和（包括偏置單元），這樣我們就可以找到一種更簡(jiǎn)潔的表示法。這里將激活函數(shù)f(.)擴(kuò)展為用向量來(lái)表示，那么上面的等式我們就可以表示為:（2-5）以上步驟叫作正向傳播。第二十三頁(yè)，共八十五頁(yè)。2.1.2神經(jīng)網(wǎng)(Wang)絡(luò)模型神經(jīng)網(wǎng)絡(luò)也可以有多個(gè)輸出單元。比如，以下神經(jīng)網(wǎng)絡(luò)有兩層隱藏層：L2及L3，并在L4層中有兩個(gè)輸出單元。要求解這種神經(jīng)網(wǎng)絡(luò)就需要樣本集(x(i),y(i))，其中y(i)∈R2。如果想預(yù)測(cè)的輸出是多個(gè)的，那這種神經(jīng)網(wǎng)絡(luò)是很適用的。圖2-4多個(gè)輸出單位的神經(jīng)網(wǎng)絡(luò)第二十四頁(yè)，共八十五頁(yè)。2.1.3反向傳(Chuan)播算法反向傳播算法是一種監(jiān)督學(xué)習(xí)算法，常被用來(lái)訓(xùn)練多層感知機(jī)。反向傳播算法主要由兩個(gè)環(huán)節(jié)(激勵(lì)傳播、權(quán)重更新)反復(fù)循環(huán)迭代，直到網(wǎng)絡(luò)的對(duì)輸入的響應(yīng)達(dá)到預(yù)定的目標(biāo)范圍為止。激勵(lì)傳播環(huán)節(jié)包含兩個(gè)步驟：1.(前向傳播階段)將訓(xùn)練輸入送入網(wǎng)絡(luò)以獲得激勵(lì)響應(yīng)；2.(反向傳播階段)將激勵(lì)響應(yīng)同訓(xùn)練輸入對(duì)應(yīng)的目標(biāo)輸出求差，從而獲得隱層和輸出層的響應(yīng)誤差。權(quán)重更新則按以下步驟進(jìn)行更新：1.將輸入激勵(lì)和響應(yīng)誤差相乘，從而獲得權(quán)重的梯度；2.將這個(gè)梯度乘上一個(gè)比例并取反后加到權(quán)重上。

第二十五頁(yè)，共八十五頁(yè)。2.1.3反向傳播算(Suan)法反向傳播算法的思路如下： 給出一個(gè)樣本(x,y)，首先進(jìn)行前向傳導(dǎo)運(yùn)算，計(jì)算出通過(guò)網(wǎng)絡(luò)的所有激活值，包括hW,b(x)的輸出值。之后，針對(duì)第L層的每一個(gè)節(jié)點(diǎn)i，我們想要計(jì)算出殘差δi(l)(德?tīng)査?，該殘差表明了該節(jié)點(diǎn)對(duì)最終輸出值的殘差產(chǎn)生了多少影響。對(duì)于最終的輸出節(jié)點(diǎn)，可以直接得出網(wǎng)絡(luò)產(chǎn)生的激活值與實(shí)際值之間的差距，將這個(gè)差距定義為δi(nl)，第n1層代表的是輸出層。將基于節(jié)點(diǎn)殘差的加權(quán)平均值計(jì)算，這些節(jié)點(diǎn)以ai(l)作為輸入。下面將給出反向傳播算法的細(xì)節(jié)：第二十六頁(yè)，共八十五頁(yè)。2.1.3反向傳播(Bo)算法第二十七頁(yè)，共八十五頁(yè)。2.1.4稀疏自(Zi)編碼的含義圖2-5自編碼神經(jīng)網(wǎng)絡(luò)第二十八頁(yè)，共八十五頁(yè)。2.1.4稀疏自編碼的含(Han)義 稀疏性數(shù)學(xué)意義可以按如下解釋，如果當(dāng)神經(jīng)元的輸出接近于1的時(shí)候我們認(rèn)為它被激活，而輸出接近于0的時(shí)候認(rèn)為它被抑制，那么使得神經(jīng)元大部分的時(shí)間都是被抑制的限制則被稱作稀疏性限制。第二十九頁(yè)，共八十五頁(yè)。2.2受限玻(Bo)爾茲曼機(jī)(RestrictBoltzmannMachine)

受限玻爾茲曼機(jī)（RBM）是一類具有兩層結(jié)構(gòu)、對(duì)稱連接且無(wú)自反饋的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，層間全連接，層內(nèi)無(wú)連接。RBM是一種有效的特征提取方法，用于初始化前饋神經(jīng)網(wǎng)絡(luò)可明顯提高泛化能力。堆疊多個(gè)RBM組成的深度信念網(wǎng)絡(luò)能提取更抽象的特征。受限玻爾茲曼機(jī)的基本模型基于對(duì)比散度的RBM快速學(xué)習(xí)算法第三十頁(yè)，共八十五頁(yè)。2.2.1受限玻爾茲曼機(jī)的基(Ji)本模型

RBM可以被看作是一種無(wú)向圖模型，如下圖所示。v是可見(jiàn)層單元，表示可以觀測(cè)到的數(shù)據(jù)，h是隱藏層單元，可看作特征檢測(cè)器，通過(guò)觀測(cè)數(shù)據(jù)進(jìn)入網(wǎng)絡(luò)后生成隱藏特征，W表示可見(jiàn)單元和隱藏單元之間的連接權(quán)重。RBM的可見(jiàn)層單元和隱藏層單元可以是任意的指數(shù)族單元，如高斯單元、Softmax單元、泊松單元等等。第三十一頁(yè)，共八十五頁(yè)。2.2.1受限玻爾茲(Zi)曼機(jī)的基本模型第三十二頁(yè)，共八十五頁(yè)。2.2.1受限玻爾茲曼機(jī)的基本模(Mo)型第三十三頁(yè)，共八十五頁(yè)。2.2.2基于(Yu)對(duì)比散度的RBM快速學(xué)習(xí)算法深度學(xué)習(xí)算法的發(fā)明者Hinton提出了一個(gè)快速學(xué)習(xí)RBM的算法，即對(duì)比散度。本文所采用基于對(duì)比散度的快速學(xué)習(xí)算法步驟如下：第三十四頁(yè)，共八十五頁(yè)。2.2.2基于對(duì)比散度的RBM快速(Su)學(xué)習(xí)算法第三十五頁(yè)，共八十五頁(yè)。2.3棧式自編(Bian)碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

棧式自編碼神經(jīng)網(wǎng)絡(luò)是將多個(gè)稀疏自編碼串聯(lián)所成的深度神經(jīng)網(wǎng)絡(luò)，可以采用依次訓(xùn)練每一層的貪心分層算法來(lái)預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在本小節(jié)中，主要介紹如何將自編碼網(wǎng)絡(luò)以貪心分層的方式串聯(lián)起來(lái)，以及如何預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。第三十六頁(yè)，共八十五頁(yè)。2.3.1棧式(Shi)自編碼神經(jīng)網(wǎng)絡(luò)概述第三十七頁(yè)，共八十五頁(yè)。2.3.2逐層(Ceng)訓(xùn)練第三十八頁(yè)，共八十五頁(yè)。2.3.3微調(diào)棧式自編碼神經(jīng)(Jing)網(wǎng)絡(luò)第三十九頁(yè)，共八十五頁(yè)。2.3.3微調(diào)棧式自編碼神(Shen)經(jīng)網(wǎng)絡(luò)第四十頁(yè)，共八十五頁(yè)。2.4深度信念(Nian)網(wǎng)絡(luò)的訓(xùn)練 深度信念網(wǎng)絡(luò)是由多個(gè)RBM串聯(lián)所形成的深度神經(jīng)網(wǎng)絡(luò)。第四十一頁(yè)，共八十五頁(yè)。2.4深度信念網(wǎng)絡(luò)的訓(xùn)(Xun)練

深度信念網(wǎng)絡(luò)是一個(gè)生成式模型（以P的分布生成路徑），是對(duì)輸入進(jìn)行多層表示的一種方法（以Q的分布識(shí)別路徑）。最高的兩層h2和h3組成一個(gè)RBM（受限玻爾茲曼機(jī)），較低的層組成一個(gè)有向圖模型。倒數(shù)第二層的先驗(yàn)h2是由頂層RBM提供。第四十二頁(yè)，共八十五頁(yè)。2.4深(Shen)度信念網(wǎng)絡(luò)的訓(xùn)練 我們以逐層貪心的方式訓(xùn)練DBN的時(shí)候，用一個(gè)純非監(jiān)督的方式訓(xùn)練一個(gè)DBN，在每一層單獨(dú)訓(xùn)練過(guò)程中，都是利用前面提到基于對(duì)比散度的RBM快速學(xué)習(xí)算法。第四十三頁(yè)，共八十五頁(yè)。2.4深度信念(Nian)網(wǎng)絡(luò)的訓(xùn)練算法2.2逐層貪心的DBN訓(xùn)練算法第四十四頁(yè)，共八十五頁(yè)。第三章基于深度學(xué)習(xí)(Xi)的前列腺病理圖像判斷非監(jiān)督學(xué)習(xí)Softmax回歸分類器基于ROC曲線的全局判斷第四十五頁(yè)，共八十五頁(yè)。第三章基于深度學(xué)(Xue)習(xí)的前列腺病理圖像判斷在醫(yī)院所有的前列腺病理切片都需要由醫(yī)生觀察后人工進(jìn)行標(biāo)注，這樣無(wú)疑會(huì)增加醫(yī)生重復(fù)工作量，醫(yī)生長(zhǎng)時(shí)間標(biāo)注產(chǎn)生疲勞也可能導(dǎo)致人為的失誤。為提高醫(yī)生工作效率，減少工作流程中的人為失誤，組織來(lái)源的判斷是開(kāi)發(fā)前列腺計(jì)算機(jī)輔助診斷系統(tǒng)的必要步驟。前列腺結(jié)石的識(shí)別是組織來(lái)源判斷的一個(gè)主要方法。不過(guò)并不是所有的前列腺病理切片圖像里面都包括前列腺結(jié)石這一病理對(duì)象，所以該方法存在一定的局限性第四十六頁(yè)，共八十五頁(yè)。第三章基于深度學(xué)習(xí)的前列腺病理(Li)圖像判斷本文提出了基于深度學(xué)習(xí)的前列腺病理圖像識(shí)別算法，能有效克服這一問(wèn)題。深度網(wǎng)絡(luò)非監(jiān)督學(xué)習(xí)出前列腺病理切片圖像局部紋理的不變特征，然后利用softmax回歸分類器訓(xùn)練非監(jiān)督學(xué)習(xí)得到的特征，達(dá)到識(shí)別前列腺病理圖像的目的。前列腺病理圖像如圖3-1所示；而負(fù)樣本則是來(lái)自其它組織，比如脾臟、心臟、鼻咽等其他部位的病理圖像，如圖3-2所示。

第四十七頁(yè)，共八十五頁(yè)。第三章基于深度學(xué)習(xí)的前列(Lie)腺病理圖像判斷算法整體流程如下所示：第四十八頁(yè)，共八十五頁(yè)。3.1非(Fei)監(jiān)督學(xué)習(xí)第四十九頁(yè)，共八十五頁(yè)。3.1.1圖像塊(Kuai)的采集對(duì)于分辨率為800×600的前列腺病理圖像，圖像太大不適于直接作為棧式自編碼網(wǎng)絡(luò)的輸入。為了學(xué)習(xí)到前列腺病理圖像的局部特征，需要對(duì)其采樣，對(duì)每一張?jiān)瓐D像隨機(jī)獲取20個(gè)大小一定的圖像塊。本文采用大小為30×30的圖像塊，再將圖像塊轉(zhuǎn)為灰度圖像，如圖3-4示，作為輸入數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練。原圖中有一些腺腔區(qū)域，并不存在紋理特征，所以采集圖像塊的時(shí)候需要設(shè)一個(gè)閾值，將圖像塊中腺腔區(qū)域占比大于一定比例的排除掉，得到包含足夠紋理的圖像塊。圖3-43個(gè)包含紋理的前列腺30×30灰度圖像塊

第五十頁(yè)，共八十五頁(yè)。3.1.2白(Bai)化白化的目的是去掉數(shù)據(jù)之間的相關(guān)聯(lián)度，這是很多算法進(jìn)行預(yù)處理的步驟。比如說(shuō)當(dāng)訓(xùn)練圖片數(shù)據(jù)時(shí)，由于圖片中相鄰像素值有一定的關(guān)聯(lián)，所以很多信息是冗余的。這時(shí)候去相關(guān)的操作就可以采用白化操作。數(shù)據(jù)的白化必須滿足兩個(gè)條件：一是不同特征間相關(guān)性最小，接近0；二是所有特征的方差相等。常見(jiàn)的白化操作有PCA白化和ZCA白化。PCA白化是指將數(shù)據(jù)經(jīng)過(guò)PCA降維為后，每一維是獨(dú)立的，為滿足白化的第二個(gè)條件，這時(shí)只需要將每一維都除以標(biāo)準(zhǔn)差就得到了每一維的方差為1，也就是說(shuō)方差相等。公式為：其中xrot,i是第i維特征向量。(3-1)第五十一頁(yè)，共八十五頁(yè)。ZCA白化是指數(shù)據(jù)PCA變換，但是并不降維，因?yàn)檫@里是把所有的成分都選進(jìn)去了。這時(shí)也同樣(Yang)滿足白化的第一個(gè)條件，特征間相互獨(dú)立。然后同樣(Yang)進(jìn)行方差為1的操作，最后將得到的矩陣左乘一個(gè)特征向量矩陣U。 ZCA白化公式為：本文采取ZCA白化之后的圖像塊如下圖所示。3.1.2白化(3-2)圖3-5對(duì)圖3-4紋理圖像塊ZCA白化后的效果第五十二頁(yè)，共八十五頁(yè)。3.1.3非監(jiān)(Jian)督學(xué)習(xí)本節(jié)利用2.3節(jié)描述的方法構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，將白化后30×30大小的圖像塊作為棧式自編碼神經(jīng)網(wǎng)絡(luò)的輸入，假設(shè)首層隱藏單元設(shè)為200時(shí)，輸入數(shù)據(jù)與隱藏單元的連接權(quán)重W(1)大小為200×900，可視化訓(xùn)練后的W(1)如下圖所示，我們可以看到這些隱藏單元學(xué)習(xí)出來(lái)的整體效果。第五十三頁(yè)，共八十五頁(yè)。3.1.3非監(jiān)督學(xué)(Xue)習(xí) 左圖的每個(gè)小圖像塊都表示一個(gè)輸入圖像x，它可使這200個(gè)隱藏單元中的其中之一獲得最大激勵(lì)?？梢钥吹?，不同的隱藏單元學(xué)到了在圖像的不同位置和方向最顯著的特征。圖3-6自編碼網(wǎng)絡(luò)訓(xùn)練得到的W(1)（輸入數(shù)據(jù)與隱藏單元的連接權(quán)重）第五十四頁(yè)，共八十五頁(yè)。3.1.3非監(jiān)督(Du)學(xué)習(xí)經(jīng)過(guò)微調(diào)后的連接權(quán)重如下圖所示：圖3-7微調(diào)后的連接權(quán)重W(1)第五十五頁(yè)，共八十五頁(yè)。3.2Softmax回歸分類(Lei)器輸入圖像通過(guò)預(yù)處理，然后經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)非監(jiān)督學(xué)習(xí)，學(xué)習(xí)出能較好表征原始輸入圖像塊的特征用于最后的分類，如下圖所示。這里我們使用的是Softmax回歸模型。該模型是logistic回歸模型一般化，可以用來(lái)解決類型標(biāo)簽y的可能取值多于兩種的情況。Softmax回歸是一種監(jiān)督式的學(xué)習(xí)算法，本文將它與深度學(xué)習(xí)（無(wú)監(jiān)督特征學(xué)習(xí)）方法結(jié)合起來(lái)使用，進(jìn)行前列腺病理切片圖像的識(shí)別。第五十六頁(yè)，共八十五頁(yè)。3.2Softmax回(Hui)歸分類器 在Softmax回歸中，類型標(biāo)記y可以取k個(gè)不同的值，當(dāng)然k也可以等于2。于是，對(duì)于我們的訓(xùn)練集{(x(1),y(1)),...,(x(m),y(m))}便有y(i)∈{1,2,...,k}。第五十七頁(yè)，共八十五頁(yè)。3.2.1代價(jià)(Jia)函數(shù)由于Softmax可以用于多分類，所以在后面的公式會(huì)用到指示函數(shù)，令l{.}是指示函數(shù)，其取值規(guī)則為：l{值為真的表達(dá)式}=1，l{值為假的表達(dá)式}=0。例如，表達(dá)式l{1+2=3}的值為1，l{3+3=5}的值為0。代價(jià)函數(shù)為：

(3-4)

第五十八頁(yè)，共八十五頁(yè)。3.2.2權(quán)重衰(Shuai)減為了讓參數(shù)值保持比較小的狀態(tài)，通過(guò)添加一個(gè)權(quán)重衰減項(xiàng) 來(lái)修改代價(jià)函數(shù)，這個(gè)衰減項(xiàng)能懲罰過(guò)大的參數(shù)值，代價(jià)函數(shù)變?yōu)椋簷?quán)重衰減項(xiàng)不僅能讓參數(shù)保持較小的狀態(tài)，對(duì)于任意的λ>0，而且能讓代價(jià)函數(shù)變成嚴(yán)格的凸函數(shù)，這樣就可以保證得到唯一解。(3-7)第五十九頁(yè)，共八十五頁(yè)。3.3基于ROC曲線的全局判(Pan)斷 在信號(hào)檢測(cè)理論中，ROC曲線又被稱作接收者操作特征曲線（ReceiverOperatingCharacteristiccurve），主要是用于對(duì)靈敏度進(jìn)行描述的功能圖像。ROC曲線可以通過(guò)對(duì)真陽(yáng)性率（TPR，又被稱作靈敏度）和假陽(yáng)性率（FPR，被定義為1-特異度）的描述來(lái)實(shí)現(xiàn)。由于是通過(guò)比較兩個(gè)操作特征（TPR和FPR）作為標(biāo)準(zhǔn)，ROC曲線也叫做相關(guān)操作特征曲線。通常取ROC曲線上最左上方的點(diǎn)作為閾值，因?yàn)榇藭r(shí)具有較高的靈敏度和特異度，ROC線下面積（AreaUnderCurve,AUC）越大，則說(shuō)明模型效果越好。 由于我們的輸入都是圖像塊，輸出判斷的也是當(dāng)前塊是否屬于前列腺病理圖像，取自同一病理圖像的不同圖像塊有可能得到的是不同的結(jié)果。因此，我們?cè)谕环鶊D像所采集的圖像塊中，當(dāng)預(yù)測(cè)結(jié)果為正的比例超過(guò)閾值r時(shí)，就將該圖像判斷為前列腺病理切片圖像。為了提高算法整體的靈敏度和特異度，我們會(huì)根據(jù)不同的閾值求出算法的靈敏度和特異度，取左上方的點(diǎn)作為最終的閾值。第六十頁(yè)，共八十五頁(yè)。3.3.1ROC曲(Qu)線的主要作用確定最佳分類閾值。不同閾值下真陽(yáng)性率和假陽(yáng)性率不同，越靠近左上方的點(diǎn)，真陽(yáng)性率越大，假陽(yáng)性率越小，所以最后選取最左上方的點(diǎn)作為最終分類參數(shù)。對(duì)多種模型分類效果進(jìn)行比較。同一份數(shù)據(jù)，用不同的算法會(huì)得到相應(yīng)分類的結(jié)果，分別畫出對(duì)應(yīng)的ROC曲線，通過(guò)對(duì)比兩個(gè)模型的ROC曲線，可以選擇AUC較大的算法作為最終的分類算法。第六十一頁(yè)，共八十五頁(yè)。3.3.2ROC曲線的評(píng)(Ping)價(jià)指標(biāo)

ROC曲線下的面積（areaundercurve，AUC）是評(píng)價(jià)模型效果的一個(gè)指標(biāo)。在AUC＞0.5時(shí)，AUC的值越接近于1，則模型分類效果越好；AUC大于0.5且小于等于0.7時(shí)，通常認(rèn)為有準(zhǔn)確性較低；AUC大于0.7且小于等于0.9時(shí)準(zhǔn)確性中等；AUC大于0.9時(shí)，則認(rèn)為準(zhǔn)確性較高。AUC＝0.5時(shí)，說(shuō)明模型完全不起作用，相當(dāng)于隨機(jī)猜測(cè)，沒(méi)有任何價(jià)值。當(dāng)AUC＜0.5時(shí)，可以將預(yù)測(cè)結(jié)果中的正負(fù)樣本交換一下使AUC>0.5。第六十二頁(yè)，共八十五頁(yè)。第四章基于(Yu)空間金字塔的前列腺癌

病理圖像的識(shí)別SIFT特征簡(jiǎn)介基于BoW的前列腺病理圖像表示基于SPM-BoW的前列腺病理圖像表示基于支持向量機(jī)的分類結(jié)果第六十三頁(yè)，共八十五頁(yè)。第四章(Zhang)基于空間金字塔的前列腺癌病理圖像的識(shí)別前列腺正常的病理圖像和癌變圖像在局部的紋理結(jié)構(gòu)特征方面區(qū)分度是不明顯的，所以利用上一章基于圖像塊的分類方法是不能將兩者很好的區(qū)分開(kāi)。而對(duì)于癌變的圖像，整體結(jié)構(gòu)上相對(duì)正常圖像會(huì)有以下幾個(gè)方面明顯的區(qū)別，如下圖所示:第六十四頁(yè)，共八十五頁(yè)。第四章基于空間金字塔的前(Qian)列腺癌病理圖像的識(shí)別 1.前列腺間質(zhì)結(jié)構(gòu)紊亂，方向不規(guī)則；2.腺腔區(qū)域變小，甚至無(wú)腺腔；3.細(xì)胞核散亂分布。基于此，本章將局部特征按空間信息組織起來(lái)形成全局特征，用于癌變前列腺病理圖片的識(shí)別。第六十五頁(yè)，共八十五頁(yè)。第四章基于空間金字塔的前列(Lie)腺癌病理圖像的識(shí)別本章采用了基于空間金字塔匹配(SpatialPyramidMatching,SPM)的前列腺癌病理圖像的識(shí)別方法。算法整體流程如下圖所示：第六十六頁(yè)，共八十五頁(yè)。4.1SIFT特征簡(jiǎn)(Jian)介SIFT是一種提取圖像局部特征的算法。1999年David.G.Lowe總結(jié)了現(xiàn)有的基于不變特征的檢測(cè)方法，并正式提出了一種圖像局部特征描述算子(SIFT)，并在2004年得以完善。SIFT是圖像的局部特征，對(duì)平移、尺度縮放、旋轉(zhuǎn)、亮度變化保持不變性。SIFT特征的生成一般包括四個(gè)步驟，如下圖所示。（4.1.1-4.1.5為SIFT特征詳細(xì)說(shuō)明，此處省略）第六十七頁(yè)，共八十五頁(yè)。4.2基于BoW的前列腺病理圖(Tu)像表示第六十八頁(yè)，共八十五頁(yè)。4.2.1BoW簡(jiǎn)(Jian)介BoW（詞袋模型）的主要作用是簡(jiǎn)化表示，被用在自然語(yǔ)言處理和信息檢索中。在這個(gè)模型中，一篇文章不考慮其語(yǔ)法和詞的順序，將其表示成一組無(wú)序的詞的集合。將所有文章中出現(xiàn)過(guò)的單詞全部收集到一起，定義為一本字典，而每篇文章都如同一個(gè)袋子，里面包含文章中出現(xiàn)過(guò)的單詞及頻率。詞袋模型非常簡(jiǎn)單，與SVM分類器結(jié)合，在文本分類方面取得了非常好的效果。BoW模型在文本分類中取得了非常好的效果，這也引起了在計(jì)算機(jī)視覺(jué)領(lǐng)域的研究者們的關(guān)注。當(dāng)從圖像中提取出大量局部特征后，需要找到一種合適的方法來(lái)對(duì)圖像進(jìn)行描述。研究者們借助文本分類的思想，利用BoW模型來(lái)對(duì)圖像進(jìn)行標(biāo)示。BoW模型對(duì)圖像進(jìn)行建模通常包括特征檢測(cè)、特征描述、生成字典三個(gè)步驟。通過(guò)上一節(jié)，對(duì)于一幅圖像，我們已經(jīng)完成了前兩步的計(jì)算，得到了圖像的DSIFT特征描述子，DSIFT為n×128的矩陣，n就表示該圖像檢測(cè)到的特征點(diǎn)個(gè)數(shù)，不同圖像中n可能是不同的。第六十九頁(yè)，共八十五頁(yè)。4.2.2基于BoW的前列腺病(Bing)理圖像表示本小節(jié)將介紹前列腺病理圖像基于BoW模型表示的方法。提取出所有圖像SIFT特征之后，每個(gè)圖像都含若干個(gè)SIFT特征描述子，每個(gè)樣本得到一個(gè)m×128的矩陣，m就是圖像中得到的SIFT特征描述子的個(gè)數(shù)。通過(guò)K均值（K-means）聚類算法將所有樣本特征進(jìn)行聚類，聚類中心的個(gè)數(shù)定義了字典的大小，每個(gè)聚類中心便是一個(gè)視覺(jué)單詞，得到一個(gè)K×128矩陣，每一行就一個(gè)類中心。求出聚類中心后，用K階直方圖來(lái)表示一幅圖像，將每個(gè)樣本各個(gè)特征賦給離它最近的類，該類所對(duì)應(yīng)的灰階加1，最后就會(huì)得到一個(gè)K階直方圖。即使對(duì)于不同大小和SIFT特征個(gè)數(shù)不同圖像，最后得到的都是一個(gè)K階直方圖，所以圖像大小不同時(shí)，該算法仍然適用。最后將直方圖歸一化，就得到了該圖像詞袋模型。第七十頁(yè)，共八十五頁(yè)。4.2.2基于BoW的前列腺病理(Li)圖像表示第七十一頁(yè)，共八十五頁(yè)。4.3基于SPM-BoW的前(Qian)列腺病理圖像表示第七十二頁(yè)，共八十五頁(yè)。4.3.1金字塔匹(Pi)配核假設(shè)X和Y是d維特征空間中兩個(gè)向量集合。Grauman和Darrell提出了金字塔匹配來(lái)計(jì)算兩個(gè)集合之間的相似度，其核心思想是：通過(guò)在原圖中作一系列越來(lái)越粗的網(wǎng)格，得到其特征空間。然后計(jì)算不同分辨率下相匹配特征數(shù)的加權(quán)和，網(wǎng)格劃分越細(xì)權(quán)重越大。在一個(gè)固定的分辨率下，如果兩個(gè)點(diǎn)落在同一個(gè)網(wǎng)格中，則認(rèn)為是匹配。金字塔匹配核按下式定義：（4-6）第七十三頁(yè)，共八十五頁(yè)。4.3.2基于SPM-BoW模(Mo)型的前列腺病理圖像表示本小節(jié)將介紹前列腺病理圖像基于SPM-BoW模型的表示方法。與4.2節(jié)的主要區(qū)別在于，本小節(jié)是按層級(jí)l去求取每一層的BoW模型，先將原圖像劃分為不同層次，如下圖所示，然后按層次將原圖像中抽取的特征聚類到K個(gè)視覺(jué)單詞所表示的類別中，然后用視覺(jué)單詞直方圖來(lái)表示每個(gè)層級(jí)，再將各個(gè)層級(jí)的直方圖按順序連接，就形成了最終表示該圖像的特征。

第七十四頁(yè)，共八十五頁(yè)。4.3.2基于SPM-BoW模型的前列腺病理(Li)圖像表示第七十五頁(yè)，共八十五頁(yè)。4.3.2基于SPM-BoW模型的前列腺病理圖(Tu)像表示第七十六頁(yè)，共八十五頁(yè)。4.4基于(Yu)支持向量機(jī)的分類結(jié)果通過(guò)前面幾節(jié)求得前列腺病理圖像的BoW表示和SPM-BoW表示后，并將其作為SVM分類器的輸入特征，達(dá)到識(shí)別前列腺圖像是否癌變的目的。本節(jié)對(duì)前列腺癌病理圖像的分類算法進(jìn)行了實(shí)驗(yàn)。所有前列腺病理圖像都經(jīng)過(guò)醫(yī)生標(biāo)注，總共有384幅分辨率為800×600的前列腺病理圖像，其中正常的前列腺病理圖像215幅，訓(xùn)練集有151幅，測(cè)試集有64幅；癌變的前列腺病理圖像169幅，訓(xùn)練集有129幅，測(cè)試集有40幅。進(jìn)行5次實(shí)驗(yàn)，每次實(shí)驗(yàn)的訓(xùn)練集和測(cè)試集均隨機(jī)選取，最終結(jié)果取5次實(shí)驗(yàn)的均值。本節(jié)采用SVM作為分類算法，核函數(shù)用的4.3.1節(jié)介紹的金字塔匹配核。第七十七頁(yè)，共八十五頁(yè)。4.4基于支持向量機(jī)的(De)分類結(jié)果三個(gè)層級(jí)的權(quán)重分別為1/4，1/2，1。在對(duì)特征進(jìn)行相似度計(jì)算的時(shí)候，根據(jù)公式(4-5)計(jì)算每個(gè)視覺(jué)單詞的金子塔匹配核的值，再利用下式進(jìn)行求和，得到最終核函數(shù)和，再帶入到SVM分類其中進(jìn)行分類。從圖4-9可以看出，將圖像劃分為L(zhǎng)層時(shí)，總共有特征維數(shù)為：當(dāng)視覺(jué)字典大小為300時(shí)，求得2、3、4層空間金字塔的特征維數(shù)分別是1500，6300，25500。當(dāng)L=0時(shí)，就是基本的BoW模型。第七十八頁(yè)，共八十五頁(yè)。4.4.1基于BoW模型的前列腺癌病理圖像分類實(shí)(Shi)驗(yàn)BoW模型是對(duì)圖像在