課件-5.5應(yīng)用開發(fā)實(shí)例

5.5應(yīng)用開發(fā)實(shí)例051.圖像分類2.文本分類3.語(yǔ)音識(shí)別5.5.1圖像分類

圖像分類問題是監(jiān)督學(xué)習(xí)中的分類問題在計(jì)算機(jī)視覺領(lǐng)域的實(shí)例化。它的目標(biāo)是對(duì)輸入圖片中的核心物體進(jìn)行類別劃分。百度飛槳提供了預(yù)訓(xùn)練模型庫(kù)PaddleHub，涵蓋了計(jì)算機(jī)視覺、文本處理、語(yǔ)音識(shí)別等眾多方向的官方模型。我們選擇百度飛槳深度學(xué)習(xí)開發(fā)平臺(tái)作為代碼示例的開發(fā)平臺(tái)。

左側(cè)的VGG16是一個(gè)用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)，本小節(jié)將以VGG16為例介紹如何使用在ImageNet上預(yù)訓(xùn)練好的VGG16網(wǎng)絡(luò)對(duì)任意給定的圖片進(jìn)行分類。

5.5.1圖像分類為了能夠使用預(yù)訓(xùn)練模型PaddleHub，需要在Python中安裝百度飛槳軟件包。大家可以自行根據(jù)操作系統(tǒng)類型和cuda版本在百度飛槳的主頁(yè)選擇合適的飛槳版本和安裝命令進(jìn)行安裝。安裝后在Python中運(yùn)行如下命令驗(yàn)證安裝結(jié)果：importpaddle.fluidpaddle.fluid.install_check.run_check()顯示“YourPaddleFluidisinstalledsuccessfully!”1.安裝飛槳軟件包為了使用預(yù)訓(xùn)練模型，需要使用如下指令安裝模型庫(kù)PaddleHub：pipinstallpaddlehub2.安裝模型庫(kù)5.5.1圖像分類新建一個(gè)名為image_classification.py的python文件，調(diào)用百度飛槳提供的預(yù)訓(xùn)練模型庫(kù)PaddleHub進(jìn)行圖像分類。import

matplotlib.pyplot

as

pltimportpaddlehubas

hub

def

image_classification():

#加載vgg模型model=

hub.Module(name="vgg16_imagenet")

#設(shè)置測(cè)試圖片路徑test_img_path=

"./data/images/puppy.jpg"input_dict={"image":[test_img_path]}

#顯示測(cè)試圖片img=

plt.imread(test_img_path)

plt.imshow(img)

plt.axis('off')

plt.show()

#使用訓(xùn)練好的模型對(duì)測(cè)試圖片進(jìn)行分類results=model.classification(data=input_dict)

#打印分類結(jié)果

forresultinresults:

print(result)if__name__==

"__main__":

image_classification()3.編寫圖像分類程序（1）導(dǎo)入數(shù)據(jù)可視化matplotlib程序庫(kù)模塊；

導(dǎo)入飛槳的paddlehub模型庫(kù)模塊；（2）定義用來(lái)對(duì)圖片進(jìn)行分類的函數(shù)；（3）將預(yù)訓(xùn)練模型加載到model；（4）把存儲(chǔ)待分類圖片的路徑及文件名賦值給變量；（5）定義一個(gè)字典結(jié)構(gòu)，關(guān)鍵字image對(duì)應(yīng)test_img_path；（6）使用plt.imread()函數(shù)把待分類的圖片從文件讀入列表img；（7）繪制img中的圖片；關(guān)閉坐標(biāo)軸的顯示；

打開一個(gè)窗口顯示圖像

（8）讀入input_dict中的待分類圖片作為輸入數(shù)據(jù)data，并使用訓(xùn)練好的模型model對(duì)它進(jìn)行分類，分類結(jié)果保存在results中。（9）利用循環(huán)語(yǔ)句打印results中的每個(gè)類別名稱及該類別的概率值。運(yùn)行程序，可從中找到如下的分類結(jié)果：

[{'Pomeranian':0.8621419072151184}]5.5.1圖像分類待分類圖片VGG16輸出結(jié)果'Pomeranian':0.86程序運(yùn)行過程用模型判斷以下句子是贊揚(yáng)還是批評(píng)（1）這是一部波瀾壯闊的史詩(shī)。（2）這家餐廳不好吃。文本分類舉例5.5.2文本分類

文本分類就是根據(jù)一段不定長(zhǎng)的文本內(nèi)容來(lái)判斷文本相應(yīng)的類別，也就是說，文本分類任務(wù)要求模型將句子、段落等輸入文本序列映射成一個(gè)和任務(wù)相關(guān)的標(biāo)簽。1.什么是文本分類標(biāo)簽--贊揚(yáng)標(biāo)簽--批評(píng)相同點(diǎn)：與圖像分類一樣，文本分類也屬于監(jiān)督學(xué)習(xí)中的分類問題；不同點(diǎn)：文本分類對(duì)象不再是一個(gè)像素矩陣，而是一個(gè)漢字或單詞序列，在這個(gè)序列中，每句話的長(zhǎng)度是不一樣的，每個(gè)詞的前后是有關(guān)系的。2.文本分類與圖像分類的異同點(diǎn)前饋神經(jīng)網(wǎng)絡(luò)的輸入維數(shù)都是固定的，不能任意改變，而前饋神經(jīng)網(wǎng)絡(luò)的輸出只依賴于當(dāng)前的輸入，因此，前饋神經(jīng)網(wǎng)絡(luò)不適合處理這類變長(zhǎng)的序列數(shù)據(jù)。3.前饋神經(jīng)網(wǎng)絡(luò)不適合處理文本分類

循環(huán)神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸且所有循環(huán)單元按鏈?zhǔn)竭B接的神經(jīng)網(wǎng)絡(luò)，它通過使用帶自反饋的神經(jīng)元，能夠處理任意長(zhǎng)度的序列數(shù)據(jù)，可以實(shí)現(xiàn)某種“記憶功能”，特別適宜處理自然語(yǔ)言、語(yǔ)音識(shí)別等方面的問題，也是深度學(xué)習(xí)的代表模型之一。4.循環(huán)神經(jīng)網(wǎng)絡(luò)5.5.2文本分類--RNN

（1）與前饋神經(jīng)網(wǎng)絡(luò)相同點(diǎn)：

一個(gè)典型的RNN網(wǎng)絡(luò)包含一個(gè)輸入層、一個(gè)輸出層和一個(gè)隱藏層，隱藏層由神經(jīng)元組成；

U是輸入到隱藏層的連接權(quán)重，W是上一次的狀態(tài)到隱藏層的連接權(quán)重，V是隱藏層到輸出層的連接權(quán)重，這些參數(shù)值在各個(gè)時(shí)間節(jié)點(diǎn)上是不變的。

按時(shí)序展開RNN結(jié)構(gòu)（2）與前饋神經(jīng)網(wǎng)絡(luò)不同點(diǎn)：RNN網(wǎng)絡(luò)的神經(jīng)元不僅僅與輸入和輸出存在聯(lián)系，而且自身存在一個(gè)回路，該回路意味著上一個(gè)時(shí)刻的網(wǎng)絡(luò)狀態(tài)信息將會(huì)作用于下一個(gè)時(shí)刻的網(wǎng)絡(luò)狀態(tài)，即當(dāng)前的狀態(tài)不但與當(dāng)前時(shí)刻的輸入有關(guān)，而且與前面的隱藏層狀態(tài)有關(guān)。5.5.2文本分類--RNN

隱藏層輸入

隱藏層輸出RNN內(nèi)部隱藏層結(jié)構(gòu)5.5.2文本分類--RNN文本情感分析是一類特殊的文本分類任務(wù)，它對(duì)帶有主觀描述的文本進(jìn)行二元分類，即根據(jù)一段文本判斷該文本是正面評(píng)價(jià)還是負(fù)面評(píng)價(jià)。例如：用RNN判斷“他是一個(gè)好學(xué)生”這句話是正面評(píng)價(jià)還是負(fù)面評(píng)價(jià)。

不需要判斷每一個(gè)詞的情感，而僅需要關(guān)注最后一個(gè)狀態(tài)的輸出，因此，循環(huán)神經(jīng)網(wǎng)絡(luò)可以設(shè)計(jì)成如圖所示的結(jié)構(gòu)。用RNN實(shí)現(xiàn)文本情感分析0.920.085.5.2文本分類-----使用預(yù)訓(xùn)練模型進(jìn)行文本情感分析輸出的分類結(jié)果-------------------------------測(cè)試語(yǔ)句:這是一部波瀾壯闊的史詩(shī)測(cè)試結(jié)果:positive正面概率:0.8632負(fù)面概率:0.1368-------------------------------測(cè)試語(yǔ)句:這家餐廳不好吃測(cè)試結(jié)果:negative正面概率:0.0811負(fù)面概率:0.9189-------------------------------情感分析代碼import

paddlehubas

hub#導(dǎo)入飛槳的paddlehub模型庫(kù)模塊def

sentiment_analysis():senta=

hub.Module(name=“senta_lstm”)將#加載預(yù)訓(xùn)練模型

test_text=

[將

#存儲(chǔ)待分析文本到test_text列表中

"這是一部波瀾壯闊的史詩(shī)",

"這家餐廳不好吃"]results=senta.sentiment_classify(texts=test_text)

#調(diào)用模型函數(shù)進(jìn)行分類

#打印分類結(jié)果

print("-------------------------------")

forresultinresults:

print("測(cè)試語(yǔ)句:%s"%result['text'])

print("測(cè)試結(jié)果:%s"%result['sentiment_key'])

print("正面概率:%s"%result['positive_probs'])

print("負(fù)面概率:%s"%result['negative_probs'])

print("-------------------------------")if__name__==

"__main__":

sentiment_analysis()1.LSTM------長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)2.Senta------中文情感分析模型5.5.3語(yǔ)音識(shí)別1.語(yǔ)音識(shí)別技術(shù)旨在將語(yǔ)音信號(hào)識(shí)別并轉(zhuǎn)化為相應(yīng)的文字。4.一個(gè)漢字的拼音可以看作是一個(gè)音節(jié)。祖國(guó)好zuguohao2.語(yǔ)音（聲音）是一種波，在計(jì)算機(jī)中，語(yǔ)音信號(hào)被存儲(chǔ)成一個(gè)波形文件。3.為了方便和文字之間建立映射，線性波形需要被分割成幀(frame)，而同時(shí)，文本又是由文字組成的線性序列。因此，語(yǔ)音識(shí)別任務(wù)就可以被認(rèn)為是從幀序列到文字序列之間的轉(zhuǎn)換。5.語(yǔ)音識(shí)別需要通過聲學(xué)模型把幀序列轉(zhuǎn)換為音節(jié)序列，然后通過語(yǔ)言模型再把音節(jié)序列轉(zhuǎn)換為文字序列。5.5.3語(yǔ)音識(shí)別

語(yǔ)音識(shí)別主要步驟：

③語(yǔ)音轉(zhuǎn)換：聲學(xué)模型可以把輸入的特征向量轉(zhuǎn)換為音節(jié)符號(hào)，即循環(huán)神經(jīng)網(wǎng)絡(luò)按時(shí)序把輸入的語(yǔ)音特征向量轉(zhuǎn)換成音節(jié)符號(hào)出現(xiàn)的概率。②

提取特征：提取每一幀波形的聲學(xué)特征，把每一幀波形變成一個(gè)多維的特征向量，形成聲譜圖。①分幀：通過移動(dòng)窗口把聲音波形切分為等間隔的若干小段波形。每一小段波形稱為一幀，每幀長(zhǎng)度通常為25毫秒。語(yǔ)音波形分幀聲譜圖h1h4h5h3h2h8h6h7聲學(xué)模型輸出音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率音節(jié)出現(xiàn)概率5.5.3語(yǔ)音識(shí)別④路徑搜索根據(jù)音節(jié)符號(hào)出現(xiàn)的概率，通過搜索找出最可能與特征向量序列匹配（條件概率最大）的路徑，從而得到路徑上的音節(jié)。zuguo_hao解碼過程音節(jié)序列

zuguohaozuzuguoguo_haohaohao⑤歸一處理由于人說話發(fā)音是連續(xù)的，且中間也會(huì)有“停頓”，所以輸出的音節(jié)序列中存在重復(fù)的元素，也存在表示間隔的符號(hào)“_”，需要在搜索過程中通過歸一處理把路徑中重復(fù)元素及間隔符號(hào)去掉，從而得到聲學(xué)模型最終的輸出結(jié)果。⑥挑選正確文字在聲學(xué)模型給出音節(jié)序列之后，還要把音節(jié)轉(zhuǎn)換成文字。由于一個(gè)音節(jié)可能對(duì)應(yīng)多個(gè)同音字，因此需要通過語(yǔ)言模型從候選的同音字中挑選出概率最大的文字序列進(jìn)而得到語(yǔ)音識(shí)別最終的結(jié)果。同音字

祖

國(guó)

好同音字

組

幗

郝…識(shí)別結(jié)果祖

國(guó)

好解碼語(yǔ)言模型5.5.3語(yǔ)音識(shí)別

語(yǔ)音識(shí)別主要步驟：

①分幀：