Python基礎(chǔ)、深度學(xué)習(xí)入門與實踐

Python基礎(chǔ)、深度學(xué)習(xí)入門與實踐Python編程、機器學(xué)習(xí)或深度學(xué)習(xí)經(jīng)驗相對匱乏的學(xué)員對Python、機器學(xué)習(xí)及深度學(xué)習(xí)的基本概念有所了解能夠?qū)嵺`基本的代碼為接下來的培訓(xùn)打好基礎(chǔ)有一定經(jīng)驗的學(xué)員復(fù)習(xí)、梳理Python編程、機器學(xué)習(xí)或深度學(xué)習(xí)等相關(guān)概念為接下來的培訓(xùn)做準(zhǔn)備課程目的Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python簡介Python2Python2的最新版本更新到Python2.7。Python2.7即將停止維護。在這一段時間中，很多優(yōu)秀開源項目與庫已經(jīng)停止了對2.7的支持。GitHub上項目的Python版本從2切換到3。Python3Python3的最新版本更新到Python3.8。本講涉及的代碼以Python3.6版本為基礎(chǔ)。Python基礎(chǔ)

本講的Python運行環(huán)境Windows7/10Anaconda3（Python3.6.5）Anaconda3的安裝推薦安裝的理由：省去了安裝常用Python第三方庫的麻煩tensorflow1.11pipinstall-i/simpletensorflow==1.11keras2.2.4pipinstall-i/simplekeras==2.2.4SublimeText編輯器也可使用Anaconda3自帶的Spyder編譯器或者PyCharm編譯器Python基礎(chǔ)

Anaconda3的安裝主頁下載Anaconda3Windows64位安裝程序/distribution/#download-section下載最新的Anaconda3-XX.XX-Windows-x86_64.exe即可雙擊exe文件開始安裝安裝過程中的注意事項（圖示見下頁）選擇“InstallforAllUsers”選擇“AddAnacondaasthesystemPATHenvironmentvariable”和“RegisterAnacondaasthesystemPython”跳過“安裝MicrosoftVisualStudioCode”Python基礎(chǔ)

Anaconda3的安裝Python基礎(chǔ)Python的特點免費、開源Python語言是免費開源的腳本語言。這兩個詞幾乎成為流行編程語言必不可少的特征Python編程更簡單相比于編譯語言（C,C++）而言，Python是一種跨平臺腳本語言，編寫好的代碼可以直接部署在各類操作系統(tǒng)上（例如，Linux、Windows、MACOSX）豐富的程序庫Python有大量的第三方庫以及在機器學(xué)習(xí)等方面提供了完備程序庫，包括：Numpy、Pandas、Scikit-learn（機器學(xué)習(xí)庫）等等Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python數(shù)據(jù)結(jié)構(gòu)序列（參考代碼見codes\Python_basics\string_tuple_list.py）字符串（string）元組（tuple）列表（list）字典哪里不明白，就print()哪里Python基礎(chǔ)Python第三方庫的數(shù)據(jù)結(jié)構(gòu)Numpy（NumPy是NumericalPython的簡稱）NumPy是Python高性能科學(xué)計算和數(shù)據(jù)分析的基礎(chǔ)包importnumpyasnpNumPy最重要的一個特點：ndarray（n維數(shù)組對象）哪里不明白，就print()哪里Python基礎(chǔ)Python第三方庫的數(shù)據(jù)結(jié)構(gòu)Pandas（NumPy是paneldata以及pythondataanalysis的簡稱）Pandas是基于NumPy構(gòu)建的，讓以NumPy為中心的應(yīng)用變得更加簡單importpandasaspdPandas最重要的一個特點：DataFrame對象它是一個面向列的二維表結(jié)構(gòu)，且含有行標(biāo)和列標(biāo)DataFrame對象用于將數(shù)據(jù)表示為一個表格哪里不明白，就print()哪里Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)

數(shù)據(jù)加載、存儲與文件格式讀取文本文件和其他更高效的磁盤存儲格式文本文件txt文件csv文件（Comma-SeparatedValues，逗號分隔值）二進(jìn)制數(shù)據(jù)pickle文件HDF5文件（HDF，hierarchicaldataformat，層次型數(shù)據(jù)格式）加載數(shù)據(jù)庫中的數(shù)據(jù)利用WebAPI操作網(wǎng)絡(luò)資源Python基礎(chǔ)Python數(shù)據(jù)加載文本文件——txt文件Python處理文本文件的3個主要步驟打開文件：使用函數(shù)open()處理文件：讀取文件str_=f_.read()關(guān)閉文件：使用函數(shù)close()使用第三方庫numpydata_ndarray=np.loadtxt(fn,delimiter='\t')使用第三方庫pandasfull_data_dataframe=pd.read_table(fn)Python基礎(chǔ)Python數(shù)據(jù)加載文本文件——csv文件使用Python內(nèi)置的csv模塊withopen(fn,'r')asf: reader=csv.reader(f)使用第三方庫numpydata_ndarray=np.loadtxt(fn,delimiter=',')使用第三方庫pandasfull_data_dataframe=pd.read_csv(fn)full_data_dataframe=pd.read_table(fn,sep=',')Python基礎(chǔ)Python數(shù)據(jù)加載Excel文件Excel文件使用第三方庫xlrddata=xlrd.open_workbook(excelname)#打開Excel表table=data.sheet_by_name(sheetname)#打開Excel表中的sheetPython基礎(chǔ)Python數(shù)據(jù)存儲文本文件——txt文件txt文件Python處理文本文件的3個主要步驟打開文件：使用函數(shù)open()處理文件：寫入文件f.write(str_)關(guān)閉文件：使用函數(shù)close()使用第三方庫pandasdataframe.to_csv(txtfn,sep='\t')#創(chuàng)建.txt文件Python基礎(chǔ)Python數(shù)據(jù)存儲文本文件——csv文件csv文件使用Python內(nèi)置的csv模塊withopen(csvfn,'w')asf: writer=csv.writer(f) writer.writerow(str_)使用第三方庫pandasdataframe1.to_csv(csvfn)#創(chuàng)建.csv文件Python基礎(chǔ)Python數(shù)據(jù)存儲Excel文件Excel文件使用第三方庫xlwtf=xlwt.Workbook() #創(chuàng)建excel文件sheet1=f.add_sheet(sheetname)#創(chuàng)建sheetsheet1.write(row_id,col_id,str_)f.save(savefn) #保存文件使用第三方庫pandaswriter=pd.ExcelWriter(savefn,engine='xlsxwriter')dataframe.to_excel(writer,sheetname)writer.save()Python基礎(chǔ)

數(shù)據(jù)加載、存儲與文件格式代碼實踐codes\Python_Read&Write\Python_read.pypima-indians-diabetes.csvpima-indians-diabetes.csv數(shù)據(jù)說明比馬印第安人糖尿病數(shù)據(jù)集（醫(yī)療方面的數(shù)據(jù)集）比馬印第安人糖尿病發(fā)病情況csv文件，共有768行，每一行有9列Python基礎(chǔ)

pima-indians-diabetes.csv數(shù)據(jù)每一列的意義(1)懷孕次數(shù)(2)2小時口服葡萄糖耐量試驗中血漿葡萄糖濃度(3)舒張壓(4)三頭肌皮褶皺厚度(5)2小時血清膜島素(6)身體質(zhì)量指數(shù)(7)糖尿病譜系功能(8)年齡(9)是否是糖尿病(0or1)Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)是從機器學(xué)習(xí)中的人工神經(jīng)網(wǎng)絡(luò)發(fā)展出來的新領(lǐng)域人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元細(xì)胞體樹突軸突人工神經(jīng)元

M-P神經(jīng)元（McCulloch-Pitts神經(jīng)元）一種模擬生物神經(jīng)元的簡化數(shù)學(xué)模型構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)神經(jīng)元接受n個輸入神經(jīng)元的輸出y神經(jīng)元的細(xì)胞體：中間圓形區(qū)域w1、w2、...、wn稱作連接權(quán)值，表示每個輸入的連接強度...w1w2wnx1x2xnyθ人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元

M-P神經(jīng)元（McCulloch-Pitts神經(jīng)元）神經(jīng)元的輸出閾值：θ整合函數(shù)激活函數(shù)（activationfunction）另一種表示更好地表達(dá)了“整合函數(shù)”和“激活函數(shù)”...w1w2wnx1x2xnyθ...w1w2wnx1x2xnyΣ∫人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元

M-P神經(jīng)元（McCulloch-Pitts神經(jīng)元）一種模擬生物神經(jīng)元的簡化數(shù)學(xué)模型構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)神經(jīng)元接受n個輸入神經(jīng)元的輸出y神經(jīng)元的細(xì)胞體：中間圓形區(qū)域w1、w2、...、wn稱作連接權(quán)值，表示每個輸入的連接強度整合函數(shù)：加權(quán)求和函數(shù)激活函數(shù)：閾值函數(shù)（activationfunction）...w1w2wnx1x2xnyΣ∫人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類）感知器只有一層，只有一個M-P神經(jīng)元整合函數(shù)激活函數(shù)（activationfunction）采用閾值函數(shù)，階躍函數(shù)，又稱硬限幅函數(shù)，記為hardlim，輸出為0或1另一種表示只有兩層：輸入層&輸出層輸入層各神經(jīng)元僅用于將輸入數(shù)據(jù)傳送給與之連接的輸出神經(jīng)元輸出層神經(jīng)元只有一個M-P神經(jīng)元

...w1w2wnx1x2xnyΣ∫...w1w2wnyΣ∫xnx2x1輸入層輸出層人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類）感知器...w1w2wnyΣ∫xnx2x1輸入層輸出層...w1w2wnyΣ∫xnx2x11b人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類）感知器...w1w2wnyΣ∫xnx2x1輸入層輸出層給定輸入和y，如何自動確定w和b？x1x2y000010100111人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類）感知器學(xué)習(xí)算法Rosenblatt（羅森勃拉特）等人在20世紀(jì)60年代初期給出了嚴(yán)格的證明，該算法對于線性可分的樣本是收斂的

原始（兩類）感知器的應(yīng)用與運算（w1=w2=1，b=-2）或運算（w1=w2=1，b=-0.5）w1w2yΣ∫x11bx2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

原始（兩類）感知器由于感知器結(jié)構(gòu)和學(xué)習(xí)機制上的簡單，使得感知器在功能上具有很大的局限性不能解決簡單的異或等線性不可分問題《Perceptron》（《感知器》）一書Minsky（明斯基）&SeymourPapert（裴伯特），1969從數(shù)學(xué)上分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能和局限性...w1w2wnyΣ∫xnx2x1輸入層輸出層人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器

多層感知器多層感知器可以用來解決異或問題激活函數(shù)仍然采用閾值函數(shù)但卻沒有解決多層感知器的學(xué)習(xí)問題雖然Minsky也認(rèn)為多層網(wǎng)絡(luò)可以解決非線性問題，但是，在當(dāng)時，這個問題還不可解Minsky認(rèn)為“多層網(wǎng)絡(luò)不存在有效學(xué)習(xí)方法”誤差反向傳播（Backpropagation，Back-Propagation，BP）算法通常簡稱為BP（Backpropagation）算法Rumelhart（魯梅爾哈特）&麥克萊蘭x1∫Σx2xn∫Σ......∫Σ∫Σ...W1W2輸入層輸出層隱含層ymy1人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

梯度下降法梯度下降法（gradientdescent，GD）是求解無約束最優(yōu)化問題的一種最常用的方法用途：求f(x)的極小點原理：負(fù)梯度方向是使函數(shù)值下降最快的方向x1∫Σx2xn∫Σ......∫Σ∫Σ...W1W2輸入層輸出層隱含層ymy1

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

機器學(xué)習(xí)算法的概念輸入，輸出，模型輸出損失函數(shù)

度量模型一次預(yù)測的好壞風(fēng)險函數(shù)度量平均意義下模型預(yù)測的好壞，期望風(fēng)險經(jīng)驗風(fēng)險函數(shù)：模型關(guān)于訓(xùn)練數(shù)據(jù)集（經(jīng)驗數(shù)據(jù)）的平均損失經(jīng)驗風(fēng)險最小化

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法給定N個樣本的訓(xùn)練集：BP網(wǎng)絡(luò)的輸出：目標(biāo)函數(shù)學(xué)習(xí)目標(biāo)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法參數(shù)學(xué)習(xí)算法（梯度下降法）目標(biāo)函數(shù)求參數(shù)的梯度迭代公式

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法可以分為以下三步先前饋計算每一層的狀態(tài)和激活值，直到最后一層反向傳播計算每一層的誤差

難點：求最后一層的誤差項

交叉熵?fù)p失函數(shù)

softmax（激活函數(shù)）+對數(shù)似然損失函數(shù)（損失函數(shù)）計算每一層參數(shù)的偏導(dǎo)數(shù)，并更新參數(shù)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

機器學(xué)習(xí)算法的概念——損失函數(shù)負(fù)對數(shù)似然損失函數(shù)交叉熵?fù)p失函數(shù)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播網(wǎng)絡(luò)（簡稱BP網(wǎng)絡(luò)）在網(wǎng)絡(luò)結(jié)構(gòu)上，與感知器相同與普通多層感知器的區(qū)別隱含層與輸出層的神經(jīng)元的激活函數(shù)均為連續(xù)非線性函數(shù)

因為連續(xù)非線性激活函數(shù)可導(dǎo)，所以可用最優(yōu)化的方法來求解用連續(xù)輸出代替離散的輸出x1∫Σx2xn∫Σ......∫Σ∫Σ...W1W2輸入層輸出層隱含層ymy1Sigmoid函數(shù)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法參數(shù)學(xué)習(xí)算法（梯度下降法）目標(biāo)函數(shù)求參數(shù)的梯度迭代公式

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法批量梯度下降法（BatchGradientDescent，BGD）隨機梯度下降法（StochasticGradientDescent，SGD）最小批量隨機梯度下降法（mini-batchStochasticGradientDescent，mini-batchSGD）

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法批量梯度下降法（BatchGradientDescent，BGD）隨機梯度下降法（StochasticGradientDescent，SGD）最小批量隨機梯度下降法（mini-batchStochasticGradientDescent，mini-batchSGD）

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法批量梯度下降法（BatchGradientDescent，BGD）隨機梯度下降法（StochasticGradientDescent，SGD）最小批量隨機梯度下降法（mini-batchStochasticGradientDescent，mini-batchSGD）

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)誤差反向傳播（BP）算法

BP算法一個訓(xùn)練周期（epoch）用完所有的訓(xùn)練輸入一個訓(xùn)練迭代期（iteration）

用完當(dāng)前小批量數(shù)據(jù)中的所有訓(xùn)練樣本（mini-batch隨機梯度下降法）下一個迭代期再挑選另一隨機選定的小批量數(shù)據(jù)去訓(xùn)練Python基礎(chǔ)Python簡介Python數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)加載、存儲與文件格式深度學(xué)習(xí)入門與實踐人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)深度學(xué)習(xí)框架Keras基礎(chǔ)深度學(xué)習(xí)主流模型提綱深度學(xué)習(xí)入門

深度學(xué)習(xí)框架Keras基礎(chǔ)Keras深度學(xué)習(xí)的主要流程定義模型概要匯總網(wǎng)絡(luò)模型（model.summary()）編譯模型（pile()）訓(xùn)練模型（model.fit()）函數(shù)參數(shù)

X_train,Y_train,

batch_size=BATCH_SIZE,epochs=NB_EPOCH評估模型（model.evaluate()）深度學(xué)習(xí)入門

深度學(xué)習(xí)框架Keras基礎(chǔ)定義模型——4層前饋神經(jīng)網(wǎng)絡(luò)二分類的輸出層通常采用sigmoid作為激活函數(shù)深度學(xué)習(xí)入門

深度學(xué)習(xí)框架Keras基礎(chǔ)編譯模型——4層前饋神經(jīng)網(wǎng)絡(luò)pile()loss（損失函數(shù)）binary_crossentropy、categorical_crossentropyoptimizer（優(yōu)化器）sgd、adam、rmspropmetrics（性能評估指標(biāo)）accuracy、precision、recall深度學(xué)習(xí)入門

深度學(xué)習(xí)框架Ke