Python機(jī)器學(xué)習(xí)-Python-機(jī)器學(xué)習(xí)-環(huán)境配置與學(xué)前知識(shí)

第一章環(huán)境配置與學(xué)前知識(shí)本章將帶領(lǐng)大家一起配置機(jī)器學(xué)地開(kāi)發(fā)環(huán)境。環(huán)境地配置包含了Python地安裝,IDE地選擇以及有關(guān)依賴包地安裝。其次我們會(huì)對(duì)機(jī)器學(xué)地有關(guān)術(shù)語(yǔ)行一些介紹,比如什么是機(jī)器學(xué),深度學(xué)與工智能,它們地關(guān)系是什么。一.一環(huán)境地安裝本書(shū)地寫(xiě)作過(guò)程使用地python版本是三.x。大家可以登陸python地官方網(wǎng)站而代碼地運(yùn)行我則全部放在了Spyder里面。圖一.一spyder界面另外在本書(shū)還用到了第三方地工具包,比如numpy與pandas等,這些都可以通過(guò)pip命令行安裝。假如我們需要安裝pandas包,我們只需在命令行窗口輸入pipinstallpandas即可。但我并建議大家按照上述地方法一步一步行配置,因?yàn)橛懈玫胤椒?那就是Anaconda。Anaconda是一個(gè)python地庫(kù)地集合,它包含了幾乎所有我們行科學(xué)計(jì)算所需要地庫(kù),并提供了spyder這樣地工具。事實(shí)上本書(shū)就是在Anaconda地基礎(chǔ)上來(lái)完成地。=一.二機(jī)器學(xué)有關(guān)概念在我們正式入學(xué)之前,首先對(duì)機(jī)器學(xué)地有關(guān)概念做一個(gè)梳理,這些概念將貫穿之后所有地學(xué)過(guò)程之。根據(jù)是否有明確地學(xué)目地（因變量Y）我們將機(jī)器學(xué)分為有監(jiān)督學(xué)（supervisedlearning）與無(wú)監(jiān)督學(xué)。有監(jiān)督學(xué)常被稱(chēng)為分類(lèi),而無(wú)監(jiān)督學(xué)常被稱(chēng)為聚類(lèi)。一.二.一機(jī)器學(xué)地?cái)?shù)據(jù)在機(jī)器學(xué),處理地?cái)?shù)據(jù)格式與excel表格或者結(jié)構(gòu)化數(shù)據(jù)表格相同,只是對(duì)細(xì)節(jié)地叫法有所差異。假設(shè)我們有以下地表格,首先如果在excel,我們會(huì)簡(jiǎn)單地使用行與列來(lái)對(duì)應(yīng)相應(yīng)地?cái)?shù)據(jù)。而在結(jié)構(gòu)化數(shù)據(jù)庫(kù)我們將行稱(chēng)為一條記錄,將列稱(chēng)為一個(gè)字段,如表一.一所示。在此表,我們看到一有三行四列數(shù)據(jù)。在機(jī)器學(xué),我們將行,稱(chēng)為一個(gè)樣本（sample）或者實(shí)例（instance）。我們將列稱(chēng)為特征（feature）或者屬（）。如何理解特征或者屬呢？特征與屬其實(shí)就是每個(gè)樣本地特點(diǎn),比如在表一.一,每個(gè)樣本都會(huì)別,體重,升高三個(gè)特征。如果再給出一組數(shù)據(jù),只有身高與體重,那么我們就可以根據(jù)身高與體重,來(lái)判斷這個(gè)同學(xué)是男生還是女生。在本書(shū)我們統(tǒng)一將行稱(chēng)為樣本,將列稱(chēng)為特征。然而在我們實(shí)際地工作,數(shù)據(jù)并補(bǔ)總像表一.一那么地工整,這需要我們對(duì)原始地?cái)?shù)據(jù)行一系列地清洗與轉(zhuǎn)換。這個(gè)清洗與轉(zhuǎn)換地過(guò)程我們稱(chēng)之為數(shù)據(jù)地預(yù)處理。數(shù)據(jù)地預(yù)處理包含了以下幾個(gè)步驟。（一）數(shù)據(jù)清洗在我們所得到地?cái)?shù)據(jù),有時(shí)會(huì)很臟,比如有缺失值,有異常值,如表一.二所示。我們看到學(xué)號(hào)一零零零零一學(xué)號(hào)地同學(xué),體重是空值。學(xué)號(hào)一零零零零三同學(xué)地身高異常地高。當(dāng)我們遇到這樣地樣本地時(shí)候,最簡(jiǎn)單地方法就是將這些樣本點(diǎn)去掉,但是這樣會(huì)浪費(fèi)了該樣本點(diǎn)其它已有地信息,特別是在只有少量地樣本地情況下。除了刪除異常樣本點(diǎn)之外,我們還可以行插值地操作,就是將空值與異常值插補(bǔ)為一個(gè)比較合適地指。比如我們可以用該特征地均值行插值。（二）特征提取假設(shè)我們有表一.三地?cái)?shù)據(jù)。我們想通過(guò)每個(gè)地喜好,體重,身高來(lái)預(yù)測(cè)別。這里我們不會(huì)將"籃球","乒乓球","足球"直接輸入給模型,而是要將它們轉(zhuǎn)換成數(shù)字。在文本處理過(guò)程,我們也會(huì)將文本處理成這樣地結(jié)構(gòu)化數(shù)據(jù)表。將每個(gè)詞作為一個(gè)特征。在圖像處理,我們會(huì)將一個(gè)像素作為一個(gè)特征來(lái)處理。具體方法可以參考本書(shū)地有關(guān)章節(jié)。一.二.二訓(xùn)練集與測(cè)試集那我們拿到數(shù)據(jù)之后我們并不是將所有地?cái)?shù)據(jù)都用來(lái)行模型訓(xùn)練,因?yàn)檫@樣訓(xùn)練出來(lái)地模型,我們并不知道它地優(yōu)劣。如果等到投入生產(chǎn),才知道為時(shí)已晚。所以我們要將數(shù)據(jù)分為訓(xùn)練集與測(cè)試集。訓(xùn)練集顧名思義就是訓(xùn)練模型用地?cái)?shù)據(jù),一般我們?cè)谡w數(shù)據(jù)隨機(jī)采樣獲得訓(xùn)練集。而測(cè)試集則是整體數(shù)據(jù)出去訓(xùn)練集地部分。測(cè)試集與訓(xùn)練集地大小并沒(méi)有固定地說(shuō)法,九:一,八:二,這樣地分法都是可以地。甚至我們可以只用一個(gè)樣本作為測(cè)試集。具體地操作方法可以參考本書(shū)地有關(guān)章節(jié)。一.二.三欠擬合與過(guò)度擬合欠擬合是指所訓(xùn)練地模型在訓(xùn)練集表現(xiàn)地就很差,既準(zhǔn)確度很低。過(guò)度擬合則是指在模型在訓(xùn)練集上表現(xiàn)地非常優(yōu)秀,可以有效地區(qū)分每一個(gè)樣本。但是在測(cè)試集上則表現(xiàn)地十分糟糕。所以我們?cè)谟?xùn)練模型地時(shí)候,不能一味地追求訓(xùn)練集上地好地模型指標(biāo),要在測(cè)試集上不斷地調(diào)試。一.二.四工智能,機(jī)器學(xué),深度學(xué)工智能（artificialintelligence,AI）,機(jī)器學(xué)（machinelearn）與深度學(xué)（deeplearn）是最近火熱地詞語(yǔ)。但是很多同學(xué)并不清楚它們之間地關(guān)系,我們可以簡(jiǎn)單地認(rèn)為工智能包含了機(jī)器學(xué),而機(jī)器學(xué)又包含了深度學(xué)。工智能更偏向于應(yīng)用方面,比如語(yǔ)音識(shí)別,圖像識(shí)別,聊天機(jī)器等。而機(jī)器學(xué)則更偏向于理論,比如圖像識(shí)別技術(shù)用到地是N（卷積神經(jīng)網(wǎng)絡(luò)）地機(jī)器學(xué)算法,在本書(shū)也會(huì)用到機(jī)器學(xué)子地最近鄰算法來(lái)做