Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)-Python數(shù)據(jù)分析簡(jiǎn)介

Python數(shù)據(jù)挖掘編程基礎(chǔ)1Python數(shù)據(jù)分析預(yù)處理常用庫目錄Python使用入門2Python數(shù)據(jù)挖掘建模常用庫和框架3賦值運(yùn)算乘法運(yùn)算冪運(yùn)算多重賦值字符串操作基本命令基本運(yùn)算a=3a*3a**3a,b,c=1,2,3#多重賦值#字符串操作a='ThisisthePythonworld'a+'Welcome!'#將a與'Welcome!'拼接，得到'ThisisthePythonworldWelcome!'a.split('')#將a以空格分割，得到列表['This','is','the','Python','world']基本命令基本運(yùn)算判斷語句基本命令判斷與循環(huán)程序1程序2程序3if條件表達(dá)式：

elif條件表達(dá)式：

FalseTrueFalseTruefor循環(huán)語句基本命令條件表達(dá)式FalseTrue循環(huán)體while循環(huán)語句基本命令while條件表達(dá)式：True程序Falseforiinrange(1,5,1):print(i)基本命令range函數(shù)Python要像C語言的格式進(jìn)行循環(huán)，實(shí)際上需要的是一個(gè)數(shù)字序列。range函數(shù)能夠快速構(gòu)造一個(gè)數(shù)字序列。defpea(x):returnx+1print(pea(1))#輸出結(jié)果為2基本命令函數(shù)

函數(shù)是Python為了代碼效率的最大化，減少冗余而提供的最基本的程序結(jié)構(gòu)。Python使用def自定義函數(shù)：c=lambdax:x+1#定義函數(shù)c(x)=x+1d=lambdax,y:x+y+6#定義函數(shù)d(x,y)=x+y+6基本命令使用def定義函數(shù)需要使用規(guī)范的命名、添加計(jì)算內(nèi)容，以及明確返回值，將會(huì)相對(duì)復(fù)雜。因此，Python支持使用lambda定義“行內(nèi)函數(shù)”。數(shù)據(jù)結(jié)構(gòu)序列類型：列表、元組映射類型：字典集合類型：可變集合、不可變集合數(shù)據(jù)結(jié)構(gòu)Python中的數(shù)據(jù)結(jié)構(gòu)主要分為三種類型：集合（Set）、序列（Sequence）、映射（Mapping），它們可以統(tǒng)稱為容器（container）。數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)列表（可變）元組（不可變）字典（可變）集合可變數(shù)據(jù)類型可以直接對(duì)數(shù)據(jù)結(jié)構(gòu)對(duì)象的內(nèi)容進(jìn)行修改（并非是重新對(duì)對(duì)象賦值操作），即可以對(duì)數(shù)據(jù)結(jié)構(gòu)對(duì)象進(jìn)行元素的賦值修改、刪除或增加等操作。不可變數(shù)據(jù)類型與可變數(shù)據(jù)類型不同，不可變數(shù)據(jù)類型不能對(duì)數(shù)據(jù)結(jié)構(gòu)對(duì)象的內(nèi)容進(jìn)行修改操作（對(duì)對(duì)象當(dāng)中的元素進(jìn)行增加、刪除和賦值修改）。（1）列表的基本操作列表的創(chuàng)建列表的長(zhǎng)度列表元素計(jì)數(shù)列表的下標(biāo)列表的切片與索引列表的運(yùn)算列表的增、刪、改、查操作數(shù)據(jù)結(jié)構(gòu)列表方法功能m.append(1)將1添加到列表m末尾m.count(1)統(tǒng)計(jì)列表m中元素1出現(xiàn)的次數(shù)m.extend([1,2])將列表[1,2]的內(nèi)容追加到列表m的末尾中m.index(1)從列表m中找出第一個(gè)1的索引位置m.insert(2,1)將1插入列表m的索引為2的位置m.pop(1)移除列表m中索引為1的元素（2）列表的其他常用函數(shù)數(shù)據(jù)結(jié)構(gòu)函數(shù)功能函數(shù)功能cmp(m,n)比較兩個(gè)列表的元素min(m)返回列表中元素最小值len(m)返回列表元素個(gè)數(shù)sum(m)將列表中的元素求和max(m)返回列表元素最大值sorted(m)對(duì)列表的元素進(jìn)行升序排序（1）元組的基本操作元組的創(chuàng)建元組的長(zhǎng)度元組元素計(jì)數(shù)元組的下標(biāo)元組的切片與索引元組的運(yùn)算元組的查詢操作數(shù)據(jù)結(jié)構(gòu)元組1'word'True'pear'0123-4-3-2-1在數(shù)學(xué)上，字典實(shí)際上是一個(gè)映射。字典將鍵映射到值，通過鍵來調(diào)取數(shù)據(jù)。數(shù)據(jù)結(jié)構(gòu)字典123ABC數(shù)據(jù)結(jié)構(gòu)集合集合既不是序列也不是映射類型，更不是標(biāo)量。集合是自成一體的類型。集合是唯一的，無序的。一般通過{}或set函數(shù)創(chuàng)建一個(gè)集合。k={1,1,2,3,3}#注意1和3會(huì)自動(dòng)去重，得到{1,2,3}k=set([1,1,2,3,3])#同樣地，將列表轉(zhuǎn)換為集合，得到{1,2,3}數(shù)據(jù)結(jié)構(gòu)集合的運(yùn)算a=f|g#f和g的并集b=f&g#f和g的交集c=f–g#求差集（項(xiàng)在f中，但不在g中）d=f^g#對(duì)稱差集（項(xiàng)在f或g中，但不會(huì)同時(shí)出現(xiàn)在二者中）

函數(shù)式編程（Functionalprogramming）或函數(shù)程序設(shè)計(jì)，又稱泛函編程，是一種編程范型。在Python中，函數(shù)式編程主要由lambda、map、reduce、filter幾個(gè)函數(shù)構(gòu)成。假設(shè)有一個(gè)列表a=[5,6,7]，需要為列表a中的每個(gè)元素都加3，使用map函數(shù)實(shí)現(xiàn)并生成一個(gè)新列表：數(shù)據(jù)結(jié)構(gòu)函數(shù)式編程a=[5,6,7]b=map(lambdax:x+3,a)b=list(b)print(b)#輸出結(jié)果也為[8,9,10]函數(shù)式編程（Functionalprogramming）或函數(shù)程序設(shè)計(jì)，又稱泛函編程，是一種編程范型。在Python中，函數(shù)式編程主要由lambda、map、reduce、filter幾個(gè)函數(shù)構(gòu)成。假設(shè)有一個(gè)列表a=[5,6,7]，需要為列表a中的每個(gè)元素都加3，使用map函數(shù)實(shí)現(xiàn)并生成一個(gè)新列表：數(shù)據(jù)結(jié)構(gòu)a=[5,6,7]b=map(lambdax:x+3,a)b=list(b)print(b)#輸出結(jié)果也為[8,9,10]庫的導(dǎo)入與添加庫的導(dǎo)入Python本身內(nèi)置了很多強(qiáng)大的庫，如數(shù)學(xué)相關(guān)的math庫，可以為我們提供更加豐富復(fù)雜的數(shù)學(xué)運(yùn)算。#使用math庫進(jìn)行數(shù)學(xué)運(yùn)算importmathmath.sin(2)#計(jì)算正弦math.exp(2)#計(jì)算指數(shù)math.pi#內(nèi)置的圓周率常數(shù)庫的導(dǎo)入與添加導(dǎo)入庫中的所有函數(shù)frommathimport*#導(dǎo)入math庫中包含的所有函數(shù)，若大量地這樣引入第三庫，則可能會(huì)容易引起命名沖突exp(2)sin(2)庫的導(dǎo)入與添加添加第三方庫思路特點(diǎn)下載源代碼自行安裝安裝靈活，但需要自行解決上級(jí)依賴問題用pip命令安裝比較方便，自動(dòng)解決上級(jí)依賴問題用easy_install命令安裝比較方便，自動(dòng)解決上級(jí)依賴問題，比pip稍弱下載編譯好的文件包一般是Windows系統(tǒng)才提供現(xiàn)成的可執(zhí)行文件包系統(tǒng)自帶的安裝方式Linux或Mac系統(tǒng)的軟件管理器自帶了某些庫的安裝方式1Python數(shù)據(jù)分析預(yù)處理常用庫目錄Python使用入門2Python數(shù)據(jù)挖掘建模常用庫和框架3NumPyNumPy的前身Numeric最早是由吉姆·弗賈寧（JimHugunin）與其他協(xié)作者共同開發(fā)，2005年，特拉維斯.奧利芬特（TravisOliphant）在Numeric中結(jié)合了另一個(gè)同性質(zhì)的程序庫Numarray的特色，并加入了其他擴(kuò)展而開發(fā)了NumPy。進(jìn)行科學(xué)計(jì)算的基礎(chǔ)軟件包。更多高級(jí)擴(kuò)展庫的依賴庫。內(nèi)置函數(shù)處理數(shù)據(jù)的效率較高。pandaspandas的名稱源自面板數(shù)據(jù)（paneldata）和Python數(shù)據(jù)分析（DataAnalysis），最初是被作為金融數(shù)據(jù)分析工具而開發(fā)出來，由AQRCapitalManagement于2008年4月開發(fā)，并于2009年底開源。提供了快速、靈活、明確的數(shù)據(jù)結(jié)構(gòu)。帶有豐富的數(shù)據(jù)預(yù)處理函數(shù)。支持?jǐn)?shù)據(jù)的增、刪、改、查。Matplotlib是約翰·亨特（JohnHunter）在2008年左右的博士后研究中發(fā)明出來的，最初只是為了可視化癩痢病人的一些健康指標(biāo)，慢慢的Matplotlib變成了Python上最廣泛使用的可視化工具包。支持折線圖、條形圖、柱狀圖、餅圖的繪制。支持交互式繪圖和非交互式繪圖。支持Linux、Windows、MacOSX與Solaris的跨平臺(tái)繪圖。遷移學(xué)習(xí)的成本比較低。Matplotlib1Python數(shù)據(jù)分析預(yù)處理常用庫目錄Python使用入門2Python數(shù)據(jù)挖掘建模常用庫和框架3scikit-learn還是Python下強(qiáng)大的機(jī)器學(xué)習(xí)工具包，提供了完善的機(jī)器學(xué)習(xí)工具箱，是一種簡(jiǎn)單高效的數(shù)據(jù)分析和挖掘的工具。scikit-learn不僅提供了一些實(shí)例數(shù)據(jù)用于練習(xí)，還提供了很多功能接口：model.fit()：用于訓(xùn)練模型model.predict(X_new)：預(yù)測(cè)新樣本model.predict_proba(X_new)：預(yù)測(cè)概率model.score()：得分越高，模型擬合效果越好model.transform()：在fit函數(shù)的基礎(chǔ)上，進(jìn)行標(biāo)準(zhǔn)化，降維，歸一化等數(shù)據(jù)處理操作model.fit_transform()：fit函數(shù)和transform函數(shù)的組合，既包括了訓(xùn)練又包含了數(shù)據(jù)處理操作。Scikit-learn深度學(xué)習(xí)TensorflowTensorflow是基于Google2011年開發(fā)的深度學(xué)習(xí)基礎(chǔ)框架DistBelief構(gòu)建而成。主要用于搭建深度神經(jīng)網(wǎng)絡(luò)。TensorFlow即Tensor和Flow，Tensor意味著data，F(xiàn)low意味著流動(dòng)、計(jì)算、映射，即數(shù)據(jù)的流動(dòng)、數(shù)據(jù)的計(jì)算、數(shù)據(jù)的映射，同時(shí)也體現(xiàn)數(shù)據(jù)是有向的流動(dòng)、計(jì)算和映射的。Keras是由Python編寫而成并使用TensorFlow、Theano以及CNTK作為后端的一個(gè)深度學(xué)習(xí)框架，也是深度學(xué)習(xí)框架中最容易使用的一個(gè)。Keras具有高度模塊化、用戶友好性和易擴(kuò)展特性。支持卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，以及兩者的組合。Keras可無縫銜接CPU和GPU的切換。深度學(xué)習(xí)KerasPyTorch可幫助構(gòu)建深度學(xué)習(xí)項(xiàng)目，其強(qiáng)調(diào)靈活性，并允許用Python表達(dá)深度學(xué)習(xí)模型；命令式體驗(yàn)，直接使用nn.module封裝便可使網(wǎng)絡(luò)搭建更快速和方便；調(diào)試簡(jiǎn)單，調(diào)試PyTorch就像調(diào)試Python代碼一樣簡(jiǎn)單。除此之外，PyTorch中還存在著較為完備的應(yīng)用領(lǐng)域所對(duì)應(yīng)的庫：深度學(xué)習(xí)PyTorch應(yīng)用領(lǐng)域?qū)?yīng)的PyTorch庫計(jì)算機(jī)視覺TorchVision自然語言處理PyTorchNLP圖卷積PyTorchGeometric工業(yè)部署FastaiPaddlePaddle支持超大規(guī)模深度學(xué)習(xí)模型的訓(xùn)練、多端多平臺(tái)部署的高性能推理引擎等。命令式編程模式（動(dòng)態(tài)圖）功能、性能和體驗(yàn)；原生推理庫性能顯著優(yōu)化，輕量級(jí)推理引擎實(shí)現(xiàn)了對(duì)硬件支持的極大覆蓋。新增了CUDA下多線程多流支持、TRI子圖對(duì)動(dòng)態(tài)shape輸入的支持，強(qiáng)化量化推理，性能顯著優(yōu)化；全面提升對(duì)支持芯片的覆蓋度（包括寒武紀(jì)、比特大陸等）以及對(duì)應(yīng)的模型數(shù)量和性能。深度學(xué)習(xí)PaddlePaddleCaffe是由伯克利人工智能研究所和社區(qū)貢獻(xiàn)者共同開發(fā)的。主要應(yīng)用在視頻、圖像處理等方面，核心語言是C++，支持命令行、Python和MATLAB接口，及支持在CPU上運(yùn)行、GPU上運(yùn)行，且Caffe