Python數(shù)據(jù)分析 課件 項(xiàng)目1 Python數(shù)據(jù)分析基礎(chǔ)

項(xiàng)目一

Python數(shù)據(jù)分析基礎(chǔ)任務(wù)1數(shù)據(jù)分析基礎(chǔ)任務(wù)2Python基礎(chǔ)任務(wù)1數(shù)據(jù)分析基礎(chǔ)任務(wù)引入為了引導(dǎo)學(xué)生學(xué)習(xí)與思考結(jié)合、觀察與思考結(jié)合、實(shí)踐與思考結(jié)合，學(xué)校每學(xué)期開設(shè)課程設(shè)計(jì)。這學(xué)期小白跟著導(dǎo)師做調(diào)查報(bào)告，發(fā)現(xiàn)數(shù)據(jù)分析師需求量極大。于是進(jìn)行深入調(diào)查，針對(duì)數(shù)據(jù)分析的方法、過程、工具進(jìn)行統(tǒng)計(jì)。那么，什么是數(shù)據(jù)分析，如何進(jìn)行數(shù)據(jù)分析？知識(shí)準(zhǔn)備數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來的大量數(shù)據(jù)進(jìn)行分析，將它們加以匯總和理解并消化，以求最大化地開發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。數(shù)據(jù)分析是為了提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。一、數(shù)據(jù)分析方法數(shù)據(jù)分析的目的是把隱藏在一大批看來雜亂無章的數(shù)據(jù)中的信息集中和提煉出來，從而找出所研究對(duì)象的內(nèi)在規(guī)律。在實(shí)際應(yīng)用中，數(shù)據(jù)分析可幫助人們做出判斷，以便采取適當(dāng)行動(dòng)。數(shù)據(jù)分析是有組織有目的地收集數(shù)據(jù)、分析數(shù)據(jù)，使之成為信息的過程。下圖顯示數(shù)據(jù)分析的基本流程，數(shù)據(jù)分析中的數(shù)據(jù)分析方法是數(shù)據(jù)分析的核心。在統(tǒng)計(jì)學(xué)領(lǐng)域，有些人將數(shù)據(jù)分析劃分為描述性統(tǒng)計(jì)分析、探索性數(shù)據(jù)分析以及驗(yàn)證性數(shù)據(jù)分析；其中，探索性數(shù)據(jù)分析側(cè)重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特征，而驗(yàn)證性數(shù)據(jù)分析則側(cè)重于已有假設(shè)的證實(shí)或證偽。1．探索性數(shù)據(jù)分析探索性數(shù)據(jù)分析是指為了形成值得假設(shè)的檢驗(yàn)而對(duì)數(shù)據(jù)進(jìn)行分析的一種方法，是對(duì)傳統(tǒng)統(tǒng)計(jì)學(xué)假設(shè)檢驗(yàn)手段的補(bǔ)充。2．定性數(shù)據(jù)分析定性數(shù)據(jù)分析又稱為“定性資料分析”、“定性研究”或者“定性研究資料分析”，是指對(duì)諸如詞語、照片、觀察結(jié)果之類的非數(shù)值型數(shù)據(jù)（或者說資料）的分析。3．離線數(shù)據(jù)分析離線數(shù)據(jù)分析用于較復(fù)雜和耗時(shí)的數(shù)據(jù)分析和處理，一般通常構(gòu)建在云計(jì)算平臺(tái)之上，如開源的HDFS文件系統(tǒng)和MapReduce運(yùn)算框架。4．在線數(shù)據(jù)分析在線數(shù)據(jù)分析也稱為聯(lián)機(jī)分析處理，用來處理用戶的在線請(qǐng)求，它對(duì)響應(yīng)時(shí)間的要求比較高（通常不超過若干秒）。二、數(shù)據(jù)分析的分類數(shù)據(jù)分析本質(zhì)是通過對(duì)大量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析、解釋和挖掘，然后推動(dòng)現(xiàn)實(shí)問題的決策和價(jià)值的實(shí)現(xiàn)。1．按分析的方法和目的分類描述性分析：用來表達(dá)這是一個(gè)什么情況很有效，但不能解釋某種結(jié)果發(fā)生的原因或者未來會(huì)發(fā)生的事情。預(yù)測(cè)性分析：規(guī)范性分析：2．按分析方法以及收集和分析的數(shù)據(jù)類型分類定性分析（非結(jié)構(gòu)化數(shù)據(jù)）：定量分析（結(jié)構(gòu)化數(shù)據(jù)）：3．按照研究者的目的分類統(tǒng)計(jì)預(yù)測(cè)數(shù)據(jù)挖掘文本挖掘優(yōu)化實(shí)驗(yàn)設(shè)計(jì)三、數(shù)據(jù)分析過程數(shù)據(jù)分析過程的主要活動(dòng)由識(shí)別信息需求、收集數(shù)據(jù)、分析數(shù)據(jù)、評(píng)價(jià)并改進(jìn)數(shù)據(jù)分析的有效性組成。1．識(shí)別信息需求識(shí)別信息需求是確保數(shù)據(jù)分析過程有效性的首要條件，可以為收集數(shù)據(jù)、分析數(shù)據(jù)提供清晰的目標(biāo)。2．收集數(shù)據(jù)有目的的收集數(shù)據(jù)，是確保數(shù)據(jù)分析過程有效的基礎(chǔ)。組織需要對(duì)收集數(shù)據(jù)的內(nèi)容、渠道、方法進(jìn)行策劃。策劃時(shí)應(yīng)考慮：（1）將識(shí)別的需求轉(zhuǎn)化為具體的要求，如評(píng)價(jià)供方時(shí)，需要收集的數(shù)據(jù)可能包括其過程能力、測(cè)量系統(tǒng)不確定度等相關(guān)數(shù)據(jù)；（2）明確由誰在何時(shí)何處，通過何種渠道和方法收集數(shù)據(jù)；（3）記錄表應(yīng)便于使用；（4）采取有效措施，防止數(shù)據(jù)丟失和虛假數(shù)據(jù)對(duì)系統(tǒng)的干擾。3．分析數(shù)據(jù)老七種工具，即排列圖、因果圖、分層法、調(diào)查表、散布圖、直方圖、控制圖；新七種工具，即關(guān)聯(lián)圖、系統(tǒng)圖、矩陣圖、KJ法、計(jì)劃評(píng)審技術(shù)、PDPC法、矩陣數(shù)據(jù)圖。4．評(píng)估改進(jìn)數(shù)據(jù)分析是質(zhì)量管理體系的基礎(chǔ)。組織的管理者應(yīng)在適當(dāng)時(shí)，通過對(duì)以下問題的分析，評(píng)估其有效性：（1）提供決策的信息是否充分、可信，是否存在因信息不足、失準(zhǔn)、滯后而導(dǎo)致決策失誤的問題；（2）信息對(duì)持續(xù)改進(jìn)質(zhì)量管理體系、過程、產(chǎn)品所發(fā)揮的作用是否與期望值一致，是否在產(chǎn)品實(shí)現(xiàn)過程中有效運(yùn)用數(shù)據(jù)分析；（3）收集數(shù)據(jù)的目的是否明確，收集的數(shù)據(jù)是否真實(shí)和充分，信息渠道是否暢通；（4）數(shù)據(jù)分析方法是否合理，是否將風(fēng)險(xiǎn)控制在可接受的范圍；（5）數(shù)據(jù)分析所需資源是否得到保障。典型的數(shù)據(jù)分析可能包含以下三個(gè)步驟：（1）探索性數(shù)據(jù)分析：（2）模型選定分析：（3）推斷分析四、數(shù)據(jù)分析工具數(shù)據(jù)分析已成為21世紀(jì)最受歡迎的技術(shù)之一，由于行業(yè)對(duì)數(shù)據(jù)分析家的需求很高，因此需要具有所需技能的人員才能精通該領(lǐng)域。除了數(shù)學(xué)知識(shí)外，還需要編程專業(yè)知識(shí)。盡管大多數(shù)語言都可以滿足軟件開發(fā)的需求，但數(shù)據(jù)分析編程的不同之處在于它可以幫助用戶對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，分析和生成預(yù)測(cè)。這些以數(shù)據(jù)為中心的編程語言能夠執(zhí)行適合于大數(shù)據(jù)分析特定要求的算法。1．ExcelMicrosoftExcel是微軟辦公套裝軟件的一個(gè)重要的組成部分，是一種用于現(xiàn)代理財(cái)、數(shù)據(jù)分析的流行軟件。2．SmartbiSmartbi是一款商業(yè)智能工具，集數(shù)據(jù)鏈接、數(shù)據(jù)處理、可視化分析展現(xiàn)于一體，除了數(shù)據(jù)分析功能還擁有完善的企業(yè)級(jí)數(shù)據(jù)管控、數(shù)據(jù)分析挖掘等功能。3．SQLSQL被稱為“數(shù)據(jù)分析的關(guān)鍵”，用于從稱為關(guān)系數(shù)據(jù)庫的有組織數(shù)據(jù)源中檢索數(shù)據(jù)的數(shù)據(jù)庫語言。4．Matlab數(shù)據(jù)分析和處理是各種理工學(xué)科應(yīng)用中非常關(guān)鍵、重要的問題。5．R語言對(duì)于面向統(tǒng)計(jì)的任務(wù)，R是理想的語言。6．PythonPython豐富的第三方庫，包括numpy、pandas等為開發(fā)提供便利，處理標(biāo)準(zhǔn)更加規(guī)范。五、數(shù)據(jù)結(jié)果呈現(xiàn)下面介紹常用的數(shù)據(jù)結(jié)果呈現(xiàn)方法。1．列表法將數(shù)據(jù)按一定規(guī)律用列表方式表達(dá)出來，是記錄和處理最常用的方法。2．作圖法作圖法可以最醒目地表達(dá)各個(gè)物理量間的變化關(guān)系。從圖線上可以簡便求出實(shí)驗(yàn)需要的某些結(jié)果，還可以把某些復(fù)雜的函數(shù)關(guān)系，通過一定的變換用圖形表示出來。任務(wù)2Python基礎(chǔ)任務(wù)引入小白是一名數(shù)據(jù)分析師，可以使用的不同的軟件進(jìn)行數(shù)據(jù)分析。公司新接一個(gè)項(xiàng)目，統(tǒng)一要求使用Python，讓小白帶領(lǐng)全組完成。本著團(tuán)隊(duì)協(xié)作的人文精神和嚴(yán)謹(jǐn)?shù)目茖W(xué)精神，小白開始做基本的準(zhǔn)備工作，統(tǒng)一要求進(jìn)行軟件下載安裝、第三方庫的安裝與加載。那么，怎樣才能下載軟件？如何安裝軟件？軟件界面是什么樣的？知識(shí)準(zhǔn)備Python是一門簡單易學(xué)且功能強(qiáng)大的編程語言。它擁有高效的高級(jí)數(shù)據(jù)結(jié)構(gòu)，并且能夠用簡單而又高效的方式進(jìn)行面向?qū)ο缶幊獭Ｒ?、Python簡介Python由荷蘭數(shù)學(xué)和計(jì)算機(jī)科學(xué)研究學(xué)會(huì)的GuidovanRossum于1990年代初設(shè)計(jì)，作為一門叫做ABC語言的替代品。1989年，荷蘭人吉多·范羅蘇姆（GuidovanRossum）為了克服ABC語言非開放的缺點(diǎn)，并受Modula-3的影響，結(jié)合了Unixshell和C的習(xí)慣，開發(fā)了一個(gè)新的腳本解釋程序-Python。自從20世紀(jì)90年代初Python語言誕生至今，它已被逐漸廣泛應(yīng)用于系統(tǒng)管理任務(wù)的處理和Web編程。Python現(xiàn)今已經(jīng)成為最受歡迎的程序設(shè)計(jì)語言之一。1995年，GuidovanRossum在弗吉尼亞州的國家創(chuàng)新研究公司（CNRI）繼續(xù)他在Python上的工作，發(fā)布了該軟件的多個(gè)版本。2000年五月，GuidovanRossum和Python核心開發(fā)團(tuán)隊(duì)轉(zhuǎn)到BeO并組建了BeOpenPythonLabs團(tuán)隊(duì)。同年十月，BeOpenPythonLabs團(tuán)隊(duì)轉(zhuǎn)到DigitalCreations(現(xiàn)為ZopeCorporation)。2001年，Python軟件基金會(huì)(PSF)成立，這是一個(gè)專為擁有Python相關(guān)知識(shí)產(chǎn)權(quán)而創(chuàng)建的非營利組織。2000年10月16日，python發(fā)布了Python2，該系列穩(wěn)定版本是Python2.7。自從2004年以后，python的使用率呈線性增長。2008年12月3日，python發(fā)布了Python3，該版本不兼容Python2。2011年1月，Python3被TIOBE編程語言排行榜評(píng)為2010年度語言。2021年10月4日，Python正式發(fā)布了3.10版本。二、安裝PythonPython是一門解釋性腳本語言，因此要想讓編寫的代碼得以運(yùn)行，需要先安裝Python解釋器。1．Python下載打開Python官方下載頁面/downloads/，如圖1-2所示，向下滑動(dòng)頁面，如圖所示。官網(wǎng)下載界面選擇不同的python版本2．軟件安裝（1）雙擊安裝文件python-3.10.0-amd64.exe，彈出Python3.10.0(64-bit)Setup對(duì)話框中的安裝界面InstallPython3.10.0(64-bit)，下面介紹該界面中的選項(xiàng)。lInstallNow：默認(rèn)安裝且默認(rèn)安裝路徑不能更改（一般默認(rèn)安裝在C盤）。lCustomizeinstallation:自定義安裝。lInstalllauncherforallusers(recommended)：默認(rèn)勾選該復(fù)選框，為所有用戶安裝啟動(dòng)器。lAddPython3.10toPATH:勾選該復(fù)選框，將Python自動(dòng)加到環(huán)境變量中，默認(rèn)未勾選該復(fù)選框。（2）在該界面中勾選“AddPython3.10toPATH”復(fù)選框，如圖所示。

安裝界面安裝錯(cuò)誤信息（3）單擊Next（下一步）按鈕，彈出Python3.10.0(64-bit)Setup對(duì)話框中的選項(xiàng)設(shè)置界面OptionalFeatures，選擇默認(rèn)參數(shù)設(shè)置，如圖所示。Documentation：勾選該復(fù)選框，安裝Python幫助文檔.pip：勾選該復(fù)選框，安裝下載Python的工具pip，pip是現(xiàn)代通用的Python包管理工具，英文全稱是Pythoninstallpackages。td/tkandIDLE：安裝標(biāo)準(zhǔn)庫測(cè)試套件，tkinter和IDLE。pylauncher：安裝Python的發(fā)射器。forallusers（requireselevation）：適用所有用戶。（4）單擊“Next（下一步）”按鈕，進(jìn)入下一個(gè)高級(jí)設(shè)置畫面AdvancedOptions，在“Customizeinstalllocation”文本框更改安裝地址（不建議安裝C盤），其余選擇默認(rèn)設(shè)置，設(shè)置完畢后如圖所示。（5）確定好安裝路徑后，單擊Next（下一步）按鈕，此時(shí)對(duì)話框內(nèi)會(huì)顯示安裝進(jìn)度，如圖所示。（6）安裝結(jié)束后，會(huì)出現(xiàn)一個(gè)Setupwassuccessful（安裝成功）對(duì)話框，如圖所示。3．安裝檢查Python安裝結(jié)束后，需要檢查安裝是否成功。（1）安裝結(jié)束后，在電腦“開始”界面輸入“cmd”打開命令提示符，輸入Python，單擊回車鍵，出現(xiàn)如圖所示的運(yùn)行結(jié)果，表示Python安裝成功。三、Python內(nèi)置函數(shù)Python內(nèi)置函數(shù)分為下面幾大類：2．集合類操作3．邏輯判斷4．反射5．IO操作四、集成庫AnacondaAnaconda是一個(gè)專門用于統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的IDE，它集成了Python和許多基礎(chǔ)的庫，包含NumPy和pandas等庫，直接安裝Anaconda，省去許多復(fù)雜的配置過程。1．安裝Anaconda登陸Anaconda的官網(wǎng)：/products/individual#macos單擊“Download（下載）”按鈕，下載Anaconda3-2021.11-Windows-x86_64.exe文件，如圖1-14所示。

官網(wǎng)下載安裝界面

安裝協(xié)議對(duì)話框

選擇安裝類型對(duì)話框安裝路徑對(duì)話框安裝選項(xiàng)設(shè)置界面

安裝過程界面

安裝完成

安裝信息顯示界面安裝完成界面2．驗(yàn)證安裝結(jié)果安裝完成后，在開始→Anaconda3（64-bit）下顯示安裝后的6個(gè)圖標(biāo)，如圖所示。安裝的程序

啟動(dòng)AnacondaNavigator運(yùn)行程序1．pip工具安裝pip是一個(gè)現(xiàn)代的，通用的Python包管理工具。提供了對(duì)Python包的查找、下載、安裝、卸載的功能，install命令用于安裝包安裝，安裝Python時(shí)已經(jīng)安裝pip工具。（1）安裝NumPy（2）