Python 數(shù)據(jù)分析與應(yīng)用電子教案 第3章 數(shù)據(jù)處理

第3章數(shù)據(jù)處理一、教學(xué)目標(biāo)讓學(xué)生理解數(shù)據(jù)處理在數(shù)據(jù)分析和數(shù)據(jù)挖掘中的重要性，掌握完整的數(shù)據(jù)處理流程。教授學(xué)生數(shù)據(jù)導(dǎo)入導(dǎo)出的基本操作，包括不同文件類(lèi)型和數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入導(dǎo)出方法。熟悉數(shù)據(jù)清洗技術(shù)，能夠處理缺失值、重復(fù)值等問(wèn)題，確保數(shù)據(jù)的質(zhì)量和一致性。引導(dǎo)學(xué)生利用pandas庫(kù)和NumPy庫(kù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析，包括數(shù)據(jù)訪問(wèn)、清洗、抽取、合并和計(jì)算等操作。通過(guò)實(shí)訓(xùn)項(xiàng)目，提高學(xué)生的數(shù)據(jù)處理實(shí)踐能力，加深對(duì)Python數(shù)據(jù)處理技術(shù)的理解和應(yīng)用。二、教學(xué)內(nèi)容3.1數(shù)據(jù)導(dǎo)入導(dǎo)出文件導(dǎo)入和導(dǎo)出：介紹CSV、Excel等文件的導(dǎo)入導(dǎo)出方法，使用pandas庫(kù)的read_csv()、read_excel()、to_csv()、to_excel()等函數(shù)。數(shù)據(jù)庫(kù)導(dǎo)入和導(dǎo)出：概述數(shù)據(jù)從一個(gè)數(shù)據(jù)庫(kù)導(dǎo)入另一個(gè)數(shù)據(jù)庫(kù)或從數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)的過(guò)程，涉及數(shù)據(jù)格式轉(zhuǎn)換和加載。網(wǎng)頁(yè)數(shù)據(jù)導(dǎo)入和導(dǎo)出：簡(jiǎn)要介紹網(wǎng)頁(yè)數(shù)據(jù)導(dǎo)入導(dǎo)出的應(yīng)用場(chǎng)景，如網(wǎng)頁(yè)爬取、數(shù)據(jù)采集等，具體操作將在后續(xù)章節(jié)展開(kāi)。3.2數(shù)據(jù)清洗數(shù)據(jù)排序：使用pandas的sort_values()方法對(duì)數(shù)據(jù)進(jìn)行升序和降序排列。重復(fù)數(shù)據(jù)處理：使用duplicated()函數(shù)標(biāo)識(shí)重復(fù)行，使用drop_duplicates()函數(shù)刪除重復(fù)行。缺失值處理：使用isnull()方法查找缺失值，使用dropna()方法刪除缺失值行，使用fillna()方法填充缺失值。3.3數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)類(lèi)型查看：介紹使用type()函數(shù)、isinstance()函數(shù)、__class__屬性和type()函數(shù)結(jié)合__name__屬性查看數(shù)據(jù)類(lèi)型的方法。數(shù)值與字符串轉(zhuǎn)換：使用str()函數(shù)將數(shù)值轉(zhuǎn)換為字符串，使用int()或float()函數(shù)將字符串轉(zhuǎn)換為數(shù)值。字符串與日期時(shí)間對(duì)象轉(zhuǎn)換：使用datetime.strptime()函數(shù)將字符串轉(zhuǎn)換為日期時(shí)間對(duì)象，使用strftime()函數(shù)將日期時(shí)間對(duì)象轉(zhuǎn)換為字符串。3.4數(shù)據(jù)抽取字符串拆分：使用字符串的split()方法和正則表達(dá)式模塊re進(jìn)行字符串拆分。記錄抽?。航榻B將抽取的記錄寫(xiě)入文件和存儲(chǔ)到數(shù)據(jù)框的方法，使用文件操作和pandas庫(kù)的to_csv()函數(shù)。3.5數(shù)據(jù)合并記錄合并：使用pandas的merge()函數(shù)、concat()函數(shù)和join()方法進(jìn)行記錄合并，包括內(nèi)連接、行拼接等。字段合并：使用字符串連接操作和字符串格式化合并字段，介紹使用字符串方法和正則表達(dá)式進(jìn)行復(fù)雜字段合并。字段匹配：使用merge()函數(shù)和merge_asof()函數(shù)進(jìn)行字段匹配和字段模糊匹配。3.6數(shù)據(jù)計(jì)算簡(jiǎn)單計(jì)算：使用Python基本運(yùn)算符和內(nèi)置數(shù)學(xué)函數(shù)進(jìn)行數(shù)值計(jì)算。時(shí)間計(jì)算：使用datetime模塊和pandas庫(kù)進(jìn)行時(shí)間計(jì)算，包括時(shí)間加減、時(shí)間差計(jì)算等。數(shù)據(jù)分組：使用pandas的groupby()函數(shù)對(duì)數(shù)據(jù)進(jìn)行分組，并計(jì)算每個(gè)分組的統(tǒng)計(jì)值。3.7應(yīng)用實(shí)例——電影票房統(tǒng)計(jì)之?dāng)?shù)據(jù)處理數(shù)據(jù)收集：介紹獲取電影票房數(shù)據(jù)的途徑和內(nèi)容，包括票房收入、排片情況、觀眾反饋和地域分布等。數(shù)據(jù)清洗和轉(zhuǎn)換：演示如何對(duì)票房數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，包括刪除多余字符、轉(zhuǎn)換數(shù)據(jù)類(lèi)型、抽取年份和月份等，并將清洗后的數(shù)據(jù)輸出為Excel文件。三、課后實(shí)訓(xùn)實(shí)訓(xùn)項(xiàng)目1：數(shù)據(jù)導(dǎo)入導(dǎo)出操作導(dǎo)入CSV和Excel文件：使用pandas庫(kù)讀取CSV和Excel文件中的數(shù)據(jù)，并輸出查看。導(dǎo)出數(shù)據(jù)到CSV和Excel文件：將處理后的數(shù)據(jù)導(dǎo)出為CSV和Excel文件，指定編碼和是否保留索引。實(shí)訓(xùn)項(xiàng)目2：數(shù)據(jù)清洗實(shí)踐重復(fù)數(shù)據(jù)處理：創(chuàng)建一個(gè)包含重復(fù)數(shù)據(jù)的DataFrame，使用duplicated()和drop_duplicates()函數(shù)識(shí)別和刪除重復(fù)行。缺失值處理：創(chuàng)建一個(gè)包含缺失值的DataFrame，使用isnull()、dropna()和fillna()方法查找、刪除和填充缺失值。實(shí)訓(xùn)項(xiàng)目3：數(shù)據(jù)轉(zhuǎn)換應(yīng)用類(lèi)型轉(zhuǎn)換：定義不同類(lèi)型的變量，使用type()、isinstance()、__class__屬性和type()結(jié)合__name__屬性查看變量類(lèi)型。字符串與數(shù)值轉(zhuǎn)換：將數(shù)值變量轉(zhuǎn)換為字符串，將字符串變量轉(zhuǎn)換為整數(shù)或浮點(diǎn)數(shù)。日期時(shí)間轉(zhuǎn)換：將日期時(shí)間字符串轉(zhuǎn)換為日期時(shí)間對(duì)象，將日期時(shí)間對(duì)象轉(zhuǎn)換為指定格式的字符串。實(shí)訓(xùn)項(xiàng)目4：數(shù)據(jù)抽取與合并字符串拆分與記錄抽?。菏褂胹plit()方法和正則表達(dá)式拆分字符串，將拆分后的數(shù)據(jù)存儲(chǔ)到列表或數(shù)據(jù)框中。數(shù)據(jù)合并操作：使用merge()、concat()和join()方法對(duì)多個(gè)數(shù)據(jù)框進(jìn)行合并，實(shí)現(xiàn)不同數(shù)據(jù)集的整合。實(shí)訓(xùn)項(xiàng)目5：電影票房數(shù)據(jù)分析票房數(shù)據(jù)收集與導(dǎo)入：從貓眼網(wǎng)站下載各年度、月份的總票房情況，導(dǎo)入到Python中進(jìn)行處理。數(shù)據(jù)清洗與轉(zhuǎn)換：