數(shù)據(jù)分析應(yīng)用項(xiàng)目化教程（Python） 課件 任務(wù)4.3數(shù)據(jù)運(yùn)算

第四章使用pandas進(jìn)行數(shù)據(jù)對(duì)象構(gòu)建和數(shù)據(jù)運(yùn)算

任務(wù)4.3數(shù)據(jù)運(yùn)算

算術(shù)運(yùn)算和自動(dòng)對(duì)齊

布爾運(yùn)算

關(guān)系運(yùn)算

排序運(yùn)算

匯總類統(tǒng)計(jì)

唯一去重和按值計(jì)數(shù)

相關(guān)系數(shù)和協(xié)方差算術(shù)運(yùn)算和自動(dòng)對(duì)齊Series、DataFrame和NumPy數(shù)組一樣，也是向量化運(yùn)算，而且支持大多數(shù)NumPy多維數(shù)組的方法Series、DataFrame和多維數(shù)組運(yùn)算的主要區(qū)別：Series、DataFrame之間的操作會(huì)自動(dòng)基于標(biāo)簽對(duì)齊數(shù)據(jù)，包括行標(biāo)簽和列標(biāo)簽，生成的結(jié)果是列和行標(biāo)簽的并集。因此，不用顧及執(zhí)行計(jì)算操作的Series、DataFrame是否有完全相同的標(biāo)簽。算術(shù)運(yùn)算和自動(dòng)對(duì)齊Series之間運(yùn)算算術(shù)運(yùn)算和自動(dòng)對(duì)齊DataFrame之間運(yùn)算算術(shù)運(yùn)算和自動(dòng)對(duì)齊DataFrame和Series之間運(yùn)算shape不一致，廣播布爾運(yùn)算布爾運(yùn)算可以通過(guò)'與'（&）、'或'（|）、'非'（~）、異或（^）進(jìn)行組合運(yùn)算,（每一個(gè)計(jì)算項(xiàng)一定要加括號(hào)，注意運(yùn)算符的優(yōu)先級(jí)）關(guān)系運(yùn)算關(guān)系運(yùn)算符(><==!=),常使用關(guān)系運(yùn)算和邏輯運(yùn)算結(jié)合選取數(shù)據(jù)根據(jù)關(guān)系運(yùn)算選取的都是整行數(shù)據(jù)形如：df[限制條件1&限制條件2…]或df[限制條件1][限制條件2]在df中選擇b和c同時(shí)大于0的那些行，等價(jià)df[(df.b>0)][(df.c>0)]左圖根據(jù)關(guān)系運(yùn)算選取指定列的數(shù)據(jù)形如：df[限制條件][列]、df[列][限制條件]在df中選擇b列和c列同時(shí)大于0的a和b列右圖

排序運(yùn)算

Pandas支持三種排序方式，按索引標(biāo)簽排序，按列里的值排序，按兩種方式混合排序。Series.sort_values()方法用于按值對(duì)Series排序。DataFrame.sort_values()方法用于按行列的值對(duì)DataFrame排序。DataFrame.sort_values()的可選參數(shù)by用于指定按哪列排序，該參數(shù)的值可以是一列或多列數(shù)據(jù)。Series.sort_index()與DataFrame.sort_index()方法用于按索引層級(jí)對(duì)Pandas對(duì)象排序。匯總類統(tǒng)計(jì)Series與DataFrame支持大量統(tǒng)計(jì)的方法，包括sum()、mean()等聚合函數(shù)，還包括輸出結(jié)果與原始數(shù)據(jù)集同樣大小的cumsum()、cumprod()等函數(shù)。這些方法基本上都接受axis參數(shù)，axis可以用名稱或整數(shù)指定。Pandas的統(tǒng)計(jì)運(yùn)算默認(rèn)忽略缺失值，而Numpy的統(tǒng)計(jì)運(yùn)算遇缺失值結(jié)果為nan。Series：無(wú)需axis參數(shù)DataFrame：index，即axis=0，默認(rèn)值，按列統(tǒng)計(jì)columns,即axis=1，按行統(tǒng)計(jì)唯一值和值計(jì)數(shù)運(yùn)算一般不用于數(shù)值列，而是枚舉、分類列相關(guān)系數(shù)和協(xié)方差對(duì)于兩個(gè)變量X、Y：協(xié)方差：衡量同向反向程度，如果協(xié)方差為正，說(shuō)明X，Y同向變化，協(xié)方差越大說(shuō)明同向程度越高；如果協(xié)方差為負(fù)，說(shuō)明X，Y反向運(yùn)動(dòng)，協(xié)方差越小說(shuō)明反向程度越高。協(xié)方差矩陣：df.cov()相關(guān)系數(shù)：衡量相似度程度，當(dāng)他們的相關(guān)系數(shù)為1時(shí)，說(shuō)明兩個(gè)變量變化時(shí)的正向相似度最大，當(dāng)相關(guān)系數(shù)為－1時(shí)，說(shuō)明兩個(gè)變量變化的反向相似度最大。相關(guān)系數(shù)矩陣：df.corr(兩者關(guān)系：把協(xié)方差歸一化，也就是相關(guān)系數(shù)。相關(guān)系數(shù)消除了協(xié)方差數(shù)值大小的影響。相關(guān)系數(shù)也可以看成協(xié)方差：一種剔除了兩個(gè)變量量綱影響、標(biāo)準(zhǔn)化后的特殊協(xié)方差,它消除了兩個(gè)變量變化幅度的影響，而只是單純反應(yīng)兩個(gè)變量每單位變化時(shí)的相似程度。相關(guān)系數(shù)和協(xié)方差y經(jīng)由函數(shù)構(gòu)造出來(lái)，x和y的相關(guān)系數(shù)應(yīng)該為1。但從實(shí)驗(yàn)結(jié)果可知