pandas學(xué)習(xí)之txt與sql文件的基本操作指南

第pandas學(xué)習(xí)之txt與sql文件的基本操作指南目錄前言1.導(dǎo)入txt文件2.導(dǎo)入sql文件2.1安裝依賴庫(kù)pymysql3.小結(jié)總結(jié)

前言

Pandas是python的一個(gè)數(shù)據(jù)分析包，是基于NumPy的一種工具提供了大量數(shù)據(jù)結(jié)構(gòu)和函數(shù)，可以很方便的處理結(jié)構(gòu)化數(shù)據(jù)，常見(jiàn)數(shù)據(jù)結(jié)構(gòu)有：

Series：一維數(shù)組，與Numpy中的一維array類似。

DataFrame：二維的表格型數(shù)據(jù)結(jié)構(gòu)，可以將DataFrame理解為Series的容器

Time-Series：以時(shí)間為索引的Series

Panel：三維的數(shù)組，可以理解為DataFrame的容器

1.導(dǎo)入txt文件

本文所使用到的test.txt的內(nèi)容如下：

使用read_table()方法導(dǎo)入txt文件

importpandasaspd

df=pd.read_table(r'C:\Users\admin\Desktop\test.txt')

print(df)

result:

我是李華。今天本來(lái)留下班里十幾個(gè)人做大掃除結(jié)果他們都跑了，只留下了我一個(gè)人干完了所有活?；丶业穆飞险娌磺捎窒铝擞?，

0雨太大把我自行車前輪胎上的輻條都沖走了，我非常生氣。為了報(bào)復(fù)今天發(fā)生的一切，我騎著鋼圈回到...

1并把教室里的椅子都扔了出去。

該方法是將利用分隔符分開(kāi)的文件導(dǎo)入DataFrame的通用函數(shù)。不僅可以導(dǎo)入.txt文件，也可以導(dǎo)入.csv文件。

df=pd.read_table(r'C:\Users\admin\Desktop\中文\數(shù)據(jù)分析測(cè)試表.csv')

print(df)

result:

區(qū)域,省份,城市

0東北,遼寧,大連

1西北,陜西,西安

2華南,廣東,深圳

3華北,北京,北京

4華中,湖北,武漢

read_table()方法的其他參數(shù)用法和read_csv()方法基本一致，再此不再贅述。

2.導(dǎo)入sql文件

2.1安裝依賴庫(kù)pymysql

python連接MySQL要用到pymysql，需要手動(dòng)進(jìn)行安裝。

importpandasaspd

importpymysql

con=pymysql.connect(host='127.0.0.1',#數(shù)據(jù)庫(kù)地址，本機(jī)為127.0.0.1或localhost

user='root',#用戶名

password='123456',#密碼

db='test',#數(shù)據(jù)庫(kù)名

charset='utf-8')#數(shù)據(jù)庫(kù)編碼，一般為utf-8

sql="select*fromemployees"

df=pd.read_sql(sql,con)

print(df)

此時(shí)報(bào)錯(cuò)

修改charset='utf8'后錯(cuò)誤解決：

con=pymysql.connect(host='127.0.0.1',#數(shù)據(jù)庫(kù)地址，本機(jī)為127.0.0.1或localhost

user='root',#用戶名

password='123456',#密碼

db='test',#數(shù)據(jù)庫(kù)名

charset='utf8')#數(shù)據(jù)庫(kù)編碼，一般為utf-8

sql="select*fromemployees"

df=pd.read_sql(sql,con)

print(df)

result:

eIDNAMEsexbirthjobsfirJobhiredate

01張三男1990-06-21教師2005-06-202009-08-26

12魯懷德男2004-06-29工人2025-08-012025-01-06

23趙燕妮女1994-07-06售貨員2004-09-212025-05-23

這里提供數(shù)據(jù)庫(kù)查詢結(jié)果作為比對(duì)：

注:python使用pymysql與MySQL交互時(shí)，編碼方式只能寫成utf8,不要習(xí)慣性地寫成utf-8

3.小結(jié)

導(dǎo)入數(shù)據(jù)主要用到pandas里的read_x()方法，x表示待導(dǎo)入文件的格式

除了之前介紹的導(dǎo)入.xlsx文件的read_excel(),導(dǎo)入.csv文件的read_csv(),導(dǎo)入txt的read_table(),導(dǎo)入sql文件的read_sql()之外，

還有一些其他方法在此列出。這些使用到的不多，在此不做深入說(shuō)明,。后面如有使用到再進(jìn)行更新。

pd.read_xml()

pd.read_