Python金融數(shù)據(jù)分析與挖掘（微課版） 課件 3-3.外部文件讀取

第3章

數(shù)據(jù)處理包PandasExcel數(shù)據(jù)文件讀取TXT數(shù)據(jù)文件讀取CSV數(shù)據(jù)文件讀取Excel文件讀取第3章

通過read_excel()函數(shù)讀取Excel文件數(shù)據(jù)，可以讀取指定的工作簿（sheet），也可以設(shè)置讀取有無表頭的數(shù)據(jù)表。path='一、車次上車人數(shù)統(tǒng)計(jì)表.xlsx';data=pd.read_excel(path);Excel文件讀取第3章

讀取文件中Sheet2里的數(shù)據(jù)data=pd.read_excel(path,'Sheet2')#讀取sheet里面的數(shù)據(jù)Excel文件讀取第3章

有時(shí)候數(shù)據(jù)表中沒有設(shè)置字段，即無表頭，讀取格式如下：dta=pd.read_excel('dta.xlsx',header=None)#無表頭TXT文件讀取第3章

通過read_table()函數(shù)可以讀取TXT文本數(shù)據(jù)。需要注意的是，TXT文本數(shù)據(jù)列之間會(huì)存在特殊字符作為分隔，常見的有Tab鍵、空格和逗號。同時(shí)還需注意有些文本數(shù)據(jù)文件是沒有設(shè)置表頭的。importpandasaspddta1=pd.read_table('txt1.txt',header=None)#分隔默認(rèn)為Tab鍵，設(shè)置無表頭。TXT文件讀取第3章

dta2=pd.read_table('txt2.txt',sep='\s+')#分隔為空格，帶表頭TXT文件讀取第3章dta3=pd.read_table('txt3.txt',sep=',',header=None)

#分隔為逗號，設(shè)置無表頭CSV文件讀取第3章CSV文件也是一類廣泛使用的外部數(shù)據(jù)文件，對于一般的CSV數(shù)據(jù)文件可以通過read_csv()函數(shù)讀取。importpandasaspdA=pd.read_csv('data.csv',sep=',');#逗號分隔CSV文件讀取第3章CSV文件可以存儲(chǔ)大規(guī)模的數(shù)據(jù)文件，比如單個(gè)數(shù)據(jù)文件大小可達(dá)數(shù)GB、數(shù)十GB，這時(shí)候可以采用分塊的方式進(jìn)行讀取。importpandasaspdreader=pd.read_csv('data.csv',sep=',',chunksize=50000,usecols=[3,4,10])k=0forAinreader:k=k+1print('第'+str(k)+'次讀取數(shù)據(jù)規(guī)模為：',len(A))執(zhí)行結(jié)果如下：第1次讀取數(shù)據(jù)規(guī)模為：50000第2次讀取數(shù)據(jù)規(guī)模為：50000第3次讀取數(shù)據(jù)規(guī)模為：33699CSV文件讀取第3章對大規(guī)模的CSV文件進(jìn)行數(shù)據(jù)探索，可以讀取前N行進(jìn)行分析，比如前1000行importpandasaspdA=pd.read_csv('data.csv',sep=',',nrows=1000)小結(jié)：通過pandas包中的函數(shù)，讀取Excel、T