《Python數(shù)據(jù)分析基礎(chǔ)與案例實(shí)戰(zhàn)》第3章 掌握數(shù)據(jù)的讀取方式

掌握數(shù)據(jù)的讀取方式1讀取文件數(shù)據(jù)目錄讀取數(shù)據(jù)庫數(shù)據(jù)2常見的數(shù)據(jù)儲存媒介有數(shù)據(jù)庫和文件，以下介紹如何讀取數(shù)據(jù)庫數(shù)據(jù)和文件數(shù)據(jù)。在生產(chǎn)環(huán)境中，絕大多數(shù)的數(shù)據(jù)都存儲在數(shù)據(jù)庫中。想要讀取數(shù)據(jù)庫中的數(shù)據(jù)需要先與數(shù)據(jù)庫建立連接。數(shù)據(jù)庫連接是分析工具與數(shù)據(jù)庫之間的通道，只有建立數(shù)據(jù)庫連接后，用戶才能對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行操作。Python也需要與數(shù)據(jù)庫建立連接后才能讀取數(shù)據(jù)庫中的數(shù)據(jù)，一個常用建立連接的方法為通過SQLAlchemy庫并配合相應(yīng)數(shù)據(jù)庫的Python連接工具。讀取數(shù)據(jù)庫數(shù)據(jù)不同的數(shù)據(jù)庫需要選擇對應(yīng)的連接工具，如MySQL數(shù)據(jù)庫需要安裝mysqlclient或pymysql庫，Oracle數(shù)據(jù)庫需要安裝cx_oracle庫。SQLAlchemy庫支持與MySQL、postgresql、Oracle、SQLServer和SQLite等主流數(shù)據(jù)庫建立連接。建立連接時需要提供數(shù)據(jù)庫產(chǎn)品名、連接工具名、用戶名、密碼、數(shù)據(jù)庫IP地址、數(shù)據(jù)庫端口號、數(shù)據(jù)庫名稱。同時還需要注意數(shù)據(jù)庫中使用的數(shù)據(jù)編碼，使用錯誤的編碼會導(dǎo)致亂碼問題。使用SQLAlchemy連接MySQL數(shù)據(jù)庫，與數(shù)據(jù)庫進(jìn)行連接后，可以與數(shù)據(jù)庫進(jìn)行交互，對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行操作。讀取數(shù)據(jù)庫數(shù)據(jù)使用SQLAlchemy連接MySQL數(shù)據(jù)庫，與數(shù)據(jù)庫進(jìn)行連接后，可以與數(shù)據(jù)庫進(jìn)行交互，對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行操作。常見的操作包括讀取、存儲以及增、刪、改、查等，通過pandas庫對數(shù)據(jù)庫進(jìn)行讀取和存儲操作，得到結(jié)果。讀取數(shù)據(jù)庫數(shù)據(jù)1讀取文件數(shù)據(jù)目錄讀取數(shù)據(jù)庫數(shù)據(jù)2另一種常見的數(shù)據(jù)載體是文本文件，文本文件是一種由若干行字符構(gòu)成的計算機(jī)文件，它是一種典型的順序文件。常見的有TXT文件和CSV文件，這兩種文件的主要區(qū)別是TXT文件使用空格分隔，而CSV是一種逗號分隔的文件格式。因?yàn)镃SV文件分隔符不一定是逗號，所以又被稱為字符分隔文件，文件以純文本形式存儲表格數(shù)據(jù)（數(shù)字和文本）。CSV是一種通用、相對簡單的文件格式，最廣泛的應(yīng)用是在程序之間轉(zhuǎn)移表格數(shù)據(jù)，而這些程序本身是在不兼容的格式上進(jìn)行操作的（往往是私有的或無規(guī)范的格式）。讀取文件數(shù)據(jù)因?yàn)榇罅砍绦蚨贾С諧SV或其變體，所以可以作為大多數(shù)程序的輸入和輸出格式。CSV文件根據(jù)其定義也是一種文本文件，在數(shù)據(jù)讀取過程中可以使用文本文件的讀取函數(shù)對CSV文件進(jìn)行讀取。使用read_table和read_csv函數(shù)讀取CSV文件，讀取文件時需要注意編碼問題，常用的編碼有utf-8、utf-16、gbk、gb2312、gb18030等。如果編碼指定錯誤，那么數(shù)據(jù)將無法讀取，IPython解釋器會報解析錯誤。使用不同的參數(shù)讀取二手車售價表，除了TXT文件和CSV文件外，Excel文件也是常見的需要讀取的數(shù)據(jù)文件種類。讀取文件數(shù)據(jù)Excel可以進(jìn)行各種數(shù)據(jù)的處理、統(tǒng)計分析和輔助決策操作，被廣泛地應(yīng)用于管理、統(tǒng)計財經(jīng)和金融等眾多領(lǐng)域。其文件格式依照程序版本的不同分為以下兩種。MicrosoftOfficeExcel2007之前的版本（不包括2007）默認(rèn)保存的文件名后綴為.xls。MicrosoftOfficeExcel2007之后的版本默認(rèn)保存的文件名后綴為.xlsx。通過pandas庫讀取xlsx格式的倫敦自行車租賃表，得到結(jié)果。讀取文件數(shù)據(jù)本章主要對常見的數(shù)據(jù)來源進(jìn)行了簡要的介紹，常見的數(shù)據(jù)來源主要分為直接來源和間接來源兩種。大致描述了交通信息的采集，如交通信息的分類