財務(wù)大數(shù)據(jù)分析與可視化課件 項目4 數(shù)據(jù)獲取

數(shù)據(jù)獲取與整理項目四添加標題在此PART01添加相關(guān)標題文字添加相關(guān)標題文字相關(guān)標題文字學(xué)習(xí)目標汪剛制作添加相關(guān)標題文字添加相關(guān)標題文字相關(guān)標題文字項目導(dǎo)圖汪剛制作情境案例本項目案例數(shù)據(jù)比較分散；本項目案例數(shù)據(jù)的類型包括：EXCEL文件格式、文本文件格式、數(shù)據(jù)庫（mdb）文件格式、文件夾格式。本項目案例數(shù)據(jù)原型：某連鎖店銷售數(shù)據(jù)；空氣質(zhì)量檢測數(shù)據(jù)；某市年度財政收入數(shù)據(jù)；某公司ERP系統(tǒng)中的財務(wù)數(shù)據(jù)；融智財經(jīng)大數(shù)據(jù)平臺數(shù)據(jù)；淘寶某店鋪的日訪問量和日銷售數(shù)據(jù)；某健身會所的會員信息；某電子公司產(chǎn)品銷售數(shù)據(jù)；某公司會議邀請信息和參會信息數(shù)據(jù)；汪剛制作1區(qū)分一維表和二維表2數(shù)據(jù)獲取3數(shù)據(jù)整理主目錄汪剛制作區(qū)分一維表和二維表任務(wù)一汪剛制作任務(wù)一區(qū)分一維表和二維表清單型表格，是按照一定的順序，清晰明了地保存最原始數(shù)據(jù)的表格；分為：一維表和二維表；一維表就是簡單的字段、記錄的羅列；二維表，則從ニ個維度來描述記錄屬性，并且兩個字段屬性存在一定關(guān)系；在數(shù)據(jù)分析過程中，請盡量使用一維表；將二維表處理成一維表的方式：第一種方式：在PowerBI中利用“逆透視列”功能將二維表迅速轉(zhuǎn)換為一維表；第二種方式，在EXCEL中利用數(shù)據(jù)透視表中多重數(shù)據(jù)透視功能進行處理；汪剛制作數(shù)據(jù)獲取任務(wù)二汪剛制作子任務(wù)一從文件導(dǎo)入Excel文件：該種文件格式最為常見；文本文件：是指以ASCII碼方式(也稱文本方式)存儲的文件。比如英文字母、數(shù)字等字符。CSV文件：用逗號作為分隔符（Comma-SeparatedValues，CSV，有時也稱為字符分隔值，因為分隔字符也可以不是逗號）的文件，其文件以純文本形式存儲表格數(shù)據(jù)（數(shù)字和文本）。XML（eXtensibleMarkupLanguage）：可擴展標記語言，它非常適合萬維網(wǎng)傳輸，提供統(tǒng)一的方法來描述和交換獨立于應(yīng)用程序或供應(yīng)商的結(jié)構(gòu)化數(shù)據(jù)。JSON(JavaScriptObjectNotation,JS對象簡譜)：是一種輕量級的數(shù)據(jù)交換格式。它基于ECMAScript(歐洲計算機協(xié)會制定的js規(guī)范)的一個子集，采用完全獨立于編程語言的文本格式來存儲和表示數(shù)據(jù)。PDF（PortableDocumentFormat的簡稱，意為“便攜式文檔格式”）：是由AdobeSystems用于與應(yīng)用程序、操作系統(tǒng)、硬件無關(guān)的方式進行文件交換所發(fā)展出的文件格式。汪剛制作汪剛制作子任務(wù)一從文件導(dǎo)入32145子任務(wù)二從文件夾導(dǎo)入需要匯總一些業(yè)務(wù)或經(jīng)營數(shù)據(jù)，采用文件夾導(dǎo)入然后匯總；本案例：文件夾下共有北京市、天津市、上海市、重慶市4個直轄市的年度財政收入數(shù)據(jù)，分別存放在4個Excel工作簿中；123456汪剛制作子任務(wù)三從數(shù)據(jù)庫導(dǎo)入關(guān)系型數(shù)據(jù)庫：Access、SQLServer、MySQL、Oracle、SAPHANA、SAPBW本案例：Access數(shù)據(jù)庫文件，為從某公司ERP系統(tǒng)中獲取的財務(wù)數(shù)據(jù)；123456汪剛制作子任務(wù)四從網(wǎng)站查詢導(dǎo)入從網(wǎng)頁直接提取數(shù)據(jù)；/febd/?username=rzgc-pbi本案例：融智財經(jīng)大數(shù)據(jù)平臺的滬深A(yù)股上市公司信息首頁看板數(shù)據(jù)；12345汪剛制作子任務(wù)五從其他數(shù)據(jù)源導(dǎo)入從Spark、Hadoop文件（HDFS）、R腳本、Python腳本等更多數(shù)據(jù)源獲取數(shù)據(jù)；汪剛制作子任務(wù)六重新設(shè)定數(shù)據(jù)源當把已經(jīng)設(shè)定數(shù)據(jù)源的文件移動時（如發(fā)送給其他人員查詢、編輯，購書用戶下載演示文件后打開等情形），因設(shè)定數(shù)據(jù)源文件絕對路徑發(fā)生變化，就需要重新設(shè)定數(shù)據(jù)源；命令：主頁

轉(zhuǎn)換數(shù)據(jù)

數(shù)據(jù)源設(shè)置汪剛制作數(shù)據(jù)整理任務(wù)三汪剛制作任務(wù)三數(shù)據(jù)整理數(shù)據(jù)整理也叫數(shù)據(jù)處理、數(shù)據(jù)清洗；通過查詢編輯器PowerQuery對數(shù)據(jù)進行整理和清洗;包括：類型轉(zhuǎn)換、拆分、提取、歸并等操作；汪剛制作子任務(wù)一查詢編輯器和M語言1.查詢編輯器查詢編輯器PowerQuery：當需要對數(shù)據(jù)進行整理和清洗時，系統(tǒng)就會打開它；命令：主頁

轉(zhuǎn)換數(shù)據(jù)

轉(zhuǎn)換數(shù)據(jù)；汪剛制作子任務(wù)一查詢編輯器和M語言2.M語言在查詢編輯器窗口，通過鼠標進行的每一步操作，后臺都會記錄下來并生成M語言代碼；執(zhí)行“主頁

高級編輯器”命令，可查看自動生成的M語言代碼；對于初學(xué)用戶來說，不建議使用M語言代碼；汪剛制作子任務(wù)二數(shù)據(jù)的行、列操作和篩選1、數(shù)據(jù)的行操作汪剛制作子任務(wù)二數(shù)據(jù)的行、列操作和篩選（1）刪除行、首行升為列標題【任務(wù)要求】刪除表中不需要的行，并將刪除行后的表格首行提升為列標題【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\6-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為2013—2022國家財政收入年度數(shù)據(jù)。12345汪剛制作子任務(wù)二數(shù)據(jù)的行、列操作和篩選（2）刪除錯誤行

【任務(wù)要求】刪除表中的錯誤行【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\7-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為淘寶某店鋪的日訪問量和日銷售數(shù)據(jù)。123汪剛制作子任務(wù)二數(shù)據(jù)的行、列操作和篩選（3）刪除重復(fù)值

【任務(wù)要求】刪除表中的重復(fù)項【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\8-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某連鎖店的銷售數(shù)據(jù)，需要將客戶的最大訂單銷售額保留在查詢表中。123汪剛制作子任務(wù)二數(shù)據(jù)的行、列操作和篩選2、數(shù)據(jù)的列操作選擇列可以通過選擇的方式將需要的列保留在查詢編輯器中；刪除列可以刪除選中的列或刪除選中列以外的列；【任務(wù)要求】刪除表中2013~2017年年度數(shù)據(jù)【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\9-數(shù)據(jù)整理.xlsx，此案例為2013-2022國家財政收入年度數(shù)據(jù)1汪剛制作子任務(wù)二數(shù)據(jù)的行、列操作和篩選3、數(shù)據(jù)的篩選操作實質(zhì)上是行操作；【任務(wù)要求】刪除表中不需要的數(shù)據(jù)行【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\10-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為2013-2022國家財政收入年度數(shù)據(jù)。123汪剛制作子任務(wù)三數(shù)據(jù)類型的轉(zhuǎn)換數(shù)據(jù)類型：數(shù)值類型、日期時間類型、文本類型、其他類型等；導(dǎo)入查詢編輯器中的數(shù)據(jù)類型與源表相比經(jīng)常會發(fā)生變化；【任務(wù)要求】將年度、月份字段數(shù)據(jù)恢復(fù)成源表中的文本型數(shù)據(jù)?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\11-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為2024年1月份的日期表數(shù)據(jù)。1234汪剛制作子任務(wù)四數(shù)據(jù)格式的轉(zhuǎn)換汪剛制作子任務(wù)四數(shù)據(jù)格式的轉(zhuǎn)換【任務(wù)要求】刪除表中不正確的格式【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\12-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所會員信息。表中黃色標出的為不正確的格式：（1）中文名字前后有空格；（2）中文名字中有多行回車符；（3）英文姓氏都為大寫（4）出生年份字段中存在多余的“年”字21345678汪剛制作子任務(wù)五數(shù)據(jù)的拆分、提取和合并1、數(shù)據(jù)的拆分汪剛制作子任務(wù)五數(shù)據(jù)的拆分、提取和合并1、數(shù)據(jù)的拆分【任務(wù)要求】將表中的中文名字字段拆分成姓和名兩個字段。【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\13-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所的會員信息。213456汪剛制作子任務(wù)五數(shù)據(jù)的拆分、提取和合并2、數(shù)據(jù)的提取汪剛制作子任務(wù)五數(shù)據(jù)的拆分、提取和合并2、數(shù)據(jù)的提取【任務(wù)要求】從表中的身份證號碼字段中提取出生年份信息?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\14-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所的會員信息。123456汪剛制作子任務(wù)五數(shù)據(jù)的拆分、提取和合并3、數(shù)據(jù)的合并數(shù)據(jù)的合并是將選中的多列數(shù)據(jù)合并到一列中；“轉(zhuǎn)換”菜單的合并列后，原列刪除；“添加列”菜單的合并列后，原列保留；

【任務(wù)要求】將表中的英文姓名合并成一列，并把原列刪除。【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\15-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所的會員信息。123汪剛制作子任務(wù)六數(shù)據(jù)的轉(zhuǎn)置和反轉(zhuǎn)1、數(shù)據(jù)的轉(zhuǎn)置數(shù)據(jù)的轉(zhuǎn)置實現(xiàn)數(shù)據(jù)的行列互換；【任務(wù)要求】將表中的數(shù)據(jù)進行列互換。【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\16-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司各月的銷售數(shù)據(jù)。1汪剛制作2子任務(wù)六數(shù)據(jù)的轉(zhuǎn)置和反轉(zhuǎn)2、數(shù)據(jù)的反轉(zhuǎn)反轉(zhuǎn)行，將行的順序顛倒；【任務(wù)要求】從數(shù)據(jù)表進行反轉(zhuǎn)行操作?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\17-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司各月的銷售數(shù)據(jù)。123汪剛制作子任務(wù)七數(shù)據(jù)的透視和逆透視1、數(shù)據(jù)的透視透視列可以將一維表轉(zhuǎn)換成二維表；【任務(wù)要求】將一維表透視成二維表?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\18-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司四種產(chǎn)品各月的銷售數(shù)據(jù)。1234汪剛制作子任務(wù)七數(shù)據(jù)的透視和逆透視2、數(shù)據(jù)的逆透視逆透視可以將二維表轉(zhuǎn)換成一維表；【任務(wù)要求】將二維表透視成一維表?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\19-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司四種產(chǎn)品各月的銷售數(shù)據(jù)231汪剛制作子任務(wù)八數(shù)據(jù)的分組依據(jù)分組依據(jù)類似于Excel中分類匯總功能；分組依據(jù)不僅有數(shù)據(jù)清洗，也具備了一定的數(shù)據(jù)分析功能；【任務(wù)要求】按客戶名稱統(tǒng)計各客戶的銷售總額?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\20-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司的產(chǎn)品銷售數(shù)據(jù)。1234汪剛制作子任務(wù)九添加列汪剛制作子任務(wù)九添加列【任務(wù)要求】對月份字段創(chuàng)建索引列，對月份字段排序時按照索引序號作為排序依據(jù)?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\21-數(shù)據(jù)整理.xlsx此案例數(shù)據(jù)原型為常用維度表日期表數(shù)據(jù)。月份默認的排序依據(jù)為：10月、11月、12月、1月、2月、3月、4月、5月、6月、7月、8月、9月；通過設(shè)置索引列，可將其按正常順序排序：1月、2月、3月、4月、5月、6月、7月、8月、9月、10月、11月、12月。123汪剛制作子任務(wù)十日期和時間的整理汪剛制作子任務(wù)十日期和時間的整理【任務(wù)要求】提取日期字段中的年、月、季度和星期幾信息，并添加到新建列中?！救蝿?wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\22-數(shù)據(jù)整理.xlsx

此案例數(shù)據(jù)原型為某日期表數(shù)據(jù)，根據(jù)日期表中的日期構(gòu)建年、月、日、星期幾等字段列。123汪剛制作子任務(wù)十一數(shù)據(jù)的基本運算汪剛制作子任務(wù)十一數(shù)據(jù)的基本運算【任務(wù)要求】數(shù)據(jù)的基本數(shù)學(xué)運算。【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\23-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司產(chǎn)品定價數(shù)據(jù)。12346758汪剛制作子任務(wù)十二數(shù)據(jù)的組合1、數(shù)據(jù)的追加查詢追加查詢是表與表之間的縱向組合；【任務(wù)要求】將兩張表做追加查詢。【任務(wù)數(shù)據(jù)】案例數(shù)據(jù)\項目4\24-數(shù)據(jù)整理.xlsx此案例數(shù)據(jù)原型為某電子公司產(chǎn)品銷售數(shù)據(jù)。表sheet1包含訂單編號、金額、客戶名稱3個字段，6條記錄；表sheet2包含訂單編號、客戶名稱、客戶省份、金額4個字段,5條記錄。12345汪剛制作子任務(wù)十二數(shù)據(jù)的組合2、數(shù)據(jù)的合并查詢合