商務(wù)智能與數(shù)據(jù)可視化分析基礎(chǔ) 課件 第4章

第4章數(shù)據(jù)預(yù)處理之PowerBI篇商務(wù)智能與數(shù)據(jù)可視化分析基礎(chǔ)1本章內(nèi)容PowerBIDesktop的主頁與抓取網(wǎng)頁數(shù)據(jù)PowerBIDesktop的主頁

分析網(wǎng)址結(jié)構(gòu)采集第一頁的數(shù)據(jù)設(shè)置頁碼參數(shù)批量調(diào)用頁碼函數(shù)PowerBI數(shù)據(jù)預(yù)處理數(shù)據(jù)導(dǎo)入數(shù)據(jù)填充與篩選添加列數(shù)據(jù)的追加與合并查詢201PowerBIDesktop的主頁與抓取網(wǎng)頁數(shù)據(jù)數(shù)據(jù)預(yù)處理之PowerBI篇PowerBIDesktop的主頁P(yáng)owerBI抓取網(wǎng)頁數(shù)據(jù)分析網(wǎng)址結(jié)構(gòu)采集第一頁的數(shù)據(jù)設(shè)置頁碼參數(shù)批量調(diào)用頁碼函數(shù)PowerBIDesktop主頁的布局與Excel類似，上方是各種功能的選項(xiàng)卡，右側(cè)是一些PowerBI自帶的可視化對象，單擊即可方便地調(diào)用。1.1PowerBIDesktop主頁31.2PowerBI抓取網(wǎng)頁數(shù)據(jù)4分析網(wǎng)址結(jié)構(gòu)使用鼠標(biāo)將頁面滾動到最下方，找到顯示的頁碼，分別單擊“第2頁”、“第3頁”和“第4頁”按鈕，觀察網(wǎng)址變化。觀察網(wǎng)址，可知“pg”后面的一個數(shù)字就是頁碼ID，是控制分頁數(shù)據(jù)的變量。為了進(jìn)一步確認(rèn)，將網(wǎng)址中的“pg”后面的數(shù)字改為“1”，按回車鍵后確實(shí)能返到第一頁。1.3PowerBI抓取網(wǎng)頁數(shù)據(jù)5采集第一頁的數(shù)據(jù)打開PowerBIDesktop，依次選擇“主頁”→“獲取數(shù)據(jù)”→“Web”選項(xiàng)。1.4PowerBI抓取網(wǎng)頁數(shù)據(jù)6從彈出的對話框中選中“高級”單選按鈕，將之前分析的網(wǎng)址中的除頁碼ID外的網(wǎng)址輸入“URL部分”的第一行輸入框中，將“1”輸入第二行輸入框中，將“rs上海/”輸入第三行輸入框中。1.5PowerBI抓取網(wǎng)頁數(shù)據(jù)7在“URL預(yù)覽”輸入框中可以看到，上面設(shè)置的三行的網(wǎng)址已經(jīng)自動合并到一起，在“URL部分”中分開輸入只是為了更清晰地區(qū)分頁碼變量。單擊“確定”按鈕后，使用“匿名”方式訪問。1.6PowerBI抓取網(wǎng)頁數(shù)據(jù)8單擊“連接”按鈕，等待運(yùn)行一段時間后，自動進(jìn)入“導(dǎo)航器”對話框，該對話框的左側(cè)出現(xiàn)很多表。在對話框左側(cè)的表中勾選某個表的復(fù)選框，在對話框右側(cè)“表視圖”區(qū)域中會顯示其對應(yīng)的數(shù)據(jù)。例如，勾選“表4”復(fù)選框，在右側(cè)“表視圖”區(qū)域中會顯示“表4”的數(shù)據(jù)。1.7PowerBI抓取網(wǎng)頁數(shù)據(jù)9單擊“轉(zhuǎn)換數(shù)據(jù)”按鈕，等待運(yùn)行一段時間后，進(jìn)入“PowerQuery編輯器”界面的數(shù)據(jù)展示。1.8PowerBI抓取網(wǎng)頁數(shù)據(jù)10設(shè)置頁碼參數(shù)在“PowerQuery編輯器”界面中，選擇“高級編輯器”選項(xiàng)。1.9PowerBI抓取網(wǎng)頁數(shù)據(jù)11在彈出的“高級編輯器”窗口中，在“l(fā)et”的上一行輸入“(pasnumber)astable=>”，并在“l(fā)et”的下一行的網(wǎng)址中，將“&”后面的“1”改為“Number.ToText(p)”。更改后為“源=Web.BrowserContents(”/ershoufang/pg“&Number.ToText(p)&”rs上海/“)”。1.10PowerBI抓取網(wǎng)頁數(shù)據(jù)12完成上述操作以后，剛才第一頁數(shù)據(jù)的查詢窗口變成了自定義函數(shù)的輸入?yún)?shù)窗口，表格也變成了函數(shù)的樣式。點(diǎn)擊【完成】按鈕后，可得到一個可以調(diào)用的函數(shù)窗口，在“輸入?yún)?shù)”p下面的輸入框，輸入“5”，點(diǎn)擊【調(diào)用】按鈕。1.11PowerBI抓取網(wǎng)頁數(shù)據(jù)13至此完成了自定義函數(shù)設(shè)定，p是該函數(shù)的變量，用來控制頁碼，隨便輸入一個數(shù)字，如：5，將抓取第5頁的數(shù)據(jù)。1.12PowerBI抓取網(wǎng)頁數(shù)據(jù)14

批量調(diào)用頁碼函數(shù)輸入一次參數(shù)只能抓取一個網(wǎng)頁中的數(shù)據(jù)，如果想批量抓取網(wǎng)頁中的數(shù)據(jù)，則還需要批量調(diào)用該函數(shù)，因此需要執(zhí)行以下步驟。選擇“主頁”→“新建源”→“空查詢”選項(xiàng)，建立一個數(shù)字序列。例如，如果想抓取前10頁的數(shù)據(jù)，需要建立從1到10的序列，在空查詢中輸入“={1..10}”，按回車鍵后，建立從1到10的數(shù)字序列。1.13PowerBI抓取網(wǎng)頁數(shù)據(jù)15

批量調(diào)用頁碼函數(shù)單擊“轉(zhuǎn)換”→“到表”按鈕。在彈出的“到表”對話框中，設(shè)置“如何處理附加列”為“顯示為錯誤”，并單擊“確定”按鈕。1.14PowerBI抓取網(wǎng)頁數(shù)據(jù)16

批量調(diào)用頁碼函數(shù)在“PowerQuery編輯器”界面中，單擊“添加列”→“調(diào)用自定義函數(shù)”按鈕在彈出的“調(diào)用自定義函數(shù)”對話框中，在“新列名”輸入框中輸入“表4”，設(shè)置“功能查詢”為“表4”，設(shè)置“p”為“Column1”。1.15PowerBI抓取網(wǎng)頁數(shù)據(jù)17

批量調(diào)用頁碼函數(shù)在單擊“確定”按鈕后，就開始批量抓取網(wǎng)頁了，抓取10頁的數(shù)據(jù)耗時大約幾十秒，返回?cái)?shù)據(jù)抓取結(jié)果。單擊對話框右上角的，選中“展開”單選按鈕，展開該表格。1.16PowerBI抓取網(wǎng)頁數(shù)據(jù)18

批量調(diào)用頁碼函數(shù)單擊“確定”按鈕后，則顯示這10頁的數(shù)據(jù)。1.17PowerBI抓取網(wǎng)頁數(shù)據(jù)192002PowerBI數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理之PowerBI篇數(shù)據(jù)導(dǎo)入數(shù)據(jù)填充與篩選數(shù)據(jù)中添加列數(shù)據(jù)追加當(dāng)從Excel向PowerBI導(dǎo)入數(shù)據(jù)時，第一步要做的是提升標(biāo)題。在Excel中，第一行是標(biāo)題行，從第二行開始才是數(shù)據(jù)，但在PowerQuery編輯器中，從第一行開始就要記錄數(shù)據(jù)，標(biāo)題行在數(shù)據(jù)之上，因此從Excel中導(dǎo)入數(shù)據(jù)的第一步就是提升標(biāo)題行。單擊“轉(zhuǎn)換數(shù)據(jù)”按鈕進(jìn)入，單擊“轉(zhuǎn)換”→“將第一行用作標(biāo)題”按鈕，就完成了標(biāo)題行提升。2.1數(shù)據(jù)導(dǎo)入21設(shè)置數(shù)據(jù)類型有以下兩種方式。方法一：單擊“轉(zhuǎn)換”→“數(shù)據(jù)類型:文本”按鈕，在彈出的下拉列表中進(jìn)行設(shè)置。方法二：通過標(biāo)題行中的按鈕進(jìn)行設(shè)置。單擊標(biāo)題行中的待設(shè)置列的左側(cè)的圖標(biāo)按鈕。2.2數(shù)據(jù)類型設(shè)置22錯誤值的處理大部分的數(shù)據(jù)報(bào)錯是由數(shù)據(jù)格式引起的，對數(shù)據(jù)格式轉(zhuǎn)換后依然報(bào)錯的列，可以選擇“刪除錯誤”命令，或者將錯誤值替換為“空”或特定值“0”。具體的處理方式是，右擊所在列，在彈出的快捷菜單中進(jìn)行命令選擇。2.3數(shù)據(jù)填充與篩選23空值的處理單擊所在列的標(biāo)題行的右側(cè)的“”按鈕，在彈出的下拉列表中選擇“刪除空”選項(xiàng)即可。2.4數(shù)據(jù)填充與篩選24在“PowerQuery編輯器”界面中添加列有四種方式，分別為重復(fù)列、索引列、條件列、自定義列2.5數(shù)據(jù)中添加列25重復(fù)列添加重復(fù)列就是復(fù)制選中的列并添加為新列，以便對該列的數(shù)據(jù)進(jìn)行處理而不損壞原有列的數(shù)據(jù)。添加重復(fù)列的操作步驟如下：選中需要重復(fù)的列，選擇“添加列”→“重復(fù)列”選項(xiàng)；或者右擊需要重復(fù)的列的標(biāo)題行，在彈出的快捷菜單中選擇“重復(fù)列”命令2.6數(shù)據(jù)中添加列26索引列添加索引列就是添加每行都帶有序號的列，方便記錄每一行所在的位置，可以從0或1開始。添加索引列的操作步驟如下：選中需要索引的列，選擇“添加列”→“索引列”→“從0”或“從1”選項(xiàng)。2.7數(shù)據(jù)中添加列27條件列添加條件列就是添加一列根據(jù)指定條件從其他列計(jì)算得出的數(shù)據(jù)列。添加條件列的操作步驟如下：單擊“添加列”→“條件列”按鈕，在彈出的“添加條件列”對話框中進(jìn)行設(shè)置。例如，設(shè)置“列名”為“A0”，設(shè)置“運(yùn)算符”為“等于”，設(shè)置“值”為“A1”，在“輸出”輸入框中輸入“高級工程師”。2.8數(shù)據(jù)中添加列28條件列單擊“確定”按鈕后，將根據(jù)設(shè)置的條件得到新的一列。2.9數(shù)據(jù)中添加列29自定義列添加自定義列就是使用M函數(shù)生成新的一列。添加自定義列的操作步驟如下：單擊“添加列”→“自定義列”按鈕，彈出“自定義列”對話框。這里將“工號”列中的數(shù)值翻倍，在“自定義列公式”輸入框中輸入“=[10001]*2”。2.10數(shù)據(jù)中添加列30自定義列單擊“確定”按鈕后，顯示添加的自定義列。2.11數(shù)據(jù)中添加列31在數(shù)據(jù)分析時，有時需要進(jìn)行數(shù)據(jù)的追加。例如，當(dāng)合并多個格式相同的表格時，需要使用追加查詢。追加查詢是在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上，在行的下邊添加新的行，是一種縱向合并。要將兩個格式相同的表，合并為一個表，則需要追加查詢。數(shù)據(jù)加載導(dǎo)入PowerBI中后，單擊“轉(zhuǎn)換數(shù)據(jù)”按鈕，進(jìn)入“PowerQuery編輯器”界面，選中左側(cè)“查詢”窗格中的Sheet1，單擊“主頁”→“追加查詢”按鈕。2.12數(shù)據(jù)追加32在彈出的“追加”對話框中，選中“兩個表”單選按鈕，在“要追加的表”下拉列表選中“Sheet2”選項(xiàng)。2.13數(shù)據(jù)追加33最后單擊“確定”按鈕，完成追加查詢。2.14數(shù)據(jù)追加34例如，要在Sheet1中找到每個員工工號對應(yīng)的入職時間，首先將文件里的Sheet1中的數(shù)據(jù)導(dǎo)入Sheet3，然后在“查詢”窗格中選中Sheet1并單擊“主頁”→“合并查詢”按鈕。在彈出的“合并”對話框中，選擇需要匹配的字段，這兩個表都選擇“工號”列，在“聯(lián)結(jié)種類”下拉列表中選擇“左外部（第一個中的所有行，第二個中的匹配行）”選項(xiàng)。單擊“確定”按鈕，創(chuàng)建合并查詢表。2.15合并查詢35創(chuàng)建合并查詢表。2.16合并查詢36展開Sheet3，勾選需要字段的復(fù)選框，合并查詢就完成了。增加了每個員工對應(yīng)