Spark大數(shù)據(jù)分析實務(wù) 課件 項目5 基于Spark SQL實現(xiàn)廣告流量檢測數(shù)據(jù)預(yù)處理-項目實施V1.0

基于SparkSQL實現(xiàn)廣告流量檢測數(shù)據(jù)預(yù)處理項目實施使用drop語句刪除數(shù)據(jù)自定義函數(shù)構(gòu)建關(guān)鍵特征保存DataFrame數(shù)據(jù)至Hive表使用drop語句刪除數(shù)據(jù)在項目4的任務(wù)二中，發(fā)現(xiàn)存在數(shù)據(jù)缺失的現(xiàn)象。但由于所采集到的數(shù)據(jù)為字符型數(shù)據(jù)，無法對缺失值進(jìn)行插補.為了減小缺失數(shù)據(jù)對模型產(chǎn)生的影響，將缺失率過高的mac、creativeid、mobile_os、mobile_type、app_key_md5、app_name_md5、os_type等屬性進(jìn)行刪除，而對于idfa、imei、android、openudid這4個數(shù)據(jù)含義相似的數(shù)據(jù)字段，由于后續(xù)構(gòu)建特征時不確定是否需要使用到，所以先不進(jìn)行處理。使用drop語句刪除數(shù)據(jù)處理后的結(jié)果將保存在Hive表case_data_sample_new中，保存成功后，即可在Hive的命令行窗口中，使用select語句查詢ad_traffic.case_data_sample_new的前3行，如下圖。使用drop語句刪除數(shù)據(jù)自定義函數(shù)構(gòu)建關(guān)鍵特征保存DataFrame數(shù)據(jù)至Hive表自定義函數(shù)構(gòu)建關(guān)鍵特征通過數(shù)據(jù)挖掘得到的數(shù)據(jù)分析結(jié)論，具有充分的價值，能進(jìn)一步推動構(gòu)建精細(xì)化管理模式，提升管理水平的精準(zhǔn)性、科學(xué)性、有效性。因此，要充分利用數(shù)據(jù)分析結(jié)論。根據(jù)探索分析結(jié)果，不同作弊行為產(chǎn)生的虛假流量的不同數(shù)據(jù)特征，分別構(gòu)建N、N1、N2、N3關(guān)鍵特征，關(guān)鍵特征構(gòu)建說明如下表，其中，5個小時是根據(jù)廣告點擊周期的頻率進(jìn)行劃分得出。關(guān)鍵特征構(gòu)建方法說明N統(tǒng)計在5個小時內(nèi)，原始數(shù)據(jù)集中，IP與Cookie兩個屬性相同的記錄出現(xiàn)次數(shù)IP和Cookie不變的情況下，出現(xiàn)的記錄次數(shù)特征：NN1統(tǒng)計在5個小時內(nèi)，原始數(shù)據(jù)集中，同一個IP產(chǎn)生的Cookie記錄條數(shù)IP不變，對應(yīng)Cookie出現(xiàn)的記錄次數(shù)特征：N1N2統(tǒng)計在5個小時內(nèi)，原始數(shù)據(jù)集中，IP前兩段相同的記錄的出現(xiàn)次數(shù)IP前兩段相同的次數(shù)特征：N2N3統(tǒng)計在5個小時內(nèi)，原始數(shù)據(jù)集中，IP前三段相同的記錄的出現(xiàn)次數(shù)IP前三段相同的次數(shù)特征：N3劃分時間區(qū)間以規(guī)定的間隔對自定義的區(qū)間（5小時，即18000秒）進(jìn)行等分切割成不同的小區(qū)間，運行結(jié)果如下圖，存在34個時間分割點。構(gòu)建關(guān)鍵特征并保存至Hive表中得到時間劃分的區(qū)間列表后，以5小時的區(qū)間對數(shù)據(jù)進(jìn)行特征構(gòu)建，構(gòu)建特征N、N1、N2、N3，然后在得到4個特征數(shù)據(jù)集后，將這些數(shù)據(jù)集以ranks字段進(jìn)行合并得到含ranks和4個特征的完整特征數(shù)據(jù)集，將此數(shù)據(jù)集以追加（Append）的方式寫入到Hive表中。需要注意的是，代碼中是對每個區(qū)間內(nèi)特征進(jìn)行構(gòu)建，又由于7天的廣告流量檢測數(shù)據(jù)的數(shù)據(jù)量非常大，處理會耗費大量的時間，且對硬件要求極大，所以需要將3臺虛擬機的內(nèi)存進(jìn)行調(diào)大至2GB。若計算機硬件較差，或不想等待時間過長，可不對7天的廣告流量檢測數(shù)據(jù)進(jìn)行處理，僅取出一部分時間區(qū)間進(jìn)行處理即可，如將代碼中的循環(huán)變量“times.length-1”設(shè)置為“4”，取出前25個小時。構(gòu)建關(guān)鍵特征并保存至Hive表中執(zhí)行代碼后，在Hive的ad_traffic數(shù)據(jù)庫中查詢case_data_sample_model_N表的前10行，并查看表中的字段名稱及類型結(jié)果，如下圖。使用drop語句刪除數(shù)據(jù)自定義函數(shù)構(gòu)建關(guān)鍵特征保存DataFrame數(shù)據(jù)至Hive表保存DataFrame數(shù)據(jù)至Hive表從上圖中可以看出，case_data_sample_model_N表只存在5個數(shù)據(jù)字段，不包含label字段，label字段存在于完整數(shù)據(jù)集中，因此需要將case_data_sample_model_N表和case_data_sample_new表進(jìn)行合并連接，構(gòu)建存在rank、dt、N、N1、N2、N3和label字段的模型數(shù)據(jù)。可使用“data_model.show(5)”命令查看模型數(shù)據(jù)的前5行，如下圖。保存DataFrame數(shù)據(jù)至Hive表將模型數(shù)據(jù)保存在Hive表ad_traffic.case_data_sample_model中。可使用“data_model.describe().show(false)”命令，統(tǒng)計各個特征的數(shù)據(jù)分布，如下圖。小結(jié)本項目首先介紹了DataFrame行列表增、刪操作，通過DataFrame對象新增或刪除得到新的DataFrame；接著介紹了創(chuàng)建與使用用戶自定義函數(shù)，通過用戶自定義函數(shù)可以根據(jù)特定的需求進(jìn)行編寫和調(diào)用；再接著介紹了DataFrame多種聯(lián)合操作，并分別舉例闡述聯(lián)合的區(qū)別；最后介紹DataFram