快速全面建立自己的大數(shù)據(jù)知識體系.docx

此文檔收集于網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系網(wǎng)站刪除快速全面建立自己的大數(shù)據(jù)知識體系很多人都看過不同類型的書，也接觸過很多有關(guān)大數(shù)據(jù)方面的文章，但都是很零散不成系統(tǒng)，對自己也沒有起到多大的作用，本文從整體體系思路上，了解大數(shù)據(jù)產(chǎn)品設(shè)計架構(gòu)和技術(shù)策略。大數(shù)據(jù)產(chǎn)品，從系統(tǒng)性和體系思路上來做，主要分為五步： 針對前端不同渠道進(jìn)行數(shù)據(jù)埋點(diǎn)，然后根據(jù)不同渠道的采集多維數(shù)據(jù)，也就是做大數(shù)據(jù)的第一步，沒有全量數(shù)據(jù)，何談大數(shù)據(jù)分析； 第二步，基于采集回來的多維度數(shù)據(jù)，采用ETL對其各類數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理及加載； 然后第三步，對于ETL處理后的標(biāo)準(zhǔn)化結(jié)構(gòu)數(shù)據(jù)，建立數(shù)據(jù)存儲管理子系統(tǒng)，歸集到底層數(shù)據(jù)倉庫，這一步很關(guān)鍵，基于數(shù)據(jù)倉庫，對其內(nèi)部數(shù)據(jù)分解成基礎(chǔ)的同類數(shù)據(jù)集市； 然后基于歸集分解的不同數(shù)據(jù)集市，利用各類R函數(shù)包對其數(shù)據(jù)集進(jìn)行數(shù)據(jù)建模和各類算法設(shè)計，里面算法是需要自己設(shè)計，個別算法可以用R函數(shù)，這個過程產(chǎn)品和運(yùn)營參與最多；這一步做好了，也是很多公司用戶畫像系統(tǒng)的底層。 最后根據(jù)建立的各類數(shù)據(jù)模型及算法，結(jié)合前端不同渠道不同業(yè)務(wù)特征，根據(jù)渠道觸點(diǎn)自動匹配后端模型自動展現(xiàn)用戶個性化產(chǎn)品和服務(wù)。建立系統(tǒng)性數(shù)據(jù)采集指標(biāo)體系建立數(shù)據(jù)采集分析指標(biāo)體系是形成營銷數(shù)據(jù)集市的基礎(chǔ)，也是營銷數(shù)據(jù)集市覆蓋用戶行為數(shù)據(jù)廣度和深度的前提，數(shù)據(jù)采集分析體系要包含用戶全活動行為觸點(diǎn)數(shù)據(jù)，用戶結(jié)構(gòu)化相關(guān)數(shù)據(jù)及非結(jié)構(gòu)化相關(guān)數(shù)據(jù)，根據(jù)數(shù)據(jù)分析指標(biāo)體系才能歸類匯總形成篩選用戶條件的屬性和屬性值，也是發(fā)現(xiàn)新的營銷事件的基礎(chǔ)。構(gòu)建營銷數(shù)據(jù)指標(biāo)分析模型，完善升級數(shù)據(jù)指標(biāo)采集，依托用戶全流程行為觸點(diǎn)，建立用戶行為消費(fèi)特征和個體屬性，從用戶行為分析、商業(yè)經(jīng)營數(shù)據(jù)分析、營銷數(shù)據(jù)分析三個維度，形成用戶行為特征分析模型。用戶維度數(shù)據(jù)指標(biāo)是不同維度分析要素與用戶全生命周期軌跡各觸點(diǎn)的二維交叉得出。目前做大數(shù)據(jù)平臺的公司，大多數(shù)采集的數(shù)據(jù)指標(biāo)和輸出的可視化報表，都存在幾個關(guān)鍵問題： 采集的數(shù)據(jù)都是以渠道、日期、地區(qū)統(tǒng)計，無法定位到具體每個用戶； 計算統(tǒng)計出的數(shù)據(jù)都是規(guī)模數(shù)據(jù)，針對規(guī)模數(shù)據(jù)進(jìn)行挖掘分析，無法支持； 數(shù)據(jù)無法支撐系統(tǒng)做用戶獲客、留存、營銷推送使用。所以，要使系統(tǒng)采集的數(shù)據(jù)指標(biāo)能夠支持平臺前端的個性化行為分析，必須圍繞用戶為主線來進(jìn)行畫像設(shè)計，在初期可視化報表成果基礎(chǔ)上，將統(tǒng)計出來的不同規(guī)模數(shù)據(jù)，細(xì)分定位到每個用戶，使每個數(shù)據(jù)都有一個用戶歸屬。將分散無序的統(tǒng)計數(shù)據(jù)，在依據(jù)用戶來銜接起來，在現(xiàn)有產(chǎn)品界面上，每個統(tǒng)計數(shù)據(jù)都增加一個標(biāo)簽，點(diǎn)擊標(biāo)簽，可以展示對應(yīng)每個用戶的行為數(shù)據(jù)，同時可以鏈接到其他統(tǒng)計數(shù)據(jù)頁面。由此可以推導(dǎo)出，以用戶為主線來建立數(shù)據(jù)采集指標(biāo)維度：用戶身份信息、用戶社會生活信息、用戶資產(chǎn)信息、用戶行為偏好信息、用戶購物偏好、用戶價值、用戶反饋、用戶忠誠度等多個維度，依據(jù)建立的采集數(shù)據(jù)維度，可以細(xì)分到數(shù)據(jù)指標(biāo)或數(shù)據(jù)屬性項(xiàng)。 用戶身份信息維度性別，年齡，星座，居住城市，活躍區(qū)域，證件信息，學(xué)歷，收入，健康等。 用戶社會生活信息維度行業(yè)，職業(yè)，是否有孩子，孩子年齡，車輛，住房性質(zhì)，通信情況，流量使用情況 用戶行為偏好信息是否有網(wǎng)購行為，風(fēng)險敏感度，價格敏感度，品牌敏感度，收益敏感度，產(chǎn)品偏好，渠道偏好 用戶購物偏好信息品類偏好，產(chǎn)品偏好，購物頻次，瀏覽偏好，營銷廣告喜好，購物時間偏好，單次購物最高金額 用戶反饋信息維度用戶參與的活動，參與的討論，收藏的產(chǎn)品，購買過的商品，推薦過的產(chǎn)品，評論過的產(chǎn)品基于采集回來的多維度數(shù)據(jù)，采用ETL對其各類數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理及加載 數(shù)據(jù)補(bǔ)缺：對空數(shù)據(jù)、缺失數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)缺操作，無法處理的做標(biāo)記。 數(shù)據(jù)替換：對無效數(shù)據(jù)進(jìn)行數(shù)據(jù)的替換。 格式規(guī)范化：將源數(shù)據(jù)抽取的數(shù)據(jù)格式轉(zhuǎn)換成為便于進(jìn)入倉庫處理的目標(biāo)數(shù)據(jù)格式。 主外鍵約束：通過建立主外鍵約束，對非法數(shù)據(jù)進(jìn)行數(shù)據(jù)替換或?qū)С龅藉e誤文件重新處理。 數(shù)據(jù)合并：多用表關(guān)聯(lián)實(shí)現(xiàn)（每個字段加索引，保證關(guān)聯(lián)查詢的效率） 數(shù)據(jù)拆分：按一定規(guī)則進(jìn)行數(shù)據(jù)拆分 行列互換、排序/修改序號、去除重復(fù)記錄數(shù)據(jù)處理層 由 Hadoop集群 組成 , Hadoop集群從數(shù)據(jù)采集源讀取業(yè)務(wù)數(shù)據(jù)，通過并行計算完成業(yè)務(wù)數(shù)據(jù)的處理邏輯，將數(shù)據(jù)篩選歸并形成目標(biāo)數(shù)據(jù)。數(shù)據(jù)建模、用戶畫像及特征算法提取與營銷相關(guān)的客戶、產(chǎn)品、服務(wù)數(shù)據(jù)，采用聚類分析和關(guān)聯(lián)分析方法搭建數(shù)據(jù)模型，通過用戶規(guī)則屬性配置、規(guī)則模板配置、用戶畫像打標(biāo)簽，形成用戶數(shù)據(jù)規(guī)則集，利用規(guī)則引擎實(shí)現(xiàn)營銷推送和條件觸發(fā)的實(shí)時營銷推送，同步到前端渠道交互平臺來執(zhí)行營銷規(guī)則，并將營銷執(zhí)行效果信息實(shí)時返回到大數(shù)據(jù)系統(tǒng)。根據(jù)前端用戶不同個性化行為，自動匹配規(guī)則并觸發(fā)推送內(nèi)容根據(jù)用戶全流程活動行為軌跡，分析用戶與線上渠道與線下渠道接觸的所有行為觸點(diǎn)，對營銷用戶打標(biāo)簽，形成用戶行為畫像，基于用戶畫像提煉匯總營銷篩選規(guī)則屬性及屬性值，最終形成細(xì)分用戶群體的條件。每個用戶屬性對應(yīng)多個不同屬性值，屬性值可根據(jù)不同活動個性化進(jìn)行配置，支持用戶黑白名單的管理功能?？梢灶A(yù)先配置好基于不同用戶身份特性的活動規(guī)則和模型，當(dāng)前端用戶來觸發(fā)配置好的營銷事件，數(shù)據(jù)系統(tǒng)根據(jù)匹配度最高的原則來實(shí)時自動推送營銷規(guī)則，并通過實(shí)時推送功能來配置推送的活動內(nèi)容、優(yōu)惠信息和產(chǎn)品信息等，同時匯總前端反饋回的效果數(shù)據(jù)，對推送規(guī)則和內(nèi)容進(jìn)行優(yōu)化調(diào)整。大數(shù)據(jù)系統(tǒng)結(jié)合客戶營銷系統(tǒng)在現(xiàn)有用戶畫像、用戶屬性打標(biāo)簽、客戶和營銷規(guī)則配置推送、同類型用戶特性歸集分庫模型基礎(chǔ)上，未來將逐步擴(kuò)展機(jī)器深度學(xué)習(xí)功能，通過系統(tǒng)自動搜集分析前端用戶實(shí)時變化數(shù)據(jù)，依據(jù)建設(shè)的機(jī)器深度學(xué)習(xí)函數(shù)模型，自動計算匹配用戶需求的函數(shù)參數(shù)和對應(yīng)規(guī)則，營銷系統(tǒng)根據(jù)計算出的規(guī)則模型，實(shí)時自動推送高度匹配的營銷活動和內(nèi)容信息。機(jī)器自學(xué)習(xí)模型算法是未來大數(shù)據(jù)系統(tǒng)深度學(xué)習(xí)的核心，通過系統(tǒng)大量采樣訓(xùn)練，多次數(shù)據(jù)驗(yàn)證和參數(shù)調(diào)整，才能最終確定相對精準(zhǔn)的函數(shù)因子和參數(shù)值，從而可以根據(jù)前端用戶產(chǎn)生的實(shí)時行為數(shù)據(jù)，系統(tǒng)可自動計算對應(yīng)的營銷規(guī)則和推薦模型。大數(shù)據(jù)系統(tǒng)在深度自學(xué)習(xí)外，未來將通過逐步開放合作