數(shù)字營銷學課件 3第三章 營銷數(shù)據(jù)及數(shù)據(jù)采集

第三章營銷數(shù)據(jù)采集MARKETING數(shù)字營銷學黃勁松教授/博士生導師Contents目錄第一節(jié)

營銷數(shù)據(jù)概述第二節(jié)

營銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術第四節(jié)營銷數(shù)據(jù)管理Contents目錄第一節(jié)

營銷數(shù)據(jù)概述第二節(jié)

營銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術第四節(jié)營銷數(shù)據(jù)管理一、營銷數(shù)據(jù)及其特點1.營銷數(shù)據(jù)的定義

營銷數(shù)據(jù)是企業(yè)可以用于洞察市場、確定定位、傳播信息、銷售產(chǎn)品、管理顧客的各類數(shù)據(jù)。一、營銷數(shù)據(jù)及其特點2.營銷數(shù)據(jù)特點

來源豐富性

類型復雜性

目標多樣性

應用廣泛性

方法匯聚性目標多樣

數(shù)據(jù)

類型應用廣泛來源豐富方法匯聚二、營銷數(shù)據(jù)的類型Contents目錄第一節(jié)

營銷數(shù)據(jù)概述第二節(jié)

營銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術第四節(jié)營銷數(shù)據(jù)管理（一）銷售數(shù)據(jù)企業(yè)在日常的經(jīng)營過程中，業(yè)務應用產(chǎn)生了不同類型的數(shù)據(jù)，這些數(shù)據(jù)也幫助企業(yè)做出不同場景的決策。例如：銷售訂單數(shù)據(jù)、渠道存貨數(shù)據(jù)、價格變化信息等一、企業(yè)內(nèi)部經(jīng)營數(shù)據(jù)（二）產(chǎn)品數(shù)據(jù)產(chǎn)品數(shù)據(jù)包括產(chǎn)品名稱、產(chǎn)品類別、產(chǎn)品屬性、產(chǎn)品配置、生產(chǎn)成本、供應商等等。產(chǎn)品數(shù)據(jù)還包括與產(chǎn)品相關的過程數(shù)據(jù)，例如加工工序、加工指南、工作流程、產(chǎn)品圖樣、數(shù)據(jù)模型、設備數(shù)據(jù)、技術文件、工裝數(shù)據(jù)等。一、企業(yè)內(nèi)部經(jīng)營數(shù)據(jù)（三）顧客數(shù)據(jù)1.顧客基本信息：指顧客的基本屬性和基本資料信息，通常的信息包括姓名、生日、性別、民族、聯(lián)系信息、地理信息和人口統(tǒng)計信息等。2.顧客行為數(shù)據(jù)：指顧客購買數(shù)據(jù)、顧客消費數(shù)據(jù)、客戶關系管理數(shù)據(jù)等3.顧客關聯(lián)數(shù)據(jù)：指反映和影響顧客行為和心理的關聯(lián)信息。一、企業(yè)內(nèi)部經(jīng)營數(shù)據(jù)（四）營銷活動數(shù)據(jù)營銷活動指促銷活動、福利發(fā)放、創(chuàng)意參與、公共關系等活動，它能夠增加顧客、提高營收或提升品牌知名度。常見的營銷活動數(shù)據(jù)包括營銷活動推廣數(shù)據(jù)、活動的總收入（GMV）、不同產(chǎn)品的銷售數(shù)據(jù)、獲得新顧客的數(shù)據(jù)等。一、企業(yè)內(nèi)部經(jīng)營數(shù)據(jù)（一）訪談數(shù)據(jù)訪談數(shù)據(jù)是在一定的調(diào)研目的下，通過對個人或小組的問答或談話獲得的數(shù)據(jù)，這類數(shù)據(jù)一般展現(xiàn)了被訪者的觀點、看法和思路。二、定性研究小數(shù)據(jù)訪談包括：

結構化訪談

無結構化訪談

半結構化訪談（二）焦點組訪談數(shù)據(jù)焦點組（focusgroup）訪談也稱專題座談，它是對多人組成的小組進行焦點問題的訪談或小組討論。焦點組訪談參加人數(shù)一般是6-15人。很多焦點組訪談是在單面鏡房間中完成的，有完整的錄音錄像和單面鏡房間的觀察，便于后期的數(shù)據(jù)分析。二、定性研究小數(shù)據(jù)（三）定性資料數(shù)據(jù)定性資料指以文字、聲音、圖片、視頻或其他記錄符號描述或表達社會生活中的人物、行為、態(tài)度，以及各種社會生活事件的資料。定性資料在通過編碼和訓練之后，形成定性資料數(shù)據(jù)。二、定性研究小數(shù)據(jù)（四）其他定性研究數(shù)據(jù)在定性研究中，研究者獲取數(shù)據(jù)的方式分為參與式數(shù)據(jù)采集和非參與式數(shù)據(jù)采集。參與式數(shù)據(jù)采集是指研究者參與到被研究者的社區(qū)或團體之中，通過觀察、感受、交流等方式獲得數(shù)據(jù)，典型的方法是民族志。非參與式的數(shù)據(jù)采集是研究者通過訪談、座談、文本分析等方法獲得數(shù)據(jù)，典型的方法是個案研究。二、定性研究小數(shù)據(jù)（一）問卷調(diào)查數(shù)據(jù)問卷調(diào)查法是指調(diào)研人員事先擬好調(diào)查問卷，以書面、郵件或電話等不同形式對被調(diào)查者提出問題，要求其給與回答，由此獲得所需調(diào)查材料的調(diào)查方法。常用的調(diào)查方法有電話訪談、人員面訪、郵寄訪問、電子訪問以及留置問卷調(diào)查訪問。三、調(diào)研小數(shù)據(jù)（1/2）（二）觀察法觀察法是指調(diào)查人員根據(jù)一定的研究目的、研究提綱，用自己的感官和攝像器材等輔助工具在調(diào)查現(xiàn)場直接觀察用戶和記錄正在發(fā)生的市場行為狀況的一種有效的收集資料數(shù)據(jù)的方法。觀察調(diào)查是調(diào)查者對發(fā)生的情景不加控制和干擾，在自然條件下發(fā)生的感知活動，也是有目的、有計劃、有系統(tǒng)的感知活動。三、調(diào)研小數(shù)據(jù)（2/2）（一）實驗室實驗實驗室實驗法通常指在實驗室內(nèi)嚴格控制實驗條件，分組測量給定刺激是否引發(fā)一定的行為反應。實驗室實驗在實施時一般分為實驗組和參照組，實驗結果是對照兩組結果，從而判斷實驗刺激是否產(chǎn)生顯著作用。四、實驗數(shù)據(jù)（二）田野實驗數(shù)據(jù)田野實驗數(shù)據(jù)是通過田野實驗獲取的對不同刺激的市場反應數(shù)據(jù)。田野實驗（又稱為實地實驗、現(xiàn)場實驗）是在真實的市場環(huán)境下進行的實驗，它結合了田野調(diào)查和實驗研究兩種研究方法的優(yōu)點，既考慮了實驗結果的真實性，又考慮了對研究結果的因果推斷。四、實驗數(shù)據(jù)（三）自然實驗數(shù)據(jù)自然實驗是指在自然的刺激或者其他非研究者控制的刺激下，被試產(chǎn)生市場反應的一種實驗方法。例如，典型的自然實驗是某一政策出臺導致政策前后顧客行為產(chǎn)生了變化。自然實驗數(shù)據(jù)是在自然實驗中產(chǎn)生的各類數(shù)據(jù)，這些數(shù)據(jù)往往具有不可設計和不可重復的特點。四、實驗數(shù)據(jù)（四）認知神經(jīng)實驗數(shù)據(jù)認知神經(jīng)實驗數(shù)據(jù)指在認知神經(jīng)實驗中通過眼動、腦電、皮電、肌電等的設備獲得的測量數(shù)據(jù)。認知神經(jīng)測量主要通過腦部的神經(jīng)元信號測試人們的認知和情感，表征不同情感的神經(jīng)元信號出現(xiàn)在特定的腦區(qū)。四、實驗數(shù)據(jù)例如，腹內(nèi)側前額葉皮質(zhì)是將情感納入決策的重要區(qū)域，它與廣告吸引力、產(chǎn)品偏好、品牌忠誠等均有關。（一）商業(yè)情報數(shù)據(jù)商業(yè)情報數(shù)據(jù)分為公開信息和非公開信息兩類。公開信息主要來自于各類政府公開信息、公開的出版物、知識數(shù)據(jù)庫和企業(yè)公開信息等方面；五、商業(yè)數(shù)據(jù)非公開信息主要來源于企業(yè)內(nèi)部關聯(lián)人士、相關利益攸關者和第三方咨詢服務提供者。（二）商業(yè)服務數(shù)據(jù)商業(yè)服務數(shù)據(jù)通常由第三方商業(yè)服務公司提供，這些公司一般會確定典型的市場研究方向，并以此為拓展展開業(yè)務。公司名稱典型研究領域上海AC尼爾森市場研究公司零售研究蓋洛特市場研究優(yōu)先公司移動通訊研究蓋洛普（中國）咨詢有限公司民意測驗和商業(yè)調(diào)查央視市場研究股份有限公司媒介調(diào)查益普索（中國）市場研究咨詢有限公司廣告事前測試、滿意度和忠誠度研究新力市場研究（DMBResearch）定性研究和廣告研究GFK（賽諾、科思瑞智）市場研究公司家電零售監(jiān)測北京零點研究集團行業(yè)與產(chǎn)品研究、消費文化研究、社會問題研究新生代市場監(jiān)測機構有限公司媒介監(jiān)測北京華夏盈聯(lián)市場咨詢有限公司滿意度調(diào)查、神秘顧客調(diào)查北京環(huán)亞市場研究社汽車行業(yè)研究深圳思緯市場資訊公司廣告測試研究等廣州市致聯(lián)市場研究有限公司醫(yī)藥行業(yè)研究典型的商業(yè)數(shù)據(jù)服務公司五、商業(yè)數(shù)據(jù)（三）商業(yè)數(shù)據(jù)庫數(shù)據(jù)商業(yè)數(shù)據(jù)庫數(shù)據(jù)包括面向大眾的公共數(shù)據(jù)庫數(shù)據(jù)和商業(yè)銷售的數(shù)據(jù)庫數(shù)據(jù)。面向大眾的公共數(shù)據(jù)包括政府部門和統(tǒng)計機構、貿(mào)易和產(chǎn)業(yè)組織的公開商業(yè)資料，商業(yè)期刊等，這些數(shù)據(jù)庫中包含宏觀經(jīng)濟數(shù)據(jù)、行業(yè)數(shù)據(jù)、期刊報刊數(shù)據(jù)等。五、商業(yè)數(shù)據(jù)向市場銷售的商業(yè)數(shù)據(jù)庫往往來自于企業(yè)的一些固定研究項目，例如顧客滿意指數(shù)調(diào)查、品牌價值研究等，這些研究項目所形成的數(shù)據(jù)庫將會定期發(fā)布并可以銷售和訂閱。（一）大數(shù)據(jù)的特點和類型大數(shù)據(jù)類型六、企業(yè)大數(shù)據(jù)“海量”是指數(shù)據(jù)量非常大且急速增長“高速”是指數(shù)據(jù)產(chǎn)生的速度快“多樣”指數(shù)據(jù)格式、數(shù)據(jù)類型復雜多樣“復雜性”是指數(shù)據(jù)源繁多“多變性”是指數(shù)據(jù)流不穩(wěn)定（二）企業(yè)經(jīng)營產(chǎn)品的大數(shù)據(jù)六、企業(yè)大數(shù)據(jù)1.業(yè)務應用數(shù)據(jù)：（1）Web網(wǎng)站數(shù)據(jù)（2）App應用數(shù)據(jù)2.互聯(lián)網(wǎng)數(shù)據(jù)（1）政府和行業(yè)數(shù)據(jù)（2）垂直平臺數(shù)據(jù)（3）社交數(shù)據(jù)3.物聯(lián)網(wǎng)數(shù)據(jù)4.系統(tǒng)日志數(shù)據(jù)5.合作伙伴數(shù)據(jù)企業(yè)經(jīng)營中產(chǎn)生的大數(shù)據(jù)包括企業(yè)多場景數(shù)據(jù)，例如業(yè)務應用數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、系統(tǒng)日志數(shù)據(jù)以及合作伙伴數(shù)據(jù)等Contents目錄第一節(jié)

營銷數(shù)據(jù)概述第二節(jié)

營銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術第四節(jié)營銷數(shù)據(jù)管理大數(shù)據(jù)采集是對數(shù)據(jù)進行Extract-Transform-Load操作，通過對數(shù)據(jù)進行提取、轉換、加載，最終挖掘數(shù)據(jù)的潛在價值。從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預先定義好的數(shù)據(jù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去，最后對數(shù)據(jù)倉庫中的數(shù)據(jù)進行數(shù)據(jù)分析和處理。一、大數(shù)據(jù)采集概述數(shù)據(jù)采集方式描述典型公司PC機cookie采集通過分布式計算機進行海量PC用戶的cookie采集。秒針PC應用行為數(shù)據(jù)對PC應用的行為進行數(shù)據(jù)采集。搜狗拼音、360殺毒、華為運動網(wǎng)絡爬蟲通過分布式網(wǎng)絡爬蟲采集網(wǎng)上數(shù)據(jù)。針對微博的抓取最為普遍設備傳感器數(shù)據(jù)通過手機、機頂盒、新能源汽車等采集用戶的設備使用行為。蘋果、歌華、特斯拉、比亞迪交易行為數(shù)據(jù)通過分布式計算機進行海量PC用戶的cookie采集。阿里巴巴、騰訊手機APP通過在APP中埋點的方式進行用戶行為數(shù)據(jù)采集，也可以通過APP采集通訊錄、位置能數(shù)據(jù)。幾乎所有APP應用電信運營商數(shù)據(jù)通過通信網(wǎng)絡采集用戶的行為，包括使用行為、位置、通話等。中國移動、中國聯(lián)通操作系統(tǒng)通過通信網(wǎng)絡采集用戶的行為，包括App使用行為、位置、通話等等。微軟、安卓、IOS顧客關系系統(tǒng)通過社群、會員行為、社區(qū)行為、評論等采集數(shù)據(jù)。小米數(shù)據(jù)采集方式一覽一、大數(shù)據(jù)采集概述

（一）爬蟲采集網(wǎng)絡爬蟲又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡機器人，是一種按照一定的規(guī)則自動化、系統(tǒng)化收集互聯(lián)網(wǎng)上相關數(shù)據(jù)的技術。大數(shù)據(jù)時代的今天，網(wǎng)絡爬蟲是互聯(lián)網(wǎng)上采集數(shù)據(jù)的主要工具之一，通過網(wǎng)絡爬蟲的方式可以獲取到網(wǎng)站上不同類型的數(shù)據(jù)信息，包括文本、圖片、音頻、視頻等文件數(shù)據(jù)。二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

某爬蟲采集工具（二）埋點采集（1）埋點的基本概念在技術實現(xiàn)上，線上數(shù)據(jù)采集主要通過埋點的方式實現(xiàn)，通過不同應用的SDK（SoftwareDevelopmentKit，軟件工具包）數(shù)據(jù)埋點，將顧客端或服務端的數(shù)據(jù)上傳到數(shù)據(jù)服務器終端。二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

埋點是事件追蹤（EventTracking）的主要方式，針對特定用戶行為或事件進行捕獲、處理和發(fā)送的相關技術及其實施過程。（二）埋點采集（2）埋點的方式

類別代碼埋點全埋點可視化埋點服務端埋點采集說明嵌入SDK，定義事件并添加好事件代碼嵌入SDK嵌入SDK，可視化圈選定義事件接口調(diào)用，數(shù)據(jù)結構化場景以業(yè)務價值為出發(fā)點的行為分析無需采集事件，適用于活動頁、著陸頁需要設計體驗衡量用戶在頁面的行為與業(yè)務信息關聯(lián)較少，頁面較多且頁面元素較少對行為數(shù)據(jù)的應用較為淺前后端數(shù)據(jù)整合，如訂單數(shù)據(jù)優(yōu)勢按需采集：業(yè)務信息更完善，對數(shù)據(jù)的分析更聚焦簡單、快捷，與代碼埋點相比開發(fā)人員工作量較少與代碼埋點相比，開發(fā)人員工作量較少更靈活、更準確、不需要發(fā)版本，數(shù)據(jù)上傳更加及時劣勢與后兩種采集方式相比，開發(fā)人中工作量較多數(shù)據(jù)準確性不高，上傳數(shù)據(jù)多，消耗量高數(shù)據(jù)維度單一（僅點擊、加載、刷新）業(yè)務人中工作量較大，改版后需要重新定義事件，缺乏基于業(yè)務的解讀僅服務端采集較少前端的環(huán)境信息，前端交互數(shù)據(jù)缺失典型案例友盟，百度統(tǒng)計GoogleanalyticsWMDA

二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

（二）埋點采集（3）埋點的設計Who：參與此事件的用戶When：事件發(fā)生的實際時間Where：事件發(fā)生的地點How：用戶進行事件的方式What：描述用戶所做的事件的具體內(nèi)容記錄和收集用戶的長期屬性通過ID與相關的Event關聯(lián)事件模型用戶

User事件Event二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

埋點的設計是將行為拆解為單個的點擊或瀏覽動作，將需要分析的目標動作抽象為“事件”。例如,事件分析模型是常用的分析模型之一。事件模型（Event模型）用來描述用戶的各種行為，包括事件（Event）和用戶（User）兩個核心實體。以某APP的事件設計為例，通常包括APP啟動，退出、頁面瀏覽、按鈕事件點擊，頁面訪問時長等。（二）埋點采集（4）埋點的應用①在產(chǎn)品流程關鍵部位植入相關統(tǒng)計代碼，用來追蹤每次用戶的行為，統(tǒng)計關鍵流程的使用程度。②在產(chǎn)品中植入多段代碼追蹤用戶連續(xù)行為，建立用戶模型來具體化用戶在使用產(chǎn)品中的操作行為。③與研發(fā)及數(shù)據(jù)分析師團隊合作，通過數(shù)據(jù)埋點還原出用戶畫像及用戶行為，建立數(shù)據(jù)分析后臺，通過數(shù)據(jù)分析，優(yōu)化產(chǎn)品。二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

物聯(lián)網(wǎng)（InternetofThings，簡稱IoT）是指通過各種信息傳感器、射頻識別技術、全球定位系統(tǒng)、紅外感應器、激光掃描儀等各種裝置和技術，實時采集各種需要的信息，包括聲、光、熱、電、力學、化學、生物、位置等各種需要的信息。物聯(lián)網(wǎng)分為三層：

感知層（設備接入層）

網(wǎng)絡層

應用層三、物聯(lián)網(wǎng)數(shù)據(jù)采集

數(shù)據(jù)庫同步數(shù)據(jù)采集是指直接和數(shù)據(jù)庫進行交互同步，進而實現(xiàn)數(shù)據(jù)采集，這種方式的優(yōu)勢是數(shù)據(jù)來源大而全。根據(jù)同步的方式可以分為：直接數(shù)據(jù)源同步、生成數(shù)據(jù)文件同步和數(shù)據(jù)庫日志同步。四、數(shù)據(jù)庫同步數(shù)據(jù)采集大多數(shù)互聯(lián)網(wǎng)企業(yè)都有各自的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Facebook公司的Scribe、Hadoop平臺的Chukwa、Cloudera公司的Flume等，這些工具均采用分布式的架構，能滿足每秒數(shù)百兆的日志數(shù)據(jù)采集和傳輸需求。五、系統(tǒng)日志數(shù)據(jù)采集

Contents目錄第一節(jié)

營銷數(shù)據(jù)概述第二節(jié)

營銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術第四節(jié)營銷數(shù)據(jù)管理數(shù)據(jù)匯聚是指將企業(yè)中各個業(yè)務產(chǎn)生的數(shù)據(jù)通過數(shù)據(jù)處理后匯聚到數(shù)據(jù)倉庫，按不同的主題進行加工形成數(shù)據(jù)資產(chǎn)體系。數(shù)據(jù)匯聚是打破數(shù)據(jù)孤島，匯聚企業(yè)數(shù)據(jù)到統(tǒng)一數(shù)據(jù)倉庫的過程，也是數(shù)據(jù)倉庫建設、數(shù)據(jù)體系建設的基礎重要環(huán)節(jié)。