【數據治理】企業(yè)數據治理價值解讀白皮書

—數字化經營系列白皮書一企業(yè)數據治理價值解讀與場景實踐伴隨中國人口紅利消失，企業(yè)用工成本逐年增長，急需降本增效、產品創(chuàng)新迭代的新方法，“數字化轉型+數據治理”成為企業(yè)實現數據驅動增長的共同選擇。同時，以“數據資產”與“數據安全”為核心的新政策頻出，越來越多的企業(yè)開始認識到數據價值的重要性，數據治理市場迎來高速發(fā)展。加之，《數據安全法》發(fā)布、《個人信息保護法》立法通過，無疑給企業(yè)數據采集、數據安全、數據開放帶來了巨大的挑戰(zhàn)，催生了數據治理需求。對企業(yè)來說，數據治理是所有數據應用的基礎和根基，它的好壞直接影響數據應用過程中的價值體現。同時，數據治理也是一個組織進行數據資產沉淀的基礎，直接決定一個組織的數據資產能否得到有效的沉淀，以及在數據應用過程中能否充分地發(fā)揮數據價值。要最大程度地發(fā)揮出數據治理的價值，就需要在系統(tǒng)認知的基礎上，明確企業(yè)對應的業(yè)務痛點，了解數據治理完整的能力構成和對應的解決方案，進而通過最佳實踐，實現從數據治理到價值創(chuàng)造的跨越。本白皮書即是在上述邏輯的基礎上形成的。我們希望各行業(yè)、各職能的讀者，都能通過本白皮書，了解數據治理，并掌握其在推動數字化轉型上的價值，幫助企業(yè)實現數據驅動。注：為保護商業(yè)信息，本白皮書所涉及案例及數據均為模擬。一、落地數據治理與數字化轉型成為全行業(yè)的共識 03 032.數據治理的四大發(fā)展階段 04 05 06 07二、企業(yè)數據治理的六大痛點 08 08 09 09 09三、詳解數據治理完整方案 四、數據治理的典型業(yè)務場景 20 21 24 五、三大行業(yè)數據治理實踐解讀 27 六、企業(yè)開展數據治理的四大建議 一、落地數據治理與數字化轉型成為全行業(yè)的共識1.認識數據治理：數據的采、存、質、管、用數據治理的概念主要由國際數據研究機構、國內企業(yè)級研究機構以及部分學者進行界定。其中，比較權威的定義可以參考DAMA(國際數據管理協(xié)會)與DGI(國際數據治理研究所)的定義。國際數據治理研究所(DGI)國際數據管理協(xié)會(DAMA)數據治理是指對數研資產管理行使權力和控制的活動集合(計劃、監(jiān)督和執(zhí)行)統(tǒng)地創(chuàng)建和實施政策、角色、職責和程序來協(xié)作并估、指導和監(jiān)督，確保富有成效且高效的數據利用，促進跨組織協(xié)作和結構化決策，為企業(yè)創(chuàng)造價-圖：數據治理概念的多重界定-DAMA(國際數據管理協(xié)會)認為，數據治理(DataGovernance,DG)指的是對數據資產管理行使權力和控制的活動集合(計劃、監(jiān)督和執(zhí)行)。DGI則認為，從廣義來說，數據治理是對數據相關事項作出決策的工作。從狹義來說，數據治理是與信息相關過程的決策權與問責制度體系，根據商定的模型執(zhí)行，確定誰能夠對什么信息采取什么措施，以及什么時候、在什么樣的情況下使用什么方法。在國內研究機構的定義中，阿里研究院認為，數據治理即建立在數據存儲、訪問、驗證、保護和使用之上的一系列程序、標準、角色和指標，以期通過持續(xù)的評估、指導和監(jiān)督，確保富有成效且高效的數據利用，促進跨組織協(xié)作和結構化決策，為企業(yè)創(chuàng)造價值。頭豹研究院認為，在數據驅動的業(yè)務與生產環(huán)境中，圍繞具備更高可用性的數據標準與數據模型，規(guī)劃構建“采集、存儲、管理、服務”一整套制度體系的系統(tǒng)工程。此外，在阿里研究院調研中，總結了數據治理的相關學者的界定，在此不再贅述。綜合以上各家之言，神策數據認為，數據治理廣義上包含所有數據事項決策，狹義上包含數據采集、存儲、質量、管理、應用等關鍵流程。2.數據治理的四大發(fā)展階段數據治理自概念產生起至現在國內開始全面推行，共經歷四個階段，接下來分別展開描述。據管理與據管理知識體系指南數據治理至此數據治理的理論進行定義框架基本固定成熟與推廣(2002-2009)DAMA等機構；數據企業(yè)政府、部分大型銀行、央企、通信、能源企業(yè)國際數據研究組織理論框架構建，政府與頭部企業(yè)嘗試√協(xié)會引領√理論框架確立√政府與頭部企業(yè)嘗試起源與探索(1988-2002)幾乎沒有，少量研究者學術發(fā)展，數據產業(yè)-特別是數據倉庫等產生與發(fā)展學界引領概念確立√企業(yè)參與者極少接受與吸收(2009-2018)DGI、DAMA等機構；先進數字化公司互聯網、金融、能源、通信教育、醫(yī)療及房地產頭部公司監(jiān)管日益完善，大數據平臺數據中臺、微服務等意識興起國外企業(yè)引領數據管理技術高速發(fā)展√中國企業(yè)迅速跟進落地與轉型(2018-現在)各類數據機構、研究所；中大型企業(yè)全行業(yè)跟進數據資產意識升級，數字化轉型與數據安全需求升級√國家層面高度重視法律與監(jiān)管配套出臺√全行業(yè)跟進轉型發(fā)展階段國際參與者國內參與者驅動因素中國發(fā)布了十九屈四中《銀行業(yè)金全會首次將融機構數據數據作為生治理指引》產要素并列麻省理工學院全面數據質量管理計劃(TDQM)DAMA(國際數據管理《關于構建更加完善的要素市場化配置體制機制的意見》《數據安全法》數據治理概念首次出現在學術界美國學者發(fā)表《數據倉庫治理》中國推出《數據治理白皮書》國際研究報告DGI(國際數據治理研究所)特點第一階段——起源與探索(1988-2002)伴隨著早期數據倉庫的產生與發(fā)展，海外學術界迅速跟進，標志性的事件是1988年由麻省理工學院的兩位教授啟動了全面數據質量管理計(TDQM),這可以認為是數據治理最初的雛形。同年，DAMA(國際數據管理協(xié)會)成立。時間流轉到2002年，數據治理概念首次出現在學術界，美國兩位學者發(fā)表題為《數據倉庫治理》的研究，探討了公司的最佳實踐，由此拉開了“數據治理”在企業(yè)管理中的大幕。在這一階段，我國僅有少量研究者關注該領域，基本不存在數據治理的參第二階段——成熟與推廣(2002-2009)在這個階段，國際數據研究組織逐步構建數據治理理論框架，政府與頭部企業(yè)迅速跟進探索數據治理實踐。標志性的事件是2003年DGI(國際數據治理研究所)成立，同時ISO(國際標準化組織)對數據管理與數據治理進行定義。再到2009年，DAMA發(fā)布DMBOK數據管理知識體系指南，至此數據治理的理論框架基本固定。在這一階段，我國政府、部分大型銀行、央企以及部分通信、能源企業(yè)開始意識到數據治理的重要性，紛紛參與到數據治理建設中。第三階段——接受與吸收(2009-2018)這一階段，國內外關于數據治理的監(jiān)管政策日益完善，國內大數據平臺、數據中臺、微服務等意識和能力逐漸崛起，推動數據治理體系在國內全面吸收。我國根據DAMA數據管理體系等指導文件不斷延伸和擴展，標志性的事件是2015年提出了《數據治理白皮書》國際標準研究報告，在2018年發(fā)布了《銀行業(yè)金融機構數據治理指引》。在這一階段，我國頭部公司基本均意識到數據管理與治理的重要性，以金融企業(yè)為代表，互聯網、能源、通信、教育、醫(yī)療及房地產頭部企業(yè)紛紛投身數據治理中。第四階段——落地與轉型(2019-現在)當前，國內充分吸收先進經驗后，全國范圍內數據資產意識升級，數字化轉型與數據安全需求進一步增強，國家層面高度重視數據資產管理，全行業(yè)提倡數字化轉型與數據治理。標志性事件是2019年十九屆四中全會首次將數據作為生產要素并列，至2020年中共中央國務院在《關于構建更加完善的要素市場化配置體制機制的意見》中，進一步提出要“加快培育數據要素市場”。2021年6月10日，第十三屆全國人民代表大會常務委員會第二十九次會議通過《中華人民共和國數據安全法》,自2021年9月1日起施行，更是將數據安全治理提升至前所未有的高度。在這一階段，我國全行業(yè)全面鋪開數據治理，推進數字化轉型。不可否認，大數據市場的擴張帶動了數據治理市場增長。根據IDC的預計，2019-2023年，中國大數據市場的復合增長率為23.5%;至2023年，中國大數據市場總規(guī)模將達到1600億人民幣，其中軟件和服務約為1000億元。根據沙利文與頭豹研究院的調研，2018至2024年，數據治理在大數據平臺建設中預算占比逐年升高，數據治理市場將保持39%的年復合增長率將到達325.5億元。02021-圖：數據治理市場規(guī)模預測(單位：億人民幣)-數據治理市場的高速發(fā)展，離不開政策、經濟、社會及技術等四大因素的驅動。近年來，以“數據資產”與“數據安全”為核心的新政策不斷推動數據治理市場發(fā)展。2018年，歐盟《通用數據保護條例》(簡稱GDPR)在成員國內正式生效實施；2019年黨的十九屆四中全會首次將數據與勞動、資本、土地、知識、技術、管理等生產要素并列；2020年國務院在《關于構建更加完善的要素市場化配置體制機制的意見》中，明確提出數據是一種新型生產要素，同內部自由流動的目標。此后，我國31個省的“十四五規(guī)劃”建議文件中，均提到了數據資源利用、數字經濟等內容，國務院國資委印發(fā)了《關于加快推進國有企業(yè)數字化轉型工作的通知》,就推動國有企業(yè)數字化轉型做出了全面部署，其中明確提出要著力夯實數字化轉型基礎設施建設，提出數據治理需求；而最近全國人大通過了《個人信息保護法》(擬2021年11月1日生效),收集、處理個人信息的尺度把控對企業(yè)業(yè)務的數據采集提出了更高的要求。以上政策要點，成為了企業(yè)發(fā)展數據治理的重要驅動力。(2)國內經濟增速換擋期，數字化轉型帶動數據治理旺盛需求國內處于經濟增速換擋期，企業(yè)數字化轉型帶動數據治理旺盛需求。自1978年至今，中國人均GDP逐年升高，但改革開放早期人口、土地及政中國人口近10年來保持低速增長，人口老齡化趨勢不可逆轉。伴隨中國人口紅利消失，企業(yè)用工成本逐年增長，急需降本增效、產品創(chuàng)新迭代的新方法，“數字化轉型+數據治理”或成企業(yè)實現數據驅動增長的最佳解決方案。(3)社會熱度與行業(yè)認知成熟度促使數據治理市場升溫根據賽迪顧問調研2012年以來大數據領域中最近10000個熱點事件中最常見的關鍵詞顯示：2012-2019年，我國關于大數據重要論述中，“數據”“數字經濟”“互聯網”“平臺”成為最常見的高頻詞匯，“數字經濟”“數字中國”等正逐漸成為我國推進經濟高質量發(fā)展的重要力量；2020年以來，與數據治理相關的詞匯逐年增多，數據共享開放、數據孤島、數據治理等話題成為當前大數據發(fā)展關注點。1.1.“數據”“數字經濟”“互聯網”“平臺”1I.“數字經濟”“數字中國”Ⅲ.“數據共享開放”“數據孤島”“數據治理”同時，中國電子技術標準化研究院2020年調研也發(fā)現：超過92%的受訪企事業(yè)單位已經認識到數據價值的重要性，認為數據是一種無形資產，與財務、人力資源等企業(yè)資產同等重要。(4)數據流與算力指數增長，支撐數據治理與應用產業(yè)迅速成長技術層面，數據流與算力指數增長支撐數據治理與應用產業(yè)迅速成長。IDC認為，2010年全球產生的數據量僅為2ZB,到2025年全球每年產生的數據將高達175ZB,相當于每天產生491EB的數據，年均增長20%。代表數據流量大小的全球互聯網協(xié)議(IP)流量從1992年的約100GB/天增長到2017年的45000GB/秒。數據流量增長曲線2000年-2010年2010年-2020年時間周期SynergyResearch將“超大規(guī)模數據中心”定義為擁有幾十萬臺甚至是數百萬臺服務器。2019年全球超大規(guī)模數據中心已超過500個，已經是2015年的兩倍，越大規(guī)模數據中心仍然處于高速擴張的發(fā)展期。2015年全球數據中心大數據存儲量僅為25EB,到2021年預計這一規(guī)模將達到403EB,增長16.12倍，年均復合增長率約為48.76%。2000-2020年，我國數據采集與存儲產業(yè)、數據分析與可視化產業(yè)都有著較成熟的發(fā)展，而伴隨數據流與算力的高速擴張，數據治理與應用產業(yè)尚處于成長期初級階段，入局企業(yè)數量眾多、技術水平尚在增長、企業(yè)需求仍在優(yōu)化。企業(yè)數據治理價值解讀與場景實踐二、企業(yè)數據治理的六大痛點企業(yè)數據治理的整體目標是持續(xù)運營數據價值，推動企業(yè)數字化轉型。而企業(yè)在轉型過程中會面臨來自業(yè)務、組織架構、技術等等方面的問題，從企業(yè)整體的數據治理鏈路來看，我們把企業(yè)數據治理過程中面臨的問題總結為以下六大痛點。1.組織架構不適配，推進難度大企業(yè)在進行數據治理時，首先面臨的問題就是組織架構的不適配。數據治理的整體運作需要很高的數據管理統(tǒng)一性和一致性，傳統(tǒng)的企業(yè)組織架構往往沒有單獨的數據管理部門，數據治理相關業(yè)務由信息科技部門代為統(tǒng)籌，導致數據管理團隊和角色比較分散，相關工作無法順利推進。在具體推進過程中，還會遇到如下挑戰(zhàn)：關鍵角色權責不統(tǒng)一、多個部門之間配合不到位、數據治理各個相關角色缺乏共同語言、不同角色的付出與收益脫節(jié)以及誰來對數據的質量負責等。舉個典型的例子：某企業(yè)推行數據治理由業(yè)務部門發(fā)起，但對業(yè)務數據和系統(tǒng)進行整治時，得不到IT和數據部門的配合，開展數據治理工作流程的關鍵動作時，經常找不到對應負責人，導致數據治理在推行時的功能性和可用性都大大降低，數據治理最終淪為樣子工程。2.數據采集和獲取困難，數據源格式、類型均不統(tǒng)一企業(yè)在進行數據治理的過程中，需要對接其現有的業(yè)務系統(tǒng)、自有觸點以及各類三方數據源。當前，普遍存在的問題是，數據源缺乏統(tǒng)一的標準，不同業(yè)務系統(tǒng)的數據的格式、類型不統(tǒng)一，導致整體數據獲取和對接的成本較高。同時，數據的采集和獲取需要窮舉所有結構化和非結構化數據，并滿足不同時效性的要求，這對數據采集和接入的開發(fā)帶來了很大的挑戰(zhàn)。另一方面，數據采集離不開SDK的支撐，數據采集的標準化需要保證SDK本身在數據標準、數據傳輸、數據安全的要求，這也對數據采集SDK的開發(fā)帶來了很大挑戰(zhàn)。3.數據孤島效應嚴重，數據標識千奇百怪，數據打通困難重重企業(yè)的整體業(yè)務架構下包含各類獨立運作的數據系統(tǒng)，每一類數據的來源都不同且離散，數據孤島情況非常嚴重，數據煙囪林立，企業(yè)在打破數據孤島將各處數據進行匯聚的過程中，缺乏合適的數據模型、架構和框架設計，在數據倉庫、數據湖、數據中臺的取舍和側重間難以抉擇，這使得企業(yè)的數據治理進程舉步維艱。加之，企業(yè)普遍缺乏合適的數據模型來承載全部來源的數據，數據模型本身的抽象難度較大，需神策研究院要同時考慮數據屬性和業(yè)務場景，進行數據盤點，實現數據的標準化和統(tǒng)一，這需要相關人員有足夠的數據標準化經驗和業(yè)務理解能力，來拉通數據現狀和業(yè)務需求。企業(yè)業(yè)務側往往存在多個終端，由于終端用戶所在渠道不一致，導致用戶數據的標識也不一致，比如：有的渠道只能獲取設備ID,有的渠道只能獲取虛擬用戶名等，從而無法打通用戶數據在全域上的身份標識，并獲取用戶在企業(yè)所有的交互數據。從技術上而言，要把這些用戶數據進行標識打通，實現統(tǒng)一標識ID非常困難，這給后續(xù)企業(yè)業(yè)務的數據應用帶來了很大阻礙。4.企業(yè)數據質量管理難，問題積壓如同“定時炸彈”企業(yè)缺乏數據質量的管理體系和方法論，對于數據質量缺乏合理的評估體系，只能得出有問題或者沒問題的結論，缺少打分機制，無法診斷數據質量問題的嚴重性，最終質量問題大量積壓對業(yè)務造成嚴重影響；另一方面企業(yè)無法對數據質量做主動監(jiān)控，永遠處在被動狀態(tài)，只能在發(fā)現問題后亡羊補牢，大大增加了企業(yè)的數據維護成本。企業(yè)數據質量管理無法從源頭做起，作為源頭的數據埋點和接入數據的質量無法保證，只能對上游產生的數據做人為修復，隨著時間變長，數據沉淀越來越大，數據質量的問題會日益凸顯。5.企業(yè)數據管理混亂，想重新梳理但不知從何做起從宏觀上來看，企業(yè)對于數據的生命周期無法進行管控，數據的熱度、數據的老化情況無法得知，數據日益臃腫，資源占用、成本日益高昂，處理的代價越發(fā)龐大。多個業(yè)務系統(tǒng)供應商之間的數據標準不統(tǒng)一，導致數據的管理難度越加巨大，數據管理大量依賴于專業(yè)技術的DBA、數倉工程師等底層技術工作，企業(yè)沒有可視化、簡便的數據管理平臺，使得數據維護和管理難顧頭尾。從細節(jié)來看，企業(yè)數據命名定義混亂，同名不同義、同義不同名的現象普遍存在，數據一致性無法得到保證；企業(yè)數據之間缺少數據關聯關系、血緣情況，對每個數據波動的影響面無法控制，從而加大了整體數據管理的難度。6.數據開放風險大，數據合規(guī)安全不可控企業(yè)數據在對外輸出時，無法做到靈活的數據流量控制、脫敏化處理，企業(yè)對外往往無法提供靈活的數據使用接口，數據API定制化程度較高，新數據需求只能二次開發(fā)，或者冒險直接提供底層數據平臺獲取數據。企業(yè)缺乏數據合規(guī)的管理機制以及技術工具，對數據上報和數據傳輸無法進行及時的控制和檢查。數據權限的管控需要貫穿整個業(yè)務流程來確保順利實施，這對企業(yè)的數據安全治理架構和權限設定有著很高的要求。三、詳解數據治理完整方案基于上述企業(yè)進行數據治理的六大痛點，完善的數據治理完整方案成為企業(yè)進行數字化轉型的破局之選，本節(jié)將以神策數據治理完整方案為例，詳細闡述其是如何幫助企業(yè)進行全端數據采集、治理、存儲、查詢及展示，高效積累數據資產，發(fā)揮數據資產價值，賦能業(yè)務應用場景，助力企業(yè)構建扎實的數據根基，實現數字化經營。1.數據治理是企業(yè)完成數字化運營閉環(huán)的重要基礎神策數據通過為超過30多個行業(yè)、1500多家企業(yè)提供數據分析和數字與營銷服務，總結出一套企業(yè)經典的運作模式——基于數據流的企業(yè)運營框架SDAF。其中，Sense即感知，從抽象的數據分析中形成對業(yè)務和用戶的洞察；Decision即決策，感性與理性的平衡，人與機器共同決策；Action即行動，基于數據的全方位智能觸達手段；Feedback即反饋，實現全端數據全面、實時的反饋。基于數據流的企業(yè)運營框架SDAF,企業(yè)的數據從頭流到尾，感知——決策——行動—反饋四環(huán)節(jié)共同組成數字化運營的閉環(huán)。對企業(yè)來說，數據治理是上述數據應用的基礎和根基，它的好壞直接影響數據應用過程中的價值體現。同時，數據治理也是企業(yè)進行數據資產沉淀的基礎，直接決定企業(yè)的數據資產能否得到有效的沉淀，以及在數據應用過程中能否充分地發(fā)揮數據價值。在基于SDAF運營框架開展業(yè)務的過程中，神策數據治理方案貫穿企業(yè)整個業(yè)務流程，為企業(yè)提供實時、高效、規(guī)范化的全域數據采集、全域數據的標識打通、以及數據質量把控和管理，幫助企業(yè)沉淀數據資產，為企業(yè)在后續(xù)SDAF框架中的數據應用打下良好的數據根基。神策數據治理方案的核心是面向企業(yè)客戶數據，助力企業(yè)發(fā)揮數據資產價值，主要從以下4方面幫助企業(yè)推動數字化運營。第一，積累“有效”的數據資產。通過整合多種數據源，打通用戶ID體系，從而幫助企業(yè)打造持續(xù)積累可用、有用、實用的數據資產。第二，驅動企業(yè)業(yè)務數字化。干凈的數據、統(tǒng)一的用戶體系，可以實實在在地賦能業(yè)務運營中的分析場景和營銷場景，有效實現業(yè)務數字化運營與增長。第三，賦能企業(yè)團隊和組織。完整的數據平臺和數據流建設規(guī)范，可以推動數據團隊工作的流程化、規(guī)范化，提升組織產出效率。第四，降低機器和人力成本。穩(wěn)定、可靠、性能優(yōu)質的數據根基平臺，可以處理海量數據，從而大幅降低機器硬件和人力成本。2.數據治理需要組織架構支持，企業(yè)數據文化建設需并行數據治理離不開企業(yè)組織管理架構的支持，在推行數據治理之前，企業(yè)需要梳理哪些角色參與數據管理、分配至哪些部門和人員、分別承擔哪些職責，同時，建立體系化的數據管理制度和溝通機制，提高業(yè)務部門的參與度，推動企業(yè)數據文化和標準衡量體系的建設。業(yè)務數據產品組業(yè)務數據開發(fā)組業(yè)務數據智能分析組基礎類數據標準指標類數據標準-圖：數據治理離不開組織管理架構的支持一一個典型的數據管理組織模式應該有統(tǒng)一的數據管理角色和獨立的數據管理部門，與信息科技部門及業(yè)務部門并行，受公司領導層統(tǒng)一管理，具備高度的數據管理協(xié)作性和統(tǒng)一性，如下圖所示。-圖：典型的數據管理組織模式一3.面向業(yè)務的“螺旋式”數據治理理念在落地數據治理具體方案前，需要具備正確的數據治理理念。在數據治理方面，神策數據崇尚面向業(yè)務的“螺旋式”數據治理理念，將數據治理分為三個階段：關注源頭、關注波動、全面掌控。企業(yè)數據治理價值解讀與場景實踐一圖：神策數據面向業(yè)務的“螺旋式”數據治理理念一第一階段——關注源頭在數據建設的初期，重點關注數據的質量，強調從需求到測試按規(guī)范進行，保證源頭安全大約可解決80%以上的問題。一旦數據被污染了，發(fā)現、制定方案和清洗均是一個漫長的過程，最終還不一定能達到我們的預期。比如，數據的治理需要伴隨App發(fā)版，但即使我們新版本發(fā)出去了，用戶也不一定會升級，從而導致部分數據一直被污染。因此，對于數據治理，不要先污染后治理，而是應該從源頭控制。第二階段——關注波動當業(yè)務越來越依賴于數據的準確性和實質性時，需要整個數據團隊及時監(jiān)控數據質量的變化，避免發(fā)生線上故障從而影響業(yè)務。隨著業(yè)務的持續(xù)迭代，數據應用的需求以及系統(tǒng)本身也在不斷發(fā)生變化，數據治理也需要隨之進行不斷地更新與調整。在這個階段，由于對數據治理的重視程度下降、組織架構以及人員變更、流程不穩(wěn)定和不全面等因素，數據治理的結果一般很難保持在一個較高的基線，反而會越來越差，直至無法滿足最終的數據應用需求。以在線推薦系統(tǒng)為例，如果用于給機器學習訓練的Item數據流、曝光和點擊事件導入有延遲、故障，會直接影響在線服務，比如出現刷不出新條目推薦系統(tǒng)fail的情況。因此，數據治理的過程要貫穿到整個業(yè)務迭代的過程中，業(yè)務發(fā)生了變更，組織架構發(fā)生了變更，數據治理方案和流程也應該隨著進行變更。第三階段——全面掌控當業(yè)務越來越復雜、數據源越來越多，且各種運營動作對數據依賴程度較高時，需要整個業(yè)務團隊和數據團隊一起來關注數據質量。針對特定的市場需求，標準的數據采集SDK,將匿名ID生成、基礎屬性采集、數據打包壓縮加密、本地緩存、網絡傳輸、時間校準、遠程控制等通用功能都需要進行產品化與標準化處理。除此之外，數據治理過程中的通用需求和通用治理方案，可以以產品化的方式進行沉淀。從日常統(tǒng)計結果可知，ID-Mapping,即數據打通相關問題的耗時可以占到一個數據處理項目的30%左右。如今，ID-Mapping已經發(fā)展至3.0版本，每一個數據ID都有明確語義，如OpenID、UnionID、IDFA、DIFV、Mobile、Email等等，不同ID之間可以自由關聯且支持ID解綁。對于一個用戶而言，只要構建其任意兩個數據ID之間的關聯，即可完成所有ID的關聯，從而實現數據層面的用戶標識打通，這對于企業(yè)的業(yè)務數據治理至關重要。AppWeb用戶瀏覽商品AppWeb用戶瀏覽商品用戶使用手機登錄用戶賬號"xiaoming"電腦瀏覽用戶繼續(xù)瀏覽商品商品上登錄賬號自營平臺注冊脹號電商渠道各法量平臺微信生態(tài)內部系統(tǒng)數據治理的核心目標是幫助企業(yè)整合數據資產，發(fā)揮數據資產價值，賦能企業(yè)形成數字化的業(yè)務閉環(huán)，實現企業(yè)數字化轉型。以神策數據治理方案為例，數據治理方案涵蓋數據源采集→數據打通→數據質量→數據管理→數據開放→數據安全整個流程。企業(yè)數據治理價值解讀與場景實踐特入的質自的分折甲入用企業(yè)數據治理方案包括數據采集、數據打通、數據質量、數據管理、數據安全五大關鍵點，全方(1)數據采集：通過SDK等數據采集工具，實現全端數據資產積累企業(yè)數據治理需要從源頭上進行管控，這需要優(yōu)質可靠的數據采集工具提供支持，對于最常見的App、網頁等業(yè)務生態(tài)，SDK是最佳的數據采集方案。數據治理應擁有統(tǒng)一的數據采集框架，并支持多種數據采集方式。企業(yè)可以通過市面上40+種SDK數據采集工具，靈活適配各類數據源，c控5P5)科窗費(50全神策研究院對于外部數據的接入，數據治理方案包含了多種數據接入的通道，可以快速的將外部數據接入到企業(yè)數據平臺進行數據的存儲和數據的分析、可視化。預置通道集成了一方業(yè)務數據庫、Excel等數據文件、三方電商渠道、微信生態(tài)的私域數據接入。同時，為了包容其他的數據源，整體設計以插件化的方式進行數據源的集成，除了下圖的預置通道還可以快速集成其余數據通道。同時，為了保證持續(xù)的數據接入可以對接入的數據表進行數據同步頻率的設定，根據業(yè)務訴求在對應的時間、對應間隔上對數據進行更新設置。雪數據接入數據源管理數據質量數據接入數據質量數據庫(2)電子商務(4)天貓商城100個戶山旺店通Hive旺店通微信生態(tài)(1)微信公眾號1個張?zhí)朣微信小程序企業(yè)微信一圖：對于外部數據接入，預置多種數據接入通道一對于外部接入進來的數據可以對數據進行快速的數據模型映射，將外部數據做簡單的標準化和歸一化的操作。對于每一個接入的數據都會記錄在數據接入管理當中，知曉數據同步的具體情況。與此同時，為了幫助接入進來的數據的最終確認可以對接入的數據進行預覽，確認無誤后會將數據寫入到底層存儲當中。(2)數據打通：通過實時一對多的ID-Mapping,構建全局統(tǒng)一的用戶體系數據打通的核心是實現數據模型和標準的統(tǒng)一。企業(yè)數據的存儲按照標準的四層數據分層進行，每層數據的存儲進行差異化的類型定義和受眾對象。在分層的基礎上考慮數據模型本身的設計，遵循數據服務于業(yè)務，業(yè)務形態(tài)決定數據模型。數據模型一方面考慮當前數據的實際情況，另外一方面考慮業(yè)務對于數據的實際訴求，將兩者合二為一構建整個企業(yè)統(tǒng)一的數據模型體系。每一個數據字段都有業(yè)務、技術、管理三個視角的數據標準定義，統(tǒng)一企業(yè)內部對于數據的理解企業(yè)數據治理價值解讀與場景實踐和認知，避免數據同名不同義、同義不同名，保證每個數據在整個企業(yè)內部的唯一性。敏感度敏感度業(yè)務定義與相關數據關系標準依據值域相關數據數據標準數據類型技術屬性數據格式使用系統(tǒng)業(yè)務運用領域數據使用者中文名稱英文名稱業(yè)務規(guī)則數據定義者數據管理者業(yè)務屬性管理屬性-圖：統(tǒng)一數據標準一數據模型和標準完成統(tǒng)一后，基于ID之間的精準匹配，將兩個不同用戶在同一用戶標識下ID相一致的用戶進行關聯，并以此將不同業(yè)務系統(tǒng)的數據進行用戶ID的打通。通過ID-ID之間兩兩映射關系表，將多種ID之間的關聯打通，比如手機號、身份證號碼可以關聯，手機號、郵箱賬號可以關聯，這樣通過手機號就可以把身份證號碼和郵箱賬號也關聯了。通過電話號碼將A和B兩個用戶進行關聯，把AB識別為同一個用戶一圖：將不同業(yè)務系統(tǒng)的數據進行用戶ID的打通一在系統(tǒng)中統(tǒng)一維護各個業(yè)務系統(tǒng)或者數據來源的用戶身份標識，并為每個用戶身份標識設置優(yōu)先級，系統(tǒng)會根據維護的用戶標識和其對應的ID優(yōu)先級，將接入的數據進行自動打通。神策研究院優(yōu)先級用戶標識標識顯示名數量限制近7天接收量上次修改時間創(chuàng)建人白定義規(guī)則C2Sidontity_mobll用戶手機號標識12021-04-2617:30:00系統(tǒng)創(chuàng)建^0-9a-zM5,JSC3Sidentity_emil用戶郵箱標識1121C4Smp_unionid微信用戶UnionIDN32021-04-2617:30:00系統(tǒng)創(chuàng)C5Smp_la2b3o4d_openid神策數據微信用戶146Sidentity_androld_jdAndroidDC7Sidentity_anorymous_id歷史匿名IDN4562021-04-2617:30:D-圖：用戶身份標識一(3)數據質量：構建數據治理監(jiān)控體系，異常數據監(jiān)控報警及在線修復企業(yè)數據治理方案需要構建一整套完善的數據質量監(jiān)控體系，包含質量規(guī)則引擎、數據質量異常監(jiān)控報警、異常數據在線修復。在數據質量看板中，企業(yè)可以結合業(yè)務梳理，通過可視化的形式選擇數據和字段對數據質量規(guī)則進行配置，定義接入數據需要滿足的質量要求。校驗規(guī)則設置·對ordec,type進行|枚舉校驗test000事件(Event)杠位ID校驗事件(Event)pay_typeNC磁信’,支付寶)一圖：數據質量之校驗規(guī)則配置一企業(yè)數據治理價值解讀與場景實踐根據用戶設定的數據質量規(guī)則，所有進入數據平臺的數據都會主動進行規(guī)則校驗，并將不符合規(guī)則的異常數據及時通過異常看板，實時反饋給數據使用者。同時，平臺會對異常數據進行實時修復和改正，并及時調整上游數據和規(guī)則。數據質量規(guī)則校驗后能夠保證接入的數據符合數據質量要求，對于那些沒有通過數據質量規(guī)則校驗的數據，用戶可在界面當中對異常數據進行修復和改正，經數據修復后的異常數據如果通過數據質量的校驗可以將數據存儲到底層數據存儲當中。(4)數據管理：打造一站式數據資產管理平臺，隨時掌控數據大盤企業(yè)數據治理方案包含整套數據資產管理平臺，涉及數據資產管理、數據開放平臺、數據地圖、元數據管理四個部分，幫助企業(yè)以可視化的方式實現數據管理。在數據資產管理上，企業(yè)數據管理人員可以通過可視化的數據資產管理平臺，快速查看當前數據大盤情況，也可以快速查詢入口檢索需要的數據。152個一圖：通過可視化的數據資產管理平臺查看數據大盤情況一神策研究院數據開放平臺通過數據API的方式將平臺數據提供給業(yè)務部門，實現對業(yè)務的數字賦能。通過RestfulAPI方式，一方面規(guī)避了數據團隊人員對底層數據系統(tǒng)的入侵，另一方面幫助企業(yè)相關部門規(guī)范化使用數據，更好地監(jiān)控業(yè)務部門對底層數據的使用情況。數據地圖能夠按照不同的業(yè)務主體對數據進行集中化管理，幫助不同的業(yè)務部門整理和管控整個部門所屬的數據資產。數據管理人員在日常工作中可以查看每一個數據的基本情況、數據列、數據血緣情況等信息，對上下游相關數據進行查詢、分析，衡量每一個數據對其他數據的影響。在元數據管理上，通過可視化、極簡化的方式實現底層數據的管理工作，使所有日常數據工作標準化、規(guī)范化，解放專業(yè)數據人員，讓更多非技術人員上手進行底層數據管理。(5)數據安全與合規(guī)：嚴格控制數據安全分級，切實遵守數據相關法律法規(guī)企業(yè)數據安全是越來越不容忽視的重點，為了保障企業(yè)本身的數據安全，神策數據治理方案對不同的使用者提供不同數據安全級別的控制，從取數和訪問流程對數據進行隔離和區(qū)分，同時提供專門針對于數據安全的服務控制，切實保障企業(yè)數據安全。企業(yè)數據合規(guī)化是企業(yè)數據治理的核心和紅線，企業(yè)對于數據的收集和使用需要按照國家《數據安全法》《個人信息保護法》,海外按照歐盟GDPR為代表的各屬地法律法規(guī)進行。對于涉及公民隱私等相關數據務必進行安全與合規(guī)化的管理和控制。采集安全在數據采集過程當中保證數據的安全傳輸采集安全在數據采集過程當中保證數據的安全傳輸以及數據本身的多重加密，做到數據不丟以及不可破解。定期銷毀數據存儲遵循各國法規(guī)，保證數據的境內存儲，不支持跨境傳輸。同時，數據存儲做到根據企業(yè)實際業(yè)務周期對數據做最短期限存儲，保證數據信息的保存時間與業(yè)務使用目的保持程度上相一數據存儲遵循各國法規(guī)，保證數據的境內存儲，不支持跨境傳輸。同時，數據存儲做到根據企業(yè)實際業(yè)務周期對數據做最短期限存儲，保證數據信息的保存時間與業(yè)務使用目的保持程度上相一致一圖：企業(yè)數據合規(guī)化-四、數據治理的典型業(yè)務場景數據采集是數據應用的源頭，是企業(yè)進行精細化運營的基礎和前提。如果數據采集沒有做好，會影響整體的數據質量，即使在后面環(huán)節(jié)進行彌補，其代價會更大，最終的數據應用以及基于數據做出的決策和反饋也必然會受到影響。企業(yè)在開展精細化運營過程中，首先需要一套標準化、規(guī)范化的數據采集方案來收集一方體系和三方平臺的全域業(yè)務數據，夯實數據應用根基。通過數據采集SDK、預置系統(tǒng)/數據對接、電商/三方平臺API、定制開發(fā)且集成進行全域的數據接入，從而打通各渠道數據，構建全域數據基礎。典型場景：品牌零售企業(yè)的整個消費者生命旅程主要分為知曉品牌、產生興趣、首購體驗、持續(xù)復購、分享裂變幾個階段，每個階段消費者與品牌的數據交互與觸點分布如下圖所示。8天而①動支②r-圖：圍繞消費者生命旅程的全域數據采集-以某餐飲品牌為例，其各渠道數據包括門店POS訂單數據、CRM系統(tǒng)中存儲的會員數據、積分數據、優(yōu)惠券數據、堂食與外賣小程序行為數據等，該品牌的運營人員想看到全渠道的會員相關數據，就需要對不同渠道設計針對性的采集方案。例如將門店訂單數據、CRM數據通過API導入統(tǒng)一數據平臺，小程序等私域觸點的用戶行為數據通過SDK完成實時采集，通過對這些渠道數據進行采集與治理，共處理4億多條數據，最終實現全渠道會員數據集中管理查看。神策研究院2.全域OneID打通：ID-Mapping構建統(tǒng)一用戶體系，獲取真實畫像企業(yè)業(yè)務側往往存在多個終端，由于終端用戶所在渠道不一致，導致用戶數據的標識也不一致，無法實現數據OneID化。比如，有的渠道只能獲取設備ID,有的渠道只能獲取虛擬用戶名等，無法打通用戶數據在全域上的身份標識，并獲取用戶在企業(yè)所有的交互數據。由此可見，企業(yè)數據治理中，全域數據OneID體系設計對企業(yè)的用戶精細化運營、CDP構建等都至關重要，下面以神策數據治理方案為例。神策數據采集方案擁有規(guī)范的ETL流程，讓企業(yè)低成本獲得干凈的數據，從源頭保證數據質量。成熟的Event-User-ltem數據模型，讓跨部門、跨業(yè)務的數據治理標準統(tǒng)一，同時通過實時一對多的ID-Mapping,構建全局統(tǒng)一的用戶體系，打通用戶在各端、各場景下的用戶數據，獲取用戶真實畫像，從而為后續(xù)的精準營銷和精細化運營打下基礎。典型場景：某知識共享平臺，經常在其公眾號中推送相關活動，用戶看到后進行注冊，之后領取紅包購買課程，接著登錄App,開始課程的學習。但由于其中牽涉H5、小程序、App等不同的端，許多企業(yè)在進行此步驟時并不知道該如何將多端數據統(tǒng)一，進行同一用戶識別。通過神策的ID-Mapping機制，可以實現同一用戶多端行為數據的打通，如下圖。 12->1設備ID購買課程學習課程這里有三個ID的概念，神策ID、設備ID、登錄ID。當用戶進入落地頁后，剛開始就會將其企業(yè)數據治理價值解讀與場景實踐OpenlD作為設備ID,此時也會生成一個神策ID,比如用“一號”來標識這個用戶，當用戶注冊時填寫手機號碼，我們可以把他的手機號碼作為他的登錄ID寫入，假設是ABC,然后將他的當他啟動App但并未登錄時，對于這個陌生的設備，此時會用他的手機設備ID進行標識，并在神策中用“二號”標識，一旦他登錄ABC進行學習，就又會被識別出——原來他是“一號”用戶。如此，利用設備ID與登錄ID關聯的機制，基本上可以將關鍵流程的所有行為貫通在“一號”用即使是用戶的那段“匿名時光”,也可通過多設備關聯，把用戶登陸之前的那段行為與ABC進行關聯，實現一個更為完整的用戶路徑打通。數據治理方案可以為企業(yè)提供全局的數據質量監(jiān)控體系，并通過可量化的數據質量指標體系刻畫當前數據質量情況。某汽車品牌的數據來源紛繁復雜，包括廠商、車載車機、車聯網、私域小程序、車主App、外部車聯網后臺第三方平臺第三方平臺加上該品牌的數據多以SDK埋點數據、日志數據為主，但當前埋點數據質量較差，主要使用日志數據，而數據當中的關鍵信息缺失、數據字段缺失、數據數量與實際不符。神策研究院一圖：該品牌數據采集的問題一數據針對當前整個數據體系所存在的問題，該品牌對源頭數據進行梳理，并確立每一種數據本身應該達到的質量標準，將質量標準轉化為對于每一個業(yè)務數據的質量規(guī)則定義。基于神策整體數據質量管理，對該汽車品牌進行如下落地架構上的整體實施設計。車生t車聯網官網正空概野廠一圖：數據質量監(jiān)控體系一為了幫助該品牌數據團隊認識到當前數據質量情況，避免小題大做和業(yè)務誤解，神策針對不同數據質量規(guī)則進行可量化的數據質量指標體系設計，并通過打分機制掌握當前數據問題的情況。鉆mmbelminodeCod?F平。0209662590010287_111007-圖：針對不同數據質量規(guī)則進行可量化的數據質量指標體系設計一4.數據資產管理：實現可視化、極簡化的數據體系管理數據治理方案可以幫助企業(yè)擺脫底層命令式的數據管理，利用可視化、極簡化的手段進行企業(yè)數據體系的管理，通過工具化的手段實現主數據、元數據的便捷管理。典型場景：某奶飲國際巨頭，以往的公司內部數據管理主要依賴外包廠商的數倉工程師和DBA等技術人員通過服務器端工作，非專業(yè)人員無法進行數據管理工作，也無法直觀地獲取當前數據庫當中的數據體量和種類，因此需要有一個可視化數據資產管理系統(tǒng)進行日常數據的管理工作。通過數據資產系統(tǒng)可以按照業(yè)務主題對數據進行管理和維護，同時支持查看每個數據表的血緣關系。通過數據資產系統(tǒng)的資產目錄也可以快速索引和查找需要的數據表，同時支持對數據字典的支持和維護。|sfn-圖：數據資產系統(tǒng)一數據治理方案通過對數據的梳理，統(tǒng)一企業(yè)對于每個數據的定義，達成對數據的統(tǒng)一口徑和認知，解決數據二義性，同時通過數據標準管理規(guī)范企業(yè)全域數據。典型場景：某智能電動汽車公司業(yè)務發(fā)展速度較快，隨著汽車保有量的逐年增長，用戶數和服務量增加，數據增長速度和數據體量增大。如果不做數據治理的話，根據這種接近指數級的數據增長趨勢來預測，未來數據生產、存儲、服務的復雜性及成本負擔都會變得非常之高?；诖耍摴敬_立了四個數據治理目標：建立健全數據標準框架，制定基礎類數據標準和指標類數據標準；提高數據使用和運營效率，提高數據運營的自動化和系統(tǒng)化程度；提高數據治理程度，通過系統(tǒng)化手段管理指標口徑，保障數據一致性；健全企業(yè)線上數據權限管理流程。此后，該公司主要從組織、標準規(guī)范、技術、衡量指標四個維度進行數據治理。整體數據治理的實現路徑以標準化的規(guī)范和組織保障為前提，通過技術保證數據治理策略的實現，搭建數據治理的衡量標準來觀測和監(jiān)控數據治理的效果。在具體落地時，該公司專門成立了數據管理委員會，下設業(yè)務數據產品組、業(yè)務數據開發(fā)組以及業(yè)務數據智能分析組，并明確三組的具體職責：·業(yè)務數據產品組：負責數據標準、數據需求對接、數據產品設計·技術數據開發(fā)組：負責數據倉庫、數據產品、數據治理、數據安全和數據工具的開發(fā)和實現企業(yè)數據治理價值解讀與場景實踐敏感度敏感度業(yè)務定義與相關數據關系標準依據值域相關數據該公司數據標準框架數據類型技術屬性數據格式使用系統(tǒng)業(yè)務運用領域數據使用者中文名稱英文名稱業(yè)務規(guī)則數據定義者數據管理者管理屬性業(yè)務屬性一圖：某智能電動汽車公司的數據標準框架一報表數據來源報表歸屬業(yè)務線報表更新頻次報表推送方式報表緊急聯系人查看篩選維度全量/批量下載配置報表定時更新明細報表/圖形分析預警提示報表主題分類數字報表上線上線數字報表工具數字報表展示一圖：上線數字報表工具Pulseweb-保障數據一致性；在數據效率上，數據工具上線后，提高了數據集的使用頻次，減少了業(yè)務和研確定了統(tǒng)一標準和規(guī)范的數據口徑、數據來源、指標維度的計算邏輯，數據倉庫分層優(yōu)化的實施提高了數據質量；在數據安全上，線上數據字典數據上和數據指標的維護負責人，業(yè)務線同事需要在流程申請后才可使用該業(yè)務數據，對保證業(yè)務數據五、三大行業(yè)數據治理實踐解讀1.保險業(yè)：基于OneID打通全域數據，助力360°洞察與精細化運營隨著保險行業(yè)數字化轉型的深入，很多保險公司越來越意識到：數據資產是保險企業(yè)獲得永久性競爭的基石，是推動生產力的數據資本。完備的數據資產可以幫助企業(yè)獲取更強的決策力、洞察發(fā)現力和流程優(yōu)化能力，因此重視數據根基的搭建成為很多保險公司的共識。在推動數據基礎建設中，通過完成數據資產建設與管理、數據采集規(guī)范體系建設、數據質量保障體系建立、實現全渠道數據采集及融合，從而賦能實際業(yè)務的應用。加之，隨著“以客戶為中心”逐漸成為保險公司普遍認同的戰(zhàn)略重點，保險公司要了解客戶需求與偏好，投其所好地提供相匹配的產品或服務。建構數據根基平臺，形成對客戶實時精確的分析洞察，進而提供匹配的保險產品和服務，最終提升客戶粘性，促進轉化，成為保險公司提升自身品牌影響力和競爭力的重點。此外，由于保險業(yè)務“低頻交易，弱連接”的特點，對企業(yè)的精細化運營程度要求更高。當有了統(tǒng)一OneID的數據基礎，就可以進一步展開數據分析和洞察。在A端和C端用戶體驗優(yōu)化上，可以對平臺數據概覽、核心指標預警、渠道追蹤評估、活動效果評估等相關指標進行下鉆分析；在A端代理人團隊管理上，可以針對代理人特征洞察、招聘培訓、行為指標體系建設等進行具體分析；在C端用戶運營策略上，通過客戶特征數據的洞察，根據其行為偏好制定運營策略，進行個性化運營和營銷?；谏厦娴姆治雠c洞察，可以開展進一步的行動和反饋，推動精細化運營。在C端客戶運營上，進行針對性活動策略的觸達，進行微信公眾號服務運營以及自動化的智能營銷；在A端代理人運營與賦能上，可以助力拉新增員、成單轉化、線上精準培育、業(yè)務排名預警等；在電銷人員賦能上，可以幫助進行線索質量劃分、線索精準匹配、企業(yè)微信客情卡、線索培育、線索清洗回撈、沉默線索激活等。某人壽保險公司A:基于OneID打通內外用戶全鏈路數據，助力智能營銷與精細化運營某人壽保險公司A近年大力發(fā)展數據資產與數據智能化應用建設，改變以往業(yè)務運營缺乏數據支持的情況。希望基于OneID打通用戶全鏈路以及與內部數據，助力公司業(yè)務的數據化、精細化用戶運營，提升用戶及價值增長。該保險公司在數字化轉型戰(zhàn)略之下，大力建設及豐富App生態(tài)，逐步將客戶向線上化遷移，在此過程中，線上端積累了一定數量的客戶，如何將客戶線上行為數據與保單數據、自然屬性數據等融合，基于MDM客戶號與神策ID融合多策略產生唯—ID、具備實時生成標簽能力，客戶經營系統(tǒng)標簽和用戶行為標簽、實時標簽貫通，是該公司的核心訴求?；诖耍⑷緦用娴目蛻魳撕烍w系，形成360°的客戶視圖與洞察，方便后續(xù)推進精細化運營促轉化。通過神策數據治理的OneID能力，通過采集該公司展業(yè)端、保險官網、保險公眾號、保險商城及保險管家等全渠道的A端和C端用戶行為數據以及企業(yè)內的CRM系統(tǒng)、投保系統(tǒng)、核保系統(tǒng)、理賠系統(tǒng)、風控系統(tǒng)等各業(yè)務系統(tǒng)明細及標簽數據的導入，加上第三方數據的導入，比如保險經紀公司A端和C端用戶行為和業(yè)務數據等，運用ID-Mapping統(tǒng)一保險客戶的ID,完成數據資產的積累和沉淀?；贠neID打通數據后，可以通過用戶信息全景看板和對用戶行為的歸因分析、轉化分析、復購分析等數據表現，根據相應的規(guī)則搭建用戶標簽體系，通過靜態(tài)的基本屬性和動態(tài)的行為屬性及付費屬性，構建完整的用戶畫像，從而可以360°地進行客戶洞察和機會挖掘。比如，通過標簽體系的搭建，可以清楚地看到某個年齡在30-35歲的白領用戶，收入約5W,多次瀏覽重疾，且做了保費測算和咨詢了客服，基于這樣的標簽畫像，對此進行針對性的重疾險、教育金險、養(yǎng)老金險、車險等商品和服務的推送，轉化率會更高。多次瀏覽重疾做了保費測算咨詢了客服重疾險意向喜歡大促活動關注養(yǎng)老社區(qū)30-35歲用戶基礎信息人口統(tǒng)計屬性社會屬性激活注冊用戶行為數據業(yè)務數據用戶生命特激活/暗育期已有標簽綜合價值付費價值訪問活躍功能活躍投保活躍營銷活躍付費屬性行為屬性生活關系關聯關系付費頻次付費偏好活信躍好付費生命線上渠道制已有元數據設備賬號人口統(tǒng)計位置信息渠道特征營銷偏好價值屬性-圖：用戶標簽體系示例一OneID助力構建保險用戶關鍵行為預測標簽，提升運營效果數據感知(Sense):基于神策數據的OneID打通和ID-Mapping,通過對該公司的線上App行為數據、CRM系統(tǒng)業(yè)務數據、保單信息管理系統(tǒng)業(yè)務數據及第三方數據的打通及導入，基于這些基礎數據分析，通過預測客戶行為，將客戶初步劃分為以下幾類，方便展開針對性運營。保險轉化客戶：過去30天，做過支付保單的事件；神策研究院保險價格敏感客戶：過去30天，做過查看保單價格事件且未投保；退保客戶：過去90天，做過申請退保的事件。數據決策(Decision):通過神策分析對以上人群進行圈選和數據進行分析，進一步計算出用戶的保險轉化概率、價格敏感概率和退保概率，然后將行為發(fā)生的概率值保存為標簽，并提供不同用戶分層的建議，最后輸出相關性最高特征及魔法數字。數據驅動(Action):根據上述決策，針對不同層的客戶展開相應的運營觸達動作，針對保險轉化率高的客戶推送到代理人跟進，進行專屬服務促進轉化；針對保險價格敏感概率高的用戶，推送保險咨詢顧問服務鏈接消息；針對退保概率高的客戶，將這批客戶推給呼叫中心，方便在客戶退保前，進行提前干預，減少用戶流失。數據反饋(Feedback):通過上述觸達策略的執(zhí)行和推進，該公司的保單轉化率有所提升，退保率也有了下降。此外，基于不同的觸達策略，結合不同的觸達方式、觸達內容、觸達時機等觸發(fā)維度的效果數據分析，總結觸達過程中不同客群的營銷話術內容、投放策略以及觸達節(jié)點對觸達效果的影響，不斷對后期話術、投放策略、觸達時機等進行調優(yōu)，最終固化最優(yōu)運營策略。此次從粗放式到精細化的運營轉變，使優(yōu)化后的觸達轉化率顯著高于原始觸達轉化率3%,獲得了領導的認可，并計劃結合基于數據流的企業(yè)運營框架SDAF的方法論在線上轉化流程中嘗試不同“觸達”環(huán)節(jié)的精細化運營策略，最終提升業(yè)務轉化率。通過客戶標簽助力個性化推薦，提升客戶體驗和促進轉化數據感知(Sense):基于用戶統(tǒng)一ID的用戶數據進行分析，可以獲知不同客戶的基本屬性和各種偏好。比如在保險類型偏好上，是傾向于返還型還是消費型，是有購買人身險、健康險還是車險的意向；在產品偏好上，是偏向長期還是短期保障，是有意愿購買老年險、成人險還是兒童保險；在資訊偏好上，是瀏覽健康、養(yǎng)老、美食類的資訊多，還是優(yōu)惠活動、服務類的資訊多；在行為習慣上，是傾向于選擇線上代理人服務還是線上渠道，等等，各個群體的用戶偏好都可以一覽無余。數據決策(Decision):然后，在這些行為偏好的基礎上，對個性化需求的人群進行細分，在個性化保險產品需求上，分為重疾險、意外險、車險、醫(yī)療險、教育年金、養(yǎng)老年金、定期壽險等。在個性化服務需求上，分為專業(yè)心理咨詢、健康服務、美食類知識講解、法律咨詢等。數據驅動(Action):根據不同需求的細分人群，圈選相應的人群，在觸達方式、觸發(fā)內容及觸達時機上進行針對性的動作，展開個性化的營銷和服務。比如通過短信、站內消息、代理人專屬服務、呼叫中心等，分別推送不同的保險產品和主題營銷活動。數據反饋(Feedback):通過全方位的客戶洞察，結合智能推薦工具，該保險公司實現了“千人前面”的個性化、差異化運營，有效提升了客戶滿意度與產品粘性，在營銷成本降低的情況下，有效提升了業(yè)務轉化率與品牌忠誠度。專專業(yè)心理客i健康服務咨美食類知識務咨詢求求1附水意外險需求車險需求重疾+意外+壽險需求定期壽險重疾險需求醫(yī)療險需求教育年金養(yǎng)老年金&專屬服務恐保險產品1保險產品2主題活動1主題活動2年齡/性別家庭結構/收入/資產返還型/消費型人身險/健康險/車險長期/短期保障產品偏好老年/成人/兒童保險健康/養(yǎng)老/美食類資訊優(yōu)惠活動/服務類資訊線上代理人專屬服務線上渠道偏好2.品牌零售業(yè)：ID-Mapping打通全渠道數據搭建CDP,打造私域流量精細ID-Mapping助力跨端行為打通，真正實現全渠道追蹤當前，眾多品牌商和零售商都開始意識到“以消費者為中心”和“數據驅動”是企業(yè)增長的兩大核心武器，紛紛進行基于大數據的全渠道精細化運營。如何圍繞用戶構建消費場景，運用數據提升極致體驗，是大環(huán)境下品牌零售企業(yè)需要直面的命題。不可否認，數據根基建設是一切精細化運營應用的基礎。品牌零售企業(yè)普遍面臨著消費者數據數據采集難、質量差、割裂嚴重等制約精細化運營的難題，他們格外需要可以打通消費者全觸點的數據根基平臺。通過數據治理可以實時采集、治理、存儲、查詢、展示數據，并搭載數據智能引擎，高效積累數據資產，真實還原消費者的足跡，真正賦能業(yè)務應用場景，幫助品牌零售企業(yè)構建扎實的數據根基，實現數字化經營。在Sense感知階段，品牌零售企業(yè)依托于全域數據采集能力和便捷的ID-Mapping數據整合技術，打通移動端、線下門店、電商渠道、社交媒體以及企業(yè)自身所有的(S)CRM、數據平臺等全渠道數據，打造一體化消費者數據中心(CDP),從而掌握全面、實時的消費者畫像及靈活的標簽分群能力。只有做到對自己的消費者了熟于心，才能在策略制定和營銷觸達時有的放矢。接下來，基于業(yè)務需求和消費者本身所有數據的情況，提取數據中可描繪消費者不同維度信息的標簽，全方位讀懂用戶，還原出運營的真相，針對性地做出業(yè)務決策(Decision)。然后展開Action行動，即根據用戶畫像和具體的業(yè)務目標，針對不同的用戶進行個性化的觸達營銷和差異化的運營，同時根據用戶觸點識別客戶旅程所處的生命周期階段，利用個性化的接觸和需求滿足達到極致的用戶體驗。最后，針對用戶觸點數據進行拉新、激活、支付、復購的營銷數據反饋，進行效果分析，通過事件、歸因、漏斗等用戶行為分析，以及各生命周期的用戶旅程分析，在投放端的流量分析等，優(yōu)化營銷決策。最終完成對消費者形成洞察(Sense)、制訂策略(Decision)、實施動作(Action)、回收效果(Feedback)四個步驟的運營閉環(huán)，真正賦能品牌零售業(yè)務增長。接下來以某國際知名的消費電子品牌B為例，看看它是如何通過搭建消費者數據中心，一步步踐行消費者數字化運營閉環(huán)，逐步實現數字化轉型。整合全渠道消費者數據，務實品牌數據根基品牌B很早就意識到構建品牌私域流量數據的重要性，并著手布局微信小程序觸點矩陣，2019年初，品牌B的小程序商城、會員中心、內容中心、遠程操控等四大小程序已經積累了可觀的用戶規(guī)模。小程序觸點矩陣雖然已經布局好，但品牌B發(fā)現分散在四處的消費者數據并沒有打通，仍是不連貫的，比如當某用戶瀏覽了一篇介紹新品的公眾號文章，在小程序商城下單購買，并且在會員小程序進行售后保養(yǎng)，再利用遠程操控小程序對設備進行控制……品牌B甚至無法識別這些動作來自于同一消費者，基于此，品牌A計劃將4大微信小程序整合成為一個“AllInOne”小程序，除了前端界面的改造，更為關鍵和復雜的是打通底層消費者數據，還原其真實足跡。經過對品牌B小程序的現有數據的綜合診斷，神策數據幫助其找到了重構數據根基的5大障礙：1)缺失統(tǒng)一的ID-Mapping規(guī)則2)埋點的深度與廣度皆不足3)缺少有效的數據維度屬性企業(yè)數據治理價值解讀與場景實踐4)渠道來源標識缺失5)數據采集準確度不足上述5大問題直接導致消費者足跡割裂，無法形成細顆粒度的消費者洞察，精細化運營閉環(huán)更無從談起?；诖?，神策數據對品牌B每個小程序的原有埋點進行了處理與優(yōu)化，使用ID-Mapping技術打通了各渠道的消費者數據，并針對原數據進行了大量的校驗和治理工作。該年雙11大促時，品牌B利用新上線的消費者數據平臺，嘗試性地圈選了一批高潛力轉化消費者，發(fā)送優(yōu)惠短信進行觸達，這一年品牌B在所有品牌微信商城雙11銷售額中排名第二，足見消費者數據平臺對精細化運營的助力作用。私域精細化運營，賦能618大促實現降本增效在對各渠道消費者數據整合完善后，品牌B希望針對消費者特征進行更精細化的運營。在2020年618大促期間，神策數據在品牌B推行了精細化運營閉環(huán)的SDAF方法論，具體實踐如下。■精準推送：對過往90天瀏覽5次以上商■滿足條件的近萬人共帶來近百臺■數百元的短信成本帶來了數十萬GMV的回報■歸因分析發(fā)現：相比對比商品、觀看直■通過標簽畫像平臺、留存分析發(fā)現：瀏數據感知(Sense):大促期間將足夠接近轉化的消費者進行圈選并有限觸達是提升運營效率的關鍵?；诖耍放艬對近兩年來，所有小程序消費者的行為進行洞察后，發(fā)現瀏覽商品詳情頁5次及以上的消費者具有較高的轉化率。數據決策(Decision):基于數據感知得到了上述消費者洞察后，品牌B決定從大促的預熱期開始，對過去90天之內瀏覽過商品詳情頁大于等于5次的消費者發(fā)送定制的促銷短信。數據驅動(Action):通過神策智能運營平臺，品牌B在大促期間每一天的上午10點對消費者進行價格直降的短信發(fā)送，考慮到消費者的高轉化潛力，品牌A還利用行為數據的優(yōu)勢，專門設計了“實時刺激”的運營方案。品牌B預設了一些小程序內的關鍵行為，例如收藏商品、對比商品、咨詢客服、加入購物車、瀏覽購物車等，并在消費者點擊短信，進入小程序觸發(fā)了上述關鍵行為，如果其在30分鐘之內未完成購買，會再追加一條實時提醒的短信發(fā)送給該消費者，提高其下單的可能性。-圖：神策數據的流程畫布圖一作但是未觸發(fā)B動作的消費者進行實時觸達，滿足實時刺激條件的人群包共計萬余人，總計為品牌B帶來了幾十萬GMV,這也成為品牌B運營歷史上RO1最高的人群策略包。企業(yè)數據治理價值解讀與場景實踐3.汽車業(yè)：搭建CDP平臺還原全域旅程數據，構建車主畫像驅動品牌價值升級不可否認，近兩年傳統(tǒng)車企的數字化轉型意愿非常強烈，這主要由三個方面原因所致：第一，用戶體驗的數字化需求，隨著時間的推移和購車目標人群的演變，80后、90后互聯網原住民將成為購車的主力軍；第二，觸達渠道的數字化需求，從原來在公域上購買流量進行觸達，逐步轉向公域流量+私欲流量的觸達方式，并且整個車企也在加速企業(yè)全旅程業(yè)務線上化轉型與數字化變革；第三，企業(yè)營銷的數字化需求，車企要從原有的硬件制造向科技公司轉變，同時還需利用社交媒體釋放的紅利，去構建營銷勢能力。那什么樣的工具可以滿足車企的數字化轉型，現階段而言，搭建車企自身的CDP平臺是個很好的解決方案。通過CDP平臺的打造，完成內外部系統(tǒng)數據源連接，打通營銷觸點，為車企以及其業(yè)務部門提供從客戶數據采集與分析、統(tǒng)一用戶畫像構建以及營銷自動化觸達的全渠道閉環(huán)運營解決方案，幫助車企實現數字化轉型。通過數據治理與分析，CDP平臺可以解決車企內部業(yè)務部門之間、品牌與經銷商之間的數據一致性與數據割裂問題，通過建立統(tǒng)一的底層數據湖，沉淀高價值數據資產。同時搭建敏捷的數據駕駛艙，衡量行動真實效果，賦能業(yè)務決策。同時，以可靠的ID-Mapping能力建立360°車主用戶畫像，準確識別唯一用戶，還原完整用戶旅程，為運營與營銷行動提供堅實基礎。車企CDP平臺建成后，最直觀的感受是散落在各個業(yè)務系統(tǒng)的數據得到了有效的互通，比如DMS系統(tǒng)、CRM系統(tǒng)、DMP系統(tǒng)等，數據互通后利用ID-Mapping的方法，完成用戶線上線下行為的唯一識別，實現用戶從看車、購車、用戶、聊車、玩車、換車關鍵業(yè)務節(jié)點的全生命周期覆蓋，接下來使用不同的數據模型分析用戶在不同端、不同業(yè)務觸點、不同業(yè)務系統(tǒng)的行為數據，完成車主畫像的建立，區(qū)分不同用戶群體的特征，通過不同的運營動作實現用戶精細運營，形成數據閉環(huán)。接下來以某汽車品牌C為例具體展開講述。汽車品牌C成立于九十年代后期，旗下擁有多個品牌和三十多款產品，覆蓋了從高端豪華車到經濟型轎車各梯度市場以及MPV、SUV、混合動力和電動車等細分市場。經過二十余年的發(fā)展，品牌C形成了千萬級的車主保有量和龐大的經銷商網絡，該品牌在2010年前后引入了車聯網服務系統(tǒng)，并且逐步推廣到品牌旗下的所有車型。作為傳統(tǒng)的汽車企業(yè)，企業(yè)內部存在著各式各樣的業(yè)務系統(tǒng)并且擁有巨量的數據，企業(yè)內部不同的業(yè)務部門有著很強的數據應用需求。首先對接車企數據負責部門與相關人員共同整理數據資產，主要包括售后系統(tǒng)數據、銷售數據、車聯網數據、呼叫中心數據等，涉及近10個數據源，總數據存儲量高達幾百T。其次對于不同數據源可以應用的場景，我們也逐一跟不同的對應部門進行確認。最后根據數據資產現狀和業(yè)務部門的需求，建立起一個數據互通，可以滿足不同業(yè)務部門隨時取用的CDP數據平臺。神策研究院然后，進一步打通各數據源建立統(tǒng)一的底層數據庫，沉淀高價值的數據資產。比如，售后數據主要關注點有工單數據、結算單數據、配件數據等；車聯數據關注點有位置數據、車輛狀體數據、車輛行駛狀態(tài)數據等；用戶數據關注點有車主數據、聯系人數據、用車人數據等，完成高質量的數據沉淀后，接下來通過用戶ID-Mapping的建立，可以縱觀車主的全生命周期，一個用戶從看車、購車、用車、聊車、玩車、換車，都會從不同的渠道進入留下自己的行為印跡，由于用戶行為數據又存儲在不同的業(yè)務系統(tǒng)，如何去串聯識別單個用戶的行為變的尤為重要，隨著用戶ID-Mapping的建立可以完成車主畫像構建，準確地識別唯一用戶，還原完整的用戶旅程，為運營與營銷行動提供堅實基礎。第三步通過與不同部門的訪談了解到各自的業(yè)務目標，基于業(yè)務目標結合數據資產建立不同的數據模型，完成對業(yè)務價值的賦能。業(yè)務目標業(yè)務目標提升DAU/MAU用戶觸達效率線索成交轉化率銷售收入品牌忠誠度直達用戶數字化運營賦能聊車/元車增車/換車流失用戶預測車聯網體驗管理數據運營高質量的用戶資產沉淀全渠道觸點采集媒體渠道投放購車鏈路分析用戶直連購車轉化分析流失質量評估