數(shù)據(jù)爆炸時(shí)代面臨的困境及突破口

數(shù)據(jù)爆炸時(shí)代面臨的困境及突破口在大數(shù)據(jù)時(shí)代，更為核心的不是如何采集數(shù)據(jù)，而是應(yīng)該聚焦在“數(shù)據(jù)應(yīng)用”上，數(shù)據(jù)產(chǎn)品的根源應(yīng)該是業(yè)務(wù)。本文作者根據(jù)自身的經(jīng)驗(yàn)，對(duì)數(shù)據(jù)時(shí)代面臨的困境和突破口做了分析總結(jié)，一起來(lái)看一下吧。

停更很久了，近期臨近年度大考雙十一，忙碌之前突發(fā)奇想對(duì)自己也對(duì)整個(gè)部門(mén)一路走過(guò)的經(jīng)歷做個(gè)總結(jié)。換句話說(shuō)對(duì)我們2022年做個(gè)年度總結(jié)，也希望分享一些實(shí)際業(yè)務(wù)歷程中遇到的問(wèn)題場(chǎng)景，及面對(duì)問(wèn)題該如何思考，如何落地，如何做效果評(píng)估等。文章開(kāi)始前再補(bǔ)充下背景，筆者所在的公司所處互聯(lián)網(wǎng)行業(yè)，性質(zhì)為toB，產(chǎn)品面向企業(yè)服務(wù)，首先感謝您的閱讀，讓我們開(kāi)始吧。一、面臨的處境筆者目前所處的部門(mén)成立于2020年，部門(mén)定位是基礎(chǔ)數(shù)據(jù)服務(wù)部門(mén)，所謂基礎(chǔ)數(shù)據(jù)服務(wù)也就是職能屬性，例如銷(xiāo)售部門(mén)所屬直接產(chǎn)能部門(mén)。對(duì)于我們當(dāng)初搭建時(shí)的初衷則和大多數(shù)數(shù)據(jù)產(chǎn)品成立的愿景一樣：“用數(shù)據(jù)賦能業(yè)務(wù)”，只有真正從事數(shù)據(jù)服務(wù)相關(guān)工作的同學(xué)才能明白這短短7個(gè)字的含義。DT時(shí)代以來(lái)，大數(shù)據(jù)殺熟，數(shù)據(jù)冗余，海量的數(shù)據(jù)已經(jīng)讓使用者應(yīng)接不暇。擁有數(shù)據(jù)從來(lái)不是可以使用好數(shù)據(jù)的理由，只是基礎(chǔ)，當(dāng)然我不是指數(shù)據(jù)采集不重要，只是在大數(shù)據(jù)時(shí)代我理解更為核心的并不是如何采集數(shù)據(jù)，目光更應(yīng)該聚焦在“數(shù)據(jù)應(yīng)用”，再龐大的數(shù)據(jù)中臺(tái)，數(shù)據(jù)產(chǎn)品的根源也應(yīng)該是業(yè)務(wù)，拋開(kāi)業(yè)務(wù)數(shù)據(jù)只是DB中的一行明細(xì)，它并不能為公司，為業(yè)務(wù)帶來(lái)增益。整個(gè)公司的業(yè)務(wù)涉及到面對(duì)上下游的海量企業(yè)商家，同時(shí)也面臨著商家所使用的第三方平臺(tái)，如上游平臺(tái)：阿里，字節(jié)，拼多多等；如下游物流：順豐、京東、三通一達(dá)等。我們需要為商家提供資源管理能力，這部分資源包含但不限于交易數(shù)據(jù)、成本數(shù)據(jù)、進(jìn)銷(xiāo)存數(shù)據(jù)等，這時(shí)首單其中的問(wèn)題則是系統(tǒng)打通，單從國(guó)內(nèi)市場(chǎng)來(lái)看需要接入的平臺(tái)數(shù)量超過(guò)100，物流服務(wù)商也有大幾十，總結(jié)下來(lái)就是我們需要承擔(dān)數(shù)據(jù)的“進(jìn)出口”，“進(jìn)出口”進(jìn)行業(yè)務(wù)拆解可以分為以下。1.數(shù)據(jù)定義根據(jù)業(yè)務(wù)定義所需的數(shù)據(jù)源為哪些，如電商平臺(tái)交易單、物流承運(yùn)商快遞單、商品成本數(shù)據(jù)。

根據(jù)數(shù)據(jù)渠道定義屬性，如交易類(lèi)、商品類(lèi)、成本類(lèi)、庫(kù)存類(lèi)。

根據(jù)屬性定義數(shù)據(jù)指標(biāo)如交易單量、發(fā)貨量、上行成功率、業(yè)務(wù)滲透率。

2.數(shù)據(jù)采集明確數(shù)據(jù)源后如何獲取，如開(kāi)放式API，私有數(shù)據(jù)交互協(xié)議等。3.數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)源的多樣性造就數(shù)據(jù)格式的復(fù)雜性、數(shù)據(jù)形態(tài)的多樣性，需定義屬于我們的標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)。4.數(shù)據(jù)存儲(chǔ)海量數(shù)據(jù)如何選擇存儲(chǔ)方式：

數(shù)據(jù)格式考慮：結(jié)構(gòu)化數(shù)據(jù)or非結(jié)構(gòu)化數(shù)據(jù)；行存儲(chǔ)or列存儲(chǔ)

性能考慮：批插，讀寫(xiě)等性能指標(biāo)（可以以業(yè)務(wù)容忍度定義,如響應(yīng)需控制在50ms）

成本考慮：預(yù)估數(shù)據(jù)量大小，是否需要持久化存儲(chǔ)，能否建立歸檔庫(kù)，歸檔數(shù)據(jù)保留時(shí)間等

5.數(shù)據(jù)分析

根據(jù)多維度定義分析模型，定義算法對(duì)數(shù)據(jù)做加工解析，得到可產(chǎn)生業(yè)務(wù)價(jià)值的指導(dǎo)數(shù)據(jù)

根據(jù)業(yè)務(wù)屬性建立分析模型，可定時(shí)定量輸出分析結(jié)果

穩(wěn)定性，易用性分析等

6.數(shù)據(jù)應(yīng)用用數(shù)據(jù)引導(dǎo)業(yè)務(wù)，反哺業(yè)務(wù)，詮釋業(yè)務(wù)價(jià)值，協(xié)助業(yè)務(wù)做效果評(píng)估。7.數(shù)據(jù)治理海量的數(shù)據(jù)需約定規(guī)范，建立數(shù)據(jù)血緣關(guān)系；打造可持續(xù)發(fā)展的生態(tài)，才能打下扎實(shí)基礎(chǔ)，未來(lái)承載更多的業(yè)務(wù)量。8.數(shù)據(jù)開(kāi)放可復(fù)用、易用的數(shù)據(jù)如何打造生態(tài)，對(duì)外賦能更多的商家，賦能更多業(yè)務(wù)域。以上為職能的簡(jiǎn)易拆解，拆解思路基本為按人員劃分（團(tuán)隊(duì)人員搭建的目標(biāo)也是按以上節(jié)點(diǎn)進(jìn)行組成）。說(shuō)完了職能描述再來(lái)看下每種職能背后所面對(duì)的真實(shí)問(wèn)題，結(jié)合實(shí)際場(chǎng)景才能讓讀者身臨其境，通過(guò)冰冷的文字感覺(jué)到價(jià)值或思路。1）數(shù)據(jù)定義這一步驟分為兩階段，一階段是團(tuán)隊(duì)搭建初期，數(shù)據(jù)需求則是企業(yè)需求，驅(qū)動(dòng)力完全來(lái)源于使用者，企業(yè)需要什么數(shù)據(jù)我們就去接入什么數(shù)據(jù)，截止到2022年11月已接入了371家上游平臺(tái)100余家下游服務(wù)商（快遞公司、貨代）為企業(yè)獲取到他們分布在各個(gè)渠道的交易數(shù)據(jù)、商品數(shù)據(jù)、庫(kù)存數(shù)據(jù)、價(jià)格數(shù)據(jù)、成交數(shù)據(jù)等等。第二階段則為本年度的狀態(tài)，驅(qū)動(dòng)力更多地傾向于團(tuán)隊(duì)自身、功能迭代、性能調(diào)優(yōu)、存儲(chǔ)降本、引入流式計(jì)算等存儲(chǔ)&計(jì)算引擎來(lái)提高我們自身系統(tǒng)的健壯性、穩(wěn)定性、及時(shí)性等。關(guān)于所謂的數(shù)據(jù)定義還是比較好理解，背后隱晦的問(wèn)題在于如何降低維護(hù)成本，做過(guò)接口開(kāi)發(fā)的同學(xué)應(yīng)該清楚維護(hù)接口的成本，特別是接入的外部系統(tǒng)數(shù)量增長(zhǎng)到某個(gè)程度后接口參數(shù)發(fā)生微調(diào)，或字段語(yǔ)義的不確定性就會(huì)到自身業(yè)務(wù)造成不可逆的影響。2）數(shù)據(jù)采集采集面臨的問(wèn)題是渠道多樣性，數(shù)據(jù)格式多樣性等；渠道及格式多樣性意味著需要固定人力長(zhǎng)期維護(hù)，關(guān)注數(shù)據(jù)完整度，及時(shí)性等核心關(guān)鍵指標(biāo)。3）數(shù)據(jù)轉(zhuǎn)換ETL中比較復(fù)雜耗時(shí)的節(jié)點(diǎn)，初期人力有限的情況下接入一個(gè)渠道獲取一個(gè)渠道的數(shù)據(jù)，再針對(duì)該渠道數(shù)據(jù)做相對(duì)應(yīng)的轉(zhuǎn)換，轉(zhuǎn)換為所需的業(yè)務(wù)格式。4）數(shù)據(jù)存儲(chǔ)相信每一家互聯(lián)網(wǎng)公司的同學(xué)多少遇到過(guò)存儲(chǔ)相關(guān)的問(wèn)題（有可能在您公司當(dāng)前階段并未暴露出來(lái)）公司起步初期，數(shù)據(jù)量小、多樣化少，不會(huì)遇到太大的寫(xiě)入讀取壓力。在當(dāng)前階段保留固定的數(shù)據(jù)入口及出口反而更能提高效率（針對(duì)每一種接入數(shù)據(jù)做相對(duì)應(yīng)的轉(zhuǎn)換，向指定DB進(jìn)行存儲(chǔ)，向指定DB進(jìn)行統(tǒng)一讀?。?，相信這個(gè)階段也并不會(huì)遇到成本壓力，一開(kāi)始我們便是采取這種方式，伴隨市場(chǎng)發(fā)展及拓張，在20-21年面臨數(shù)據(jù)量爆發(fā)式增長(zhǎng)。為了迎合市場(chǎng)產(chǎn)研部門(mén)按照不同的需求商家做了不同的數(shù)據(jù)源接入，多樣性已經(jīng)接近無(wú)法管理，多業(yè)務(wù)向DB進(jìn)行的讀寫(xiě)也面臨著各種性能壓力，保證讀寫(xiě)時(shí)序又做了大批量加鎖的行為導(dǎo)致各種表死鎖情況，年度成本數(shù)千萬(wàn)。5）數(shù)據(jù)分析缺少分析經(jīng)驗(yàn)，面對(duì)格式不一的數(shù)據(jù)更是無(wú)從下手，數(shù)據(jù)存儲(chǔ)量高到驚人，可惜都是冷數(shù)據(jù)，長(zhǎng)期以來(lái)并未讓數(shù)據(jù)產(chǎn)生與之對(duì)應(yīng)的價(jià)值。6）數(shù)據(jù)應(yīng)用缺少了分析的過(guò)程也就無(wú)從得知應(yīng)用，團(tuán)隊(duì)成本也并未養(yǎng)成“用數(shù)據(jù)說(shuō)話”的習(xí)慣，更多業(yè)務(wù)決策更多的依賴人員的經(jīng)驗(yàn)，也就是所謂的“閉門(mén)造車(chē)”。很頻繁地聽(tīng)到各位同學(xué)脫口而出“我認(rèn)為xxxx”“我認(rèn)為客戶應(yīng)該xxxxx”，要善于用數(shù)據(jù)輔助我們做決策。7）數(shù)據(jù)治理多數(shù)互聯(lián)網(wǎng)企業(yè)可能并未經(jīng)歷過(guò)數(shù)據(jù)治理的過(guò)程，沒(méi)有體會(huì)過(guò)數(shù)據(jù)治理所帶來(lái)的價(jià)值，也并未理解為什么要投入大量的人力財(cái)力去做數(shù)據(jù)治理?！爸卫怼鳖櫭剂x是一種通過(guò)某種途徑做調(diào)節(jié)的機(jī)制，日常作業(yè)中可能會(huì)出現(xiàn)各種“數(shù)據(jù)不知道往哪里存”“數(shù)據(jù)不知道從哪里取”“這份數(shù)據(jù)誰(shuí)在用”“改動(dòng)此數(shù)據(jù)的影響評(píng)估無(wú)法做”等等問(wèn)題。8）數(shù)據(jù)開(kāi)放這一步可能聊的比較不切實(shí)際了，多數(shù)公司基本數(shù)據(jù)內(nèi)驅(qū)，在內(nèi)部做循環(huán)，能使自身業(yè)務(wù)做增量已經(jīng)是比較理想的情況。距離做生態(tài)、治理生態(tài)還有一些距離，在自身已產(chǎn)生價(jià)值的情況下可以考慮將數(shù)據(jù)包裝后豐富自身的開(kāi)放生態(tài)，賦能更多的協(xié)同或上下游，完善整個(gè)行業(yè)。9）價(jià)值這一步算補(bǔ)充條款了，上面并沒(méi)有提及到，相信這一節(jié)也能引起很多朋友的共鳴，要知道基礎(chǔ)數(shù)據(jù)服務(wù)部門(mén)應(yīng)該都存在這個(gè)共性問(wèn)題“如何做價(jià)值”無(wú)論是業(yè)務(wù)決策性產(chǎn)品或數(shù)據(jù)產(chǎn)品，難道我們只能被動(dòng)接受來(lái)自業(yè)務(wù)部門(mén)的數(shù)據(jù)需求嗎？總是一味地聽(tīng)從別人的“你把xxx數(shù)據(jù)轉(zhuǎn)換為xxxx輸出給我”“我要xxxx你需要清洗好提供給我”，數(shù)據(jù)的價(jià)值并非止步于此，在不沖突的情況下，我們有沒(méi)有突破口去做出價(jià)值，或許在清洗數(shù)據(jù)提供給業(yè)務(wù)部門(mén)后我們也能提供到數(shù)據(jù)角度的效果評(píng)估？這份評(píng)估結(jié)果也可以表現(xiàn)為一種價(jià)值，一種左右業(yè)務(wù)方向的價(jià)值。二、如何思考解決方案面臨上述遇到的問(wèn)題后，需要解決的問(wèn)題也比較多，涉及到的業(yè)務(wù)域跨度比較廣。人力有限的情況下沒(méi)有辦法齊頭并進(jìn)，只能對(duì)改造點(diǎn)做了列舉，列出優(yōu)先級(jí)和影響范圍劃定了整個(gè)部門(mén)Q1-Q4的目標(biāo)。這些任務(wù)多為內(nèi)驅(qū)，同時(shí)需要保持來(lái)自業(yè)務(wù)團(tuán)隊(duì)的需求任務(wù)，所以部門(mén)討論后得到了60%外部需求40%自驅(qū)的節(jié)奏。這里羅列下簡(jiǎn)易的拆解過(guò)程：拆解過(guò)程簡(jiǎn)單分為五步簡(jiǎn)單概述為痛點(diǎn)，或者可以理解為核心目標(biāo)，比較迫切在中短期內(nèi)解決或完善的內(nèi)容（居多的圍繞部門(mén)職能及核心價(jià)值），如我們屬于數(shù)據(jù)基礎(chǔ)部門(mén)，因而指標(biāo)多為數(shù)據(jù)相關(guān)。比較典型的就是數(shù)據(jù)幾個(gè)特性：穩(wěn)定性、及時(shí)性、完整性、易用性、成本。1.穩(wěn)定性這里描述的是集群穩(wěn)定性，規(guī)模龐大的商家群體意味著會(huì)存在規(guī)模龐大的數(shù)據(jù)鏈路，為了減免宕機(jī)等穩(wěn)定因素對(duì)業(yè)務(wù)產(chǎn)生不可逆的影響，也是業(yè)務(wù)的基石。集群分布也可以拆解為web集群（B/S架構(gòu)的網(wǎng)頁(yè)）和任務(wù)集群（Job調(diào)度集群），在云資源逐步增加的基礎(chǔ)上對(duì)集群做一定的“資源瘦身”。web集群比較好理解主要是監(jiān)控高并發(fā)的請(qǐng)求，及一些核心業(yè)務(wù)操作的穩(wěn)定性（如訂單操作，報(bào)表操作多為DB增刪改查操作），加入監(jiān)控體系。這也是我們搭建的第一組監(jiān)控系統(tǒng)，凌駕于整個(gè)部門(mén)所涉及的全業(yè)務(wù)之上，這里想到了監(jiān)控系統(tǒng)設(shè)計(jì)的幾個(gè)核心：

報(bào)警的觸達(dá)應(yīng)當(dāng)是緊急的、重要的、可執(zhí)行的、真實(shí)的。

規(guī)則應(yīng)當(dāng)表示為服務(wù)處于過(guò)程中或者即將發(fā)生的問(wèn)題。

為了保持報(bào)警項(xiàng)的精確、有效，寧可過(guò)度移除報(bào)警噪音，因?yàn)檫^(guò)度監(jiān)控比監(jiān)控不足更難解決。

你應(yīng)該總是能夠?qū)?wèn)題分為以下幾種：基本功能的可用性問(wèn)題；延遲；正確性（數(shù)據(jù)的完整性、新鮮性和持久性）；以及特定功能問(wèn)題。

規(guī)則描述癥狀是更好的方法，可以更輕松、更全面、更可靠地捕獲更多的問(wèn)題。

在基于癥狀的頁(yè)面或儀表板中包含基于原因的信息，但要避免直接針對(duì)原因發(fā)出警報(bào)。

報(bào)警越往上層的服務(wù)走，在一個(gè)報(bào)警規(guī)則中可以抓住的明顯問(wèn)題就越多。但不要走得太遠(yuǎn)，無(wú)法充分區(qū)分發(fā)生了什么。

如果你想在值班時(shí)，報(bào)警系統(tǒng)保持安靜,那么需要有一套系統(tǒng)和標(biāo)準(zhǔn)化的流程能夠自動(dòng)處理那些需要被盡快處理的事情，但不至于讓你半夜三點(diǎn)鐘爬起來(lái)上線的情況。

這里簡(jiǎn)單說(shuō)下監(jiān)控系統(tǒng)搭建的心路歷程。預(yù)警的目的不是為了預(yù)警，所以預(yù)警內(nèi)容必須具備緊急且可執(zhí)行的特性，這個(gè)指標(biāo)很重要，很多監(jiān)控系統(tǒng)的設(shè)計(jì)從最初就開(kāi)始拆解各個(gè)業(yè)務(wù)指標(biāo)，往往幾十個(gè)指標(biāo)，報(bào)警一大堆，處理人員沒(méi)有頭緒無(wú)從下手。寧可過(guò)渡移除報(bào)警噪音這一點(diǎn)也需多多關(guān)注，報(bào)警并不是越多越好，也并不一定是越細(xì)越好，將最重要的內(nèi)容在合適的時(shí)間報(bào)向正確的人才是合理的；報(bào)警規(guī)則盡量貼近業(yè)務(wù)，脫離現(xiàn)實(shí)的報(bào)警只會(huì)讓你增加無(wú)盡的煩惱。最后一條相信搭建過(guò)監(jiān)控系統(tǒng)的同學(xué)都感同身受（報(bào)警滴滴響，時(shí)間長(zhǎng)了人員也開(kāi)始疲勞，疏忽落實(shí)報(bào)警內(nèi)容）這時(shí)就引出了配套能力之一：值守系統(tǒng)，何謂值守（自動(dòng)化值班）可以抽出統(tǒng)一的數(shù)據(jù)交互錯(cuò)誤格式，也就是標(biāo)準(zhǔn)異常碼，參與過(guò)接口開(kāi)發(fā)的同學(xué)應(yīng)該比較清楚一個(gè)接口的響應(yīng)信息一般都存在兩層（code，msg）msg即消息主體，code即描述碼；如code=200即成功code=500001即業(yè)務(wù)錯(cuò)誤，再進(jìn)行細(xì)分的話可以做到二級(jí)code，如code=500001&sub_code=9999等于系統(tǒng)宕機(jī)，需要調(diào)度系統(tǒng)重試，這就是抽象出code映射關(guān)系后就可以建立自動(dòng)化值守系統(tǒng)，根據(jù)code定義的決策結(jié)果進(jìn)行自動(dòng)化不間歇的”值班”從一定程度上釋放了產(chǎn)研人員的壓力。此處可以深挖的細(xì)節(jié)還有很多，例如可以根據(jù)code搭配AI機(jī)器人，從移動(dòng)端接收產(chǎn)研人員的操作指令，完成權(quán)限分配、OA流程審批、資源購(gòu)置等。亦或者根據(jù)預(yù)設(shè)code完成線程分配，調(diào)整任務(wù)集群步頻、步長(zhǎng)、步幅等動(dòng)作。有了監(jiān)控+值守后當(dāng)然少不了預(yù)警系統(tǒng)，也就是所謂的消息分發(fā)系統(tǒng)，經(jīng)過(guò)值守系統(tǒng)自動(dòng)化處置后依然有一些關(guān)鍵性異常是系統(tǒng)無(wú)法自動(dòng)消化的，需要人為介入，那這時(shí)需要用到分發(fā)系統(tǒng)?？梢耘c多種消息渠道打通，如企業(yè)微信、釘釘、飛書(shū)、短信，更甚至可以電話，可根據(jù)預(yù)警等級(jí)推送至可執(zhí)行的人員或組里（需提前按照職責(zé)劃分對(duì)應(yīng)的接收組或接收人）預(yù)警通知需要建立固定的處理流程，個(gè)別高優(yōu)異常需建立駐留時(shí)間達(dá)到xx時(shí)問(wèn)題上升，讓更多更專(zhuān)業(yè)的同學(xué)參與進(jìn)來(lái)協(xié)助處理。2.及時(shí)性做數(shù)據(jù)基礎(chǔ)服務(wù)避免不了的就是降低數(shù)據(jù)交互耗時(shí)，內(nèi)外部系統(tǒng)交互的RT值，需要把整體數(shù)據(jù)鏈路的耗時(shí)降下來(lái)。那么在調(diào)度資源不變的情況下需要如何做到，思路也比較明確，“讓資源在合適的時(shí)間用到合適的地方”服務(wù)器資源會(huì)存在高負(fù)載及低負(fù)載的時(shí)間段，如高頻計(jì)算的白天，多條數(shù)據(jù)鏈路需公用資源，那我們可以將資源量化后區(qū)分業(yè)務(wù)或商家的優(yōu)先級(jí)，將更多的資源分配至更高優(yōu)的業(yè)務(wù)鏈路。在凌晨負(fù)載降下來(lái)以后可以去執(zhí)行一些海量數(shù)據(jù)的離線計(jì)算服務(wù)，如日?qǐng)?bào)、歸檔、大規(guī)模業(yè)務(wù)數(shù)據(jù)重算等操作，可以在這些時(shí)間點(diǎn)做一些兜底的業(yè)務(wù)策略，一些數(shù)據(jù)稽核的過(guò)程可以放置于此，一方面資源沒(méi)有浪費(fèi)，一方面也可以提升整體鏈路的健壯性，另一方面提高響應(yīng)。降低耗時(shí)的另一個(gè)思路就是“瘦身”，這個(gè)瘦身不止在資源上，對(duì)業(yè)務(wù)也一樣，一些涉及到與存儲(chǔ)介質(zhì)交互的業(yè)務(wù)，例如對(duì)數(shù)據(jù)庫(kù)的讀寫(xiě)操作，是否可以支持批量，是否會(huì)出現(xiàn)表鎖行鎖等情況，業(yè)務(wù)代碼是否會(huì)出現(xiàn)大量的逐條循環(huán)逐條更新的操作等等；扣業(yè)務(wù)細(xì)節(jié)，通過(guò)各種細(xì)節(jié)做持續(xù)的優(yōu)化以達(dá)到一個(gè)良性循環(huán)。3.完整性這一步的背景是這樣的，在存在大量的數(shù)據(jù)入口時(shí)，很多數(shù)據(jù)來(lái)自于上下游系統(tǒng)、服務(wù)商。數(shù)據(jù)口徑不同不易維護(hù)，外部數(shù)據(jù)字典發(fā)生變更會(huì)影響到我們自身業(yè)務(wù)，如反序列化等步驟，這時(shí)為了保證業(yè)務(wù)可以獲得完整且結(jié)構(gòu)明確的數(shù)據(jù)，我們可以封裝統(tǒng)一的數(shù)據(jù)模型校驗(yàn)?zāi)芰?，根?jù)我們抽象出的業(yè)務(wù)模型（符合業(yè)務(wù)預(yù)期的）對(duì)實(shí)時(shí)數(shù)據(jù)做校驗(yàn)。如果擔(dān)心對(duì)性能有壓力可以選擇性將一些比對(duì)工作做成異步操作，保證主鏈路順暢的同時(shí)如果比對(duì)出一些邊角數(shù)據(jù)可以通過(guò)第二步的預(yù)警體系完成回流，人工介入去確認(rèn)情況，更及時(shí)有效的感知數(shù)據(jù)變更，從而降低對(duì)業(yè)務(wù)系統(tǒng)的影響。4.易用性這一步更多的需要用到工程思維，在業(yè)務(wù)沉淀的過(guò)程中更多的考慮如何抽象，如何封裝統(tǒng)一方法、接口讓內(nèi)外部的協(xié)同更好更高效地使用數(shù)據(jù)。現(xiàn)在微服務(wù)的概念越來(lái)越普及，很多模塊化、碎片化、服務(wù)化的系統(tǒng)更利于后期的業(yè)務(wù)拓展、業(yè)務(wù)重構(gòu)。通過(guò)封裝統(tǒng)一數(shù)據(jù)接口的方式降低數(shù)據(jù)的使用門(mén)檻，通過(guò)抽象模塊，服務(wù)的設(shè)計(jì)使得系統(tǒng)得到高可用的后期空間。在此基礎(chǔ)上，業(yè)務(wù)系統(tǒng)需要使用數(shù)據(jù)時(shí)，可以更多地把目光放在賦能業(yè)務(wù)上而不需要過(guò)多考慮數(shù)據(jù)使用問(wèn)題。在此基礎(chǔ)上建立數(shù)據(jù)治理系統(tǒng)，對(duì)數(shù)據(jù)血緣關(guān)系做完整鏈路記載，便于后續(xù)我們做追溯，更多的服務(wù)化也使得業(yè)務(wù)耦合度降低，降低迭代所帶來(lái)的影響范圍及灰度成本。5.成本最后這一段有關(guān)成本，歸根到底降本增效這條路是需要持續(xù)走下去。特別是互聯(lián)網(wǎng)行業(yè)，除去人力這一最昂貴的成本之外，資源成本也讓人頭痛，各種技術(shù)棧所帶來(lái)的成本數(shù)不勝數(shù)。存儲(chǔ)成本如服務(wù)器資源成本，DB、數(shù)倉(cāng)的存儲(chǔ)成本，中間件及計(jì)算引擎所帶來(lái)的計(jì)算成本等都是大頭，對(duì)于這個(gè)問(wèn)題，我們初步的方案是在調(diào)度分配的策略優(yōu)化基礎(chǔ)上，對(duì)底層存儲(chǔ)結(jié)構(gòu)做了調(diào)整，即分庫(kù)分表規(guī)則，將數(shù)據(jù)&資源流量合理的分配后可以壓縮出更多的使用空間，將低負(fù)載的集群都合理分配到更多的業(yè)務(wù)，減少集群閑置的頻率。當(dāng)然機(jī)器的使用空間不單單只是我們自身的業(yè)務(wù)，在亞馬遜云初期的時(shí)候就是因?yàn)樽陨睚嫶蟮募洪e置了很多資源，才想到對(duì)外租賃一部分云資源并提供一系列的云服務(wù)，這些高效的存儲(chǔ)、算力都可以為一些中小企業(yè)提供很好的基礎(chǔ)，半托管&全托管的服務(wù)也隨之而來(lái)，總之合理利用現(xiàn)有資源來(lái)達(dá)成更多的業(yè)務(wù)目的就是關(guān)鍵。說(shuō)了這么多，也簡(jiǎn)單畫(huà)了個(gè)草圖，描述了下當(dāng)前我們的一套系統(tǒng)架構(gòu)圖，內(nèi)容不是很全面，不過(guò)也概括了目前基本的分布情況。從上至下可分為一層接口層，采用API、導(dǎo)入、數(shù)據(jù)推送等技術(shù)手段完成對(duì)外部數(shù)據(jù)的采集。二層為模型轉(zhuǎn)換層，數(shù)據(jù)格式校驗(yàn)、模型校驗(yàn)等皆在于此。三層多為一些中間件服務(wù)，如消息隊(duì)列、集中式&分布式緩存、流失數(shù)據(jù)計(jì)算引擎、即席查詢報(bào)表等。四層為業(yè)務(wù)層，按業(yè)務(wù)域做了拆分，如交易、商品、庫(kù)存、財(cái)務(wù)等；按服務(wù)做了拆分，如交易服務(wù)：多為處理交易數(shù)據(jù)，對(duì)交易數(shù)據(jù)做清洗等，商品服務(wù)、發(fā)貨服務(wù)等。伴隨著業(yè)務(wù)則會(huì)有規(guī)則類(lèi)服務(wù)進(jìn)行輔助，完成更多業(yè)務(wù)的限制，如綁贈(zèng)規(guī)則、風(fēng)控策略等。規(guī)則服務(wù)之外會(huì)有業(yè)務(wù)系統(tǒng)權(quán)限管理，這里的權(quán)限類(lèi)則做了抽象，是可以對(duì)業(yè)務(wù)層的上下游提供能力。五層為基礎(chǔ)數(shù)據(jù)存儲(chǔ)層，如關(guān)系型數(shù)據(jù)庫(kù)Mysql，非關(guān)系型數(shù)據(jù)庫(kù)MongoDB、數(shù)據(jù)倉(cāng)庫(kù)等。在1-5層的基礎(chǔ)上提供了內(nèi)部網(wǎng)關(guān)，多用于承載內(nèi)部業(yè)務(wù)接口，做一些流控策略、風(fēng)控策略、鑒權(quán)策略等，保障業(yè)務(wù)的穩(wěn)定性及安全性。在五層之外貫穿整體系統(tǒng)的有外部網(wǎng)關(guān)，即內(nèi)部數(shù)據(jù)對(duì)外的網(wǎng)關(guān)，可通過(guò)外部開(kāi)發(fā)者身份進(jìn)駐在我們平臺(tái)之內(nèi)，完成一些自研系統(tǒng)的開(kāi)發(fā)數(shù)據(jù)獲取工作。調(diào)度中心即自行搭建的基于主從關(guān)系（Master-Slave）的調(diào)度集群，掌管著系統(tǒng)內(nèi)外部一些資源調(diào)度及分配。可結(jié)合后續(xù)的日志服務(wù)及監(jiān)控中心完成一些健康度檢測(cè)，心跳檢測(cè)等自我健康策略，保證系統(tǒng)的核心足夠的穩(wěn)定。監(jiān)控中心及日志服務(wù)則滿足絕大多數(shù)環(huán)節(jié)的可植入性，通過(guò)封裝內(nèi)部接口使得全業(yè)務(wù)域均可低成本完成日志寫(xiě)入，包括業(yè)務(wù)日志、用戶操作日志、用戶行為日志，更能使業(yè)務(wù)低成本地完成業(yè)務(wù)埋點(diǎn)，并指定分析策略完成后續(xù)的數(shù)據(jù)復(fù)盤(pán)，及提供迭代的數(shù)據(jù)支持。三、效果評(píng)估及思路了解了以上眾多問(wèn)題后的解決思路后，我們來(lái)看一下效果評(píng)估部分，說(shuō)了再說(shuō)沒(méi)有收益那也等于白干，在基于上述架構(gòu)的系統(tǒng)上我們當(dāng)前日處理交易單量近億，每日產(chǎn)生的日志數(shù)據(jù)量達(dá)到EB級(jí)別。對(duì)于之前經(jīng)常遇到的機(jī)器高負(fù)載也有了明顯的改善，超過(guò)95%以上的調(diào)度集群全天保持穩(wěn)定水位。成本方面較為明顯，在原有的近千臺(tái)機(jī)器搭建的集群規(guī)模下完成了近80%的瘦身，成本方面每年節(jié)省的費(fèi)用可達(dá)數(shù)百萬(wàn)。最后對(duì)于現(xiàn)有的服務(wù)化設(shè)計(jì)使得我們產(chǎn)研成本極具降低，有利于我們做快速的版本迭代，及時(shí)感知市場(chǎng)的變化。也提供一些數(shù)據(jù)價(jià)值的思路，如車(chē)品覺(jué)老師的5類(lèi)數(shù)據(jù)價(jià)值：

1）識(shí)別和串聯(lián)價(jià)值

賬號(hào)和Cookie-通過(guò)賬號(hào)，全站啡一鎖定同一個(gè)用戶

手機(jī)號(hào)、身份證號(hào)、銀行卡，郵箱等-可以把PC/手機(jī)/PAD等設(shè)備串聯(lián)

設(shè)備號(hào)-可以把設(shè)備上不同的APP串聯(lián)起來(lái)

2）描述價(jià)值①企業(yè)

經(jīng)營(yíng)狀況：收入、資產(chǎn)、利潤(rùn)、負(fù)債等

實(shí)體狀況：如電商

②用戶③商品或服務(wù)3）時(shí)間價(jià)值①歷史分析

通過(guò)對(duì)用戶歷史的行為分析，可以得到用戶在場(chǎng)景下的偏