互聯(lián)網(wǎng)企業(yè)的大中臺架構(gòu)實(shí)踐課件

1、互聯(lián)網(wǎng)企業(yè)的大中臺架構(gòu)實(shí)踐 錄第章，阿中臺前臺戰(zhàn)略簡介大中臺小前臺背景中臺定義第章，名企中臺介紹騰訊，滴滴第三章，愛奇藝App中臺介紹App中臺演進(jìn)，架構(gòu)App中臺門戶QMAS運(yùn)營平臺，研發(fā)平臺，高可用高性能平臺 框架組件，網(wǎng)絡(luò)組件2015年12月7日，時任阿里巴巴集團(tuán)CEO的張勇通過一封內(nèi)部信說，“今天起，我們?nèi)?啟動阿里巴巴集團(tuán)2018年中臺戰(zhàn)略，構(gòu)建符合DT時代的更創(chuàng)新靈活的“大中臺、小前臺” 組織機(jī)制和業(yè)務(wù)機(jī)制。即從左邊的單項(xiàng)目單平臺，變成右邊的聯(lián)合中臺模式。阿里“大中臺，小前臺”戰(zhàn)略項(xiàng)B前臺項(xiàng)A管理 后臺項(xiàng)B管理 后臺用戶提供服務(wù)項(xiàng)A前臺提供配置淘寶天貓付聚劃阿阿盒馬 寶算媽媽菜鳥

2、鮮戶 中商品 中交易 中評價 中搜索 中營銷 中AliWare小前臺大中臺阿里“大中臺，小前臺”提出的背景企業(yè)信息中心發(fā)展的問題突顯：煙囪式系統(tǒng)建設(shè)模式2008年時淘寶的技術(shù)團(tuán)隊(duì)同時支持者淘寶和天貓兩大電商平臺。1999年成立的1688 一直擁有在的技術(shù)團(tuán)隊(duì)。阿里集團(tuán)三大電商體系的技術(shù)支持架構(gòu)如下：16881688技術(shù)團(tuán)隊(duì)淘寶天貓?zhí)詫?技術(shù)團(tuán)隊(duì)“煙囪式”系統(tǒng)建設(shè)模式煙囪系統(tǒng)是指一種由相互關(guān)聯(lián)的 元素緊密結(jié)合在一起的集合，其 中單個元素?zé)o法區(qū)分、升級或重 構(gòu)。煙囪系統(tǒng)會一直維持存在直 到有新的系統(tǒng)將其完全取代。弊端一弊端二弊端三企業(yè)信息中心發(fā)展的問題突顯：煙囪式系統(tǒng)建設(shè)模式重復(fù)功能建設(shè)和維護(hù)帶來

3、 重復(fù)投資；大量的功能和 業(yè)務(wù)在多個系統(tǒng)中同時存 在，是很顯性的成本和資 源浪費(fèi)打通“煙囪式”系統(tǒng)間交互 的集成和協(xié)作成為必然； 隨著企業(yè)的發(fā)展，打通這 些“煙囪式”系統(tǒng)之間的連 接成本高昂；不利于業(yè)務(wù)的沉淀和持續(xù) 發(fā)展。系統(tǒng)上線幾年后， 無法滿足業(yè)務(wù)發(fā)展不得不 推倒重建，這將會大大影 響多年業(yè)務(wù)的沉淀保留阿里“大中臺，小前臺”提出的背景阿里巴巴共享事業(yè)部阿 里 云 平 臺集 群 部 署（大 禹）遠(yuǎn)程過程調(diào)用 (夸父）安全管理 (鐘馗）分布協(xié)同服務(wù) (女媧）資源管理 (伏羲）集 群 監(jiān) 控(神 農(nóng))分布式文件系統(tǒng)（盤古）任務(wù)調(diào)度（伏羲）彈性計算 服務(wù)ECS關(guān)系型數(shù)據(jù) 庫服務(wù) RDS/DRDS開

4、放存儲 服務(wù)OSS消息服務(wù) MQ開放緩存 服務(wù)OCS開放數(shù)據(jù)處 理服務(wù)ODPS分布式應(yīng)用服務(wù)平臺EDAS支撐共 享 業(yè) 務(wù) 事 務(wù) 部用戶中心商品中心交易中心評價中心店鋪中心搜索中心數(shù)據(jù)服務(wù) 中心營銷中心支撐Ai Express集 團(tuán) 業(yè) 務(wù)1688淘寶天貓聚劃 算飛豬口碑阿里 媽媽菜鳥 物流開 源監(jiān)控報警故障處理 系統(tǒng)升級 應(yīng)用發(fā)布 安全防護(hù) 業(yè)務(wù)監(jiān)控運(yùn)維保障部共享業(yè)務(wù)事業(yè)部將阿里巴巴集團(tuán)前端業(yè)務(wù)中公共、通用的業(yè)務(wù)沉淀到這個事業(yè)部，包含了用戶、商品、 交易等幾個中心，實(shí)現(xiàn)了阿里真正的“業(yè)務(wù)中臺”，基于阿里云平臺這個技術(shù)后臺的基礎(chǔ)上，為阿里若 干個“業(yè)務(wù)前臺”提供著最專業(yè)、穩(wěn)定的業(yè)務(wù)。Supe

5、rCell對中臺帶來的啟示180人干出騰訊3000人團(tuán)隊(duì)業(yè)績UVCA時代，真正高價值的公司在組織架構(gòu)設(shè)計方 面有強(qiáng)大的整合和支撐業(yè)務(wù)的能力，既能提供強(qiáng)大 的業(yè)務(wù)支撐能力，又能讓一線部門（前臺）最快速 創(chuàng)新地應(yīng)對市場的需求對于SuperCell而言，雖然開發(fā)的游戲完全不同，但 是后臺支撐的系統(tǒng)包括支付系統(tǒng)，用戶系統(tǒng)，游戲 引擎，內(nèi)部開發(fā)工具等等都是完全一樣的，因此各 游戲小分隊(duì)只需要在這強(qiáng)大的支撐平臺上進(jìn)行快速 開發(fā)即可中臺定義和意義前臺系統(tǒng)小而美，快速迭代后臺系統(tǒng)穩(wěn)定可靠中臺比前臺穩(wěn)定，比后臺靈活中臺定義：企業(yè)級能力復(fù)用平臺騰訊組織架構(gòu)調(diào)整歷程CEOCOOCTO渠道業(yè)務(wù)研發(fā)基礎(chǔ)架構(gòu)CEO企業(yè)發(fā)

6、展系統(tǒng)B線-業(yè)務(wù)系統(tǒng)R線平臺研發(fā)系統(tǒng)運(yùn)營平臺系統(tǒng)職能系統(tǒng)線 業(yè)務(wù)互聯(lián) 業(yè)務(wù)互動娛 樂業(yè)絡(luò)媒 體業(yè)務(wù)平臺研即時通搜索業(yè) 發(fā)部線信線務(wù)線職能式BU化事業(yè)部 制企業(yè)發(fā)展事互動娛樂事移動互聯(lián) 業(yè)群業(yè)群事業(yè)群（絡(luò)媒體事社交絡(luò)事技術(shù)程事 業(yè)群業(yè)群業(yè)群微信事業(yè)群（WXG）技術(shù)委員會企業(yè)發(fā)展事 業(yè)群（CDG）云與智慧產(chǎn) 業(yè)事業(yè)群（CSIG）平臺與內(nèi)容 事業(yè)群（PCG）互動娛樂事 業(yè)群（IEG）技術(shù)程事 業(yè)群（TEG）微信事業(yè)群（WXG）BG化七事 業(yè)群六事業(yè)群+技術(shù)委員 會創(chuàng)業(yè)初2005年2012年2018年騰訊變陣：技術(shù)委員會神似阿里大中臺六事業(yè) 群技術(shù)委員 會合理分配技術(shù)資源、跟蹤技術(shù)落地進(jìn)度、完 善技術(shù)

7、研發(fā)文化在企業(yè)內(nèi)部提供共享的技 術(shù)、數(shù)據(jù)、產(chǎn)品和標(biāo)準(zhǔn)緊跟前沿技術(shù)、重視基礎(chǔ)科技、提供創(chuàng)新動力, 針對 必須長期投資的基礎(chǔ)技術(shù)，比如搜索、算法、圖像 識別、語音、定位等,結(jié)合業(yè)務(wù)場景進(jìn)行深技術(shù)支持創(chuàng)新調(diào)研滴滴中臺乘客端司機(jī)端乘客API司機(jī)API運(yùn)營管理界客服界供需撮合計費(fèi)與出帳接駕送駕乘客系統(tǒng)產(chǎn)品錄司機(jī)系統(tǒng)訂單系統(tǒng)交易引擎體驗(yàn)引擎運(yùn)營引擎運(yùn)力供給 Bundled ConText收銀分賬 Bundled ConText核心出行BundledConText調(diào)度層業(yè)務(wù)流程層服務(wù)管控狀態(tài)智能層領(lǐng)域 模型決策 引擎服務(wù)化 異步化 配置化 插件化 數(shù)據(jù)化滴滴中臺服務(wù)化乘客API供需撮合計費(fèi)與出賬接駕送駕服務(wù)

8、管控前拼車單 乘客需求 司機(jī)運(yùn)報價單 實(shí)時賬單訂單真 判責(zé)結(jié)果 申訴單狀態(tài)智能層業(yè)務(wù)流程層調(diào)度層打車拼車確認(rèn) 乘客排隊(duì) 指派預(yù)約動調(diào)確認(rèn) 一口價確認(rèn)崩潰恢復(fù) 歷史訂單發(fā)送頻率限制 支付能力校驗(yàn)下單愛奇藝App中臺必要性由于是多業(yè)務(wù)垂直化的架構(gòu)， 會有多個團(tuán)隊(duì)開發(fā)同樣的架 構(gòu)，這就需要很多的程師。 每個團(tuán)隊(duì)都是最快速的式 構(gòu)建流程，所以技術(shù)很難做 深。這樣來，導(dǎo)致客戶端的 流暢度不，后端不穩(wěn)定，影 響可擴(kuò)展性。愛奇藝App中臺必要性決定構(gòu)建App中臺主要是三方面考慮：專業(yè)深度，人力資源，用戶體驗(yàn)專業(yè)深度原則上來說把每個團(tuán)隊(duì)加到 夠的，每個架構(gòu)都能有很好 的發(fā)展。但程師的薪資都 常，招聘量程師來做

9、同 樣的架構(gòu)，研發(fā)成本昂。很 還有些時候，愿意花錢，卻招 聘不到合適的。資源流暢度、穩(wěn)定性、擴(kuò)展性、界、業(yè)務(wù)流程等都是影響戶 體驗(yàn)的重要因素。在現(xiàn)在的組 織結(jié)構(gòu)和研發(fā)情況下，會出現(xiàn) 業(yè)務(wù)的顏各異，業(yè)務(wù)流程卻 相同的問題，很影響戶的體 驗(yàn)。戶體驗(yàn)愛奇藝App中臺演進(jìn)歷程代碼共愛奇藝App套代碼 多產(chǎn)品組件化中臺化對外Saas 持2018年前2018年2019年未來愛奇藝臺灣版愛奇藝PPS愛奇藝HD版開發(fā)測試資源共獨(dú)代碼獨(dú)開發(fā)測試資源獨(dú)開發(fā)測試資源獨(dú)開發(fā)測試資源獨(dú)開發(fā)測試資源獨(dú)代碼獨(dú)代碼獨(dú)代碼拆分通組件共愛奇藝App愛奇藝臺灣版愛奇藝PPS愛奇藝HD版愛奇藝App中臺愛奇藝App愛奇藝臺灣版愛奇藝

10、PPS愛奇藝HD版愛奇藝App愛奇藝臺灣版愛奇藝PPS愛奇藝HD版合資公司愛奇藝App中臺迭代效率團(tuán)隊(duì)規(guī)模決定迭代效率的瓶頸小型團(tuán)隊(duì)：獨(dú)當(dāng)一面 - 拿來主義中型團(tuán)隊(duì)：解耦分工 - 組件化（邊界弱耦合）大型團(tuán)隊(duì)：并行迭代 - 組件化 + 并行構(gòu)建 （組件版本化的持續(xù)構(gòu)建）組件化拆分的改造成本隨著工程規(guī)模指數(shù)級增長App中臺架構(gòu)App家族移動開發(fā)基 礎(chǔ)框架中臺門戶愛奇藝極速版愛奇藝App愛奇藝HD版愛奇藝國際版框架組件RNH5插件化Flutter程序游戲業(yè)務(wù)組件播放賬號 掃碼基礎(chǔ)組件關(guān)HTTPDNS圖可性能APM熱修復(fù)全鏈路志發(fā)布運(yùn)營云控IVOS互動頁發(fā)布戶為消息推送輿情反饋后臺組件點(diǎn)贊關(guān)注 投票

11、統(tǒng)接統(tǒng)門戶統(tǒng)賬號統(tǒng)權(quán)限研發(fā)撐研發(fā)中臺代碼規(guī)范SDK管理App腳架后臺服務(wù)數(shù)據(jù)同步應(yīng)模版 數(shù)據(jù)查詢下載分享 統(tǒng)計統(tǒng)檔QIYI Mobile Application Studio中臺門戶QMAS開發(fā)新APP冷啟時間長，都有哪些后臺服務(wù)和SDK？文檔在哪里？APM上的APP日活連公司前臺都能看？每次搭建新系統(tǒng)都需要搭建一套新的權(quán)限管理，定義自己的產(chǎn)品線各后臺的接入申請郵件丟來丟去，流程長，容易跟丟SDK發(fā)布沒有Change Log，人工通知SDK更新困境中臺門戶QMAS平臺整合優(yōu)勢平臺整合123一站式服務(wù)接入手工接入，手工維護(hù)一站式接入申請 通用后臺流程（工單，權(quán)限申請）一站式瀏覽體驗(yàn)服務(wù)繁多，體驗(yàn)

12、不一，互不相通統(tǒng)一的角色管控?zé)o差別訪問各后臺根據(jù)QMAS角色分配權(quán)限 各平臺產(chǎn)品，角色保持同步例子：推送平臺申請接入效率提升申請信息沉淀復(fù)用QMAS權(quán)限申請各步驟單獨(dú)郵件申請QMAS工單一鍵申請創(chuàng)建申請商務(wù)處理 Oppo商務(wù)處理 Vivo商務(wù)處理 Huawei商務(wù)處理 Xiaomi推送前臺確認(rèn)消息系統(tǒng)確認(rèn)結(jié)束App中臺架構(gòu)App家族移動開發(fā)基 礎(chǔ)框架中臺門戶愛奇藝極速版愛奇藝App愛奇藝HD版愛奇藝國際版框架組件RNH5插件化Flutter程序游戲業(yè)務(wù)組件播放賬號 掃碼基礎(chǔ)組件關(guān)HTTPDNS圖可性能APM熱修復(fù)全鏈路志發(fā)布運(yùn)營云控頁發(fā)布IVOS互動戶為消息推送輿情反饋后臺組件點(diǎn)贊關(guān)注 投票統(tǒng)

13、接統(tǒng)門戶統(tǒng)賬號統(tǒng)權(quán)限研發(fā)撐研發(fā)中臺代碼規(guī)范SDK管理App腳架后臺服務(wù)數(shù)據(jù)同步應(yīng)模版 數(shù)據(jù)查詢下載分享 統(tǒng)計統(tǒng)檔互動能力展示故事線分支劇情視角切換豎屏小視頻互動IVOS-應(yīng)用場景場景+策略劇情+互動運(yùn)營人員配置策略和場景，提供非劇情類互動，比如氣泡、廣告等影視制作人員配置劇情和互動， 提供劇情互動運(yùn)營平臺IVP平臺用戶互動互動視頻用戶行為分析通過用戶行為路徑大數(shù)據(jù)可視化分析，了解用戶轉(zhuǎn)化，留存的原因，實(shí)現(xiàn)業(yè)務(wù)快速增長研發(fā)支撐App家族移動開發(fā)基 礎(chǔ)框架中臺門戶愛奇藝極速版愛奇藝App愛奇藝HD版愛奇藝國際版RNH5插件化Flutter程序游戲業(yè)務(wù)組件播放賬號 掃碼基礎(chǔ)組件關(guān)HTTPDNS圖可性

14、能APM熱修復(fù)全鏈路志發(fā)布運(yùn)營云控IVOS互動頁發(fā)布戶為消息推送輿情反饋后臺組件點(diǎn)贊關(guān)注 投票統(tǒng)接統(tǒng)門戶統(tǒng)賬號統(tǒng)權(quán)限SDK管理App腳架后臺服務(wù)數(shù)據(jù)同步應(yīng)模版 數(shù)據(jù)查詢下載分享 統(tǒng)計統(tǒng)檔框架組件研發(fā)撐研發(fā)中臺代碼規(guī)范移動端研發(fā)中臺移動端研發(fā)中臺項(xiàng)管理平臺項(xiàng)管理 問題追蹤打包平臺版本控制 代碼Review 單元測試 靜態(tài)檢查 編譯打包 安全檢查 符號管理版本列表 版本查詢 版本提升上線平臺上線申請 上線審批 測試驗(yàn)證 上線回測 灰度上線版本管理平臺渠道管理平臺運(yùn)維平臺APM代碼質(zhì)量志 輿情管理渠道號管理 渠道配置 打包配置 渠道上線監(jiān)控平臺（各平臺穩(wěn)定性，作業(yè)流線，服務(wù)器志）基礎(chǔ)云平臺SDK管理

15、提供方接入方創(chuàng)建預(yù)發(fā)布測試 發(fā)布成員管理檢索 更新訂閱 信息展示 溝通直達(dá)SDK管理移動App腳手架業(yè)務(wù)組件基礎(chǔ)組件后臺服務(wù)DemoSDK Demo集合播放器掃一掃分享下載賬號支付彈幕意見反饋網(wǎng)絡(luò)崩潰圖片推送云控投遞日志熱修復(fù)APM推送投遞意見反饋打包灰度升級云控?zé)嵝迯?fù)開發(fā)效率提升避免容易趟的典型坑為App建立一致的基礎(chǔ)設(shè)施腳手架使用姿勢QMASGitlab用戶腳手架代碼App代碼業(yè)務(wù)開發(fā)Keys用戶Json配置替換各子系統(tǒng)新App創(chuàng)建從2月縮短至2周框架組件App家族移動開發(fā)基 礎(chǔ)框架中臺門戶愛奇藝極速版愛奇藝App愛奇藝HD版愛奇藝國際版框架組件RNH5插件化Flutter程序游戲業(yè)務(wù)組件

16、播放賬號 掃碼基礎(chǔ)組件關(guān)HTTPDNS圖可性能APM熱修復(fù)全鏈路志發(fā)布運(yùn)營云控IVOS互動頁發(fā)布戶為消息推送輿情反饋后臺組件點(diǎn)贊關(guān)注 投票統(tǒng)接統(tǒng)門戶統(tǒng)賬號統(tǒng)權(quán)限研發(fā)撐研發(fā)中臺代碼規(guī)范SDK管理App腳架后臺服務(wù)數(shù)據(jù)同步應(yīng)模版 數(shù)據(jù)查詢下載分享 統(tǒng)計統(tǒng)檔移動應(yīng)用的技術(shù)躍遷昨天：Web-Native (合久必分）今天：跨平臺 （分久必合） 明天：跨終端（合合分分）愛奇藝動態(tài)化框架和性能Web化Flutter性能小程序小游戲React Native插件化/熱修復(fù)Native化動態(tài)性愛奇藝Native動態(tài)化框架QigsawBase APPPlayCore librarySplit apksGoogle

17、 player愛奇藝Native動態(tài)化框架Qigsaw開發(fā)體驗(yàn)佳：復(fù)用原生開發(fā)工具鏈和文檔高穩(wěn)定性：一處Hook，支持4.0 x國內(nèi)國際雙軌制，無縫切換Base APPQigsaw Core librarySplit apks愛奇藝CDN原理：基于Google原生App bundles工具鏈，山寨play core library愛奇藝公司實(shí)踐崩潰率接近0，啟動成功率99.5%愛奇藝愛奇藝極速版好多視頻隨客游戲中心愛奇藝主播愛奇藝小游戲自研渲染內(nèi)核VS瀏覽器內(nèi)核跨平臺，動態(tài)加載性能一般可擴(kuò)展性一般背靠瀏覽器大廠，穩(wěn)定性有保證跨平臺，動態(tài)加載 性能強(qiáng)勁可擴(kuò)展性強(qiáng)，可發(fā)揮空間大 開發(fā)門檻，需要自行

18、保證穩(wěn)定性AndroidiOSMacWindowsLinux窗口系統(tǒng)AudioSensorFileWAL（平臺隔離抽象層）SocketV8/JavascriptCore實(shí)現(xiàn)W3C Canvas 2D和Webgl 標(biāo)準(zhǔn) 、類瀏覽器的環(huán)境跨平臺渲染器組件RAL解釋器NetworkOpengl ES/Vulkan/Metal/Skia資源管理Timer/VsyncMisc游戲引擎: Cocos Creator/Layabox/Egret/U3D用戶邏輯層內(nèi)核層小游戲架構(gòu)Game Logic and Business高可用高性能體系A(chǔ)pp家族移動開發(fā)基 礎(chǔ)框架中臺門戶愛奇藝極速版愛奇藝App愛奇藝HD

19、版愛奇藝國際版框架組件RNH5插件化Flutter程序游戲業(yè)務(wù)組件播放賬號 掃碼基礎(chǔ)組件關(guān)HTTPDNS圖可性能APM全鏈路熱修復(fù)志發(fā)布運(yùn)營云控IVOS互動頁發(fā)布戶為消息推送輿情反饋后臺組件點(diǎn)贊關(guān)注 投票統(tǒng)接統(tǒng)門戶統(tǒng)賬號統(tǒng)權(quán)限研發(fā)撐研發(fā)中臺代碼規(guī)范SDK管理App腳架后臺服務(wù)數(shù)據(jù)同步應(yīng)模版 數(shù)據(jù)查詢下載分享 統(tǒng)計統(tǒng)檔60 fps崩潰異常慢交互網(wǎng)絡(luò)熱修復(fù)調(diào)試幀率ANRAPM功能APM架構(gòu)APM上線后崩潰率全鏈路監(jiān)控埋點(diǎn)端埋點(diǎn)網(wǎng)絡(luò)埋點(diǎn)存儲日志采集（kafka）鏈路基本 信息庫鏈路指標(biāo) 數(shù)據(jù)庫鏈路日志 數(shù)據(jù)庫鏈路可視化鏈路監(jiān)控報警和優(yōu)化故障快速定位統(tǒng) 一 技 術(shù) 規(guī) 范基 礎(chǔ) 架 構(gòu) 支 撐埋點(diǎn)埋點(diǎn)后臺服務(wù)物理資源實(shí)實(shí)時時分分析析離離線線采采集集目標(biāo)：線上快速發(fā)現(xiàn)/定位的效率至20分鐘內(nèi)移動端日志平臺xlogUploader崩潰日志倉庫網(wǎng)絡(luò)錯誤遠(yuǎn)程調(diào)試用戶反饋日志存儲上傳策略xlogUploaderxlogUploader設(shè)備A設(shè)備B設(shè)備CxlogUploader設(shè)備D觸