鏈家網(wǎng)大數(shù)據(jù)平臺體系構(gòu)建歷程

1、鏈家網(wǎng)大數(shù)據(jù)平臺體系構(gòu)建歷程技術(shù)創(chuàng)新 變革未來目錄一、背景簡介二、大數(shù)據(jù)從0到1的架構(gòu)落地三、大數(shù)據(jù)平臺化體系的建設(shè)四、總結(jié)一家賣房的中介公司要什么大數(shù)據(jù)？業(yè)務(wù)背景 12001年鏈家地產(chǎn)第一家門店22014年鏈家網(wǎng) 成立全面推進(jìn)O2O打通線上線下服務(wù)32015年組建大數(shù)據(jù)部鏈家網(wǎng)數(shù)據(jù)知多少經(jīng)紀(jì)人13萬用戶2000萬線上日UV 千萬線下日約看房4萬次全國樓盤字典 7000萬鏈家網(wǎng)大數(shù)據(jù)應(yīng)用場景房屋估價(jià)鏈家網(wǎng)大數(shù)據(jù)應(yīng)用場景房客圖譜鏈家網(wǎng)大數(shù)據(jù)應(yīng)用場景BI報(bào)表目錄一、背景簡介二、大數(shù)據(jù)從0到1的架構(gòu)落地三、大數(shù)據(jù)平臺化體系的建設(shè)四、總結(jié)大數(shù)據(jù)早期落地架構(gòu)圖搭建Hadoop集群構(gòu)建Hive數(shù)據(jù)倉庫定制

2、化報(bào)表開發(fā)大數(shù)據(jù)早期落地架構(gòu)圖特點(diǎn)簡單開源HIVE數(shù)據(jù)倉庫模型DWSTGODSDWOLAPRPT星型模型 雪花模型大數(shù)據(jù)從0到1落地成果挖掘分析支撐報(bào)表整合數(shù)據(jù)目錄一、背景簡介二、大數(shù)據(jù)從0到1的架構(gòu)落地三、大數(shù)據(jù)平臺化體系的建設(shè)四、總結(jié)業(yè)務(wù)發(fā)展帶來的新挑戰(zhàn)數(shù)據(jù)需求快速增長數(shù)據(jù)治理亟需規(guī)范數(shù)據(jù)安全迫在眉睫大數(shù)據(jù)平臺化體系演進(jìn)新大數(shù)據(jù)平臺化架構(gòu)工具服務(wù)層數(shù)據(jù)權(quán)限調(diào)度執(zhí)行數(shù)據(jù)質(zhì)量應(yīng)用層基礎(chǔ)層業(yè)務(wù)用戶畫像運(yùn)營管理搜索推薦房客圖譜數(shù)據(jù)接入KafkaMysql數(shù)據(jù)存儲HiveHDFSHBase數(shù)據(jù)計(jì)算MRStormSparkKylin數(shù)據(jù)API元數(shù)據(jù)自助報(bào)表數(shù)據(jù)挖掘PAAS新大數(shù)據(jù)平臺化架構(gòu)數(shù)據(jù)需求快速

3、增長數(shù)據(jù)治理亟需規(guī)范數(shù)據(jù)安全迫在眉睫自助報(bào)表調(diào)度系統(tǒng)元數(shù)據(jù)系統(tǒng)指標(biāo)平臺數(shù)據(jù)權(quán)限Ad hoc大數(shù)據(jù)平臺化實(shí)踐010203應(yīng)用層工具層基礎(chǔ)層點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字大數(shù)據(jù)平臺化實(shí)踐01應(yīng)用層點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字BI報(bào)表產(chǎn)出慢數(shù)據(jù)指標(biāo)無統(tǒng)一定義數(shù)據(jù)流轉(zhuǎn)腳本多應(yīng)用層地動儀自助報(bào)表點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字通用報(bào)表5分鐘配置支持Mysql / Kylin/ Presto等多數(shù)據(jù)源Dashboard可復(fù)用組合應(yīng)用層地動儀自助報(bào)表點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字應(yīng)用層元數(shù)據(jù)管理和指標(biāo)平臺點(diǎn)此輸入標(biāo)題應(yīng)用層元數(shù)據(jù)管理和指標(biāo)平臺點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字表的增刪改查指標(biāo)的描述應(yīng)用層元數(shù)據(jù)管理和指標(biāo)平臺點(diǎn)此輸入標(biāo)題點(diǎn)此輸

4、入文字完善的元數(shù)據(jù)管理核心指標(biāo)統(tǒng)一定義數(shù)據(jù)流轉(zhuǎn)集中管控大數(shù)據(jù)平臺化實(shí)踐010203應(yīng)用層工具層基礎(chǔ)層點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字大數(shù)據(jù)平臺化實(shí)踐02工具層點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字ETL作業(yè)調(diào)度運(yùn)維難Ad hoc 查詢速度慢任務(wù)鏈路 不清晰工具層任務(wù)調(diào)度系統(tǒng)點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字?jǐn)?shù)據(jù)鏈路長任務(wù)種類多依賴類型雜工具層任務(wù)調(diào)度系統(tǒng)點(diǎn)此輸入文字工具層任務(wù)調(diào)度系統(tǒng)點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字工具層任務(wù)調(diào)度系統(tǒng)點(diǎn)此輸入文字簡單易用的依賴配置提供ETL常用組件，零編碼一鍵修復(fù)追溯，圖形化運(yùn)維智能調(diào)度，錯峰運(yùn)行工具層Ad hoc點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字HivePrestoSpark SQLImpala KylinD

5、ruid廣快工具層Ad hoc點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字快速查詢語法兼容容災(zāi)HA SQL QueryAdhocPresto DownloadAdapter Spark SQLHIVE倉庫Redis/File查詢雙引擎大數(shù)據(jù)平臺化實(shí)踐010203應(yīng)用層工具層基礎(chǔ)層點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字大數(shù)據(jù)平臺化實(shí)踐0基礎(chǔ)層點(diǎn)此輸入標(biāo)題點(diǎn)此輸入文字集群任務(wù)劇增集群數(shù)據(jù)安全集群資源隔離基礎(chǔ)層集群安全和存儲點(diǎn)此輸入文字?jǐn)?shù)據(jù)權(quán)限自上而下打通用戶操作審計(jì)日志用戶隊(duì)列資源隔離機(jī)器數(shù)100任務(wù)數(shù)10000數(shù)據(jù)量1.8PB日增量5 TB基礎(chǔ)層集群性能優(yōu)化點(diǎn)此輸入文字資源預(yù)留，保障核心作業(yè)參數(shù)調(diào)優(yōu)冷數(shù)據(jù)遷移S3存儲VM.overcommit_memoryMpress.map.outputetc/fstab data noatime,nodiratime 大數(shù)據(jù)平臺化取得的效果點(diǎn)此輸入文字?jǐn)?shù)據(jù)獲取效率大大提升，從1-2周提升到1-2天分析師能多維度快速探索數(shù)據(jù)，分鐘級到秒級公司核心指標(biāo)統(tǒng)一管理數(shù)據(jù)全生命周期追蹤展望點(diǎn)此輸入文字?jǐn)?shù)據(jù)血緣數(shù)據(jù)預(yù)警混合云機(jī)器學(xué)習(xí)平臺化支撐目錄一、背景簡介二、大數(shù)據(jù)從0到1的架構(gòu)落地三、大數(shù)據(jù)平臺化體系的建設(shè)四、總結(jié)案例啟示傳統(tǒng)企業(yè) / 初創(chuàng)團(tuán)隊(duì) 如何快速落地大數(shù)據(jù) 采用成熟的業(yè)界方案深入業(yè)務(wù)找到契合點(diǎn)1案例啟示業(yè)務(wù)迅速增長，平臺化思維是一個法寶 自助服務(wù)Eat