電商行業(yè)數(shù)據(jù)運(yùn)營(yíng)建設(shè)實(shí)踐

1、電商行業(yè)數(shù)據(jù)運(yùn)營(yíng)建設(shè)實(shí)踐提綱一、對(duì)BI的思考二、蘭亭數(shù)據(jù)平臺(tái)建設(shè)三、大數(shù)據(jù)的高性能實(shí)現(xiàn)四、高效的數(shù)據(jù)挖掘五、BI的發(fā)展趨勢(shì)一、對(duì)BI的思考_定義BI組成 DW OLAP DM 查詢(xún)報(bào)表 數(shù)據(jù)挖掘BI功能 信息搜集 管理 分析 處理BI目的 知識(shí)(Knowledge) 洞察力(Insight) 輔助做出決策一、對(duì)BI的思考_數(shù)據(jù)采購(gòu)倉(cāng)儲(chǔ)訂單物流銷(xiāo)退客服系統(tǒng)數(shù)據(jù)渠道注冊(cè)瀏覽溝通下單回訪用戶(hù)數(shù)據(jù)BI一、對(duì)BI的思考_協(xié)作管理者銷(xiāo)售財(cái)務(wù)運(yùn)營(yíng)/設(shè)計(jì)/推廣客服物流/倉(cāng)儲(chǔ)一、對(duì)BI的思考_問(wèn)題響應(yīng)較慢 開(kāi)發(fā)速率跟不上互聯(lián)網(wǎng)變化的節(jié)奏； 需求變化，又得根據(jù)流程重新開(kāi)發(fā)；靈活度不夠 不能進(jìn)行數(shù)據(jù)交互、自由組合；

2、 不能二次分析；無(wú)法支持大數(shù)據(jù)量 TB,PB級(jí)數(shù)據(jù)無(wú)法響應(yīng)一、對(duì)BI的思考_解決思路快速響應(yīng) 快速響應(yīng)：實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)和準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)； 需求變化：最快響應(yīng)；靈活多變 人與系統(tǒng)交互、維度自由組合； 多樣的展現(xiàn)方式基于云計(jì)算的大數(shù)據(jù)響應(yīng) 海量數(shù)據(jù)處理：海量業(yè)務(wù)數(shù)據(jù)在線(xiàn)分析、云端部署二、蘭亭數(shù)據(jù)平臺(tái)建設(shè)_架構(gòu)數(shù)據(jù)計(jì)算層數(shù)據(jù)服務(wù)層源數(shù)據(jù)層MysqlOracle文件數(shù)據(jù)日志海量數(shù)據(jù)/離線(xiàn)計(jì)算:EMR/Hive/Spark數(shù)據(jù)挖掘?qū)崟r(shí)計(jì)算：Kafka分布式消息系統(tǒng)/Streaming流式計(jì)算線(xiàn)上服務(wù)：Mysql/Redis 集群/HBase報(bào)表系統(tǒng)：Oracle主從/Redshift查詢(xún)分析：Hive /

3、數(shù)據(jù)倉(cāng)庫(kù)/KibanaAPI/JDBCWebRPC數(shù)據(jù)產(chǎn)品應(yīng)用層統(tǒng)一調(diào)度、監(jiān)控、權(quán)限控制二、蘭亭數(shù)據(jù)平臺(tái)建設(shè)1、數(shù)據(jù)模型分層：ODS, DW, DM, RPT范圍：流量、銷(xiāo)售、運(yùn)營(yíng)三大數(shù)據(jù)模型及數(shù)據(jù)集市推薦：個(gè)性化推薦數(shù)據(jù)、商品推薦數(shù)據(jù)排序：根據(jù)能效值排序的數(shù)據(jù)2、架構(gòu) 調(diào)度：基于Quartz開(kāi)發(fā)的調(diào)度系統(tǒng)； 監(jiān)控：判斷程序執(zhí)行返回狀態(tài)，記錄到日志表中，發(fā)送短信和郵件報(bào)警； 權(quán)限控制：數(shù)據(jù)倉(cāng)庫(kù)訪問(wèn)權(quán)限，申請(qǐng)、審批和授權(quán)； 線(xiàn)上支持：MySQL，HBase通過(guò)API接口支持線(xiàn)上服務(wù)二、蘭亭數(shù)據(jù)平臺(tái)建設(shè)2、架構(gòu) 數(shù)據(jù)收集：DataExp ,shell 腳本，Kafka分布式消息系統(tǒng)，快速低成本收集

4、日志等； 抽取與轉(zhuǎn)換：存儲(chǔ)和計(jì)算基于EMR/Hive/Spark/Oracle 存儲(chǔ)：Oracle數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)量級(jí)較小的數(shù)據(jù)，Redshift存儲(chǔ)量級(jí)大的數(shù)據(jù) 云存儲(chǔ)：Amazon S3 Redis集群：支持實(shí)時(shí)推薦等3、應(yīng)用 日常查詢(xún)：臨時(shí)查詢(xún)； 報(bào)表服務(wù)：報(bào)表以web展示，或者郵件形式發(fā)送給用戶(hù)； 自助服務(wù)：支持用戶(hù)自定義查詢(xún)，并保存為報(bào)表； 網(wǎng)站運(yùn)營(yíng)效果評(píng)估：響應(yīng)時(shí)間、各指標(biāo)用戶(hù)數(shù)等； 流量分析：流量、點(diǎn)擊率、轉(zhuǎn)化率、跳出率等 推薦系統(tǒng) 搜索引擎二、蘭亭數(shù)據(jù)平臺(tái)建設(shè) 統(tǒng)一調(diào)度系統(tǒng)：架構(gòu)ServerMysqlClient AgentClient AgentClient AgentAWS E

5、C2OracleHadoopClient Agent其它二、蘭亭數(shù)據(jù)平臺(tái)建設(shè) 調(diào)度系統(tǒng)：運(yùn)維、管理、監(jiān)控、依賴(lài)二、蘭亭數(shù)據(jù)平臺(tái)建設(shè) 報(bào)表系統(tǒng)：維度分析、動(dòng)態(tài)展現(xiàn)、權(quán)限元數(shù)據(jù)RDS MySQLAmazonS3二、蘭亭數(shù)據(jù)平臺(tái)建設(shè)計(jì)算與存儲(chǔ)：EMR + HiveEMR + HiveOracleRedshiftMysqlDataExp二、蘭亭數(shù)據(jù)平臺(tái)建設(shè) 應(yīng)用推薦服務(wù)商品排序運(yùn)營(yíng)數(shù)據(jù)RESTful API前端系統(tǒng)搜索引擎CRM、其它系統(tǒng)Web Service三、大數(shù)據(jù)的高性能實(shí)現(xiàn) 1、Oracle讀寫(xiě)分離 一拖二 主庫(kù)寫(xiě)，從庫(kù)實(shí)時(shí)復(fù)制 多從庫(kù)用于查詢(xún)、統(tǒng)計(jì) 硬件加速：SSD盤(pán)加速三、大數(shù)據(jù)的高性能實(shí)

6、現(xiàn) 2、Redshift Amazon Redshift 是一種快速、完全托管的 PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)解決方案; 列式存儲(chǔ)； 數(shù)據(jù)壓縮； 區(qū)域映射； MPP并行處理框架:在不停機(jī)的情況下實(shí)現(xiàn)擴(kuò)展或收縮；三、大數(shù)據(jù)的高性能實(shí)現(xiàn) 3、Logstash、 ElasticSearch、 Kibana Logstash:日志進(jìn)行收集、分析、過(guò)濾，并將其存儲(chǔ)供以后使用; ElasticSearch:全文搜索服務(wù) Kibana:自定義搜索接口，頁(yè)面展示四、高效的數(shù)據(jù)挖掘1、 Hadoop在數(shù)據(jù)挖掘中的問(wèn)題 MP模式 vs復(fù)雜的機(jī)器學(xué)習(xí)算法 多次迭代問(wèn)題 中間數(shù)據(jù)的處理 開(kāi)發(fā)周期長(zhǎng)四、高效的數(shù)據(jù)挖掘2、SparkRDD（Resilient Distributed Dataset）內(nèi)存計(jì)算:計(jì)算的中間結(jié)果保存在內(nèi)存中，不需要讀寫(xiě)HDFS；快速迭代；DAGScala函數(shù)式編程（FP）；Actor模型：基于線(xiàn)程和基于事件的Actor;并發(fā)能力；四、高效的數(shù)據(jù)挖掘 3、Spark架構(gòu)HDFSAmazon S3HBase本地模式獨(dú)立模式EC2MesosYarnMRSparkRDDFPSharkStreamingMllibGraphx原始日志SparkRedis/HBase模型結(jié)果Hive混合計(jì)算Hive表四、高效的數(shù)據(jù)挖掘4、蘭亭推薦系統(tǒng)架構(gòu)推薦結(jié)果用戶(hù)