適合互聯(lián)網(wǎng)的簡約架構(gòu)的演進(jìn)-白德鑫

1、揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！適合互聯(lián)網(wǎng)的簡約架構(gòu)的演進(jìn) 白德鑫 技術(shù)副總監(jiān) 樂視網(wǎng)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！摘要項目背景為功能狂奔初遇瓶頸嘗試優(yōu)化善后反思重構(gòu)選型在路上揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！TV應(yīng)用開放平臺項目架構(gòu)演進(jìn)a) 項目簡介基于樂視網(wǎng)資源我們致力于打造為智能電視、智能機(jī)頂盒提供海量應(yīng)用的國內(nèi)第一品牌應(yīng)用市場。為開發(fā)者提供優(yōu)質(zhì)應(yīng)用服務(wù)的國內(nèi)第一開發(fā)平臺。b)目標(biāo)a) 支撐數(shù)百萬的電視終端及各種智能

2、STB每日千萬訪問請求支撐實(shí)時在線的統(tǒng)計分析，支持離線數(shù)據(jù)分析揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！a) 案例背景揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！電視客戶端官方網(wǎng)站開發(fā)者服務(wù)平臺管理系統(tǒng)用戶系統(tǒng)統(tǒng)計系統(tǒng)運(yùn)營系統(tǒng)5揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！為功能狂奔MySQLMySQLDB-1DB-2Service-1Service-2Service-3Service-4TomcatServiceTomcatServiceTomcatSer

3、viceTomcatServiceWeb-2TomcatPC-martDeveloperUserTV-proxyWeb-1TomcatPC-martDeveloperUserTV-proxyWeb-3TomcatPC-martDeveloperUserTV-proxyWeb-4TomcatPC-martDeveloperUserTV-proxyadmin-1TomcatEditorAdminBack-end20G 高速光纖聯(lián)通機(jī)房電信機(jī)房本地局域網(wǎng)連接互聯(lián)網(wǎng)連接揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！為功能狂奔1. 產(chǎn)品定義明確2. 成熟的技術(shù)

4、模型3. 團(tuán)隊都熟悉的框架4. 可以預(yù)期的架構(gòu)5. 按照先功能完善，技術(shù)逐步優(yōu)化的方式進(jìn)行6. 扁平化的開發(fā)管理7. 工程師決定自己模塊的設(shè)計揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！我們用到的技術(shù)SpringMVC(another S) + Spring + Hibernate一點(diǎn)點(diǎn)的JMX一點(diǎn)點(diǎn)Spring cron.一點(diǎn)點(diǎn)的 AOP 做監(jiān)控.這些可以很快的完成我們的功能要求！初遇瓶頸之開發(fā)流程v 1.多變的需求和企業(yè)開發(fā)思想的碰撞v 2.模塊分散導(dǎo)致業(yè)務(wù)割裂v 3.對開發(fā)工具的依賴導(dǎo)致環(huán)境參數(shù)配置過多v 4.忽視Unitest導(dǎo)致代碼質(zhì)量不

5、高 v 5.沒有持續(xù)集成，沒有代碼評審揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！初遇瓶頸之技術(shù)v 1.編譯和打包時間太長 30 - 40sv 2. 太多的XML配置文件v 3. 性能比較差v 4. WAR包越來越大v 5. Application Server 耗費(fèi)大量的時間加載配置文件揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！初遇瓶頸之技術(shù)v 6.太多的模式，IOC，MVC，反模式等等v 7. 為了功能而功能，丟失了業(yè)務(wù)的原本v 8. 太依賴 hibernate 導(dǎo)致SQL在并發(fā)量上來之后產(chǎn)生瓶頸

6、v 9. 內(nèi)部服務(wù)采用RESTful導(dǎo)致交互時間延遲v 10. Session 、Cache and More揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！嘗試優(yōu)化v Cache 、Session 集中管理v 增加應(yīng)用服務(wù)器集群v 處理 Slow Queryv 動靜分離v 增加更多監(jiān)控揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！善后反思v 項目缺乏規(guī)范化v 日益增多和變化的需求v 開發(fā)不夠敏捷v 持續(xù)集成沒有很好的利用v 開發(fā)測試銜接不夠揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多

7、源動力與更大的推動力！善后反思v 為了模式而模式v XML不是代碼，但是每個開發(fā)人員用來溝通v Hibernate 簡少了SQL書寫，單增加的維護(hù)的困難v Tomcat 對于互聯(lián)網(wǎng)的輕應(yīng)用太重了v 太多和業(yè)務(wù)無關(guān)的代碼揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！善后反思v 監(jiān)控遠(yuǎn)遠(yuǎn)不夠v 有狀態(tài)服務(wù)導(dǎo)致計算無法順利切分v 服務(wù)隔離不完全v 單一的Cache是不夠的v 切分同步接口為異步調(diào)用揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！重構(gòu)從開發(fā)流程開始v 從項目管理開始，引入敏捷開發(fā)v 團(tuán)隊培訓(xùn)普及mav

8、en工具知識，并由專人負(fù)責(zé)maven管理v 引入Jenkins （hudson）來進(jìn)行持續(xù)集成，持續(xù)進(jìn)行代碼reviewv 強(qiáng)化單元測試及每個人都要對代碼覆蓋率負(fù)責(zé)，引入mock測試v 增加內(nèi)部技術(shù)交流機(jī)會揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！架構(gòu)重構(gòu)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！選型vWhy Mybatis？非常簡單，高效可以使用數(shù)據(jù)源，使用JNDI，數(shù)據(jù)庫連接池等技術(shù)來優(yōu)化性能-重用已經(jīng)構(gòu)建好的數(shù)據(jù)庫連接對象無縫配合Druid，C3P0，Proxool等池化技術(shù)ORM框架，半自動

9、化，SQL可以通過配置或者注入的方式使用數(shù)據(jù)庫的讀寫都可以通過SQL完成，讓開發(fā)人員了解自己的SQL語句揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！怎么用？Select(SELECT*FROMAppWHEREappId=#appId)AppEntityget(Param(appId)LongappId);Select(SELECTcount(MachineModeledApp.appId)FROMMachineModeledAppINNERJOINAppAndCategoryUSING(appId)WHEREMachineModeledApp.ma

10、chineModelId=#modelIdANDAppAndCategory.appCategoryId=#categoryId)IntegergetCountByModelAndCategoryOrderOnlinetime(Param(modelId)LongmodelId,Param(categoryId)LongcategoryId);揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！選型vWhy thrift?Thrift 支持豐富的語言，在特性方面超出protocolbuffer很多。Thrift 支持完整的client/server RPC

11、框架， protocolbuffer僅產(chǎn)生接口，用戶具體實(shí)現(xiàn)需要做很多工作。雖然protocolbuffer序列化性能比thrift要高，但是使用起來相對困難一些。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！怎么用？定義協(xié)議： struct UserProfile 1: i32 uid, 2: string name, 3: string blurb service UserStorage void store(1: UserProfile user), UserProfile retrieve(1: i32 uid) 生成代碼：thrift -g

12、en 使用語言庫開發(fā)客戶端和服務(wù)端/repos/asf/thrift/trunk/tutorial/java/src/JavaServer.java選型vWhy Redis? 高性能的key-value數(shù)據(jù)庫。 支持更多的類型：包括string(字符串)、list(鏈表)、set(集合)和zset(有序集合)。 數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作。 數(shù)據(jù)都是緩存在內(nèi)存中 redis會周期性的把更新的數(shù)據(jù)寫入磁盤，并實(shí)現(xiàn)主從同步 很多大網(wǎng)站都在用揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲

13、得過多源動力與更大的推動力！選型vWhy Kafka? 高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)。 通過O(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化。 高吞吐量。 支持通過kafka服務(wù)器和消費(fèi)機(jī)集群來分區(qū)消息 支持Hadoop并行數(shù)據(jù)加載 用來處理在線和離線數(shù)據(jù)分析揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！怎么用？ProducerPropertiesprops=newProperties();props.put(“zk.connect”,“:2181”);props.put(serializer.class,kafka.serializer

14、.StringEncoder);ProducerConfigconfig=newProducerConfig(props);Producerproducer=newProducer(config);ProducerDatadata=newProducerData(test-topic,test-message);producer.send(data);揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！kafka ConsumerSimpleConsumerconsumer=newSimpleConsumer(,9092,10000,10

15、24000);longoffset=0;while(true)FetchRequestfetchRequest=newFetchRequest(test,0,offset,1000000);ByteBufferMessageSetmessages=consumer.fetch(fetchRequest);for(MessageAndOffsetmsg:messages)System.out.println(consumed:+Utils.toString(msg.message.payload(),UTF-8);/advancetheoffsetafterconsumingeachmessag

16、eoffset=msg.offset;揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！選型v Why TCP？揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！在路上v重構(gòu)進(jìn)行中 采用小步快跑原則，逐漸替代 增加了多個監(jiān)控點(diǎn)，后臺圖形化 采用Hudson進(jìn)行持續(xù)集成 引入敏捷管理思想 完善單元測試，并采用Sonar對代碼質(zhì)量進(jìn)行管理 Jetty替代Tomcat 通過瓶頸點(diǎn)監(jiān)控隨時進(jìn)行優(yōu)化（SQL，內(nèi)存，集群）揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！總結(jié) 整合團(tuán)隊：產(chǎn)品和研發(fā)、測試緊密配合，組成敏捷團(tuán)隊 采用服務(wù)分層的方式將業(yè)務(wù)隔離