七彩石的前身后世

1、七彩石的前身后世1大型應(yīng)用之路1234將來之抉擇5某網(wǎng)站架構(gòu)之過去&抉擇某網(wǎng)站架構(gòu)之重構(gòu)&現(xiàn)在將來注意要點(diǎn)2大型應(yīng)用類型高可靠應(yīng)用如銀行，證券交易，支付寶高性能應(yīng)用如電話公司高可用應(yīng)用19樓，新浪等3計(jì)算機(jī)世界的變化莫爾定律的終結(jié)按照莫爾定律，2004年應(yīng)該出現(xiàn)10G的CPU超線程和多核技術(shù)的使用程序不再順序執(zhí)行硬件發(fā)展趨勢(shì)決定軟件發(fā)展趨勢(shì)Google的map-reduce & Yahoo的hadoop,云計(jì)算并行時(shí)代的到來4過去&抉擇5原邏輯結(jié)構(gòu)6某網(wǎng)站原數(shù)據(jù)結(jié)構(gòu)DB5:用戶、權(quán)限全局配置中心完全帖子庫冗余數(shù)據(jù)BBS1BBS10論壇存取帖子列表和內(nèi)容存取帖子配置中心用戶中心其他應(yīng)用根據(jù)fid

2、不規(guī)則打散7Disuz!原體系結(jié)構(gòu)代碼混亂，結(jié)構(gòu)復(fù)雜單點(diǎn)問題眾多維護(hù)成本巨大擴(kuò)展困難系統(tǒng)不穩(wěn)定質(zhì)量不可靠安全工作艱巨8抉擇一Scale out(平行擴(kuò)展) 通過簡(jiǎn)單增加性價(jià)比較好的硬件投入，使系統(tǒng)提高負(fù)載增量，這個(gè)增量是值相對(duì)穩(wěn)定的。 典型例子如google,facebook哪條路？Scale UP(向上擴(kuò)展) 購買計(jì)算能力更強(qiáng)，處理能力更高，吞吐量更大的硬件，大幅度提高系統(tǒng)的負(fù)載能力典型例子如Taobao，阿里巴巴9Scale Up & Scale Out10Scale Up & Scale OutScale out優(yōu)缺點(diǎn)：節(jié)省硬件成本，以可控的成本解決問題；技術(shù)相對(duì)復(fù)雜，大型站點(diǎn)如Goog

3、le、Yahoo和A，都自行研發(fā)大量相關(guān)技術(shù)； 需要對(duì)原先使用的軟件進(jìn)行大量的重寫工作。Scale up優(yōu)缺點(diǎn)：現(xiàn)有程序不需修改（實(shí)際淘寶做了大量的修改）成本巨大硬件有極限，達(dá)到最大極限的時(shí)候，成本巨大，難以想象11三叉口新論壇新論壇+維護(hù)重構(gòu)之七彩石抉擇二12重構(gòu)&抉擇13項(xiàng)目規(guī)劃高層應(yīng)用基于服務(wù)的分層體系結(jié)構(gòu) 物理邏輯分離服務(wù)邏輯分離Final Release第三階段第二階段第一階段14第一階段目標(biāo)15第二階段目標(biāo)16第二階段實(shí)際結(jié)果17現(xiàn)有數(shù)據(jù)模型UserDBConfigureDB(DB5)BBS1LoveBBBBS4Entfun論壇存取帖子列表和內(nèi)容配置中心冗余數(shù)據(jù)其他應(yīng)用分邏輯存儲(chǔ)1

4、8第三階段目標(biāo)19第三階段2008-11-28 全站去除分庫表的db5支持db5改論壇配置服務(wù)器搜索引擎發(fā)布RB1RB2RB3RB4第三階段發(fā)布2008-10-31 帖子顯示方式重構(gòu)置頂以及千斤鼎重構(gòu)增加指定置頂功能帖子操作類型(推薦首頁等)2008-11-21 數(shù)據(jù)重分布全站分庫支持2008-10-15 數(shù)據(jù)庫字段重構(gòu) 2008-10-17 新表fid插入支持2008-10-18 新表導(dǎo)入fid數(shù)據(jù)20部署圖21原時(shí)間表31應(yīng)用邏輯分離階段一物理邏輯分離第二階段分層體系結(jié)構(gòu)第三階段2008.032008年4月中旬2008年7月中旬222實(shí)際進(jìn)程第一期2008.07 完成大部分慢查詢的修改20

5、08.04 完成用戶分離第二期2008.11 去除db5單點(diǎn)，去除bbs1-10的單點(diǎn)2008.09 數(shù)據(jù)重分布2008.08 完成主要服務(wù)的分離，如帖子服務(wù)第三期2008.底 解決圖片服務(wù)器單點(diǎn)問題2008.12 基于服務(wù)體系新產(chǎn)品的實(shí)踐品牌天堂將來2009年 在七彩石搭建的基礎(chǔ)架構(gòu)上，新產(chǎn)品搜索等等領(lǐng)域，盡情發(fā)揮吧23重構(gòu)之外軟件技能的提升新產(chǎn)品架構(gòu)的合理性編碼過程規(guī)范化敏捷管理的實(shí)施軟件過程的條理化品質(zhì)管理支撐更大Team的基礎(chǔ)管理結(jié)構(gòu)和管理模式安全提升24將來注意要點(diǎn)25面臨的挑戰(zhàn)研發(fā)投入不足產(chǎn)品開發(fā)流程的規(guī)范質(zhì)量保障體系的建立安全體系的建立新應(yīng)用類型的架構(gòu)26數(shù)據(jù)結(jié)構(gòu)分布用戶中心（全

6、站類） ：用戶session數(shù)據(jù)用戶個(gè)人信息好友關(guān)系警告數(shù)據(jù)組件數(shù)據(jù)結(jié)構(gòu)（全站類）短消息表情系統(tǒng)用戶主題相關(guān)(我的*系列)論壇配置中心論壇權(quán)限配置數(shù)據(jù)論壇表論壇全局配置數(shù)據(jù) 頻道22個(gè)樓層數(shù)據(jù)庫實(shí)例1個(gè)城市站數(shù)據(jù)庫實(shí)例 27應(yīng)用分離-數(shù)據(jù)庫篇采取應(yīng)用分離式容量擴(kuò)展模式 短信息、表情系統(tǒng)、我的XX分離到全局組件 數(shù)據(jù)庫，即這些應(yīng)用將針對(duì)全站應(yīng)用。22個(gè)樓層數(shù)據(jù)庫，根據(jù)需要，購買新的服務(wù)器，放到各自獨(dú)立的服務(wù)器城市站數(shù)據(jù)庫實(shí)例，根據(jù)需要，將各個(gè)城市站導(dǎo)成獨(dú)立數(shù)據(jù)庫實(shí)例假如，某個(gè)樓層容量大到無法用單臺(tái)數(shù)據(jù)庫支撐，對(duì)單樓層進(jìn)行數(shù)據(jù)分片28增強(qiáng)cache-數(shù)據(jù)庫篇采取cache進(jìn)行容量擴(kuò)展模式論壇權(quán)限需

7、要重構(gòu)，加載cache（產(chǎn)品上，需要跟進(jìn)）論壇全局配置可以完全緩存起來，也需要重構(gòu)，分層之。帖子內(nèi)容頁緩存和帖子列表頁緩存，應(yīng)該采用命中率更高的緩存策略基本去除論壇的文件緩存29數(shù)據(jù)分片-數(shù)據(jù)庫篇HASH是一種廉價(jià)的方式熱度均勻需要達(dá)到設(shè)計(jì)時(shí)候考慮產(chǎn)品需要，提供冗余度高度依賴cache30讀寫分離-數(shù)據(jù)庫篇讀寫分離在讀上進(jìn)行Load balance多做幾個(gè)從庫，但從庫不宜過多，進(jìn)行讀負(fù)載均衡優(yōu)點(diǎn)：較為常見的擴(kuò)展模式，技術(shù)成熟缺點(diǎn)：不能克服數(shù)據(jù)量過大的問題，從庫的數(shù)量有限，容量有限制。如果已經(jīng)過渡依賴讀寫分離可以多層級(jí)聯(lián)，但是實(shí)現(xiàn)成本高，維護(hù)成本高 31AH方案不需要考慮，太復(fù)雜了有更好的解決方案日PV有8000萬的時(shí)候，就應(yīng)該著手做了需要大量的研發(fā)高手32存儲(chǔ)篇性價(jià)比選擇要有標(biāo)準(zhǔn)這個(gè)是重中之重需要開發(fā)出一種簡(jiǎn)易計(jì)算模型虛擬文件系統(tǒng)的建立用軟件替代昂貴的商業(yè)解決方案數(shù)據(jù)分片，熱度均勻的技術(shù)準(zhǔn)備需要分應(yīng)用從數(shù)據(jù)庫、緩存、到存儲(chǔ)都需要分應(yīng)用，隔離故障均勻熱度33服務(wù)器選擇篇定量什么樣的服務(wù)器，能支持什么樣的應(yīng)用流量什么時(shí)候需要購買定性軟件擴(kuò)展還是硬件擴(kuò)展硬件擴(kuò)展的話，未來性價(jià)比預(yù)算怎么來定買什么樣的服務(wù)器定價(jià)性價(jià)比選擇需要考慮帶寬、機(jī)柜、維護(hù)等成本因素也需要開發(fā)一個(gè)計(jì)算模型34目前底子實(shí)質(zhì)支撐論壇程序的服務(wù)器9臺(tái)Dell 1950