社區(qū)產(chǎn)品技術(shù)架構(gòu)和設(shè)計思路的演變

1、社區(qū)產(chǎn)品技術(shù)架構(gòu)和設(shè)計思路的演變紀(jì)鵬程 jipengcheng我2007年 2011年 百度貼吧后端模塊開發(fā)和架構(gòu)設(shè)計2011年 至今 趕集網(wǎng)趕集交友瓜子社區(qū)社區(qū)產(chǎn)品特點用戶數(shù)據(jù)、帖子數(shù)據(jù)、各種排序、各種消息等千萬級以上的用戶，百萬級以上的日登陸寫入的數(shù)據(jù)需要立即能看到以貼吧為例，每天2000萬的發(fā)帖量，高峰時間500帖/秒寫入量大1實時3邏輯復(fù)雜4用戶基數(shù)大2速度！L1 cache reference 0.5nsL2 cache reference 7nsSend 1M bytes over 1Gbps network 10msRead 1M sequentially from memory

2、 0.25msDisk seek 810msRead 1MB sequentially from disk 2025ms基本原則減少IO讀寫-充分理解業(yè)務(wù)的讀寫比例合理用好cache -好鋼要用在刀刃上邏輯和數(shù)據(jù)分離 -邏輯是變化的，數(shù)據(jù)是不變化的可擴展性-系統(tǒng)能否通過加機器就可以解決流量增加問題機械磁盤性能性能差，一般應(yīng)用都是隨機寫性能高，應(yīng)用場景少，一般用在日志記錄上順序?qū)戨S機寫SSD vs Disk隨機寫性能強順序?qū)懖蝗缙胀ù疟P每個區(qū)域擦寫次數(shù)有限性價比不高適合數(shù)據(jù)量中等，且有大量隨機寫的應(yīng)用拉鏈模式常用于存儲邏輯數(shù)據(jù)存放在內(nèi)存中，定期dump磁盤（mmap)用于實現(xiàn)高速、查詢模式固定的

3、應(yīng)用用塊鏈來節(jié)約空間拉鏈模式-案例Merge模式數(shù)據(jù)寫到內(nèi)存中定期和磁盤中的數(shù)據(jù)進行合并寫到新的地方常用到論壇的帖子模式上，Google的LevelDB使用的就是該思想Cache無處不在的cache瀏覽器cache：客戶端代理服務(wù)器cache：網(wǎng)絡(luò)節(jié)點CDN, Squid：web servermodel層cache：memcached、redis磁盤cache：操作系統(tǒng)Cpu cache：硬件多種多樣的cache解決方案分布式cache vs 本地cache磁盤cache vs 內(nèi)存cacheRedis -REmote DIctionary ServerRedis vs Memcached持久

4、化-aof、RDB-主從庫并發(fā)度-epoll、libevent、selectLogic vs DataInnoDB vs MyISAM并發(fā)寫事務(wù)聚簇索引運維合理使用聚簇索引create table ipush_logic(eid int unsigned not null,uid int unsigned not null,idx smallint not null,.op_t int unsigned not null,primry key(eid)engine=InnoDB;create table ipush_logic(eid int unsigned not null,uid int

5、 unsigned not null,idx smallint not null,.op_t int unsigned not null,primry key(uid, idx)engine=InnoDB;NoSQL對MySQL的沖擊HadoopCassandraMongoDBMongoDB大行其道schema freeauto sharding高速寫對二維地理位置支持?jǐn)?shù)據(jù)拆分性能考慮水平、垂直按業(yè)務(wù)數(shù)據(jù)拆分-案例MongoDB的分區(qū)Timeline問題推拉推拉方案利弊邏輯簡單；瀏覽時不需計算，效率高；空間浪費大；關(guān)注變化時需要重做數(shù)據(jù)；沒有空間浪費；關(guān)注變化時不需要重做數(shù)據(jù)；計算復(fù)雜；實時計算量大，需要充分利用緩存；推拉Twitter的數(shù)據(jù)1億活躍用戶Timeline接口2萬QPS推送平均1ms，99% 4ms以內(nèi)每天2.5億條新Tweets，平均3千/秒，峰值1萬以上每天260億次分發(fā)，