股市動(dòng)蕩下的雪球架構(gòu)進(jìn)化歷程

1、股市動(dòng)蕩下的雪球架構(gòu)進(jìn)化歷程q?關(guān)于雪球，關(guān)于我q?雪球總體架構(gòu)q?雪球架構(gòu)優(yōu)化歷程q?一些總結(jié)和感想大綱q?員工 100+ ，技術(shù)人員占一半q?2014.9C輪 $40M by RENNq?Java，Scala，Akka，F(xiàn)inagle，Nodejs，Docker ，Hadoopq?租用IDC機(jī)房自建私有云，正在往“公有云+私有云”方向發(fā)展關(guān)于雪球q?滬深港美2w+股票q?債券，期貨，基金，比特幣，信托，理財(cái)，私募。q?百萬組合，實(shí)時(shí)調(diào)倉信息q?百萬日活，每天4億API調(diào)用（不算自動(dòng)輪詢接口）關(guān)于雪球q?前新浪微博架構(gòu)師，微博ID 唐福林q?微博短鏈 q?微博計(jì)數(shù)器 redis，redisc

2、ounterq?微博用戶關(guān)系服務(wù)q?微博穩(wěn)定性、性能改進(jìn)關(guān)于我q?雪球首席架構(gòu)師，雪球ID 唐福林q?性能，穩(wěn)定性，代碼質(zhì)量改進(jìn)q?基礎(chǔ)組件，微服務(wù)容器建設(shè)q?XDC雪球數(shù)據(jù)中心關(guān)于我q?關(guān)于雪球，關(guān)于我q?雪球總體架構(gòu)q?雪球架構(gòu)優(yōu)化歷程q?一些總結(jié)和感想大綱雪球總體架構(gòu)q?關(guān)于雪球，關(guān)于我q?雪球總體架構(gòu)q?雪球架構(gòu)優(yōu)化歷程q?一些總結(jié)和感想大綱2015年A股大盤走勢(shì)q?小 VS 大：q?小：小公司的體量，團(tuán)隊(duì)小，機(jī)器規(guī)模小q?大：堪比大公司的業(yè)務(wù)線數(shù)量，業(yè)務(wù)復(fù)雜度，瞬間峰值沖擊挑戰(zhàn)q?快速增長(zhǎng)q?移動(dòng)互聯(lián)網(wǎng) + 金融，風(fēng)口q?A股大盤劇烈波動(dòng)挑戰(zhàn)q?前端q?Hybrid APP，端到端可

3、用性監(jiān)控q?接入層q?輪詢Server優(yōu)化q?業(yè)務(wù)層q?股價(jià)提醒，IM 推送，注冊(cè)邏輯 優(yōu)化q?雪球App實(shí)踐構(gòu)建靈活、可靠的Hybrid框架q?http:/ 離線H5頁面Hybrid APPq?q?q?q?q?succ or fail ： 1 char失敗原因：0 - 1 char請(qǐng)求接口編號(hào)： 1 char請(qǐng)求耗時(shí)：2 - 3 char其它：網(wǎng)絡(luò)制式，etcAPP端可用性監(jiān)控q?移動(dòng)時(shí)代端到端的穩(wěn)定性保障q?每個(gè)請(qǐng)求里帶上前一個(gè)請(qǐng)求的結(jié)果q?開盤期間，每個(gè)在線客戶端（包括web）每1秒輪詢一次當(dāng)前用戶關(guān)注的股票的價(jià)格變動(dòng)情況q?Netty + 本地內(nèi)存存儲(chǔ)q?主動(dòng)更新Quote Serve

4、rq?雪球上熱門股票擁有超過 50w 粉絲（招商銀行，蘇寧云商）q?粉絲可以設(shè)置：當(dāng)這支股票漲幅或跌幅超過 x%（默認(rèn)7%）時(shí)提醒我q?曾經(jīng)連續(xù)3天，每天超過1000股跌停，證監(jiān)會(huì)開了一個(gè)會(huì)，于是接下來2天超過1000股漲停股價(jià)提醒性能優(yōu)化q?q?q?1%：uid1，uid22%：uid3，uid4，uid53%：uid6股價(jià)提醒性能優(yōu)化（2）q?原來做法：股票漲（跌）x%，掃一遍粉絲列表，過濾出所有符合條件的粉絲，推送消息q?新做法：預(yù)先建立索引，開盤期間載入內(nèi)存q?聊天功能：送達(dá)率第一q?雪球IM：Netty + 自定義網(wǎng)絡(luò)協(xié)議q?Akka： 每個(gè)在線client一個(gè)actorq?推模式：

5、client 在線情況下使用推模式q?多端同步：?jiǎn)钨~號(hào)多端可登錄，并保持各種狀態(tài)同步IM 推送性能優(yōu)化q?q?推送功能：瞬間峰值性能第一優(yōu)化q?q?q?q?分配更多資源：推送賬號(hào)actor池精簡(jiǎn)業(yè)務(wù)邏輯：重復(fù)消息只存id，實(shí)時(shí)提醒內(nèi)容不推歷史設(shè)備，不更新非活躍設(shè)備的Session列表等等本地緩存：拉黑等無法精簡(jiǎn)的業(yè)務(wù)邏輯遷移到本地緩存優(yōu)化代碼：異步加密存儲(chǔ)，去除不合理的akka 使用IM 推送性能優(yōu)化（2）中國(guó)好聲音q?預(yù)估廣告播出期間2小時(shí)新注冊(cè)100萬q?壓測(cè)發(fā)現(xiàn) DB 成為瓶頸：q?昵稱檢測(cè) cache miss 40%q?昵稱禁用詞 where like 模糊查詢cache miss

6、80%注冊(cè)模塊優(yōu)化q?2015.7.10/17/24q?優(yōu)化：q?redisstore：昵稱，手機(jī)號(hào)q?本地存儲(chǔ)：昵稱禁用詞insert 操作同步改q?業(yè)務(wù)流程優(yōu)化：DB異步注冊(cè)模塊優(yōu)化（2）q?合作方合規(guī)要求：業(yè)務(wù)單元部署到合作方內(nèi)網(wǎng)，用戶的敏感數(shù)據(jù)不允許離開進(jìn)程內(nèi)存q?業(yè)務(wù)本身要求：業(yè)務(wù)單元本身為有狀態(tài)服務(wù)，業(yè)務(wù)單元高可用前置模塊HAq?解決方案：q?HazelcastIn-Memory Data Gridq?replicationmapq?java -XX:+DisableAttachMechanism-XX:-UsePerfData前置模塊HA（2）q?一支股票可能在超過20萬個(gè)組合里

7、（南車北車中車，暴風(fēng)科技）q?離線計(jì)算，存儲(chǔ)計(jì)算后的結(jié)果q?股價(jià)3秒變一次，涉及到這支股票的所有組合理論上也需要每 3 秒重新計(jì)算一次組合凈值計(jì)算性能優(yōu)化q?Akkaq?分級(jí) + 批量q?構(gòu)建高可用的雪球投資組合系統(tǒng)技術(shù)實(shí)踐q?http:/ JDK8q?-XX:+ParallelRefProcEnabled -XX:-CMSClassUnloadingEnabledq?ConfigCenter和開關(guān)降級(jí)通用優(yōu)化q?統(tǒng)一所有clientq?redis, mysql, http, mqq?統(tǒng)一metrics體系q?dropwizard + logback appender通用優(yōu)化（2）q?關(guān)于雪球

8、，關(guān)于我q?雪球總體架構(gòu)q?雪球架構(gòu)優(yōu)化歷程q?一些總結(jié)和感想大綱VS 一堆架構(gòu)各異q?一個(gè)單一架構(gòu)的大服務(wù)的小服務(wù)總結(jié)q?高大上的架構(gòu) VS 可以工作的架構(gòu)q?優(yōu)化到極致 VS 優(yōu)化到可以接受總結(jié)q?重寫q?重構(gòu)q?裱糊匠q?最小改動(dòng)總結(jié)q?數(shù)據(jù)指標(biāo)！數(shù)據(jù)指標(biāo)！數(shù)據(jù)指標(biāo)！q?qpsq?p99q?errorrateq?USEmethod：Utilization,Saturation，error（Velocity 2013， Performance Methodologies for ProductionSystems，Brendan Gregg）總結(jié)q?技術(shù)棧的一致性和簡(jiǎn)單性總結(jié)q?能用cache的地方絕不用dbq?能異步的地方，絕不同步總結(jié)q?特事特辦：業(yè)務(wù)在發(fā)展，需求在變化，實(shí)現(xiàn)方式也需要跟著變化總結(jié)q?技術(shù)人員的自我修養(yǎng)：q?知道什么是好的結(jié)果q?知道如何去追求好的結(jié)果q?能夠給出好的結(jié)果感想q?技術(shù)方案：q?20倍設(shè)計(jì)，10倍實(shí)現(xiàn)，3