釘釘IM的實(shí)踐挑戰(zhàn)

1、釘釘IM系統(tǒng)的挑戰(zhàn)與實(shí)踐萬人群歷史消息回溯高可用萬群的規(guī)模一萬人參與的貝多芬第九號(hào)交響曲大合唱為什么要做萬群萬群的技術(shù)挑戰(zhàn)穩(wěn)定大群大量發(fā)消息，系統(tǒng)壓力山大體驗(yàn)選人組件還能再慢點(diǎn)嗎？ 發(fā)紅包根本選不到人201620182017成本成本很多客戶都想有個(gè)大群，能不能不要 限制大群數(shù)量？群限流熱點(diǎn)大群限流系統(tǒng)容量足夠時(shí)，盡量允許大群 發(fā)消息消息屬性可見性全員可見：所有人都可以看到消息部分可見：部分人可見，其他人看不到消息多態(tài)性普通：每個(gè)人的消息狀態(tài)完全相同多態(tài)：每個(gè)人的消息狀態(tài)不完全相同發(fā)送者視角接收者視角寫擴(kuò)散模型以用戶維度建立消息收件箱問題：萬人群擴(kuò)散量太大！消息收件箱用戶id會(huì)話id消息id狀態(tài)

2、uid1cid1msgid1status1uid2cid1msgid1status2uid3cid1msgid1status1uid10000cid1msgid1status1讀寫擴(kuò)散混合模型95%以上是普通全員可見消息相同的狀態(tài)記錄，合并至?xí)捪⒈韨€(gè)性化狀態(tài)仍然寫入消息收件箱，讀取時(shí)做合并會(huì)話消息表會(huì)話id消息idstatuscid1msgid1status1寫擴(kuò)散一份頂一萬份，大幅降低寫壓力和消息存儲(chǔ)成本消息收件箱用戶id會(huì)話id消息id狀態(tài)uid1cid1msgid1status1uid2cid1msgid1status1uid3cid1msgid1status1uid10000cid

3、1msgid1status1萬群成員10S+體驗(yàn)差：用戶查看群成員耗時(shí)長(zhǎng)10000行穩(wěn)定性差：拉取萬行群成員記 錄，易造成DB熱點(diǎn)萬群成員用戶查看群成員快快快，服務(wù)端DB穩(wěn)穩(wěn)穩(wěn) %萬人群歷史消息回溯高可用歷史消息獲取模型進(jìn)入會(huì)話都從服務(wù)端拉取消息斷層時(shí)，可確保不丟消息依靠服務(wù)端推送單次推送超過閾值時(shí)丟棄服務(wù)端推送超過上限時(shí)，轉(zhuǎn)換為拉模型 只拉取增量會(huì)話及l(fā)astMsg消息存儲(chǔ)冷熱分離冷熱屬性用戶通常只訪問、修改近期的消息設(shè)計(jì)原則可復(fù)用性強(qiáng)，業(yè)務(wù)改動(dòng)小冷庫訪問盡量少冷庫支持最小范圍的功能實(shí)現(xiàn)熱庫(POLARDB InnoDB) + 冷庫(POLARDB X-Engine)成本降低70%，結(jié)構(gòu)變更從7天變?yōu)?小時(shí),014Corona()消息安全保障,0/:6rpc,AliSQL消息全鏈路加密。消息流轉(zhuǎn)的每一個(gè)點(diǎn)都是加密的！萬人群歷史消息回溯高可用可99.995%可設(shè)計(jì)多級(jí)冗余核心中間件冗余同城雙機(jī)房異地容災(zāi)自動(dòng)降級(jí)保障消息收發(fā)核心功能AliSQLAliSQLUSF 穩(wěn)定性保障機(jī)制100090%