涂鴉科技：支撐從零暴增數(shù)十億數(shù)據(jù)的背后竟無專職運維！-阿里巴巴技術(shù)文檔

云云上架構(gòu)設(shè)計和輕運維實戰(zhàn)經(jīng)驗———云棲社區(qū)在線實時培訓(xùn)第六期涂鴉架構(gòu)分享涂鴉架構(gòu)分享涂鴉在云上涂鴉在云上2經(jīng)驗分享涂鴉科技-SmartlifeSmartLiving2014.6涂鴉科技成立2015.1愛相機正式發(fā)布，用戶遍布50個國家2015.3投入IOT硬件產(chǎn)品2015.1030T/天,~2500萬圖片/天2015.11涂鴉Wifi-SD卡全國開售2015.11涂鴉智能開門接客2016.1涂鴉智能用戶遍布中國、美州、歐州2016.2接入廠商突破50家一句話幾個核心數(shù)字Demo，15天實現(xiàn)量產(chǎn)，5層安全保障產(chǎn)業(yè)鏈(設(shè)備廠商、合作伙伴)一體化傻瓜式接入的硬件智能化平臺服務(wù)商，智能家居硬件產(chǎn)品鏈的接駁整合器大背景下的“涂鴉”安全快速穩(wěn)定地推進中國制造業(yè)轉(zhuǎn)型升級，促進制造“轉(zhuǎn)型”中國智造”這一世紀機遇任務(wù)的參與者，推動者！涂鴉架構(gòu)分享涂鴉在云上經(jīng)驗分享涂鴉架構(gòu)分享涂鴉在云上經(jīng)驗分享架構(gòu)設(shè)想-最初的夢想能力有別，代碼質(zhì)量、代碼安全人手緊張，如何高效開發(fā)沒有測試請不起運維沒有DBA性能、擴展產(chǎn)品摸索，上午需求，下午測線上問題快速定位………………團隊背景不一，溝通、協(xié)同輕架構(gòu)-第一代輕團隊-架構(gòu)目標-品平行架構(gòu)-第二代構(gòu)支持數(shù)據(jù)數(shù)據(jù)?日峰值30T數(shù)據(jù)上傳?幾十億用戶核心數(shù)據(jù)?支持實時日志搜索和分析報警?支持離線和實時數(shù)據(jù)處理(ODPS+EMR)??網(wǎng)關(guān)隔離內(nèi)外數(shù)據(jù)?網(wǎng)關(guān)服務(wù)組裝業(yè)務(wù)場景，模塊顆粒更細化?網(wǎng)關(guān)提供多種安全機制支持多業(yè)務(wù)場景?平行擴展無性能瓶頸?統(tǒng)一的數(shù)據(jù)出入口方便日志分析跟蹤?自主開發(fā)數(shù)據(jù)庫組件支持分庫分表、主從讀寫等?封裝Mq等中間件服務(wù)方便架構(gòu)選型?盡量使用阿里云減少維護成本?配置中心化?業(yè)務(wù)服務(wù)模塊化拆分可獨立發(fā)布部署?通過服務(wù)治理工具可分析服務(wù)調(diào)用情況按需擴容?性能和可用性監(jiān)控及時發(fā)現(xiàn)技術(shù)瓶頸?支持熱發(fā)布業(yè)務(wù)無感知涂鴉在云上涂鴉架構(gòu)分享經(jīng)驗分享涂鴉在云上涂鴉架構(gòu)分享經(jīng)驗分享涂鴉在云上客戶端/硬件權(quán)認證服務(wù)ECSECSECS群盾云監(jiān)控VPC容器云解析域名務(wù)集群據(jù)分析采云間涂鴉在云上客戶端/硬件權(quán)認證服務(wù)ECSECSECS群盾云監(jiān)控VPC容器云解析域名務(wù)集群據(jù)分析采云間TableStore群中間件涂鴉在云上——云產(chǎn)品使用場景恰逢當時?業(yè)務(wù)數(shù)據(jù)增加較快，單RDS瓶頸?IOPS高數(shù)據(jù)庫IO高，峰值突然出現(xiàn)服務(wù)慢?自主遷移成本高，至少一周/人日?主從高配數(shù)據(jù)庫成本高?五個超級Key,到處遺落??五個超級Key,到處遺落?客戶端服務(wù)端Key共用?采用RAM自定義權(quán)限細化到每個戶?業(yè)務(wù)權(quán)限拆分減少安全風(fēng)險難點/問題?數(shù)據(jù)庫實例多(ALLINONE)?無從庫實例，只能在主庫上備份OSS技巧?自定義Header屬性支持業(yè)務(wù)需求?借力圖片服務(wù)降成本?使用OSS管理內(nèi)部工具標題標題涂鴉在云上——云產(chǎn)品使用場景云監(jiān)控小技云監(jiān)控小技巧?自定義監(jiān)控服務(wù)存活?自主監(jiān)控服務(wù)監(jiān)控服務(wù)存活、可用性、性能和穩(wěn)定性等SLBSLB內(nèi)部服務(wù)管理?SLB內(nèi)網(wǎng)免費使用(靈活)?SLB管理ZooKeeper集群涂鴉在云上涂鴉架構(gòu)分享涂鴉在云上涂鴉架構(gòu)分享經(jīng)驗分享經(jīng)驗分享——基于ECS安全組的權(quán)限控制主機l9?管理主機管理(按需)主機l9?管理主機管理(按需)——基于EC2VbI的主機管理和高可用監(jiān)控服服務(wù)可用性監(jiān)控可用性監(jiān)控可用性監(jiān)控——基于ECSAbI的主機管理和高可用監(jiān)控一極大降低系統(tǒng)自建時六高效的技術(shù)支持一極大降低系統(tǒng)自建時六高效的技術(shù)支持四系統(tǒng)及數(shù)據(jù)互通性，解放運