騰訊云大數(shù)據(jù)云平臺TBDS 產(chǎn)品白皮書

修訂記錄 ii目錄 iii前言 11產(chǎn)品簡介 2 2 3 3 32產(chǎn)品優(yōu)勢 53產(chǎn)品架構 7 7 8 8 4應用場景 13 5客戶案例 18 6信創(chuàng)能力 21 7產(chǎn)品接口人 238部署資源說明 24 附錄A更多資源 26前言文檔目的本文檔用于幫助讀者快速了解產(chǎn)品的基本信息，包目標讀者符號約定騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書1.1產(chǎn)品發(fā)展背景融合分析，打造實時數(shù)據(jù)湖架構對任意來源、任意規(guī)模、任意類型數(shù)據(jù)進行實時接入、存儲、治理與分析，以此對集團內外用戶在企業(yè)數(shù)字化轉型1.2產(chǎn)品概述騰訊云大數(shù)據(jù)平臺套件TBDS（TencentBigDataSuite)是基于開源體系，融入騰訊內部要，全面支持信創(chuàng)，安全可信的大數(shù)據(jù)存儲、查詢、分析統(tǒng)一平臺，為據(jù)處理平臺/數(shù)據(jù)中臺解決方案提供完善的平臺和工具支撐。通過對聚、實時和非實時的分析和挖掘，幫助企業(yè)從海量數(shù)據(jù)中獲取真正1.3產(chǎn)品定位于騰訊內部多年海量數(shù)據(jù)處理經(jīng)驗，通過整合騰訊內部大數(shù)據(jù)技1.4產(chǎn)品價值3)數(shù)據(jù)融合價值：打破數(shù)據(jù)行業(yè)壁壘，對多源數(shù)據(jù)進行融合，依靠大數(shù)據(jù)平臺的存算、分析4)數(shù)據(jù)計算價值：計算資源彈性伸縮，提高資源利用率，降低計計算方式，快速根據(jù)業(yè)務計算內容選擇最優(yōu)計算引擎，提升業(yè)務5)數(shù)據(jù)應用價值：可選擇內置的自研數(shù)據(jù)開發(fā)治理平臺WeData、行分析挖掘，同時引擎已適配百余種騰訊自研應用產(chǎn)品和豐富的生測、全局維度指標告警等功能保障數(shù)據(jù)與資源7)技術先進性：針對業(yè)務場景，不斷對開源組件進行調優(yōu)，結合騰訊數(shù)十款產(chǎn)品優(yōu)勢騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書產(chǎn)品優(yōu)勢面向政府/企業(yè)級的大數(shù)據(jù)云平臺：TBDS提供支持On-Premise（本地部署)、On-C上全托管)、On-Hybrid（混合云部署)三種部署模式極致的性能與可擴展性：TBDS擁有經(jīng)過深度優(yōu)化的高性能計算存儲引擎，支撐騰訊內部日性之上，自研增強了包括“用戶-組件”級的生態(tài)開放融合：TBDS對開源大數(shù)據(jù)生態(tài)提供良好的融合能力，可大幅度降低用戶的使用和學習成本，并且在引擎層和工具層開放了全平臺接產(chǎn)品全景圖騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書產(chǎn)品全景圖3產(chǎn)品架構3.1產(chǎn)品全景圖接入、存儲、計算、服務、分析、管理等多個組件，支持用戶本地部進行了部分優(yōu)化，主要提供各類應用程序的資源管理和調度，同時根據(jù)升平臺的統(tǒng)一數(shù)據(jù)安全能力；除此之外，平臺管理還包含租戶管理、3.2功能架構3.2.1組件概覽數(shù)據(jù)接入Postgresql)間進行數(shù)據(jù)的傳遞。騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書產(chǎn)品全景圖數(shù)據(jù)存儲統(tǒng)數(shù)據(jù)計算分析騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書產(chǎn)品全景圖析資源管理產(chǎn)品全景圖騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書產(chǎn)品全景圖3.2.2平臺管理登錄功能、項目快捷管理功能、資源/任務審批包含租戶和子租戶的創(chuàng)建與運維功能，以及包含租戶包含項目的創(chuàng)建和運維功能，包含項目的成員管理、3.2.3運維中心包含對集群的創(chuàng)建、集群資源配置和集群納管等能服務健康度是為運維人員提供完整的發(fā)現(xiàn)問題、定題（而不僅僅是看告警列表)包含日志采集大盤和日志診斷大盤等全局日志分析頁包含對已啟用的產(chǎn)品管理、產(chǎn)品中心設置和自定義產(chǎn)理核心產(chǎn)品介紹騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書核心產(chǎn)品介紹‘應用場景4.1數(shù)據(jù)匯聚與共享客戶群體：面向政府和中小型企業(yè)，數(shù)據(jù)規(guī)模有限，主要離線場景，使用場景相對簡單對數(shù)據(jù)進行處理和加工，然后數(shù)據(jù)統(tǒng)一存儲在大數(shù)據(jù)引擎中，同時大數(shù)務，當數(shù)據(jù)規(guī)?；驑I(yè)務場景需要時在增加企業(yè)級大數(shù)據(jù)4.2數(shù)倉集市與分析客戶群體：主要面向政府、大中小型企業(yè)數(shù)倉分層設計和指標模型的構建，然后通過WeData對數(shù)據(jù)任務進行開發(fā)和編排，在引擎層4.3內容搜索與分析客戶群體：所有結合TBDS-ES/Hermes提供的搜索分析引4.4政企數(shù)據(jù)中臺建設客戶群體：主要面向政府、中小企業(yè)的三種大數(shù)據(jù)引擎方案，為數(shù)據(jù)資產(chǎn)和數(shù)據(jù)應用提供統(tǒng)一的數(shù)據(jù)4.5實時數(shù)據(jù)處理分析客戶群體：主要面向大中小型企業(yè)4.6企業(yè)CDH遷移客戶群體：大中小型企業(yè)解決方案：1)數(shù)據(jù)集成：通過統(tǒng)一集成工具、統(tǒng)一任務調度、統(tǒng)一數(shù)據(jù)管理等能力對數(shù)據(jù)集5)大數(shù)據(jù)應用開發(fā)：可選擇內置大數(shù)據(jù)開發(fā)套件WeData和DataInsight增加數(shù)據(jù)開發(fā)、開附錄A更多資源騰訊大數(shù)據(jù)云平臺T附錄A更多資源5.1某農(nóng)商行數(shù)據(jù)中臺項目5.2中國銀行大數(shù)據(jù)平臺及數(shù)據(jù)湖項目大數(shù)據(jù)可視化分析探索，最大程度地釋放數(shù)據(jù)的流動性和挖掘數(shù)據(jù)的騰訊大數(shù)據(jù)云平臺TBDS產(chǎn)品白皮書附錄A更多資源統(tǒng)一數(shù)據(jù)分析層、展現(xiàn)層、數(shù)據(jù)沙箱等探索提供平臺支撐，也為沉淀和附錄A更多資源騰訊大數(shù)據(jù)云平臺T附錄A更多資源6.1產(chǎn)品能力全面支持信創(chuàng)國產(chǎn)化生態(tài)，已涵蓋國產(chǎn)化芯片、操作系統(tǒng)6.2信創(chuàng)資質榮獲信息中心技術創(chuàng)新應用協(xié)作組和工業(yè)和信息化6.3兼容認證6.4客戶案例6.4.1案例背景6.4.2解決方案項目全面整合行內外數(shù)據(jù)同時對系統(tǒng)和業(yè)務進行優(yōu)化，實現(xiàn)全行數(shù)據(jù)互聯(lián)互通、統(tǒng)一數(shù)7產(chǎn)品接口人harryhuo（東西區(qū))norrishuang（南區(qū))rogerlv（北區(qū))產(chǎn)品運營（行業(yè)合作)產(chǎn)品運營（渠道被集成)8部署資源說明8.1企業(yè)級大數(shù)據(jù)底座/實時數(shù)據(jù)湖1、節(jié)點個數(shù)=用戶數(shù)據(jù)量（TB)*1.3（預留空間/數(shù)據(jù)膨脹)*0.5（壓縮比)*3（副本數(shù))/（壓縮比)*3(副本數(shù))/30TB（假設機器裸磁盤空間)≈7個工作節(jié)點。2、企業(yè)級大數(shù)據(jù)底座生產(chǎn)環(huán)境建議≥6個節(jié)點3、實時數(shù)據(jù)湖生產(chǎn)環(huán)境建議≥10個節(jié)點1、節(jié)點個