大數(shù)據(jù)集群治理與數(shù)據(jù)治理解決方案

大數(shù)據(jù)集群運維最高文件數(shù)2億+日處理條數(shù)3.7萬億+日作業(yè)數(shù)30萬+hadoop集群節(jié)點6000+數(shù)據(jù)容量100P+日處理數(shù)據(jù)量370T+HDFSYARNKafkaHBaseHiveFlink整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行XXXX客戶大數(shù)據(jù)運維的重要性-大數(shù)據(jù)平臺能力底座XX能力XX能力XX能力XX能力XX能力XX能力XX應用開發(fā)應用開發(fā)數(shù)據(jù)建模行業(yè)專知賦能業(yè)務拓展xx產品xx產品xx產品賦能生態(tài)合作伙伴開放平臺多方安全計算聯(lián)合加密建模安全保障平臺智能運維平臺管理制度管控工具全生命周期安全安全運營應用開發(fā)平臺數(shù)據(jù)平臺數(shù)據(jù)倉庫數(shù)據(jù)地圖數(shù)據(jù)血緣算法平臺模型管理模型搜索可視化建?？焖匍_發(fā)工具組件數(shù)據(jù)可視化工具組件YARNFlinkMPPk8stensorflowHDFSKafkaHBase時序數(shù)據(jù)庫圖數(shù)據(jù)庫算力/存儲平臺...……CMDBITSM統(tǒng)一監(jiān)控DevOps流水線管理AIOps智能檢測預判Spark虛擬化網(wǎng)絡存儲數(shù)據(jù)報表大數(shù)據(jù)常用組件在大數(shù)據(jù)項目中的位置數(shù)據(jù)采集交換數(shù)據(jù)存儲數(shù)據(jù)計算數(shù)據(jù)API數(shù)據(jù)服務計算資源存儲資源網(wǎng)絡資源傳輸接口消息隊列數(shù)據(jù)庫采集DataX/Canal文件采集FTP/SFTP網(wǎng)頁爬蟲爬蟲流數(shù)據(jù)采集KafkaFlume分布式文件系統(tǒng)HDFSNoSQL數(shù)據(jù)庫CassandraHBase海量離線計算MR實時查詢SQLonHadoopSparkHBaseX86服務器小型機數(shù)據(jù)中心實時處理&流批融合SparkStreamingFlink調度元數(shù)據(jù)資產元數(shù)據(jù)數(shù)據(jù)質量數(shù)據(jù)生命周期數(shù)據(jù)安全數(shù)據(jù)管理統(tǒng)一調度數(shù)據(jù)標準數(shù)據(jù)流工作流數(shù)據(jù)應用數(shù)據(jù)平臺基礎資源YARNHive消息隊列Kafka大數(shù)據(jù)項目經(jīng)歷的幾個階段無序建設階段良性發(fā)展階段痛點頻發(fā)階段梳解亂象階段整治提升階段初期為了快速支撐業(yè)務，快速上線，并沒有統(tǒng)一的規(guī)劃，無序建設引發(fā)的問題隨著時間逐漸暴露出來，權限混亂、計算能力下降等痛點問題頻發(fā)。需成立專項治理工作，通過發(fā)現(xiàn)、梳解、整治、促提升實現(xiàn)良性發(fā)展。信息化數(shù)據(jù)化資產化價值化集群治理面臨背景、挑戰(zhàn)與效果

大數(shù)據(jù)公司業(yè)務高速發(fā)展過程中數(shù)據(jù)業(yè)務需求越來越復雜，所需要的算力也越來越大，進一步導致集群的規(guī)模越來越大，承擔的產品也越來越多，集群面臨資源負載過高、資源搶占嚴重、RPC請求負載過高等問題，存儲系統(tǒng)也面臨空文件過多、垃圾文件過多、小文件過多、平均文件大小過小、文件數(shù)持續(xù)增長等一系列問題，存儲系統(tǒng)穩(wěn)定性面臨很大隱患，作業(yè)又面臨執(zhí)行耗時過長、耗資源大、數(shù)據(jù)傾斜嚴重等問題，直接導致數(shù)據(jù)加工異常率過高、數(shù)據(jù)具備時間有延遲風險、產品交付面臨很多風險。0擴容3年0擴容1000萬年成本節(jié)約400臺+年節(jié)約服務器治理效果20%+算力提升提升30%+加工效率降低60%+文件數(shù)60%+模型降低問題挑戰(zhàn)資源問題集群問題資源負載過高打滿時間過長資源搶占嚴重資源浪費嚴重存儲問題存儲負載過高未壓縮數(shù)據(jù)多冷數(shù)據(jù)占比高存儲持續(xù)增長計算問題計算耗時間長作業(yè)數(shù)據(jù)傾斜計算耗資源大冗余計算嚴重集群穩(wěn)定性差RPC負載過高請求響應時間長大小故障頻發(fā)文件問題文件數(shù)太多小文件太多空文件太多文件持續(xù)增長元數(shù)據(jù)問題數(shù)據(jù)庫太多垃圾分區(qū)多垃圾表多缺少數(shù)據(jù)血緣數(shù)據(jù)表太多數(shù)據(jù)價值不明確重復加工多數(shù)據(jù)字段太多平均大小太小小文件分布不清晰文件夾太多冷文件太多數(shù)據(jù)量翻倍情況下，資源整體負載降低20%文件數(shù)大幅下降60%以上，集群穩(wěn)定性大大提高整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行集群治理平臺技術實現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)解析、數(shù)據(jù)計算、數(shù)據(jù)存儲資源畫像自動化巡檢租戶級大屏集群級大屏全域級大屏數(shù)據(jù)源NameNodeFsimage集群資源趨勢分析SparkJobYARNResourceQueueHDFSAuditLogHiveMetadataHiveMetastoreLogFlinkJobMapReduceJobHiveJob組件JMX隊列資源趨勢分析CPU使用趨勢分析內存使用趨勢分析存儲畫像文件數(shù)分布分析小文件數(shù)分布分析文件數(shù)增長趨勢分析文件數(shù)增長來源分析文件數(shù)多檔分布分析空文件數(shù)分布分析存儲增長趨勢分析存儲增長來源分析冷熱溫數(shù)據(jù)分析未壓縮數(shù)據(jù)定位作業(yè)畫像耗資源作業(yè)分析大吞吐/耗時作業(yè)分析高RPC作業(yè)分析冗余計算分析元數(shù)據(jù)畫像垃圾庫/表/分區(qū)定位模型調用頻次統(tǒng)計影響范圍評估模型數(shù)據(jù)血緣分析操作審計畫像操作來源分析文件增刪查分析異常操作分析高RPC來源分析庫/表/分區(qū)/目錄文件精細分析接口機復用嚴重接口機的應用主要分為四大類，基礎數(shù)據(jù)的采集和加工、產品的數(shù)據(jù)加工、XX產品的數(shù)據(jù)加工以及XX產品的數(shù)據(jù)加工?，F(xiàn)在很多接口機存在大量的交叉使用，甚至存在基礎數(shù)據(jù)、產品共同使用一臺接口機的情況。接口機復用存在嚴重安全隱患，一方面服務器資源不能統(tǒng)籌規(guī)劃，各應用會爭搶資源，導致服務器不能健康運行；另一方面會導致用戶權限泛濫，難以管理和監(jiān)控。產品基礎數(shù)據(jù)XX產品XX產品接口機應用基礎數(shù)據(jù)X產品X產品X產品不同業(yè)務共用用戶的現(xiàn)象非常嚴重，權限泛濫相當于沒有權限管理，安全存在重大隱患，一旦出現(xiàn)問題很難排查。4A權限管理寬松審批申請回收4A權限管理使用者申請權限時，不清楚具體資源細節(jié)或為了省事，申請時申報了過多接口機的權限。申請審批時，由于沒有時間和精力對權限逐條核對，導致審批失去意義。審批目前權限回收機制依賴權限一年有效期和員工離職，導致無法及時回收人員無關的權限?；厥諗?shù)據(jù)資源管理混亂建表使用更新清理建表所有人都有建表的權限，導致現(xiàn)在很多表用途不明，歸屬不明。使用基礎數(shù)據(jù)表直接對外提供使用，沒有采用中間層進行隔離。更新由于無法確認某張表被誰引用，所以有新需求要更新表結構時，確認的工作量非常大。清理盡管很多表不再被使用，但表用途不明，歸屬不明，不敢輕意進行清理。4A權限管理規(guī)范4A權限的申請審批流程采用ITSM工單系統(tǒng)申請者發(fā)起工單詳細填寫申請4A權限的用途、涉及的業(yè)務和數(shù)據(jù)。詳細填寫《4A帳號權限管理-主賬號變更、主機數(shù)據(jù)庫從賬號綁定、變更、授權文檔》，并作為附件上傳工單。數(shù)據(jù)治理組審核數(shù)據(jù)治理組對權限清單進行逐條審核，確認每條權限的必要性，將權限控制在滿足工作需求的最小權限范圍內。領導線下審批依據(jù)數(shù)據(jù)治理組的審核結果，申請者打印《應用系統(tǒng)、網(wǎng)絡變更申請單》，線下找相關領導審批簽字。申請者補充工單材料申請者將領導簽字的《應用系統(tǒng)、網(wǎng)絡變更申請單》拍照上傳。安全合規(guī)部實施安全合規(guī)部進行審核后，依據(jù)《4A帳號權限管理-主賬號變更、主機數(shù)據(jù)庫從賬號綁定、變更、授權文檔》進行實施。定期梳理并回收4A權限庫表管理規(guī)范回收所有人建庫表權限統(tǒng)一由數(shù)據(jù)資產管理專員統(tǒng)一進行操作并記錄文檔DDL需求采用ITSM工單系統(tǒng)進行流程管理使用者發(fā)起申請工單數(shù)據(jù)治理組核審數(shù)據(jù)資產管理專員實施DDL需求采用ITSM工單系統(tǒng)進行流程管理接口機、用戶管理規(guī)范接口機唯一使用部門一臺接口機只能由一個部門或小組使用，不得跨部門或小組共用接口機。由于當前接口機的數(shù)量有限，短期內還存在部分共用的情況。01020304接口機唯一使用業(yè)務一臺接口機只能為一個業(yè)務使用，不得跨業(yè)務共用接口機。由于當前接口機的數(shù)量有限，短期內還存在部分共用的情況。用戶指定負責人用戶按組分配，指定負責人。密碼安全機制回收所有人的密碼；定期更新全部接口機的密碼；禁止以用戶密碼的方式登陸接口機。接口機治理工作接口機治理重新規(guī)劃接口機用途梳理現(xiàn)有接口機及用戶的用途，根據(jù)各業(yè)務的需求重新規(guī)劃接口機及用戶，避免接口機和用戶出現(xiàn)共用的情況。對現(xiàn)有接口機上的業(yè)務進行逐步的遷移。數(shù)據(jù)治理組按業(yè)務域，逐步對接口機上的業(yè)務進行遷移?；A數(shù)據(jù)側的遷移產品側的遷移產品側使用接口機和用戶采取分階段遷移，由技術部接手數(shù)據(jù)加工層的產品，由數(shù)據(jù)治理組進行遷移，其他產品暫時保持現(xiàn)狀。代碼管理規(guī)范本地修改代碼提交gitCICD部署代碼變更流程回收開發(fā)者生產環(huán)境操作權限禁止生產環(huán)境直接修改代碼大數(shù)據(jù)平臺化建設基礎平臺HiveFlinkKylin數(shù)據(jù)開發(fā)運維治理平臺實時流批融合多租戶安全隔離多源異構數(shù)據(jù)采集敏捷數(shù)據(jù)建?？梢暬瘮?shù)據(jù)開發(fā)數(shù)據(jù)平臺開發(fā)IDE元數(shù)據(jù)管理中心數(shù)據(jù)生命周期管理AI輔助數(shù)據(jù)治理數(shù)據(jù)平臺監(jiān)控智能運維預警故障自愈修復數(shù)據(jù)集成/采集交換數(shù)據(jù)開發(fā)過程數(shù)據(jù)治理管控數(shù)據(jù)運維中心數(shù)據(jù)服務數(shù)據(jù)標準管理技術元數(shù)據(jù)業(yè)務元數(shù)據(jù)元數(shù)據(jù)存儲數(shù)據(jù)源x域數(shù)據(jù)x域數(shù)據(jù)三方數(shù)據(jù)xx數(shù)據(jù)其他數(shù)據(jù)資產價值資產盤點資產轉化價值評估資產屬性資產運營數(shù)據(jù)開放數(shù)據(jù)共享數(shù)據(jù)合作運營流程評估模型培訓宣導資產治理數(shù)據(jù)標準數(shù)據(jù)制度數(shù)據(jù)安全數(shù)據(jù)質量成本管理資產交付數(shù)據(jù)集成數(shù)據(jù)傳輸數(shù)據(jù)存儲數(shù)據(jù)接口消息隊列元數(shù)據(jù)檢索