大數(shù)據(jù)平臺用戶手冊

大數(shù)據(jù)平臺用戶手冊修訂記錄版本號版本號修訂人修訂日期V1.0說明包含系統(tǒng)管理、數(shù)據(jù)開發(fā)中心、運維監(jiān)控中心、數(shù)據(jù)資產(chǎn)中心使用說明增加數(shù)據(jù)服務中心、算法平臺中心使用說明修改細化描述用戶手冊用戶手冊目錄前言 1系統(tǒng)介紹 1目標用戶 1運行環(huán)境 1現(xiàn)有服務器及配置 1生產(chǎn)環(huán)境部署 2生產(chǎn)環(huán)境服務器及配置 2私有環(huán)境部署 3私有環(huán)境服務器及配置 3系統(tǒng)功能 4平臺管理中心 4平臺總覽 4資源管理 4數(shù)據(jù)連接管理 8數(shù)據(jù)開發(fā)中心 9項目列表 9離線同步中心 12離線開發(fā)中心 15實時同步中心 19實時開發(fā)中心 21運維監(jiān)控中心 243.3.1.概述 24離線運維中心 24實時運維中心 27數(shù)據(jù)資產(chǎn)中心 293.4.1.概述 29數(shù)據(jù)資產(chǎn)概覽 29元數(shù)據(jù)管理 30元數(shù)據(jù)檢索 32數(shù)據(jù)服務中心 343.5.1.概述 34數(shù)據(jù)服務開發(fā) 34數(shù)據(jù)服務管理 36應用管理 38算法平臺中心 403.6.1.概述 403.6.2.功能操作 40注意事項 41用戶手冊用戶手冊PAGEPAGE3/41前言系統(tǒng)介紹大數(shù)據(jù)平臺是自主研發(fā)的企業(yè)級大數(shù)據(jù)中臺產(chǎn)品，旨在幫助用戶快速收集數(shù)據(jù)、快速整理數(shù)據(jù)、快速構建數(shù)倉、數(shù)據(jù)服務管理以及數(shù)據(jù)資產(chǎn)管理。PB級別數(shù)據(jù)倉庫及進行數(shù)據(jù)價值的深度挖掘，實現(xiàn)超規(guī)模數(shù)據(jù)的資產(chǎn)化。自主研發(fā)的全鏈條、一體化、輕量級、開放式的通用大數(shù)據(jù)平臺，平臺通過應用的效率。目標用戶項目管理員，項目開發(fā)人員，項目運維人員，安全管理員，業(yè)務人員。運行環(huán)境現(xiàn)有服務器及配置序號1用途公共服務配置8核32GIp內(nèi)：描述安裝Jenkins、centos7內(nèi)存200G+硬盤172.27.101.158gitLab、nexus、sonar、elk等2開發(fā)環(huán)境centos74核8G內(nèi)存200G硬盤內(nèi)：172.27.101.159安裝docker、mysql、redis等，部署可視化、TBD項目開發(fā)聯(lián)調(diào)環(huán)境3測試環(huán)境centos74核8G內(nèi)存200G硬盤內(nèi)：172.27.101.160安裝docker、mysql、redis等，部署可視化、TBD項目測試環(huán)境4預生產(chǎn)環(huán)境centos74核8G內(nèi)存200G硬盤內(nèi)：172.27.101.161安裝docker、mysql、redis等，部署可視化、TBD項目預生產(chǎn)環(huán)境5大數(shù)據(jù)集8核32G內(nèi)：hadoop集群6群開發(fā)測centos7大數(shù)據(jù)集內(nèi)存500G硬盤8核32G172.27.101.162內(nèi)：環(huán)境hadoop集群群開發(fā)測內(nèi)存172.27.101.163環(huán)境試環(huán)境500G硬盤centos77大數(shù)據(jù)集群開發(fā)測8核32G內(nèi)存內(nèi)：172.27.101.164hadoop集群環(huán)境試環(huán)境500G硬盤centos7生產(chǎn)環(huán)境部署centos7序號1用途公網(wǎng)服務器序號1用途公網(wǎng)服務器Centos7配置 描述4 核8G 內(nèi)存需公網(wǎng)ip映射80端口安裝nginx200G硬盤 做反向代理及網(wǎng)站靜態(tài)資源服務器2公共服務centos78 核500G32G硬盤內(nèi)存cat、elk、zabbix等3應用服務器Centos78 核500G16G硬盤內(nèi)存安裝docker，部署athena 和achilles4數(shù)據(jù)庫緩存服務器4 核500G16G硬盤內(nèi)存安裝mysql、redisCentos75大數(shù)據(jù)集群環(huán)境centos716核64G2T硬盤內(nèi)存安裝hadoop集群6大數(shù)據(jù)集群環(huán)境centos716核64G2T硬盤內(nèi)存安裝hadoop集群7大數(shù)據(jù)集群環(huán)境centos716核64G2T硬盤內(nèi)存安裝hadoop集群私有環(huán)境部署私有環(huán)境服務器及配置序號 用途應用服務器

配置 描述8 核16G 內(nèi)存安裝docker，部署athena 和Centos7

500G硬盤

achilles數(shù)據(jù)庫緩存服務4 核16G內(nèi)存安裝mysql、redis器500G硬盤Centos7大數(shù)據(jù)集群環(huán)境8 核32G內(nèi)存安裝hadoop集群centos7大數(shù)據(jù)集群環(huán)境centos7大數(shù)據(jù)集群環(huán)境centos7

1T硬盤8 核32G 內(nèi)存安裝hadoop集群1T硬盤8 核32G 內(nèi)存安裝hadoop集群1T硬盤系統(tǒng)功能平臺管理中心平臺總覽功能描述總體展示平臺的總體功能模塊，點擊選擇功能模塊快速進入對應頁面。資源管理功能描述資源管理對平臺產(chǎn)品用到的資源和服務統(tǒng)一管理。一個資源組由一個或多個服務器組成，在服務器上部署了數(shù)據(jù)源服務或數(shù)據(jù)開發(fā)服務。平臺通過為項目的環(huán)境配置計算引擎Hadoop，為該環(huán)境提供相應的數(shù)據(jù)開發(fā)能力。用戶手冊功能描述包含用戶管理、角色管理和組織管理，實現(xiàn)對系統(tǒng)的功能權限控制，如圖：5/41用戶手冊用戶管理統(tǒng)一管理用戶以實現(xiàn)用戶的角色和組織控制。用戶列表展示當前組織下所有用戶的基本信息，包括：組織、編碼、權限等信息。添加：點擊添加用戶，輸入用戶名、昵稱、手機號、郵箱并選擇所屬組織，即可添加用戶，默認運維人員；狀態(tài)：下拉選擇用戶狀態(tài)，選擇正常用戶啟用，選擇禁用則用戶停止使用；重置：點擊重置按鈕，則用戶密碼重置為123456。角色管理用戶可自行創(chuàng)建角色。添加：輸入名稱和描述添加角色；編輯：可編輯用戶基本信息和功能權限，選擇對應的功能點擊正常使用，則該角色具有當前權限，隱藏的功能模塊則不再展示。6/41用戶手冊用戶手冊PAGEPAGE10/41組織管理統(tǒng)一管理組織真實組織架構功能。組織列表展示當前組織下的組織，包括：編碼和所屬組織等信息。添加：在組織中點擊添加子組織按鈕，并輸入名稱和描述創(chuàng)建該組織下的子組織；編輯：點擊編輯按鈕可以修改組織名稱和描述并配置當前組織的管理員。數(shù)據(jù)連接管理3.1.3.1.功能描述MySQLSqlServerHiveHbaseMongoDB、TDengine、OpenTSDBLog_FlumeMySQLBinlog、kafkaOBS。如圖：添加：點擊添加數(shù)據(jù)連接按鈕，在彈出的頁面中選擇你所要添加的數(shù)據(jù)源類型，如下圖所示，再輸入數(shù)據(jù)源的名稱、地址、數(shù)據(jù)庫、用戶名和密碼等信息添加成功。授權：在列表中點擊授權按鈕，在彈出頁面中勾選授權組織點擊授權，授權后當前組織才可以使用，如圖：數(shù)據(jù)開發(fā)中心本模塊包含了五個功能菜單，分為：項目列表，離線同步中心，離線開發(fā)中心，實時同步中心，實時開發(fā)中心。項目列表概述提供所有項目的管理功能，包括：項目配置，同步，開發(fā)，運維快捷進入等功能。功能描述項目列表項目列表展示當前當前組織下用戶所參與的所有項目。項目增刪改添加：點擊添加項目按鈕，輸入名稱描述并選擇類型再點擊確定按鈕，添加成功。刪除：在項目卡片中點擊刪除按鈕，彈出提示框點擊確定，刪除成功。編輯：在項目卡片中點擊編輯按鈕，可以編輯項目名稱和描述。項目配置項目配置：項目卡片中點擊項目配置按鈕進入配置頁面，在配置頁面中點擊立刻添加按鈕，在彈出框中輸入環(huán)境名稱、選擇資源組、輸入調(diào)度隊列再點擊確定按鈕，項目配置完成。項目成員管理成員列表：成員管理展示當前項目的參與成員信息，參與該項目的成員才具有當前項目的開發(fā)權限。添加成員：點擊添加成員按鈕，選擇當前組織下的成員，則添加成功。資源組管理展示當前項目使用資源組的詳細信息，包括：hive、yarn、kafka等地址信息。項目數(shù)據(jù)連接管理項目的數(shù)據(jù)連接管理中展示的當前組織下的所有數(shù)據(jù)源，當我們將數(shù)據(jù)源授權給當前項目時該項目就能使用此數(shù)據(jù)源了。授權：點擊要授權數(shù)據(jù)源對應的授權按鈕，授權成功；或者左側多選數(shù)據(jù)源再點擊批量授權按鈕，則批量授權成功。離線同步中心概述支持多種數(shù)據(jù)源的數(shù)據(jù)同步，基于簡單可視化的方式，快速完成同步作業(yè)的配置，并提供運行時監(jiān)控運維，隨時關注數(shù)據(jù)同步過程。功能描述離線作業(yè)首頁首頁展示選中項目的目錄結構、同步作業(yè)運行結果結果概覽和同步作業(yè)狀態(tài)概覽，方便用戶觀察當前作業(yè)運行狀態(tài)和歷史運行記錄統(tǒng)計。批量新增同步作業(yè)點擊批量新增同步按鈕，在彈出框中輸入目錄名稱描述、選擇數(shù)據(jù)連接類型、數(shù)據(jù)連接和數(shù)據(jù)表，點擊確定，系統(tǒng)自動生成對應的同步作業(yè)。新增作業(yè)點擊新增同步作業(yè)按鈕，在彈出框中輸入名稱描述、選擇目錄，點擊確定，系統(tǒng)自動生成對應的同步作業(yè)。同步作業(yè)配置選擇數(shù)據(jù)連接：首先選擇源表并輸入過濾條件，用戶可以點擊數(shù)據(jù)預覽按功后點擊刷新數(shù)據(jù)表按鈕刷新列表，再選中對應數(shù)據(jù)表，數(shù)據(jù)連接配置完成；字段映射：用戶可點擊按名稱映射則自動按照相同名稱生成映射關系，點擊按順序映射自動生成順序映射關系，用戶也可以點擊不映射通過手工拖拽關聯(lián)的方式靈活配置映射關系；配置分區(qū)信息：如果選擇靜態(tài)分區(qū)需要輸入對應分區(qū)信息，如果選擇動態(tài)分區(qū)則選擇分區(qū)字段；規(guī)則配置：配置全量同步或者增量同步，增量同步需要再配置增量字段和值。調(diào)度配置：開啟調(diào)度，選擇按天、周、月的某個時間點去調(diào)度，調(diào)度配置好后點擊啟用調(diào)度按鈕，則在調(diào)度配置時間節(jié)點會自動執(zhí)行當前數(shù)據(jù)同步作業(yè)。同步作業(yè)運行下面的運行日志展示按鈕，展示作業(yè)運行相關的日志信息。離線開發(fā)中心概述支持用戶在數(shù)倉當中進行離線數(shù)據(jù)的開發(fā)與計算。功能描述新增開發(fā)作業(yè)點擊新增離線作業(yè)按鈕，輸入作業(yè)名稱描述，選擇工作流、作業(yè)類型和開發(fā)者，點擊確定按鈕，新增成功。hive、ddl、sparksqlhive、ddlsparksqlddl作業(yè)僅支持表的新增。離線開發(fā)作業(yè)運行完成對應的sql語句編寫后，用戶點擊保存、運行，作業(yè)開始運行，在彈出的運行日志窗口中用戶可以查看當前作業(yè)運行信息，運行完成后用戶可以在運行結果頁簽中查看sql語句執(zhí)行的結果。臨時作業(yè)編寫臨時作業(yè)的功能和離線作業(yè)基本相同，只是不能運行在工作流當中。表管理表管理展示了當前hive庫中的表列表。字段視圖：點擊對應表，展示表的字段視圖，用戶點擊字段信息可以查看表的字段信息，點擊分區(qū)信息可以查看表的分區(qū)字段類型和級別；數(shù)據(jù)預覽：點擊數(shù)據(jù)預覽，用戶可以查看前10條數(shù)據(jù)。工作流系統(tǒng)會自動生成兩個工作流，用戶也可以手動新建工作流，工作流能將離線開發(fā)作業(yè)按照順序執(zhí)行，并實現(xiàn)整體調(diào)度。配置：拖拽離線作業(yè)到工作流面板中，連線，連線順序即為離線作業(yè)的執(zhí)行順序；調(diào)度：同離線作業(yè)調(diào)度。工作流運行運行：點擊運行按鈕，工作流進入運行狀態(tài)，根據(jù)連線的順序執(zhí)行離線作業(yè)，藍色為運行中，黃色為待運行，紅色為運行失敗，綠色為運行成功。停止：點擊停止按鈕，工作流停止；工作流實例：點擊工作流實例彈出當前工作流運行實例列表，用戶可以查看當前和歷史運行實例結果狀態(tài)；工作流作業(yè)實例：點擊工作流作業(yè)實例彈出當前工作流作業(yè)的運行實例列表，用戶可以?？串斍昂蜌v史運行實例結果狀態(tài)。實時同步中心概述支持多種數(shù)據(jù)源的數(shù)據(jù)同步，支持數(shù)據(jù)清洗、脫敏等，基于拖拽式的拓撲流配置方式，快速靈活地完成作業(yè)配置。功能描述實時同步作業(yè)支持多種數(shù)據(jù)源的數(shù)據(jù)同步，支持數(shù)據(jù)清洗、脫敏等，基于拖拽式的拓撲流配置方式，快速靈活地完成作業(yè)配置。同步作業(yè)配置Source：數(shù)據(jù)來源節(jié)點，選擇數(shù)據(jù)連接并配置輸出字段；保存提交：點擊保存后節(jié)點信息保存到業(yè)務庫中，點擊提交后當前作業(yè)生成任務提交到y(tǒng)arn上。同步作業(yè)運行運行：點擊運行按鈕，作業(yè)進入運行狀態(tài)；基本信息：基本信息中展示了作業(yè)的基本信息和運行信息；運行信息：展示數(shù)據(jù)處理流程圖。實時開發(fā)中心概述支持用戶對數(shù)據(jù)進行實時處理并存儲。功能描述實時拓撲開發(fā)已可視化的方式方便用戶對實時數(shù)據(jù)進行處理，通過拖拽和連線完成配置。拓撲作業(yè)配置、運行配置：拖拽離線作業(yè)到工作流面板中，連線，連線順序即為離線作業(yè)的執(zhí)行順序；運行：保存提交配置好的作業(yè)點擊運行按鈕后進入運行狀態(tài)，開始處理數(shù)據(jù)；停止：停止數(shù)據(jù)處理。自定義函數(shù)開發(fā)開發(fā)pyflink函數(shù)，該函數(shù)可以引入到sql開發(fā)當中以實現(xiàn)數(shù)據(jù)處理的封裝。SQL開發(fā)不采用可視化的方式，讓專業(yè)的用戶自己編寫sql靈活實現(xiàn)數(shù)據(jù)處理。Jar開發(fā)通過上傳jar包的方式，運行編寫好的jar包來實現(xiàn)數(shù)據(jù)處理。運維監(jiān)控中心概述進行監(jiān)控維護，實時運維中可以對實時開發(fā)作業(yè)進行監(jiān)控維護。離線運維中心概述支持離線作業(yè)、工作流和實時同步作業(yè)監(jiān)控及統(tǒng)計等信息展示。功能描述離線運維中心概覽工作流：展示工作流及其實例數(shù)量以及運行狀態(tài)。運維工作流模板：點擊工作流面板中展示工作流的模板信息；查看代碼：在節(jié)點中點擊查看代碼，彈出框中展示該節(jié)點的code。工作流實例實例：點擊工作流，面板展示工作流的運行信息；查看結果：在節(jié)點中點擊查看結果，彈出框中展示該節(jié)點的運行結果信息。離線運維離線作業(yè)查看代碼：在節(jié)點中點擊查看代碼，彈出框中展示該節(jié)點的code。離線運維離線作業(yè)實例實例：點擊離線作業(yè)，面板展示離線作業(yè)的運行信息；查看結果：在節(jié)點中點擊查看結果，彈出框中展示該離線作業(yè)的運行結果信息。實時運維中心概述支持用戶進行實時開發(fā)作業(yè)狀態(tài)的監(jiān)控和數(shù)據(jù)的統(tǒng)計。功能操作運維總覽實時作業(yè)運行情況概覽：展示選中項目的實時作業(yè)當前運行情況；近七日實時作業(yè)運行情況概覽：展示選中項目的實時作業(yè)近期運行狀態(tài)。實時作業(yè)監(jiān)控作業(yè)列表：用戶可根據(jù)作業(yè)狀態(tài)、開發(fā)者、名稱進行篩選，展示當前項目作業(yè)列表基本信息：展示選中作業(yè)的名稱、狀態(tài)、運行時長等信息，用戶可以編輯作業(yè)狀態(tài)以啟動或停止作業(yè)運行。監(jiān)控數(shù)據(jù)：展示當前作業(yè)的輸入、輸出等數(shù)據(jù)量。數(shù)據(jù)資產(chǎn)中心概述數(shù)據(jù)資產(chǎn)概覽為采集的各種元數(shù)據(jù)信息圖形化展示頁面。數(shù)據(jù)資產(chǎn)概覽數(shù)據(jù)資產(chǎn)概覽數(shù)目展示：展示當前所有已采集元數(shù)據(jù)包含的數(shù)據(jù)庫數(shù)目、表數(shù)目和總存儲量；占比展示：展示當前采集元數(shù)據(jù)中各類型數(shù)據(jù)庫所占數(shù)目的比重和各類表所占總數(shù)目的比重；分布：展示每種數(shù)據(jù)存儲量占比和近七日各類型數(shù)據(jù)存儲量的變化；Top：展示當前采集元數(shù)據(jù)中前十存儲量的表和數(shù)據(jù)庫。元數(shù)據(jù)管理元數(shù)據(jù)采集概覽狀態(tài)概覽：采集作業(yè)運行狀態(tài)統(tǒng)計和運行數(shù)量概覽；元數(shù)據(jù)采集作業(yè)列表：用戶可根據(jù)名稱搜索并點擊操作按鈕打開相應的采集作業(yè)。元數(shù)據(jù)采集作業(yè)新建新增：填寫作業(yè)名稱和描述后點擊確認按鈕新增成功。元數(shù)據(jù)采集作業(yè)配置配置：點擊配置按鈕，選擇數(shù)據(jù)連接存儲類型，再選中數(shù)據(jù)連接后點擊確認按鈕后配置完成。元數(shù)據(jù)采集作業(yè)運行運行：點擊運行按鈕，當前頁面展示運行狀態(tài)和運行信息，運行完成后提示完成。元數(shù)據(jù)采集作業(yè)詳情查看：列表中點擊打開按鈕可打開當前采集元數(shù)據(jù)詳細信息；庫詳情：展示采集當前庫的基本信息,包括：類型、大小、版本等信息和當前庫中的表列表；表詳情：展示采集當前表的基本信息，包括：類型、大小等信息和當前表中的字段列表；字段詳情：展示采集當前字段的基本信息，包括：類型、長度等信息。元數(shù)據(jù)檢索元數(shù)據(jù)檢索檢索：輸入關鍵字后點擊搜索按鈕，全局搜索，展示所有包含當前關鍵字的數(shù)據(jù)。元數(shù)據(jù)高級檢索高級檢索：輸入關鍵字后用戶還可以輸入元數(shù)據(jù)類型等信息來進一步篩選，展示結果同檢索。元