《新一代數據可視化分析平臺建設指南》2022年3月版

新一代數據可視化分析平臺建設指南HOWTOBUILDYOURVISUALANA從閉源到開源，我所在的軟件研發(fā)團隊經歷了什么?暢銷書叫《大教堂與集市》,從2021年2月到今天，我們這些從閉源世界走向開源世界的軟件開發(fā)者可能還沒有體會到從“大教堂”趨勢榜中位列第一；項目發(fā)布一個月后的7月30日，DataEase項目的GitHubStar數突破1000個個；8月30日，GitHubStar數突破3000個。差萬別，軟件產品的研發(fā)和軟件產品的交付會在兩個組織內展開。其中，研發(fā)團隊專注于通用功能的演進和優(yōu)化，而交付團隊則會深入理在這種模式下，研發(fā)團隊并不會和使用軟件的用戶進行深入的溝通，對于產品的改進更多的是從交付團隊獲取反饋。而當軟件在一些客戶怨和吐槽。當用戶提及DataEase與之前所使用的閉源產品相比較的優(yōu)點時，我們感到非常開心。而用戶在社區(qū)交流中所表達的負面情緒，我們也能欣然接受。社區(qū)用戶對項目表達負面情緒，也可以理解為一種期待。通常情況下，在社區(qū)群中提出負面反饋的用戶或多或少都會給我們的產品設計提供一些思路，我們也會嘗試去理解和識別。在開發(fā)云管平臺軟件時，版本發(fā)布的間隔時間會比較長，很長的一段時間內產品的功能、架構都是固定的。當這款軟件經過足夠長時間的迭代，其形態(tài)會進一步固化，而開源軟件似乎總是處在變化之中。因為用戶的需求是動態(tài)變化的，同時產品的B除了每個月發(fā)布的版本，我們也會根據需要發(fā)布小版本?？梢哉f開源軟件是被整個社區(qū)推動著進步，用戶的需求便是其蓬勃成長的沃土。首先，創(chuàng)立DataEase項目出于一家軟件公司自身的需求。FIT2CLOUD飛致云旗下的CloudE壘機、MeterSphere開源持續(xù)測試平臺其次，數據可視化市場廣闊。作為一種跨領域、跨平臺的產品，數據可視化軟件具有強大的通用性，受眾群體廣泛，可以說是人人需要。開源的軟件分發(fā)方式，以靈活的軟件架構去打造一款數據可視化平臺，不斷向先行者學習，根據用戶需求持續(xù)改進，相信在紅海中FIT2CLOUD飛致云在2021年提出了一個口號—“廣闊天地，大有作為”。無論是開源，還是數據可視化，對于DataEDataEase產品總監(jiān)徐偉新一代數據可視化分析平臺建設指南 11.1編寫本白皮書的目的 11.2如何組織、發(fā)布和維護本白皮書 11.3本白皮書給企業(yè)帶來的價值 1 22.1數據可視化的作用 22.2數據可視化的價值 32.2.1數據可視化對企業(yè)的價值 32.2.2數據可視化對不同人員的價值 42.3數據可視化的發(fā)展 42.3.1可視化簡史 42.3.2現代可視化發(fā)展 5 63.1簡單易用 63.2開源開放 73.2.1開源模式更好地推動軟件產業(yè)發(fā)展 73.2.2開源生態(tài)發(fā)展現狀 83.3高性能數據引擎 3.4快速分享 4.基于DataEase構建新一代數據可視化分析平臺— 12 4.1.1DataEase架構設計 4.3DataEase的核心優(yōu)勢 4.3.1簡單易用的操作方式 4.3.2開源開放的運營模式 4.3.3大數據下的秒級響應 4.3.4安全分享 201.1編寫本白皮書的目的1.1編寫本白皮書的目的1.21.2如何組織、發(fā)布和維護本白皮書1.3本白皮書給企業(yè)帶來的價值1.3本白皮書給企業(yè)帶來的價值2新一代數據可視化分析平臺建設指南HOWTOBUILDYOURVISUALA2.數據可視化概述2.1數據可視化的作用2.1數據可視化的作用?可視化有助于人眼接收信息到路形帶兩題到路被希兩頻頻齒閥石到路形帶兩題到路被希兩頻頻齒閥石磁墨溫區(qū)沖平超聚溫工牌序開不本河內的XO兩外出測為醫(yī)入用書而理以經題議用項以險器創(chuàng)多對致澤環(huán)通圖醫(yī)理環(huán)和型塑圖型器32.2數據可視化的價值2.2數據可視化的價值2.2.1數據可視化對企業(yè)的價值原始數據數據價值數據價值4HOWTOBUILDYOURVISUALA2.2.2數據可視化對不同人員的價值2.3數據可視化的發(fā)展2.3數據可視化的發(fā)展2.3.1可視化簡史5可視化信息可視化可視化信息可視化科學可視化計算機圖形學數據分析人機交互認知科學信息獲取數據處理數據挖掘交互感知概念圖等圖形發(fā)展迅猛，人們掌握了整套的統(tǒng)計數據可視化工具。同時，關于社會、地理、醫(yī)學和經濟的統(tǒng)計數據也越來越多。隨著統(tǒng)計圖表的持續(xù)發(fā)展，人類進行可視化思考的方式也不斷推陳出新。20世紀，個人計算機的普及使得人們逐漸開始采用計算機編程的方式實現可視化。20世紀70年代以后，桌面操作系統(tǒng)、計算機圖形學、圖形顯示設備、人機交互等技術的發(fā)展，激發(fā)了人們通過編程實現交互式可視化的熱情。圖3可視化簡史2.3.2現代可視化發(fā)展進入21世紀后，原有的可視化技術已難以應對海量、高維、多源和動態(tài)的數據分析挑戰(zhàn)。大數據、數據分析行業(yè)迎來了高速發(fā)展的時期，國家與企業(yè)更加重視數據價值，強調數字化建設的重要性。人類需要綜合可視化、圖形學、數據挖掘以及新的理論模型、用戶交互手段等技術，輔助現代社會用戶應對當下的挑戰(zhàn)。可視分析學應運而生?？梢暦治鰧W綜合了圖形學、數據挖掘和人機交互等技術，以可視交互界面為通道，將人的感知和認知能力以可視的方式融入數據處理過程，形成人腦智能和機器智能的優(yōu)勢互補，建立螺旋式信息交流與知識提煉途徑，完成有效的分析推理和決策。信息分析信息分析地理分析科學分析感知與認知可視分析的范疇表達、作業(yè)和傳播知識發(fā)現數據管理和知識表達圖4可視分析學涉及的學科從2004年起，研究界和工業(yè)界都在沿著面向實際數據庫、基于可視化的分析推理與決策、解決實際問題等方向發(fā)展。與此同時，軟件行業(yè)也受到推動，可視化的基礎平臺和架構、常用的可視化軟件和系統(tǒng)迅速發(fā)展，并且按照可視化對象劃分為醫(yī)學可視化、科學可視化、信息可視化和可視分析四個類別，在各行各業(yè)中幫助人們解決實際問題。6新一代數據可視化分析平臺建設指南HOWTOBUILDYOURVISUALA3.新一代數據可視化分析平臺的內涵3.1簡單易用3.1簡單易用排在人們第一序位的呢?知名研究機構Gartner在《SurveyAnalysis:KeySelectionCriteriaforBusinessIntelligenceandAnalytics獲取方便安裝簡易7功能清晰易上手數據可視化分析的重點在于提出問題和解決問題，而非學習軟件。新一代數據可視化分析平臺在設計時，應當始終以用戶為中心，重視用戶操作體驗，簡化系統(tǒng)功能的流程。使用者無需具備專業(yè)技術功底，或是依賴于其他IT人員，只需要專注于自己要解決的問題即可，避免花費過多精力在軟件的適應與學習方面；?豐富的學習參考資源優(yōu)秀的數據可視化分析平臺還應配套豐富的線上文檔、教學視頻等，在用戶需要時提供更加全面的幫助，例如使用技巧、軟件版本更新詳情、主題儀表板分享、常見模板分享、數據分析案例分享等。同時基于該軟件具有類型廣泛使用對象的特性，數據分析平臺還可以搭建統(tǒng)一的用戶交流渠道，加強使用者之間、使用者與平臺運營者之間的溝通交流、經驗互鑒。33.2開源開放近年來開源產業(yè)發(fā)展迅速，在基礎設施服務、數字化產業(yè)建設、推動產業(yè)協(xié)作、技術創(chuàng)新上均發(fā)揮了可觀的效益。那么,開源開放的運作模式會帶來哪些好處?目前開源產業(yè)的發(fā)展趨勢又如何呢?3.2.1開源模式更好地推動軟件產業(yè)發(fā)展紅帽在題為《2021年企業(yè)開源現狀》的研究報告中提到，如今90%的IT主管都在使用企業(yè)級開源軟件。其中被首選使用的企業(yè)級開源軟件的前三位類型分別為：基礎設施現代化軟件、應用程序開發(fā)軟件和數字化轉型軟件。在受訪者中，位列第三位的數字化轉型軟件占比為54%,這是因為很多新型應用是數字化的重要組成部分，數據可視化分析平臺便是其中的重要一員。圖690%的IT主管使用企業(yè)級開源軟件8新一代數據可視化分析平臺建設指南HOWTOBUILDYOURVISUALA3.2.2開源生態(tài)發(fā)展現狀據GitHub官方2021年度報告顯示，目前GitHub在全球已經擁有超過7300萬的開發(fā)者用戶。在新冠疫情仍然持續(xù)發(fā)酵的2021年，開源廠商GitHub開源貢獻排名，谷歌和微占比方面，開源軟件也毫不遜色。DB-Engines的數據顯示，截至2021底，全球383款數據庫中，開源數據庫占據了51.7%,高于89圖7全球數據庫流行趨勢?中國開源生態(tài)發(fā)展現狀在國際開源生態(tài)穩(wěn)步增長的形勢下，中國市場的開源腳步也在加快。近年來，中國的開源軟件貢獻者數量快速增長，在全球貢獻者占比中不斷攀升。GitHub發(fā)布的2021年度數據報告顯示，在全球已有的GitHub開發(fā)者中，來自中國的開發(fā)者數量以755萬位列排行榜第二，僅次于美國。而在Gitee2021年注冊的開發(fā)者中，來自中國的開發(fā)者數量超過了180萬，累計超過800萬。無論是在全球市場還是中國市場，中國的開源軟件開發(fā)者都呈現出加速增長的趨勢，并且逐漸成為中國開源產業(yè)的基礎力量。圖82021年GitHub全球用戶分布新一代數據可視化分析平臺建設指南HOWTOBUILDYOURVISUALANA國家政策方針指導2021年3月頒布的“十四五”規(guī)劃綱要在第十五章《打造數字經濟新優(yōu)勢》中特別提出，“支持數字技術開源社區(qū)等創(chuàng)新聯(lián)合體發(fā)展，完善開源知識產權和法律體系，鼓勵企業(yè)開放軟件源代碼、硬件設計和應用服務?！边@也是我國政府首次將開源納入頂層設計之中。除此之外，中國人民銀行、中央網信辦等五部門在2021年10月發(fā)布了《關于規(guī)范金融業(yè)開源技術應用與發(fā)展的意見》,從多維度闡述了金融機構應當如何更好地利用開源技術，參與開源生態(tài)建設與產業(yè)發(fā)展。3.3高性能數據引擎3.3高性能數據引擎明確數據要素地位、強調釋放數據要素潛能。在企業(yè)不斷踐行國家政策，進行自身圖9我國數字經濟規(guī)模發(fā)展趨勢這意味著即便數據的類型日益繁多，但是只是沉淀在數據庫里是沒有意義的。只有經過采集、抽取、展現成各種報表，給決策層提供參考才能為企業(yè)帶來業(yè)務上的價值。然而這些多維、大量的數據在存儲、分析、可視化上都給企業(yè)帶來一定的挑戰(zhàn)。因此，為更好地支撐現今數據規(guī)模與多元化的分析場景，新一代數據可視化分析平臺的數據引擎應當具備以下特征：數據引擎需匹配當下數據發(fā)展的規(guī)模，在存儲、執(zhí)行、查詢方面具備良好的效能；在存儲上可以支持TB、PB級別，實時分析過程中達到秒級或亞秒級的效率；在數據分析查詢的能力上為企業(yè)添磚加瓦；3.4快速分享3.4快速分享新一代數據可視化分析平臺建設指南DataEase支持豐富的數據源連接，能夠通過拖拉拽的方式快速制作圖表，并可以方便地與他人分享。管理與安全角色與權限直連模式單點登錄嵌入式集成本地模式圖10DataEase架構圖DataEase系統(tǒng)的核心功能分為四層，將接入數據源到完成儀表板的過程，合理歸類為三個獨立模塊。這樣一來，操作流程清晰易理解，各部分元素可多場景復用。除了核心功能外，系統(tǒng)還具備企業(yè)級別的權限管理、用戶管理、租戶管理、角色管理等功能，具備完善的RESTAPI,支持單點登錄、嵌入式集成等。DataEase工作原理如圖11所示。接下來，我們通過進一步地理解DataEase的核心概念來深入地認識DataEase的工作流程。數據集數據源1數據源2數據源3數據源數據集相當于一組數據的實例，從對應的數據源中根據需求取用數據及組合數據，為下一步視圖制作與數據分析提供數據基礎。數據集關聯(lián)數據集處理關聯(lián)數據集新一代數據可視化分析平臺建設指南HOWTOBUILDYOURVISUALA分布類型(餅圖、南丁格爾玫瑰圖、雷達圖、矩形樹圖),關系型(散點圖、漏斗圖),空間位置(地圖)等。首頁歡迎導航頁DataEase常用文檔、視頻教程、更新日志等內容導航；支持儀表板的新建、重命名、刪除、復制、移動、搜索等；支持儀表板分組的新建、重命名、刪除、移動等；支持以樹狀形式展示儀表板分組；支持在線編輯儀表板；支持儀表板中添加多種組件，例如：視圖/時間組件/文本組件/數字組件/樣式組Tab組件/鏈接等；支持動態(tài)設置日期組件的默認值等；支持通過一個過濾組件，過濾多個視圖(視圖數據來自多個數據集);支持組件樣式設置，例如圖形屬性、組件樣式等；支持儀表板中視圖的下鉆；支持儀表板中視圖間的聯(lián)動；支持儀表板中各組件背景圖片及邊框的設置；支持儀表板跳轉，例如跳轉至系統(tǒng)內其他儀表板、外部鏈接；支持儀表板背景、組件間隙、刷新時間、展示數據量等設置；支持一鍵切換儀表板主題；支持儀表板導出為PDF文件；支持撤銷、重做、清空畫布內容；支持儀表板的全屏預覽；支持儀表板的收藏；支持默認儀表板的設置；支持儀表板模板的導出；支持儀表板模版保存；支持按組織/角色/用戶分享，查閱分享記錄等；支持創(chuàng)建公共鏈接，外部用戶可通過密碼訪問儀表板，同時分享鏈接支持設置過期時間；支持通過簡單的拖拉操作，制作視圖；支持多種圖表類型，明細表/匯總表/透視表/指標卡/基礎柱狀圖/堆疊柱狀圖/橫向柱狀圖/橫向堆疊柱狀圖/基礎折線圖/堆疊折線圖/餅圖/南丁格爾玫瑰圖/漏斗圖/雷達圖/儀氣泡地圖/散點圖/氣泡圖/矩形樹圖/組合圖/水波圖/瀑布圖/詞云圖等；支持對柱狀圖、折線圖等有縱坐標的圖表，設置縱坐標起始和結束值范圍；支持視圖數據集的切換；支持視圖數據集的編輯；支持選擇視圖的樣式優(yōu)先級；支持選擇圖表的排序方式，根據維度、指標升序、降序進行展示；支持視圖的下鉆和上卷；支持指標的多種匯總計算方式，例如求和、平均、最大值、最小值等；支持指標的高級計算，例如同比、環(huán)比等；支持對圖表類型的圖形屬性進行設置；支持對圖表類型的組件樣式進行設置；支持為視圖添加過濾器，通過組合條件篩選數據；HOWTOBUILDYOURVISUALA支持添加多種類型的數據集，數據庫數據集/SQL數據集/Excel數據集/自定義數據API數據集；支持Excel數據集數據的替換、追加；支持數據集的添加、移動、重命名、刪除、預覽等；數據庫數據集和SQL數據集支持直連和定時同步兩種連接方式；定時同步類型數據集，支持全量更新和增量更新兩種方式；支持創(chuàng)建定時任務，以此控制數據集的更新；支持定時更新任務的查看；支持對數據集的字段類型/字段名/展示字段進行設置；支持數據集的維度、指標間的互相切換；支持自定義計算字段(內置常用計算函數支持);支持創(chuàng)建數據集間的關聯(lián)關系(左連接、右連接、內連接);ClickHouse/MongoDB/AWSRedShift/MariaDB/Doris/Hive/DB2數據庫支持數據源的新建、編輯、刪除等；支持數據源的高級設置，例如最大連接數、最小連接數、連接超時時間等；支持數據源有效性校驗；支持定時檢測數據源的連接狀態(tài)；支持用戶的新建、編輯、刪除、修改密碼、啟用、禁用、搜索等；支持給用戶分配組織；支持給用戶分配角色；支持角色的新建、編輯、刪除、搜索等；支持組織的新建、編輯、刪除、搜索、排序、移動等；支持從組織、角色、用戶維度(組織架構維度)進行使用、管理、授權等形式的權限控制；支持從數據源、數據集、儀表板(資源維度)進行使用、管理、授權等形式的權限控制；支持菜單和操作層面的權限控制；支持數據集的行級權限控制；支持數據集的列級權限控制；支持頭部系統(tǒng)Logo、登錄頁Logo、登錄頁圖片、登錄頁標題、系統(tǒng)名稱等顯示設置；支持兩種默認主題；支持自定義主題的新建、編輯、刪除等；支持對主題進行基礎配色、字體配色、邊框配色、背景配色等多屬性的設置；支持LDAP認證對接；支持單點登錄系統(tǒng)對接；提供完善的API接口及文檔；支持系統(tǒng)模板和用戶模板；支持模板的分類、導入、重命名、刪除、搜索等；支持系統(tǒng)常見消息的通知；支持消息的接收配置；支持消息狀態(tài)標記；支持已讀消息的刪除；支持對平臺定時任務進行全生命周期管理；支持定時報告，可以定時以郵件形式發(fā)送儀表板報DataEase最重要的特性之一是“人人可用”,這是DataEase在每一次開發(fā)迭代與功能設計時的指導方向，更是最終的目標。DataEase的“人人可用”具體體現在以下幾個方面：?反饋與支持上，DataEase的交流溝通渠道有GitHubIss多元化的開發(fā)者與使用者的交互途徑一方面可以幫助用戶更好地使用DataEase來實現價值，另一方面產品可以聽取廣大用戶的聲音實現?學習資源上，DataEase具備豐富完善的開源線上指導文檔，同時有技巧操作類、儀表板分享類等視頻資源，每月迭代后會通過直播平DataEase開源數據可視化分析平臺作為飛致云旗下的開源產品之一，與JumpServer開源堡壘機、MeterSphere開源持續(xù)測試平臺的理念一致，長期堅持開源運營模式，按月進行版本迭代。自2021年6月28日發(fā)布以來，DataEase收獲了一份還不錯的成績單，并在過去幾個月中多次躋身GitHubJava項目趨勢榜前列。截至2022年3月18日，DataEase開源項目在代碼托管平臺GitHub上的數據表現如下：共發(fā)布8個大版本累計發(fā)布24個版本需求與問題累計收到Issue(需求、建議、提問、缺陷)608個HOWTOBUILDYOURVISUALANA圖17DataEaseGitHubStar趨勢圖DataEase還具備完善的開源線上文檔、企業(yè)微信交流群等渠道，能夠為廣大開源用戶快速上手使用提供更多的支持。其中，線上文檔包括系統(tǒng)功能架構、基本操作說明、安裝部署指導、本地二次開發(fā)說明、儀表板制作示例、產品使用技巧等內容。企業(yè)微信交流群的數量也在半年多的時間內增長到16個，DataEase開源項目組一直活躍其中，幫助用戶解決使用過程中的實際問題，同時傾聽用戶建議，將來自值得一提的是，2021年12月，知名開源技術社區(qū)OSCHINA(開源中國)公布了“2021年度OSCHINA優(yōu)秀開源技術團隊”獲獎名單。FIT2CLOUD飛致云憑借在開源軟件研發(fā)和開源社區(qū)運營方面的積極表現，榮膺“2021年度OSCHINA優(yōu)秀開源技術團隊”獎項。這正是對FIT2CLOUD飛致云近幾年大力推廣、運營多款開源產品的有力肯定。獲得了用戶和社會的廣泛認可后，DataEase將繼續(xù)踐行開源的理念，為企業(yè)與個人提供更好的數據分析平臺。更多的用戶更多的貢獻者圖18開源的飛輪效應數據可視化分析工具的另外一個核心能力指標，在于其可以支持的數據量級以及在大數據場景下的性能表現，因此DataEase在架構設計架構設計上，DataEase采用容器化部署的模式，簡化了部署的復雜性，同時支持各組件靈活進行分布式部署與水平擴展。組件選型上，DataEase選擇了ApacheDoris作為本地模式下的OLAP數據引擎。Doris最早由①正如上文所述，儀表板的共享與分享同樣是可視化分析中的重要一環(huán)。DataEase注重儀表板分享功能的建設，包括分享操作的便捷性及DataEase支持創(chuàng)建公共分享鏈接，同時支持為公共鏈接設置訪問密碼及鏈接有效期。用戶也可選擇不為儀表板設置訪問密碼，作為公開內容分享，其他任何用戶可免登錄直接使用該鏈接查看儀表板內容，或是將儀表板嵌入到其他系統(tǒng)進行輔助展示。用戶若設置訪問密碼，圖20DataEase公共鏈接分享及訪問模式系統(tǒng)內部儀表板分享是指被分享者屬于DataEase內部用戶，需登錄驗證自己賬號后進行查看，這一模式具備更高的安全性。系統(tǒng)內部分HoWToHoWToBUILDYOURVISUA新一代數據可視化分析平臺建設指南臺JumpServer是全球首款開源的堡壘機，使用GPLV3開源協(xié)議，是符合4A規(guī)范的運維安全審計系統(tǒng)。用戶所在公司一直使用JumpServer加強運維安全管控并進行定JumpServerXX公司運維大屏02021/08/032021/08/052021/08/092021/08/11021/Q044用戶名資產名高危命令i