全面透視大數(shù)據(jù)的架構(gòu)技術(shù)價(jià)值與能力

1、大數(shù)據(jù)產(chǎn)品及服務(wù)能力全面透視大數(shù)據(jù)的架構(gòu)、價(jià)值與能力123建立大數(shù)據(jù)的數(shù)據(jù)之源4復(fù)雜異構(gòu)數(shù)據(jù)源實(shí)時(shí)性傳輸兼容大數(shù)據(jù)技術(shù)棧多人協(xié)作開(kāi)發(fā)核心特色產(chǎn)品定位SDC 融合數(shù)據(jù)ETL 以元數(shù)據(jù)智能驅(qū)動(dòng)，通過(guò)流程設(shè)計(jì)器快速構(gòu)建數(shù)據(jù)處理模型，完成數(shù)據(jù)庫(kù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的ETL工作，支持多人協(xié)作，大大節(jié)約了開(kāi)發(fā)周期以及開(kāi)發(fā)難度。提供強(qiáng)大的調(diào)度能力，使得相關(guān)部門(mén)全面地了解數(shù)據(jù)處理模型的運(yùn)行情況，有助于迅速定位和排除故障。提供高可用集群管理以及HA能力，使得數(shù)據(jù)處理過(guò)程高效穩(wěn)定。高效穩(wěn)定操作智能便捷56單一業(yè)務(wù)的任務(wù)詳情圖形化展示任務(wù)執(zhí)行日志任務(wù)運(yùn)行情況變化曲線全方位洞察一項(xiàng)任務(wù)執(zhí)行定義指定任務(wù)的報(bào)警規(guī)

2、則定制指定任務(wù)的報(bào)警渠道指定報(bào)警信息的接收者根據(jù)需要控制告警規(guī)則的啟用與關(guān)閉告警幫你隨時(shí)把握任務(wù)異常可視化手段多角度作業(yè)監(jiān)控作業(yè)執(zhí)行狀態(tài)與成功率監(jiān)控對(duì)作業(yè)進(jìn)行多角度排序任務(wù)執(zhí)行一覽無(wú)余7構(gòu)造大數(shù)據(jù)運(yùn)行基石8SDC 企業(yè)級(jí)一站式大數(shù)據(jù)基礎(chǔ)平臺(tái)大數(shù)據(jù)領(lǐng)域 - 存儲(chǔ)計(jì)算為核心的基礎(chǔ)平臺(tái)組件融合Hadoop+Spark生態(tài)組件融合；MPP+Hadoop混合框架；國(guó)內(nèi)組件支持最多，最豐富。統(tǒng)一存儲(chǔ)數(shù)據(jù)收集及整合萃取能力橫向擴(kuò)展能力數(shù)據(jù)備份、安全存儲(chǔ)能力數(shù)據(jù)按策略存儲(chǔ)能力全文檢索基于數(shù)據(jù)的檢索對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的全類(lèi)型檢索支持支持按類(lèi)型分類(lèi)呈現(xiàn)檢索結(jié)果，在線播放音視頻文件。交互式分析批量數(shù)據(jù)

3、非實(shí)時(shí)分析能力秒級(jí)實(shí)時(shí)交互分析能力實(shí)時(shí)數(shù)據(jù)查詢(xún)能力實(shí)時(shí)流計(jì)算亞秒級(jí)，低延時(shí)的實(shí)時(shí)流處理高可用的、基于內(nèi)存計(jì)算的流計(jì)算引擎性能業(yè)界領(lǐng)先運(yùn)維管理一鍵式安裝可視化運(yùn)維監(jiān)控按需部署簡(jiǎn)單易用全生態(tài)安全加固13 通過(guò)了權(quán)威機(jī)構(gòu)性能評(píng)測(cè) 2017年6月，四方偉業(yè)SDC大數(shù)據(jù)基礎(chǔ)平臺(tái)參加了中國(guó)信息通信研究院大數(shù)據(jù)性能評(píng)測(cè)，取得了以下成績(jī)： 比規(guī)定測(cè)試時(shí)間提前2天跑出性能結(jié)果。 與其它參評(píng)的企業(yè)相比，數(shù)據(jù)查詢(xún)性能處于行業(yè)第一梯隊(duì)。 性能評(píng)測(cè)場(chǎng)景30T數(shù)據(jù)情況下測(cè)試： 場(chǎng)景1：復(fù)雜SQL語(yǔ)句查詢(xún)。在30T數(shù)據(jù)情況5條不同SQL語(yǔ)句5次查詢(xún)， 分別執(zhí)行時(shí)間為：202.7s ,258.0s, 50.8s,132.7s

4、,53.1s. 最好執(zhí)行速度為：1.7s/T 最壞情況：6.7s/T 場(chǎng)景2：簡(jiǎn)單SQL語(yǔ)句查詢(xún)。在30T數(shù)據(jù)情況5條不同SQL語(yǔ)句5次查詢(xún)， 分別執(zhí)行時(shí)間為：52.9s ,34.9s, 66.3s,92.5s,79.8s. 最好執(zhí)行速度為：1.1s/T 最壞情況：3s/T14國(guó)家版權(quán)云項(xiàng)目案例15難點(diǎn)原數(shù)據(jù)的種類(lèi)多樣，大小不同，大數(shù)據(jù)平臺(tái)存儲(chǔ)方式不同，對(duì)后續(xù)用戶(hù)檢索效率有影響，需要按類(lèi)型，大小存儲(chǔ)到不同的組件，提升檢索效率。解決思路1.大文件存放HDFS，建立索引，將索引存入關(guān)系型數(shù)據(jù)庫(kù)，小文件直接放入NoSQL數(shù)據(jù)庫(kù)。2.提前配置好分類(lèi)存儲(chǔ)策略，自動(dòng)分類(lèi)存儲(chǔ)： Size100M &

5、 Video 存儲(chǔ)#001，10M Size = 100M & Video | Voice | Picture 存儲(chǔ)#002，0M Size =10M& Video | Voice | Picture 存儲(chǔ)#00316 快速檢索，性能高效可視化，資源使用情況查看500T 數(shù)據(jù)檢索速度 平均小于=80A+類(lèi)企業(yè)該類(lèi)企業(yè)出口合格率高，出口數(shù)量金額較大，較多企業(yè)通過(guò)了ISO9000認(rèn)證77,80）A類(lèi)企業(yè)該類(lèi)企業(yè)在數(shù)量、金額、批次上的合格率至少在90%以上，出口量較大75,77）B類(lèi)企業(yè)部分合格率指標(biāo)出現(xiàn)低于80%，但企業(yè)質(zhì)量信用綜合得分較高60,75）C類(lèi)企業(yè)該部分企業(yè)中，存在至少

6、一項(xiàng)合格率低于60%的企業(yè)較多，總體上合格率低，質(zhì)量信用得分低，因數(shù)量較少，歸為一類(lèi)60D類(lèi)企業(yè)黑名單或者封號(hào)企業(yè)，信用極差熵權(quán)法質(zhì)量信用評(píng)估指標(biāo)體系信用評(píng)估指標(biāo)中文名不合格件數(shù)企業(yè)代碼包裝件數(shù)合格率企業(yè)名稱(chēng)貨物總值(美元)企業(yè)類(lèi)型不合格金額(美元)企業(yè)性質(zhì)出口金額合格率檢驗(yàn)方式出口批次黑名單標(biāo)志出口不合格批次封號(hào)標(biāo)志出口批次合格率備案標(biāo)志二次檢驗(yàn)次數(shù)是否通過(guò)ISO9000二次檢驗(yàn)率38支撐大數(shù)據(jù)豐富的可視化呈現(xiàn)39組件多樣化：Dashboard圖表、高級(jí)復(fù)合圖表、3D圖表、WEB組件（交互式選擇類(lèi)、容器類(lèi)、布局類(lèi)、表單類(lèi)、高級(jí)Web應(yīng)用類(lèi)）數(shù)據(jù)多樣化：結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)、地理空間數(shù)據(jù)、關(guān)系

7、網(wǎng)絡(luò)數(shù)據(jù)、層級(jí)數(shù)據(jù)樣式多樣化：動(dòng)態(tài)效果設(shè)計(jì)、精細(xì)化的樣式自定義、動(dòng)態(tài)背景、動(dòng)畫(huà)邊框、組件皮膚、動(dòng)態(tài)組件多樣化數(shù)據(jù)篩選、組件聯(lián)動(dòng)、動(dòng)態(tài)數(shù)據(jù)綁定、內(nèi)外系統(tǒng)參數(shù)傳遞數(shù)據(jù)、組件、頁(yè)面、業(yè)務(wù)實(shí)體場(chǎng)景互動(dòng)與數(shù)據(jù)實(shí)時(shí)交流，讓頁(yè)面活起來(lái)事件交互自研SAE智能查詢(xún)分析引擎，集多維分析、業(yè)務(wù)分析于一體，不僅僅是展示直接處理業(yè)務(wù)數(shù)據(jù)庫(kù)，實(shí)時(shí)、便捷、靈活高性能完備的權(quán)限控制體系，功能權(quán)限、數(shù)據(jù)權(quán)限支持集團(tuán)式、區(qū)域式管理靈活的數(shù)據(jù)授權(quán)方式安全性完全開(kāi)放的組件、主題開(kāi)發(fā)規(guī)范集成任意類(lèi)型組件，效率高、多樣化直接DOM對(duì)象操作，代碼直接注入，無(wú)需編譯個(gè)性化業(yè)務(wù)需求快速、靈活實(shí)現(xiàn)，游刃有余二次開(kāi)發(fā)無(wú)需技術(shù)背景，業(yè)務(wù)人員可自服務(wù)

8、完成分析需求拖拽式的可視化編排方式，極致的用戶(hù)體驗(yàn)敏捷式頁(yè)面開(kāi)發(fā)，實(shí)改時(shí)生效,快速響應(yīng)業(yè)務(wù)變化敏捷40411、快速構(gòu)建中國(guó)特色大屏效果，滿(mǎn)足實(shí)時(shí)變化。2、提供可視化的快速配置服務(wù)，構(gòu)建各類(lèi)大數(shù)據(jù)可視化系統(tǒng)。政府部門(mén)提供快速開(kāi)發(fā)可視化系統(tǒng)的平臺(tái)，降低成本，提高開(kāi)發(fā)效率。10個(gè)研發(fā) 變?yōu)?2個(gè)研發(fā)+3個(gè)實(shí)施集成合作商1、提供自助式分析的產(chǎn)品，部門(mén)、領(lǐng)導(dǎo)進(jìn)行決策分析2、提供構(gòu)建業(yè)務(wù)可視化的平臺(tái)，不依賴(lài)軟件公司，自己設(shè)計(jì)系統(tǒng)。企業(yè)424344支撐大數(shù)據(jù)豐富的可視化呈現(xiàn)45管理駕駛艙數(shù)據(jù)駕駛艙基于行業(yè)決策需求，通過(guò)詳盡的指標(biāo)體系，實(shí)時(shí)反映行業(yè)的運(yùn)行狀態(tài)，將采集的數(shù)據(jù)形象化、直觀化、具體化。 數(shù)據(jù)可視數(shù)據(jù)

9、分析用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速準(zhǔn)確地提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。大屏展示提供共享信息、決策支持、態(tài)勢(shì)顯示技術(shù)；涉及多種信息接收處理顯示、多類(lèi)人員操作控制、部門(mén)管理協(xié)調(diào)等需求實(shí)現(xiàn)數(shù)字沙盤(pán)數(shù)字沙盤(pán)能夠兼容所有類(lèi)型的三維空間數(shù)據(jù)，將這些空間數(shù)據(jù)放入數(shù)據(jù)沙盤(pán)進(jìn)行立體展示，并提供三維互動(dòng)操作、數(shù)據(jù)標(biāo)注、數(shù)據(jù)軌跡、實(shí)時(shí)告警、數(shù)據(jù)趨勢(shì)演進(jìn)等功能構(gòu)成數(shù)據(jù)沙盤(pán)可視化技術(shù)。46自動(dòng)化智能數(shù)據(jù)建模技術(shù) 傳統(tǒng)的數(shù)據(jù)建模方式，根據(jù)模型需求的多寡，往往需要投入大量的專(zhuān)業(yè)IT人員手動(dòng)編輯SQL語(yǔ)句完成模型構(gòu)建。ME產(chǎn)品從用戶(hù)易用性出發(fā)，運(yùn)用先進(jìn)的AI技術(shù)對(duì)數(shù)據(jù)進(jìn)行智能建模，減少用

10、戶(hù)對(duì)于SQL語(yǔ)句的依賴(lài).創(chuàng)建數(shù)據(jù)集添加數(shù)據(jù)源建立模型自動(dòng)化智能數(shù)據(jù)建模技術(shù)13構(gòu)建交互部署控件系統(tǒng)授權(quán)權(quán)限共享跨平臺(tái)數(shù)據(jù)同步分享技術(shù)組件式數(shù)據(jù)交互技術(shù)45制作數(shù)據(jù)高自由度數(shù)據(jù)編排技術(shù)自助式數(shù)據(jù)分析技術(shù)2數(shù)據(jù)模型組件智能高自由度數(shù)據(jù)編排技術(shù) 高自由度數(shù)據(jù)編排技術(shù)可對(duì)不同種類(lèi)的業(yè)務(wù)數(shù)據(jù)進(jìn)行自定義拖拉拽操作布局，對(duì)每一個(gè)維度、每一項(xiàng)指標(biāo)、每一張報(bào)表、每一個(gè)組件、每一組場(chǎng)景都可進(jìn)行隨心所欲的快速編排，配合自動(dòng)化智能數(shù)據(jù)建模技術(shù)充分體現(xiàn)數(shù)據(jù)的靈活性，讓數(shù)據(jù)在多維的視覺(jué)下更為生動(dòng)，準(zhǔn)確，直觀，真實(shí)，遠(yuǎn)遠(yuǎn)超越TABLEAU等同類(lèi)產(chǎn)品數(shù)據(jù)呈現(xiàn)效果；開(kāi)放自助式數(shù)據(jù)分析技術(shù)自助式數(shù)據(jù)分析技術(shù)結(jié)合智能數(shù)據(jù)建模、數(shù)據(jù)

11、編排、可視化交互技術(shù)，實(shí)現(xiàn)圖形化情報(bào)信息查詢(xún)、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報(bào)線索發(fā)掘等功能。該技術(shù)旨在利用人的洞察把人的思想與計(jì)算機(jī)的運(yùn)算能力結(jié)合起來(lái)，通過(guò)直觀的多維可視、交互手段，幫助人捕捉到事物之間的關(guān)聯(lián)線索。靈活跨平臺(tái)數(shù)據(jù)同步分享技術(shù)&組件式數(shù)據(jù)交互技術(shù)ME旨在幫助使用者在任何時(shí)間、任何地點(diǎn)、通過(guò)任何移動(dòng)通訊設(shè)備處理與業(yè)務(wù)相關(guān)的任何事情。這種全新的數(shù)據(jù)分享交互模式，可以讓使用者擺脫時(shí)間和空間的束縛。數(shù)據(jù)信息可以隨時(shí)隨地通暢地進(jìn)行交互流動(dòng)，工作將更加輕松有效，整體運(yùn)作更加協(xié)調(diào)。有助使用者提高管理效率，推動(dòng)效益增長(zhǎng)。共享47減少數(shù)據(jù)接口兼容性開(kāi)發(fā)成本數(shù)據(jù)庫(kù)RDBMS、Excle/CSV

12、文本數(shù)據(jù)源、基于hadoop的大數(shù)據(jù)平臺(tái)數(shù)據(jù)源以及其他多種JDBC數(shù)據(jù)源降低對(duì)專(zhuān)業(yè)IT人員的投入在數(shù)據(jù)建模過(guò)程中，減少對(duì)SQL語(yǔ)句編寫(xiě)的場(chǎng)景，未接受過(guò)專(zhuān)業(yè)編程培訓(xùn)的用戶(hù)也能夠通過(guò)簡(jiǎn)單的可視化操作，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)表創(chuàng)建成待分析的數(shù)據(jù)模型；增加數(shù)據(jù)靈活性在多維分析的行業(yè)智能解決方案中ME產(chǎn)品更尊重市場(chǎng)變化，為用戶(hù)建立一套更靈活的數(shù)據(jù)建模混合方案。著力基礎(chǔ)數(shù)據(jù)抽取，不僅能夠滿(mǎn)足星型和雪花模型還能滿(mǎn)足用戶(hù)自定義的數(shù)據(jù)模型創(chuàng)建；保障安全共享提供了數(shù)據(jù)安全機(jī)制，用戶(hù)能夠?qū)υL問(wèn)數(shù)據(jù)模型進(jìn)行權(quán)限設(shè)置管理，也可以通過(guò)授權(quán)方式共享給其他用戶(hù)使用，即保證了數(shù)據(jù)的訪問(wèn)權(quán)限，也保證了開(kāi)放共享。484950支撐大數(shù)據(jù)豐

13、富的多維分析報(bào)表關(guān)注微信公眾號(hào)“找方案”獲取更多行業(yè)解決方案5101數(shù)據(jù)采集內(nèi)置ETL工具，接入任意種類(lèi)數(shù)據(jù)源，自定義算法規(guī)則，分布式大數(shù)據(jù)處理引擎。02數(shù)據(jù)存儲(chǔ)RDB與大數(shù)據(jù)數(shù)倉(cāng)結(jié)合，橫向擴(kuò)展支持PB級(jí)別以上數(shù)據(jù)量安全存儲(chǔ)。03數(shù)據(jù)分析MOLAP于ROLAP結(jié)合，大數(shù)據(jù)分析引擎，多視角，多粒度快速呈現(xiàn)分析結(jié)果。04數(shù)據(jù)呈現(xiàn)豐富的可視化組件，涵蓋2D、3D、GIS，輔助插件齊全，多終端流暢呈現(xiàn)。BE是一套面向大數(shù)據(jù)時(shí)代以及人工智能時(shí)代的BI工具！52強(qiáng)悍的大數(shù)據(jù)處理能力 通過(guò)分布式數(shù)倉(cāng)能力理論上支持的數(shù)據(jù)量可以無(wú)限大； 覆蓋所有常用關(guān)系型數(shù)據(jù)庫(kù)，大數(shù)據(jù)倉(cāng)庫(kù)以及常用文本數(shù)據(jù)。 BE支持表關(guān)聯(lián)、過(guò)濾、轉(zhuǎn)換、拆分、聚合、自定義SQL等10余種預(yù)處理方式； 處理1000萬(wàn)級(jí)別的數(shù)據(jù)，BE可以在3秒內(nèi)完成。豐富強(qiáng)大的算法 支持100余種算法； 其中，預(yù)測(cè)回歸算法10余種；靈活的擴(kuò)展能力 快速響應(yīng)，滿(mǎn)足用戶(hù)各種定制化需求 普通組件可在3日內(nèi)完成定制；強(qiáng)大的可視化效果 支持pc、手機(jī)、平板多終端呈現(xiàn) 內(nèi)置24種圖表組件，10種報(bào)表組件 根據(jù)數(shù)據(jù)特征智能推薦最合適的圖表組件53聯(lián)合多個(gè)異構(gòu)數(shù)據(jù)源拖拽可視編輯數(shù)據(jù)處理流程算法節(jié)點(diǎn)豐富，可隨時(shí)擴(kuò)展直