大數(shù)據(jù)分析平臺(tái)

1、、分祈層分布式計(jì)算框架/YARN文件系焼/"phHDFS結(jié)構(gòu)化數(shù)據(jù)非結(jié)梅化數(shù)據(jù)買(mǎi)幀 數(shù)堀流計(jì)算 / StormIMDG:Dril Impate大數(shù)據(jù)分析處理架構(gòu)圖內(nèi)存計(jì)算/spark + shark數(shù)據(jù)歸/ Rr Mahout數(shù)據(jù)分析平臺(tái)層次解析數(shù)據(jù)源：除該種方法之外，還可以分為離線數(shù)據(jù)、近似實(shí)時(shí)數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。按照 圖中的分類其實(shí)就是說(shuō)明了數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)，而特別要說(shuō)的是流數(shù)據(jù)，它的核心就是 數(shù)據(jù)的連續(xù)性和快速分析性；計(jì)算層：內(nèi)存計(jì)算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所 有內(nèi)存將要處理的數(shù)據(jù)加載其中，省掉很多I/O開(kāi)銷(xiāo)和硬盤(pán)拖累，從而加快計(jì)算。而Im

2、pala思想來(lái)源于Google Dremel，充分利用分布式的集群和高效存儲(chǔ)方式來(lái)加快大 數(shù)據(jù)集上的查詢速度，這也就是我上面說(shuō)到的近似實(shí)時(shí)查詢；底層的文件系統(tǒng)當(dāng)然是 HDFS蟲(chóng)大，也就是Hadoop的底層存儲(chǔ)，現(xiàn)在大數(shù)據(jù)的技術(shù)除了微軟系的意外，根本 都是HDFS乍為底層的存儲(chǔ)技術(shù)。上層的 YARN就是MapReduce第二版，和在一起就 是Hadoop最新版本?；谥系膽?yīng)用有 Hive，Pig Latin ，這兩個(gè)是利用了 SQL的思 想來(lái)查詢Hadoop上的數(shù)據(jù)。關(guān)鍵：利用大數(shù)據(jù)做決策支持。R可以幫你在大數(shù)據(jù)上做統(tǒng)計(jì)分析，利用 R語(yǔ)言和框 架可以實(shí)現(xiàn)很專業(yè)的統(tǒng)計(jì)分析功能，并且能利用圖形的方

3、式展現(xiàn)；而Mahout就是一個(gè)集數(shù)據(jù)挖掘、決策支持等算法于一身的工具，其中包含的都是基于Hadoop來(lái)實(shí)現(xiàn)的經(jīng)典算法，拿這個(gè)作為數(shù)據(jù)分析的核心算法集來(lái)參考還是很好的。如此一個(gè)決策支持系統(tǒng)要怎么展現(xiàn)呢？其實(shí)這個(gè)和數(shù)據(jù)挖掘過(guò)程中的展現(xiàn)一樣，無(wú)非 就是通過(guò)表格和圖標(biāo)圖形來(lái)進(jìn)行展示，其實(shí)一份分類詳細(xì)、顏色艷麗、數(shù)據(jù)權(quán)威的數(shù) 據(jù)圖標(biāo)報(bào)告就是呈現(xiàn)給客戶的最好方式！至于用什么工具來(lái)實(shí)現(xiàn)，有兩個(gè)是最好的數(shù) 據(jù)展現(xiàn)工具，Tableau和Pentaho，利用他們最為數(shù)據(jù)展現(xiàn)層絕對(duì)是最好的選擇。二、規(guī)劃的數(shù)據(jù)平臺(tái)產(chǎn)品 AE(Accelerate Engine)支持下一代企業(yè)計(jì)算關(guān)鍵技術(shù)的大數(shù)據(jù)處理平臺(tái)：包括計(jì)算引擎

4、、開(kāi)發(fā)工具、管理工 具及數(shù)據(jù)效勞。計(jì)算引擎是 AE的核心局部，提供支持從多數(shù)據(jù)源的異構(gòu)數(shù)據(jù)進(jìn)行實(shí) 時(shí)數(shù)據(jù)集成、提供分布式環(huán)境下的消息總線、通過(guò) Service Gateway 能夠與第三方系 統(tǒng)進(jìn)行效勞整合訪問(wèn)；設(shè)計(jì)了一個(gè)分布式計(jì)算框架，可以處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù) 據(jù)，并提供內(nèi)存計(jì)算、規(guī)劃計(jì)算、數(shù)據(jù)挖掘、流計(jì)算等各種企業(yè)計(jì)算效勞。 Data Studio 包括了數(shù)據(jù)建模、開(kāi)發(fā)、測(cè)試等集成開(kāi)發(fā)環(huán)境。管理工具包括了實(shí)施、客戶化 及系統(tǒng)管理類工具。AE平臺(tái)還可以通過(guò)UAP開(kāi)發(fā)者社區(qū)提供豐富的數(shù)據(jù)效勞。AE架構(gòu)圖新規(guī)劃將BAP平臺(tái)拆分為兩局部，底層技術(shù)平臺(tái)開(kāi)展內(nèi)存計(jì)算和數(shù)據(jù)處理，上層BI展現(xiàn)端重點(diǎn)開(kāi)展

5、儀表盤(pán)、web和移動(dòng)設(shè)備展現(xiàn)。兩大產(chǎn)品通過(guò)數(shù)據(jù)處理接口和嵌入式應(yīng)用效勞于業(yè)務(wù)系統(tǒng)。生態(tài)系統(tǒng)圖大數(shù)據(jù)處理平臺(tái)擔(dān)負(fù)著為BI系統(tǒng)提供語(yǔ)義層/OLAP引擎等底層技術(shù)支撐、BI及ERP 系統(tǒng)的性能提升、以及數(shù)據(jù)挖掘、非結(jié)構(gòu)化數(shù)據(jù)處理等系列數(shù)據(jù)整合與處理的解決方 案。具體模塊包括：語(yǔ)義層： 為統(tǒng)一的查詢建模平臺(tái)和數(shù)據(jù)訪問(wèn)接口。除提供標(biāo)準(zhǔn)的查詢建模能力外，還 有語(yǔ)義驅(qū)動(dòng)、語(yǔ)義規(guī)那么、語(yǔ)義函數(shù)、描述器等等擴(kuò)展方式，滿足不同層面的擴(kuò)展要 求。OLAF引擎：OLAF引擎提供全面的多維建模與分析能力。多維模型包括維度、層次、 級(jí)別、屬性、指標(biāo)、計(jì)算成員等；同時(shí)預(yù)置系列分析函數(shù)，包括同比/環(huán)比/期比/基比等時(shí)間序列分

6、析、占比 /排名/方差等統(tǒng)計(jì)分析、指數(shù)回歸和線性回歸分析等；提供 標(biāo)準(zhǔn)的MDX軍析與執(zhí)行，與數(shù)據(jù)倉(cāng)庫(kù)等模塊結(jié)合，提供針對(duì)海量數(shù)據(jù)的實(shí)時(shí)分析和處 理能力。數(shù)據(jù)集成 ：能夠勝任在大數(shù)據(jù)量、高并發(fā)、多維分析等環(huán)境背景下的實(shí)時(shí)分析。通過(guò) 實(shí)時(shí)數(shù)據(jù)集成RDI提供的數(shù)據(jù)實(shí)時(shí)復(fù)制與DW的列式存儲(chǔ)引擎，解決了以往在傳統(tǒng) 架構(gòu)模式下，普通行式存儲(chǔ)引擎無(wú)法實(shí)現(xiàn)的業(yè)務(wù)場(chǎng)景。數(shù)據(jù)挖掘： 支持運(yùn)行于分布式文件系統(tǒng)和分布式計(jì)算平臺(tái)之上的分布式數(shù)據(jù)挖掘算 法，具體包括：邏輯斯特回歸、樸素貝葉斯分類算法及其分布式實(shí)現(xiàn)；K 均值、譜聚類算法及其分布式實(shí)現(xiàn)；潛在狄利克雷分配語(yǔ)義挖掘算法及其分布式實(shí)現(xiàn)；頻繁模式 挖掘分析算法及其分

7、布式實(shí)現(xiàn)；協(xié)同過(guò)濾、概率矩陣分解推薦算法及其分布式實(shí)現(xiàn)； 提供分布式挖掘算法的統(tǒng)一操作原語(yǔ)和執(zhí)行引擎。數(shù)據(jù)倉(cāng)庫(kù) ：數(shù)據(jù)倉(cāng)庫(kù)提供針對(duì)海量數(shù)據(jù)進(jìn)行高效的查詢和分析。包括同時(shí)支持關(guān)系數(shù) 據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、以及分布式文件系統(tǒng)進(jìn)行數(shù)據(jù)存儲(chǔ)和加載的多存儲(chǔ)引擎，基于 MapReduce匡架針對(duì)海量數(shù)據(jù)的高性能查詢和分析，以及 Map Reduce框架本身具有的 高擴(kuò)展性和容錯(cuò)性。非結(jié)構(gòu)化數(shù)據(jù)管理 ：非結(jié)構(gòu)化數(shù)據(jù)不包含內(nèi)嵌的語(yǔ)義結(jié)構(gòu)描述信息，而信息系統(tǒng)需要 結(jié)合其“內(nèi)容而不僅僅是數(shù)據(jù)本身進(jìn)行查詢、檢索、分析與挖掘，因此非結(jié)構(gòu)化數(shù) 據(jù)管理系統(tǒng)需要實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)提取，提取的非結(jié)構(gòu)化數(shù)據(jù)是進(jìn)行后續(xù)處理

8、 的根底，具體包括結(jié)構(gòu)化信息和底層 / 高層特征的提取兩個(gè)。非結(jié)構(gòu)化數(shù)據(jù)提取組件 依賴于分布式文件系統(tǒng)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)提供的原始數(shù)據(jù)作為數(shù)據(jù)源數(shù)據(jù)，依賴于 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)來(lái)存儲(chǔ)提取的元數(shù)據(jù)或者特征數(shù)據(jù)，依賴于并行計(jì)算框架來(lái)分布化 執(zhí)行過(guò)程，加快執(zhí)行速度。消息總線： 包括主數(shù)據(jù)管理、集中身份管理、應(yīng)用集成開(kāi)發(fā)環(huán)境、集成監(jiān)控管理等。 滿足集成平臺(tái)的應(yīng)用需求，支持界面集成、信息集成、效勞集成、流程集成等集成方 式。分布式計(jì)算系統(tǒng) ：包括分布式文件系統(tǒng)和分布式計(jì)算框架。分布式文件系統(tǒng)以高可靠 的容錯(cuò)機(jī)制為核心，系統(tǒng)架構(gòu)包括多元數(shù)據(jù)效勞器、多數(shù)據(jù)存儲(chǔ)效勞器、多監(jiān)管者、 多客戶端，支持大文件和大數(shù)據(jù)塊的分布式存儲(chǔ)與管理；分布式計(jì)算框架基于 MapReduce與 MPI計(jì)算模型，提供了一套并行計(jì)算框架；并利用物理機(jī)以及虛擬機(jī)的 監(jiān)控信息，