大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案計(jì)算機(jī)專(zhuān)業(yè)

1、大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案 大數(shù)據(jù)分析平臺(tái) 產(chǎn)品技術(shù)架構(gòu) 典型行業(yè)應(yīng)用案例技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點(diǎn)大數(shù)據(jù)可視化挖掘1）新型內(nèi)存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開(kāi)發(fā)平臺(tái)3）房地產(chǎn)、金融、電信等機(jī)器學(xué)習(xí)模型研究1）基于內(nèi)存計(jì)算的機(jī)器學(xué)習(xí)算法2）行業(yè)大數(shù)據(jù)深度機(jī)器學(xué)習(xí)模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內(nèi)存計(jì)算1）基于內(nèi)存的迭代算法研究2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計(jì)分析技術(shù)1）基于大數(shù)據(jù)內(nèi)存的計(jì)算技術(shù)2）國(guó)內(nèi)產(chǎn)品領(lǐng)先大數(shù)據(jù)語(yǔ)義分析1）大數(shù)據(jù)自然語(yǔ)言識(shí)別2）非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)發(fā)現(xiàn)、集成技術(shù)大數(shù)據(jù)平臺(tái)的可視化集成目前是空白領(lǐng)域大數(shù)據(jù)云計(jì)算技術(shù)1）大數(shù)據(jù)云計(jì)算平臺(tái)技術(shù)2）商業(yè)智能云平臺(tái)技術(shù)1）云BI技術(shù)

2、及大數(shù)據(jù)平臺(tái)的核心技術(shù)研究2）大數(shù)據(jù)云BI在國(guó)內(nèi)應(yīng)用是未來(lái)趨勢(shì)，有望建成國(guó)內(nèi)第一家云BI平臺(tái)-技術(shù)基礎(chǔ)研究方向技術(shù)基礎(chǔ)研究方向開(kāi)創(chuàng)了基于人類(lèi)視覺(jué)智能的動(dòng)態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國(guó)內(nèi)外雜志、會(huì)議發(fā)表了多篇高水平論文。獲得視頻識(shí)別，知識(shí)學(xué)習(xí)與推理相關(guān)發(fā)明專(zhuān)利2項(xiàng)，申請(qǐng)發(fā)明專(zhuān)利7項(xiàng)。大數(shù)據(jù)環(huán)境下的無(wú)重疊視域跟蹤大數(shù)據(jù)技術(shù)，解決視頻領(lǐng)域的知識(shí)識(shí)別，知識(shí)發(fā)現(xiàn)，知識(shí)集成與跟蹤，推理等關(guān)鍵技術(shù)問(wèn)題。多項(xiàng)國(guó)家自然科學(xué)基金大數(shù)據(jù)技術(shù)來(lái)實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識(shí)推理系統(tǒng)疑點(diǎn)數(shù)據(jù)審計(jì)數(shù)據(jù)中心審計(jì)跨12個(gè)行業(yè)，跨地區(qū)數(shù)據(jù)源傳統(tǒng)審計(jì)大數(shù)據(jù)審計(jì)無(wú)法跨地區(qū)、跨行業(yè)審計(jì)跨行業(yè)、跨區(qū)域?qū)徲?jì)事后審計(jì)、周期

3、性審計(jì)連續(xù)審計(jì)復(fù)雜性隱蔽問(wèn)題難以發(fā)現(xiàn)智能化，具有預(yù)測(cè)功能依據(jù)小樣本經(jīng)驗(yàn)地毯式排查大數(shù)據(jù)分析，建立抵御和預(yù)防手段審計(jì)行業(yè)大數(shù)據(jù)知識(shí)推理系統(tǒng) 房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實(shí)現(xiàn)房地產(chǎn)價(jià)格指數(shù)、房地產(chǎn)評(píng)估模型碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計(jì)量監(jiān)測(cè)體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評(píng)估體系，形成滿(mǎn)足碳排放計(jì)量關(guān)系方程和參數(shù)目錄 聯(lián)合實(shí)驗(yàn)室 大數(shù)據(jù)分析平臺(tái) 產(chǎn)品技術(shù)架構(gòu) 典型行業(yè)應(yīng)用案例數(shù)據(jù)挖掘越來(lái)越多的應(yīng)用到了各個(gè)領(lǐng)域中，主要包括與客戶(hù)關(guān)系管理相關(guān)的模型、與風(fēng)險(xiǎn)控制相關(guān)的模型、與生產(chǎn)銷(xiāo)售預(yù)測(cè)相關(guān)的模型等數(shù)據(jù)挖掘應(yīng)用領(lǐng)域產(chǎn)品名產(chǎn)品ETHINK可視化挖掘概要通過(guò)在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實(shí)現(xiàn)加

4、載數(shù)據(jù)、轉(zhuǎn)換、建模、評(píng)估、圖形以及結(jié)果輸出特點(diǎn)通過(guò)視覺(jué)工作方式輕松獲得此界面可以保障操作的靈活性在最短的時(shí)間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)挖掘模型算法庫(kù)/語(yǔ)義分析 Hbase/Hive/Hdfs 可視化數(shù)據(jù)挖掘平臺(tái) 多維自助分析調(diào)度管理SQLSQL接口接口JDBC/ODBCJDBC/ODBC內(nèi)存計(jì)算服務(wù)Scala /Java/PythonERP生產(chǎn)業(yè)務(wù)數(shù)據(jù)銷(xiāo)售其它數(shù)據(jù)ExcelTxt圖片、聲音OLAP ServerOLAP Server手機(jī)平板電腦批處理實(shí)時(shí)流處理交互式查詢(xún)統(tǒng)計(jì)分析平臺(tái)ETHINK產(chǎn)品架構(gòu)特點(diǎn)一豐富建模方法特點(diǎn)可拖拽式建模 JDBC Web Service

5、s Restful api可擴(kuò)展性強(qiáng)自定義模型，擴(kuò)充組件特點(diǎn)傳統(tǒng)的關(guān)系型數(shù)據(jù)(mysql、Oracle等)列式數(shù)據(jù)庫(kù)(Hbase)非結(jié)構(gòu)化數(shù)據(jù)(Hdfs、文件系統(tǒng))大數(shù)據(jù)（Hbase、Hive）特點(diǎn)二大數(shù)據(jù)處理特點(diǎn)開(kāi)放型平臺(tái) BS結(jié)構(gòu)，一站式建模、評(píng)估、部署基于Spark平臺(tái)內(nèi)存計(jì)算運(yùn)算速度快特點(diǎn)GBPB特點(diǎn)三大數(shù)據(jù)處理能力特點(diǎn)基于Spark平臺(tái)內(nèi)存計(jì)算執(zhí)行數(shù)據(jù)挖掘時(shí)，方法論非常重要. 因?yàn)闇?zhǔn)確的方法論能夠提高作業(yè)速度, 能系統(tǒng)地減少各種進(jìn)展?fàn)顩r，所以選擇正確的方法論是很重要的. CRISP-DM 方法論是全球認(rèn)可的數(shù)據(jù)挖掘的標(biāo)準(zhǔn)執(zhí)行方法論.功能模塊金融電信行業(yè) 1.信用卡用戶(hù)流失預(yù)測(cè) 2.基

6、于客戶(hù)分群的精準(zhǔn)智能營(yíng)銷(xiāo) 3.基于公司價(jià)值評(píng)價(jià)的證券策略投資 電力行業(yè) 1.電力負(fù)荷預(yù)測(cè) 2.自適應(yīng)防竊漏電實(shí)時(shí)診斷互聯(lián)網(wǎng)行業(yè) 1.電子商務(wù)網(wǎng)站用戶(hù)行為分析 2.基于用戶(hù)行為分析的定向廣告投放 3.企業(yè)信息系統(tǒng)用戶(hù)服務(wù)感知評(píng)估 制造業(yè)行業(yè) 1.制造設(shè)備生命周祺管理 2.制造業(yè)投入產(chǎn)出預(yù)測(cè) 公共服務(wù)業(yè) 1.空氣質(zhì)量預(yù)測(cè) 2.卷煙消費(fèi)者購(gòu)買(mǎi)行為分析 3.納稅人偷稅漏稅評(píng)估場(chǎng)景應(yīng)用（實(shí)驗(yàn)室模擬實(shí)驗(yàn)課題）目錄 聯(lián)合實(shí)驗(yàn)室 大數(shù)據(jù)分析平臺(tái) 產(chǎn)品技術(shù)架構(gòu) 典型行業(yè)應(yīng)用案例 交互式查詢(xún) 實(shí)時(shí) 在線(xiàn)處理 實(shí)時(shí) 流處理 批處理基于spark內(nèi)存的計(jì)算模型，同時(shí)支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案-要

7、解決的問(wèn)題技術(shù)架構(gòu)解決方案-分布式內(nèi)存計(jì)算批處理應(yīng)用（分鐘級(jí)別小時(shí)級(jí)別）OLTP/在線(xiàn)事務(wù)處理應(yīng)用（毫秒秒級(jí)別）OLAP/在線(xiàn)交互式分析應(yīng)用（秒級(jí)別）實(shí)時(shí)流處理（持續(xù)不斷）技術(shù)架構(gòu)解決方案-交互式查詢(xún) 通常的時(shí)間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進(jìn)行統(tǒng)計(jì)、聚合根據(jù)歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測(cè)計(jì)算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線(xiàn)分析服 典型應(yīng)用場(chǎng)景政府各部門(mén)數(shù)據(jù)證券交易銀行保險(xiǎn)企業(yè)ERP/CRM等 適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析技術(shù)架構(gòu)解決方案-實(shí)時(shí)在線(xiàn)處理 通常的時(shí)間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來(lái)源多、高并發(fā)、數(shù)據(jù)處理量達(dá)分析結(jié)果快速響應(yīng) 典型應(yīng)用場(chǎng)景 社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶(hù)

8、分類(lèi)、用戶(hù)行為預(yù)測(cè) 高并發(fā)查詢(xún)按主鍵毫秒級(jí)檢索按多維度秒級(jí)檢索按照關(guān)鍵字秒級(jí)檢索 事件驅(qū)動(dòng)計(jì)算模型，系統(tǒng)處于持續(xù)不斷計(jì)算之中，事件響應(yīng)延遲在毫秒秒級(jí)。 流式計(jì)算系統(tǒng)處理應(yīng)用的處理邏輯是由源源不斷的數(shù)據(jù)流驅(qū)動(dòng)。 典型應(yīng)用場(chǎng)景有金融在線(xiàn)欺詐預(yù)警廣告CTR推薦系統(tǒng)技術(shù)架構(gòu)解決方案-實(shí)時(shí)流處理技術(shù)架構(gòu)解決方案-批處理及離線(xiàn)挖掘 時(shí)間跨度在數(shù)十分鐘到數(shù)小時(shí)之間。 離線(xiàn)挖掘主要用于，多維統(tǒng)計(jì)預(yù)測(cè)，準(zhǔn)實(shí)時(shí)分析以及對(duì)客戶(hù)進(jìn)行聚類(lèi)、分類(lèi)等數(shù)據(jù)挖掘應(yīng)用。 典型應(yīng)用場(chǎng)景電子商務(wù)推薦引擎流失客戶(hù)預(yù)測(cè)挽留日志清洗、ETL用戶(hù)行為分析目錄 聯(lián)合實(shí)驗(yàn)室 大數(shù)據(jù)分析平臺(tái) 產(chǎn)品技術(shù)架構(gòu) 典型行業(yè)應(yīng)用案例 項(xiàng)目需求將總行下發(fā)的數(shù)

9、據(jù)及核心業(yè)務(wù)數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)整理、加載到省級(jí)數(shù)據(jù)中心，并進(jìn)行各項(xiàng)業(yè)務(wù)快速應(yīng)用開(kāi)發(fā) 數(shù)據(jù)源某省公積金中心，近五年的操作、交易記錄，共10億條左右。 系統(tǒng)環(huán)境4臺(tái)X86架構(gòu)的PC服務(wù)器，共128G內(nèi)存單臺(tái)服務(wù)器，8核CPU,32G內(nèi)存 解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢(xún)可視化設(shè)計(jì)、可視化報(bào)表實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)分析行業(yè)應(yīng)用案例-金融 行業(yè)應(yīng)用案例-金融系統(tǒng)由對(duì)公客戶(hù)綜合積分子系統(tǒng)、展業(yè)通客戶(hù)綜合收益分析子系統(tǒng)、授信客戶(hù)資金結(jié)算子系統(tǒng)、對(duì)公柜面交易流水分析子系統(tǒng)等組成行業(yè)應(yīng)用案例-金融 項(xiàng)目需求整合第三方支付數(shù)據(jù)資源，分析挖掘客戶(hù)交易、反饋信息、交易行等數(shù)據(jù)，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)，最大限度地提升產(chǎn)品

10、價(jià)值 數(shù)據(jù)源某第三方支付平臺(tái)交易、反饋數(shù)據(jù)，月交易記錄量1億條。 系統(tǒng)環(huán)境臺(tái)X86架構(gòu)的PC服務(wù)器，共96G內(nèi)存單臺(tái)服務(wù)器，8核CPU,16G內(nèi)存 解決方案Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢(xún)Hive對(duì)歷史交易數(shù)據(jù)進(jìn)行分析可視化設(shè)計(jì)、可視化報(bào)表實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析基于ETHINK可視化挖掘平臺(tái)，完成精準(zhǔn)營(yíng)銷(xiāo)建模 持卡客戶(hù)多維分析：持卡客戶(hù)人口統(tǒng)計(jì)特征分析持卡客戶(hù)交易行為模式分析持卡客戶(hù)應(yīng)用場(chǎng)景分析 特約商戶(hù)多維分析：商戶(hù)基本信息分析/商戶(hù)業(yè)務(wù)收益分析商戶(hù)價(jià)值貢獻(xiàn)度評(píng)估商戶(hù)收單風(fēng)險(xiǎn)分析 持卡客戶(hù)和特約商戶(hù)雙向分析特定特征客戶(hù)特定時(shí)間消費(fèi)商戶(hù)分布分析特定時(shí)間在特定商戶(hù)消費(fèi)的客戶(hù)特征分析行業(yè)應(yīng)用案例-金融 項(xiàng)目需求煙草工業(yè)企業(yè)目前積累了大量的數(shù)據(jù)信息，管理方式由粗放式管理轉(zhuǎn)為精細(xì)化管理，產(chǎn)生了利用大數(shù)據(jù)技術(shù)收集、管理和展示分析結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)和信息的訴求，于是如何利用這些數(shù)據(jù)創(chuàng)造更大的價(jià)值、為領(lǐng)導(dǎo)決策和企業(yè)精益管理提供有力支撐成為重要的課題。 數(shù)據(jù)存儲(chǔ)近1年數(shù)據(jù)，每秒鐘10000個(gè)數(shù)據(jù)采集點(diǎn) 系統(tǒng)環(huán)境硬件環(huán)境： 數(shù)據(jù)庫(kù)服務(wù)器1臺(tái)+4臺(tái)分布式pc server單臺(tái)4核，16G內(nèi)存 解決