大數(shù)據(jù)與大數(shù)據(jù)技術(shù)

量變到質(zhì)變

大數(shù)據(jù)與大數(shù)據(jù)技術(shù)虞強(qiáng)

2016.10議程公司簡(jiǎn)介大數(shù)據(jù)與大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)應(yīng)用

大數(shù)據(jù)案例分享問(wèn)題討論2公司簡(jiǎn)介公司概況&發(fā)展歷史主要客戶&大數(shù)據(jù)產(chǎn)品3新加坡上海北京公司概況青島雅加達(dá)專注于分析預(yù)測(cè)與行業(yè)應(yīng)用的的大數(shù)據(jù)公司深圳業(yè)務(wù)1業(yè)務(wù)2業(yè)務(wù)3提供基于大數(shù)據(jù)技術(shù)的預(yù)測(cè)性分析及商務(wù)智能解決方案大數(shù)據(jù)平臺(tái)、數(shù)據(jù)集成與準(zhǔn)備工具、開(kāi)源開(kāi)發(fā)技術(shù)自助式分析工具、數(shù)據(jù)可視化工具提供全球頂尖的大數(shù)據(jù)軟件產(chǎn)品300+

技術(shù)服務(wù)人員端到端的大數(shù)據(jù)平臺(tái)數(shù)據(jù)集成、數(shù)據(jù)挖掘與預(yù)測(cè)性分析、高級(jí)分析企業(yè)級(jí)大數(shù)據(jù)倉(cāng)庫(kù)、企業(yè)績(jī)效管理、商務(wù)智能大數(shù)據(jù)SaaS應(yīng)用和DaaS服務(wù)基于云平臺(tái)的軟件即服務(wù)大數(shù)據(jù)應(yīng)用為企業(yè)提供全面的數(shù)據(jù)服務(wù)

發(fā)展歷史數(shù)據(jù)倉(cāng)庫(kù)績(jī)效管理高級(jí)分析數(shù)據(jù)可視化看板管理商務(wù)智能2.0至今2005200720112002大數(shù)據(jù)技術(shù)大數(shù)據(jù)應(yīng)用分析預(yù)測(cè)數(shù)據(jù)挖掘數(shù)據(jù)即服務(wù)數(shù)據(jù)集市

14年來(lái)，我們與數(shù)俱進(jìn)汽車制造·電子產(chǎn)品及家電·快消零售·醫(yī)藥與生命科學(xué)·航空與物流·高科技制造業(yè)·金融及其他主要客戶云以H

a

d

o

o

p為核心的大數(shù)據(jù)產(chǎn)品系列數(shù)據(jù)集成與準(zhǔn)備SQLonHadoopTexthere流計(jì)算機(jī)器學(xué)習(xí)開(kāi)源開(kāi)發(fā)技術(shù)數(shù)據(jù)挖掘以H

a

d

o

o

p為核心的大數(shù)據(jù)產(chǎn)品大數(shù)據(jù)軟件產(chǎn)品Statistica數(shù)據(jù)可視化Vortex數(shù)據(jù)創(chuàng)新經(jīng)驗(yàn)融合擁有多元化的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)和十余年的數(shù)據(jù)分析經(jīng)驗(yàn)。經(jīng)十余年自主開(kāi)發(fā)的IP打造數(shù)據(jù)行業(yè)領(lǐng)先的技術(shù)優(yōu)勢(shì)。

追蹤吸收和引進(jìn)行業(yè)內(nèi)最先進(jìn)的技術(shù)，產(chǎn)品和應(yīng)用經(jīng)驗(yàn)。世界頂尖數(shù)據(jù)技術(shù)公司在中國(guó)地區(qū)的首選合作伙伴。在一大批競(jìng)爭(zhēng)行業(yè)（汽車、制藥、快消、家電、物流等）內(nèi)擁有深厚的客戶基礎(chǔ)和眾多行業(yè)成功案例。追求行業(yè)業(yè)務(wù)能力和技術(shù)能力的融合以及企業(yè)系統(tǒng)架構(gòu)與解決業(yè)務(wù)問(wèn)題間的平衡，具有扎實(shí)的項(xiàng)目實(shí)施能力。HEADLINE

競(jìng)爭(zhēng)優(yōu)勢(shì)9大數(shù)據(jù)與大數(shù)據(jù)技術(shù)Hadoop技術(shù)的發(fā)展物聯(lián)網(wǎng)應(yīng)用需要將Hadoop變?yōu)橐粋€(gè)高性能的分析平臺(tái)需要Hadoop不光能存儲(chǔ)數(shù)據(jù)，更要能夠處理計(jì)算數(shù)據(jù)SQL分析挖掘預(yù)測(cè)圖形化數(shù)據(jù)分分析智能搜索時(shí)間、用戶、、地理位置、、事件等標(biāo)標(biāo)簽輔助技術(shù)：Kafka,HBase,Cassandra,Accumulo基于大數(shù)據(jù)據(jù)技術(shù)的數(shù)數(shù)據(jù)分析處處理Hadoop核心層數(shù)據(jù)準(zhǔn)備技術(shù)更迭過(guò)過(guò)快開(kāi)源產(chǎn)品成成熟度開(kāi)發(fā)效率與現(xiàn)有架構(gòu)構(gòu)的關(guān)系運(yùn)維與安全全大數(shù)據(jù)技術(shù)術(shù)的顧慮？大數(shù)據(jù)平臺(tái)臺(tái)計(jì)算框架架傳統(tǒng)數(shù)倉(cāng)功功能非結(jié)構(gòu)化流流式挖掘分分析軟件架構(gòu)（（舉例））DATAPLATFORM(HDFS)靈活數(shù)據(jù)準(zhǔn)準(zhǔn)備SQLinHadoop數(shù)據(jù)挖掘與與預(yù)測(cè)S

Q

L（ODBC、JDBC、、。NET）API：Java,

C/++,Python前端應(yīng)用報(bào)表外部應(yīng)用下游系統(tǒng)管理控制臺(tái)臺(tái)（CloudEra、Talend、KNIME）數(shù)據(jù)安全以以及認(rèn)證（（Portal集成）用工具取代代代碼作坊坊MapReducePerformance(runsondisk)OneClickSparkPerformance(runsin-memory&ondisk)20XFaster同時(shí)處理實(shí)實(shí)時(shí)與批次次流式處理批次處理轉(zhuǎn)換清洗治理轉(zhuǎn)換清洗治理推薦引擎SparkStreaming/KafkaSpark數(shù)據(jù)庫(kù)，文文件，批次次數(shù)據(jù)實(shí)時(shí)，流數(shù)數(shù)據(jù)HDFS文件數(shù)據(jù)流輸出基于用戶數(shù)數(shù)據(jù)理解地地模型預(yù)測(cè)測(cè)圖形化數(shù)據(jù)據(jù)準(zhǔn)備挖掘掘運(yùn)用SparkMlib等進(jìn)行計(jì)算算結(jié)果回寫入入Impala或者HIVE非結(jié)構(gòu)化數(shù)數(shù)據(jù)為存儲(chǔ)儲(chǔ)的新型SQL基于落地HDFS的文件或HBASE進(jìn)行SQL建表解析提供工業(yè)MPP級(jí)別查詢性性能線性可擴(kuò)展展標(biāo)準(zhǔn)JDBCSQL界面，直連連BO，Tableau，Qlikview,MSTR等報(bào)表工具具技術(shù)方案：：特點(diǎn)小結(jié)結(jié)基于開(kāi)源系系統(tǒng)的成熟熟商用插件件方案部署簡(jiǎn)便提高開(kāi)發(fā)效效率降低實(shí)施風(fēng)風(fēng)險(xiǎn)基于內(nèi)存的計(jì)算性能優(yōu)優(yōu)異全部部基基于于唯唯一一Hadoop集群群內(nèi)內(nèi)，，統(tǒng)統(tǒng)一一存存儲(chǔ)儲(chǔ)統(tǒng)統(tǒng)一一計(jì)計(jì)算算減少數(shù)據(jù)據(jù)傳傳輸輸遷遷移移的的同同步步問(wèn)問(wèn)題題維護(hù)護(hù)便便捷捷：：一一套集群,維護(hù)簡(jiǎn)單擴(kuò)展性：無(wú)限限擴(kuò)展線性提升便捷的開(kāi)發(fā)及及報(bào)表展現(xiàn)工工具圖形化ETL，數(shù)據(jù)挖掘開(kāi)開(kāi)發(fā)便捷報(bào)表展現(xiàn)現(xiàn)分析工具建模過(guò)程100%用戶參與IT基礎(chǔ)架構(gòu)與用用戶數(shù)據(jù)準(zhǔn)備備、探查、分分析、預(yù)測(cè)分離19大數(shù)據(jù)團(tuán)隊(duì)組織織建設(shè)數(shù)據(jù)與業(yè)務(wù)的的結(jié)合大數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)隊(duì)技術(shù)平臺(tái)支持業(yè)務(wù)人員咨詢團(tuán)隊(duì)大數(shù)據(jù)管理員內(nèi)部團(tuán)隊(duì)與專專業(yè)伙伴緊密密合作Evan數(shù)據(jù)科學(xué)家21大數(shù)據(jù)技術(shù)應(yīng)應(yīng)用InternetofCustomersandInternetofThingsIoTInvisibledevicesandWearabledevicesTrillionsofnetworkednodesLowbandwidthlast-mileconnection100kBit/secMostlyaddressedbylocalschemesMachine-centricSensing-focusTrillionsofcomputer-enableddeviceswhicharepartoftheIoTGlobaladdressingUser-centricCommunication-focusIoCLaptops/tablets/smartphonesBillionsofnetworkeddevicesHigh-bandwidthaccessCable:10Mbs+Fiber:50-100Mbs6+billionpeople1.5billionusenetUS:4.3devicesperadultBigDataonIoTPredictiveMaintenancethatenableyoutochangeyourbusiness…HadoopMachineLearningQueryandreportingIoT解決方案CommandandControlYouhavedevicesonthenetworkedge…PlantFloorThingsSupplyChainThingsBackOfficeThingsBasicSensorsIntelligentDevicesthatprovideyoudata…SQLDatabasesBlobStorageTableStorageExternalStorageDocumentDBthatyouunderstand,applyrules,modelsandmore…CommandandControlEventHub(ServiceBus)本質(zhì)是基于“信息息物理系統(tǒng)””實(shí)現(xiàn)“智能化…”二、工業(yè)4.0時(shí)代的智能制制造IoT的本質(zhì)二、工業(yè)4.0時(shí)代的智能制制造IoT--智能工廠BigDataonIoC360CustomerProfileMicro-SegmentationCustomerLifetimeValueNextBestActionCustomerSentimentCampaignOptimizationChurnMarketBasketAnalysis關(guān)聯(lián)分析行動(dòng)創(chuàng)建客戶檔案識(shí)別共同關(guān)鍵詞CRM賬戶戶信息息及客客戶特特征EDW交易易歷史史社交媒媒體關(guān)關(guān)鍵字字整合數(shù)據(jù)并載入hadoop連接至文本挖掘應(yīng)用將數(shù)據(jù)庫(kù)連接至EDW連接至flatfileSalesLift20%60%100%n%購(gòu)買周期期趨勢(shì)購(gòu)買家庭庭信息購(gòu)買人口口特征通過(guò)API與CRM相連連接至flatfile連接至flatfile刪除重復(fù)客戶載入Hadoop在用戶ID間連接數(shù)據(jù)第一階段段識(shí)別人口微簇客戶畫像像刪除重復(fù)客戶在用戶ID間連接數(shù)據(jù)識(shí)別共同關(guān)鍵字創(chuàng)建客戶檔案數(shù)據(jù)流引引擎人口分布布客戶傾向向HADOOP集集群/YARN關(guān)聯(lián)分析行動(dòng)數(shù)據(jù)庫(kù)分分析查詢可視視化報(bào)表表分析工具具及應(yīng)用用HDFS/NFS低延遲查詢集成服務(wù)務(wù)器BI服務(wù)務(wù)器數(shù)據(jù)庫(kù)集集群/服服務(wù)器社交媒體鏈接數(shù)據(jù)庫(kù)鏈接文本分割鏈接API鏈接固定文本鏈接文本分割鏈接消費(fèi)心理理第一階段段HDFSAPI數(shù)據(jù)混合合與濃縮縮集成引擎擎ACTIAN分分析平臺(tái)臺(tái)CRM賬賬戶信息息及客戶戶特征EDW交交易歷史史社交媒體體關(guān)鍵字字購(gòu)買周期期趨勢(shì)購(gòu)買家庭庭信息購(gòu)買人口口特征客戶畫像像參考架架構(gòu)360度客戶視視圖31案例分享享車聯(lián)網(wǎng)大大數(shù)據(jù)應(yīng)應(yīng)用項(xiàng)目背景景圍繞車輛全生命周期，數(shù)據(jù)驅(qū)動(dòng)的車聯(lián)聯(lián)網(wǎng)與跨行行業(yè)融合合，可衍衍生出多多樣的商商業(yè)模式式與創(chuàng)新新服務(wù)；；基于豐富的車車聯(lián)數(shù)據(jù)據(jù)、多樣樣的服務(wù)務(wù)平臺(tái)，可對(duì)行業(yè)、、社會(huì)熱熱點(diǎn)展開(kāi)開(kāi)洞見(jiàn)分分析，同同時(shí)挖掘掘更多的的商業(yè)價(jià)價(jià)值，拓拓展新的業(yè)務(wù)務(wù)車輛全生命周期CarFullLifeCycle車輛防盜，財(cái)產(chǎn)保護(hù)

PropertyProtection保險(xiǎn)車聯(lián)網(wǎng)

TelematicsInsurance車內(nèi)LBS服務(wù)

In-CarLBS車載4G熱點(diǎn)

Onboard4GWIFI預(yù)測(cè)性保養(yǎng)提醒

ProactiveReminder汽車延保

ExtendedWarranty預(yù)測(cè)性維修提醒

ProactiveReminder遠(yuǎn)程在線升級(jí)

OTAUpgrade車隊(duì)管理

FleetMgmt.汽車共享

CarSharing車況分析報(bào)告

AssessReport二手車聯(lián)合鑒定

UnitedAssessment消費(fèi)者畫像

UserPortrait新車銷售線索

SalesLeeds客制化服務(wù)

Customization產(chǎn)品規(guī)劃

Planning設(shè)計(jì)研發(fā)

R&D生產(chǎn)制造Production市場(chǎng)營(yíng)銷

Marketing售后保障AfterSales持續(xù)改進(jìn)KeepImprove新車銷售CarSales試駕TestDrive金融Finance維修Repair車生活I(lǐng)n-CarLife保險(xiǎn)Insurance保養(yǎng)

Maintain租賃Leasing二手車UsedCar安吉星大數(shù)據(jù)項(xiàng)目目標(biāo)與當(dāng)當(dāng)前的問(wèn)問(wèn)題目標(biāo)：主數(shù)據(jù)(數(shù)據(jù)質(zhì)質(zhì)量)的的升級(jí)主題模型型落地,保持?jǐn)?shù)數(shù)據(jù)一致致性提高運(yùn)維維的靈活活性應(yīng)用數(shù)據(jù)據(jù)緩存的的改造用空間換換時(shí)間的的方法保保護(hù)后臺(tái)臺(tái)核心應(yīng)應(yīng)用的正正常運(yùn)行行企業(yè)經(jīng)營(yíng)營(yíng)分析的的改造提高運(yùn)營(yíng)營(yíng)速度和和質(zhì)量,降低數(shù)數(shù)據(jù)開(kāi)發(fā)發(fā)成本新業(yè)務(wù)的的支持駕駛行為為分析燃油分析析二手車評(píng)評(píng)估車況鑒定定報(bào)告問(wèn)題：缺少數(shù)據(jù)據(jù)主題重復(fù)開(kāi)發(fā)發(fā)和浪費(fèi)費(fèi)成本數(shù)據(jù)質(zhì)量量不可控控?cái)?shù)據(jù)缺少少管控BI開(kāi)開(kāi)發(fā)成本本高,周周期長(zhǎng)缺少業(yè)務(wù)務(wù)分析平平臺(tái)車輛數(shù)據(jù)據(jù)采集能能力有限限業(yè)務(wù)數(shù)據(jù)據(jù)無(wú)法有有效支持持大數(shù)據(jù)平臺(tái)邏輯架構(gòu)報(bào)表/可視化數(shù)據(jù)集成成區(qū)批量數(shù)據(jù)據(jù)處理實(shí)時(shí)消息息隊(duì)列數(shù)據(jù)湖泊泊區(qū)機(jī)器學(xué)習(xí)習(xí)區(qū)NoSQL區(qū)流計(jì)算區(qū)區(qū)數(shù)據(jù)暫存存區(qū)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)區(qū)主題分析析區(qū)MobileDAAPVehicleLVDSTrafficProbeHA/HBOVDACR其它數(shù)據(jù)據(jù)源其它數(shù)據(jù)據(jù)源系統(tǒng)管理理數(shù)據(jù)管理理搜索引擎擎區(qū)數(shù)據(jù)交換換區(qū)數(shù)據(jù)源車輛行駛駛?cè)罩拒囕v行駛駛?cè)罩炯奔铀?、、加速日日志車載系統(tǒng)日志實(shí)時(shí)數(shù)據(jù)據(jù)計(jì)算36駕駛行為為評(píng)分37第1步：建模變量的選擇從所有變量中，選取建模選定的變量

第2步：衍生建模變量計(jì)算基于TP類別的變量，進(jìn)行用戶駕駛風(fēng)險(xiǎn)的初步計(jì)算第3步：用戶出險(xiǎn)概率計(jì)算基于第2步計(jì)算結(jié)果，結(jié)合HAHB類別變量，進(jìn)行用戶出險(xiǎn)概率的計(jì)算第4步：駕駛風(fēng)險(xiǎn)評(píng)分計(jì)算將出險(xiǎn)概率，轉(zhuǎn)化為對(duì)應(yīng)的駕駛風(fēng)險(xiǎn)評(píng)分第5步：駕駛行為評(píng)分計(jì)算將駕駛風(fēng)險(xiǎn)評(píng)分，轉(zhuǎn)化為對(duì)應(yīng)的駕駛行為評(píng)分駕駛行為為評(píng)分—閾值計(jì)算算通過(guò)機(jī)器器學(xué)習(xí)算算法，實(shí)實(shí)時(shí)的將將所有用用戶數(shù)據(jù)據(jù)代入駕駕駛風(fēng)險(xiǎn)險(xiǎn)概率模模型，動(dòng)動(dòng)態(tài)計(jì)算算相關(guān)閾閾值Setresponsevariable=uncomfortablemaneuverSetpredictorvariable=acceleration,speed,turnsCalculatethescore38駕駛行為為評(píng)分用車軌跡跡--用戶畫像像When何時(shí)Where何地Who是誰(shuí)What做什么上班族Commuter商務(wù)人士士BizMan家庭主婦婦Housewife夜晚活動(dòng)動(dòng)族NightOwls用車軌跡跡–交叉銷售售售后維修修保養(yǎng)機(jī)機(jī)會(huì)點(diǎn)OpportunitiesforA/SMaintenance新車銷售售機(jī)會(huì)點(diǎn)點(diǎn)OpportunitiesforNewCarSalesMaintenanceOpportunities車況報(bào)告告車況報(bào)告告44案例分享智能生產(chǎn)預(yù)預(yù)測(cè)項(xiàng)目背景項(xiàng)目背景隨著業(yè)務(wù)的的不斷發(fā)展展，生產(chǎn)線線不斷擴(kuò)張張，不同生生產(chǎn)線、不不同機(jī)臺(tái)、、不同工序序所產(chǎn)生的的玻璃面板板壞點(diǎn)數(shù)量量參差不起起，良品率率總體呈現(xiàn)現(xiàn)下降趨勢(shì)勢(shì)。為了提提高玻璃面面板的良品品率，不斷斷優(yōu)化工藝藝流程，提提升產(chǎn)品質(zhì)質(zhì)量，決定定建立數(shù)據(jù)據(jù)分析平臺(tái)臺(tái)，來(lái)預(yù)測(cè)測(cè)壞點(diǎn)產(chǎn)生生跟生產(chǎn)流流程上的哪哪些因素有有關(guān)，來(lái)做做有正對(duì)性性的改進(jìn)。。項(xiàng)目實(shí)施收集生產(chǎn)Glass過(guò)程當(dāng)中所所有相關(guān)的的因子信息息，通過(guò)Dataflow工具對(duì)品質(zhì)質(zhì)異常的玻玻璃數(shù)據(jù)進(jìn)進(jìn)行regression、correlation挖掘算法分分析，計(jì)算算各因子與與產(chǎn)品異常常之間的影影響關(guān)系。。同時(shí)針對(duì)對(duì)正常品質(zhì)質(zhì)玻璃也做做因子分析析，計(jì)算得得出正常品品質(zhì)下各因因子的正常常范圍值，，從而可以以快速判定定超出范圍圍的為異常常值。品質(zhì)異常因因子分析抽取源系統(tǒng)統(tǒng)數(shù)據(jù)并通通過(guò)數(shù)據(jù)的的業(yè)務(wù)邏輯輯進(jìn)行數(shù)據(jù)據(jù)關(guān)聯(lián)進(jìn)行行數(shù)據(jù)準(zhǔn)備備，然后通過(guò)數(shù)數(shù)據(jù)挖掘算算法進(jìn)行correlation、regression兩類數(shù)據(jù)挖挖掘，并將將挖掘結(jié)果果寫寫到到HDFS文件件系系統(tǒng)統(tǒng)中中。。通過(guò)過(guò)針針對(duì)對(duì)defect_count、recipe、TC_C1_EV因子子，，經(jīng)經(jīng)過(guò)過(guò)regression算法法，，從從測(cè)測(cè)試試數(shù)數(shù)據(jù)據(jù)中中挖挖掘掘出出defect_count預(yù)測(cè)測(cè)數(shù)據(jù)據(jù)數(shù)據(jù)據(jù)分分析析過(guò)過(guò)程程通過(guò)過(guò)針針對(duì)對(duì)不不同同Product_ID下下，，defect_count因因子子和和TC_PRESSS、、TC_IP1_PRESS、、TC_IP2_PRESS，車車臺(tái)臺(tái)溫溫度度等因子，經(jīng)過(guò)correlation算法法，從測(cè)試數(shù)據(jù)中中挖掘出相關(guān)關(guān)性數(shù)據(jù)注：挖掘數(shù)據(jù)據(jù)位于測(cè)試中中轉(zhuǎn)機(jī)I:\To_Andy\correlation.txt、、I:\To_Andy\regression.txt關(guān)聯(lián)預(yù)測(cè)準(zhǔn)確確度（越靠近中線線，預(yù)測(cè)偏差差越小）線性回歸分析析異常點(diǎn)部分需需要進(jìn)一步分分析分析結(jié)果基于目前的數(shù)據(jù)，從correlation挖掘結(jié)果數(shù)據(jù)中可以看到如下結(jié)果例如TA546A5ABC00這款產(chǎn)品，較其他產(chǎn)品，defect_count和TC_PRESS等壓力參數(shù)因子的相關(guān)性更低，跟車臺(tái)溫度相關(guān)性較高例如TB546A6ABC00這款產(chǎn)品，較其他產(chǎn)品，defect_count和TC_PRESS等壓力參數(shù)因子的相關(guān)性更高，說(shuō)明壓力參數(shù)對(duì)這款產(chǎn)品的defect數(shù)量有較大影響；其中TC_IP2_PRESS因子的較其他因子的影響更大基于目前的數(shù)據(jù)，由regression模型通過(guò)參數(shù)因子預(yù)測(cè)defect數(shù)量，比對(duì)原來(lái)的數(shù)量，可以看到如下結(jié)果當(dāng)原defect_count較大時(shí)，預(yù)測(cè)的defect_count也較大?？梢钥闯瞿Ｐ皖A(yù)測(cè)趨勢(shì)與實(shí)際情況吻合隨著數(shù)據(jù)和因子數(shù)量的增加，模型會(huì)更加穩(wěn)定和成熟。那時(shí)將新的參數(shù)因子數(shù)據(jù)傳遞給模型，作出更加準(zhǔn)確的預(yù)測(cè)51案例分分享傳統(tǒng)數(shù)數(shù)倉(cāng)轉(zhuǎn)轉(zhuǎn)大數(shù)數(shù)據(jù)項(xiàng)目背背景使用傳傳統(tǒng)的的標(biāo)準(zhǔn)準(zhǔn)數(shù)倉(cāng)倉(cāng)建模模，分分ODS、DW、DM及DMAETL主要通通過(guò)存存儲(chǔ)過(guò)過(guò)程實(shí)實(shí)現(xiàn)存儲(chǔ)過(guò)過(guò)程數(shù)數(shù)據(jù)加加工較較多的的使用用臨時(shí)時(shí)表、、中間間表使用傳傳統(tǒng)交交易型型DBMSORACLE作為數(shù)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)平平臺(tái)前端通通過(guò)刷刷CUBE提升報(bào)報(bào)表查查詢速速度支撐撐報(bào)報(bào)表表數(shù)數(shù)量量：：目目前前150左右右每日日增量量更更新新時(shí)時(shí)長(zhǎng)長(zhǎng)：：1：00－12：50存在在的的問(wèn)問(wèn)題題數(shù)據(jù)據(jù)冗冗余余比比較較嚴(yán)嚴(yán)重重臨時(shí)時(shí)表表、、中中間間表表使使用用過(guò)過(guò)多多，，對(duì)對(duì)內(nèi)內(nèi)存存及及磁磁盤盤IO壓力力較較大大層與與層層之之間間調(diào)調(diào)度度依依賴賴嚴(yán)嚴(yán)格格數(shù)據(jù)據(jù)加加工工性性能能不不足足數(shù)據(jù)據(jù)查查詢?cè)冃孕阅苣懿徊蛔阕愀卟⒉l(fā)發(fā)查查詢?cè)冃孕阅苣芟孪陆到祰?yán)嚴(yán)重重并發(fā)發(fā)的的計(jì)計(jì)算算架架構(gòu)構(gòu)54SQL(JDBC/ODBC/.Net)JAVA/C/…API加載入分布式存存儲(chǔ)SQLonHadoop加載入