空間大數(shù)據(jù)和無線網(wǎng)絡(luò)

空間大數(shù)據(jù)和無線網(wǎng)絡(luò)第一頁，共39頁。第二頁，共39頁。大數(shù)據(jù)（bigdata）宏觀上大數(shù)據(jù)即指海量的數(shù)據(jù);從微觀上定義,大數(shù)據(jù)是指需要通過快速獲取、處理、分析以從中提取有價(jià)值的海量、多樣化的交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)等數(shù)據(jù),主要特征包括：海量(volume)、類型繁多(variaty)、增長(zhǎng)迅速(velocity)、價(jià)值巨大(value)等第三頁，共39頁。移動(dòng)大數(shù)據(jù)的主要特征海量數(shù)據(jù)思科預(yù)測(cè)全球數(shù)據(jù)流量截止到2013年底,智能手機(jī)的數(shù)量?jī)H占全球在用手機(jī)總量的27%,但其產(chǎn)生的流量占全球手機(jī)總流量的95%(每部智能手機(jī)的移動(dòng)數(shù)據(jù)流量為529MB/月).第四頁，共39頁。業(yè)務(wù)類型演進(jìn)

傳統(tǒng)無線通信網(wǎng)在通信機(jī)制、互聯(lián)互通規(guī)則等方面與互聯(lián)網(wǎng)有完全不同的設(shè)計(jì)理念,難以適應(yīng)新業(yè)務(wù)的需求.第五頁，共39頁。數(shù)據(jù)多樣化

移動(dòng)數(shù)據(jù)類型更加繁多,包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)，簡(jiǎn)單來說就是數(shù)據(jù)庫。結(jié)合到典型場(chǎng)景中更容易理解，比如企業(yè)ERP、財(cái)務(wù)系統(tǒng)；醫(yī)療HIS數(shù)據(jù)庫；教育一卡通；政府行政審批；其他核心數(shù)據(jù)庫等。這些應(yīng)用需要哪些存儲(chǔ)方案呢？基本包括高速存儲(chǔ)應(yīng)用需求、數(shù)據(jù)備份需求、數(shù)據(jù)共享需求以及數(shù)據(jù)容災(zāi)需求。

非結(jié)構(gòu)化數(shù)據(jù)，包括視頻、音頻、圖片、圖像、文檔、文本等形式。具體到典型案例中，像是醫(yī)療影像系統(tǒng)、教育視頻點(diǎn)播、視頻監(jiān)控、國(guó)土GIS、設(shè)計(jì)院、文件服務(wù)器（PDM/FTP）、媒體資源管理等具體應(yīng)用，這些行業(yè)對(duì)于存儲(chǔ)需求包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)備份以及數(shù)據(jù)共享等。

半結(jié)構(gòu)化數(shù)據(jù)，包括郵件、HTML、報(bào)表、資源庫等等，典型場(chǎng)景如郵件系統(tǒng)、WEB集群、教學(xué)資源庫、數(shù)據(jù)挖掘系統(tǒng)、檔案系統(tǒng)等等。這些應(yīng)用對(duì)于數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)備份、數(shù)據(jù)共享以及數(shù)據(jù)歸檔

等基本存儲(chǔ)需求。第六頁，共39頁。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，特別是Internet和Intranet技術(shù)的飛快發(fā)展，使得非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量日趨增大。這時(shí)，主要用于管理結(jié)構(gòu)化數(shù)據(jù)的關(guān)系數(shù)據(jù)庫的局限性暴露地越來越明顯。因而，數(shù)據(jù)庫技術(shù)相應(yīng)地進(jìn)入了“后關(guān)系數(shù)據(jù)庫時(shí)代”，發(fā)展進(jìn)入基于網(wǎng)絡(luò)應(yīng)用的非結(jié)構(gòu)化數(shù)據(jù)庫時(shí)代。所謂非結(jié)構(gòu)化數(shù)據(jù)庫，是指數(shù)據(jù)庫的變長(zhǎng)紀(jì)錄由若干不可重復(fù)和可重復(fù)的字段組成，而每個(gè)字段又可由若干不可重復(fù)和可重復(fù)的子字段組成。簡(jiǎn)單地說，非結(jié)構(gòu)化數(shù)據(jù)庫就是字段可變的數(shù)據(jù)庫。第七頁，共39頁。數(shù)據(jù)的空-時(shí)域大動(dòng)態(tài)變化第八頁，共39頁。傳統(tǒng)大數(shù)據(jù)處理關(guān)系型數(shù)據(jù)進(jìn)行關(guān)系發(fā)現(xiàn)、分類、預(yù)測(cè)等基于線性時(shí)間空間大數(shù)據(jù)處理

cubictime第九頁，共39頁。移動(dòng)大數(shù)據(jù)對(duì)無線網(wǎng)絡(luò)的挑戰(zhàn)網(wǎng)絡(luò)部署移動(dòng)數(shù)據(jù)流量和信令均呈非線性高速增長(zhǎng),給無線接入網(wǎng)絡(luò)帶來巨大壓力.smallcell作為一種全新的網(wǎng)絡(luò)架構(gòu)體系，其最主要的特點(diǎn)就是將無線接入部分包括射頻、基帶部分、高層協(xié)議處理全部小型化，為運(yùn)營(yíng)商的熱點(diǎn)覆蓋、盲區(qū)覆蓋提供了一種極為靈活的方式，這也順應(yīng)了LTE寬帶高吞吐量的精細(xì)覆蓋要求。第十頁，共39頁。嚴(yán)重的信號(hào)衰落及信號(hào)傳播通常在視距范圍內(nèi),使得室內(nèi)小區(qū)形狀呈現(xiàn)“準(zhǔn)”確定性和小區(qū)邊緣銳利化的特征,這對(duì)室內(nèi)網(wǎng)絡(luò)覆蓋規(guī)劃引入了難題.室內(nèi)節(jié)點(diǎn)的密集程度主要受建筑物布局的影響,若以最小化室內(nèi)無線節(jié)點(diǎn)為網(wǎng)絡(luò)規(guī)劃目標(biāo),銳利的小小區(qū)邊緣會(huì)使問題建模異常復(fù)雜.第十一頁，共39頁。資源管控?cái)?shù)據(jù)多樣化和流量空-時(shí)域大動(dòng)態(tài)變化給傳統(tǒng)資源管理體系帶來了新的難題.第十二頁，共39頁。數(shù)據(jù)安全性用戶隱私安全數(shù)據(jù)的訪問控制和可信度高能耗圖4網(wǎng)絡(luò)側(cè)能耗分布圖第十三頁，共39頁。thisarticleisstructuredasfollowsWegiveadetailedoverviewofthreeapplicationdomainsforbigdataprocessinginwirelessnetworkswebelievetobemostrelevantforthecomingdecadeWethendiscussthealgorithmicchallengesrelatedtotheseapplications,andtherelatedimplementationissues.Next,keyissuesforfutureresearcharediscussedbeforedrawingtheconclusions.第十四頁，共39頁。ApplicationScenariosforSpatialBigDataApplicationScenario1:ManagementofWirelessNetworksUsingBigDataApplicationScenario2:MassiveSensingandIoTApplicationsApplicationScenario3:SmartCitiesandNoisySpatialData第十五頁，共39頁。ApplicationScenario1:ManagementofWirelessNetworksUsingBigData

optimizenetworks,increasesecuritythroughanomalydetection,andprovideandenhanceapplicationbehavior,amongotherthings.howtofusethisdatainanoptimalmannerSpitaldataDatamining第十六頁，共39頁。theactualcoveragespatialestimatesbasedon10,000spatialestimatesbasedon27000Exampleofatypicalspatialestimationtaskinmanagementofwirelessnetworks.CurrentlyapproachesDetailedpropagationsimulationsDrivetestRoughestimateExpensiveinaccuraciesalternativeMobileterminals第十七頁，共39頁。ApplicationScenario2:MassiveSensingandIoTApplications

Emergingdataprocessingchallenges第十八頁，共39頁。ApplicationScenario3:SmartCitiesandNoisySpatialDatafirstchallengeisthatofrobustenoughprocessingofinformationinasufficientlyrapidmannertoenablerealtimecontrolapplications.Forexample:reroutingoftrafficflows,publictransportationscheduling,pollutionestimates,andnoiselevels第十九頁，共39頁。ApplicationScenario3:SmartCitiesandNoisySpatialDataThesecondchallengesistheneedtocross-correlatenumerousdatasourcesforobtainingthebestandmostrobustestimates.第二十頁，共39頁。UsingtheRightAlgorithmsOptimalityandRobustnessSelf-AwarenessofErrorsMatchwithComputationalInfrastructuresExtendibilitywithPriorandSideInformationControlledApproximations第二十一頁，共39頁。ScalableComputationalSolutions空間插值——空間插值常用于將離散點(diǎn)的測(cè)量數(shù)據(jù)轉(zhuǎn)換為連續(xù)的數(shù)據(jù)曲面，以便與其它空間現(xiàn)象的分布模式進(jìn)行比較，它包括了空間內(nèi)插和外推兩種算法?？臻g內(nèi)插算法：通過已知點(diǎn)的數(shù)據(jù)推求同一區(qū)域未知點(diǎn)數(shù)據(jù)?？臻g外推算法：通過已知區(qū)域的數(shù)據(jù)，推求其它區(qū)域數(shù)據(jù)。第二十二頁，共39頁。Kriging算法satisfiesthepropertiesdiscussedabove;thatis,providingoptimalandrobustspatialestimates,第二十三頁，共39頁。Kriging算法克里金法假定采樣點(diǎn)之間的距離或方向可以反映可用于說明表面變化的空間相關(guān)性?？死锝鸱üぞ呖蓪?shù)學(xué)函數(shù)與指定數(shù)量的點(diǎn)或指定半徑內(nèi)的所有點(diǎn)進(jìn)行擬合以確定每個(gè)位置的輸出值?？死锝鸱ㄊ且粋€(gè)多步過程；它包括數(shù)據(jù)的探索性統(tǒng)計(jì)分析、變異函數(shù)建模和創(chuàng)建表面，還包括研究方差表面。該方法通常用在土壤科學(xué)和地質(zhì)中。第二十四頁，共39頁。hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributed），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。第二十五頁，共39頁。mapreduceMapReduce本身就是用于并行處理大數(shù)據(jù)集的軟件框架。MapReduce的根源是函數(shù)性編程中的map和reduce函數(shù)。它由兩個(gè)可能包含有許多實(shí)例（許多Map和Reduce）的操作組成。Map函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個(gè)鍵/值對(duì)列表，輸入域中的每個(gè)元素對(duì)應(yīng)一個(gè)鍵/值對(duì)。Reduce函數(shù)接受Map函數(shù)生成的列表，然后根據(jù)它們的鍵（為每個(gè)鍵生成一個(gè)鍵/值對(duì)）縮小鍵/值對(duì)列表。第二十六頁，共39頁。ScalableComputationalSolutions第二十七頁，共39頁。ScalableComputationalSolutionstablesforstoringindividualsensorreadingsestimatesofaccuraciesofthesensorsusedunderlyingresourceHbaseHbaseestimationofvariousspatialstatisticsofinterest第二十八頁，共39頁。ScalableComputationalSolutionsThekeycomputations第二十九頁，共39頁。ScalableComputationalSolutionsKD-treek-d樹（k-dimensional樹的簡(jiǎn)稱），是一種分割k維數(shù)據(jù)空間的數(shù)據(jù)結(jié)構(gòu)。主要應(yīng)用于多維空間關(guān)鍵數(shù)據(jù)的搜索KD-treessignificantlyspeedingupthissearchandenablingahighdegreeofparallelismintheimplementationenabledbytheMapReducecomputationalmodel第三十頁，共39頁。Themodulelaunchesseveralmappersreadingthedatafromthedatasources,convertingthedataformatsasneeded,andwritingthemintoaspecificHBase.aconstructorandasearchfunctionaMapReduceprogramcomputingtheexperimentalsemivariogramThefittingisdoneusinganimplementationofanonlinearconjugategradientoptimizerrealizedintheAnalyticalSemivariogramMmodule.TheSpatialpredictionMmoduleisfinallyresponsibleforcomputingthespatialestimate.ItisalsoaMapReduceprogram第三十一頁，共39頁。第三十二頁，共39頁。computationalburdenofthesestepsthreeHadoopservers第三十三頁，共39頁。ResearchChallengesFoundationsmorescalablealgorithmsareneededincludinganomalydetection,systemidentificationandsimilarproblems,especiallyforspatio-temporalbigdata.第三十四頁，共39頁。DeploymentPlanningandHierarchicalNetworkDimensioninglarge-scaleWSNandIoTdeploymentscanresultinextremelylargedatastreamsHierarchicalcommunicationanddataprocessingsolutionsareneededtodealwithsuchvastquantitiesofdata,andplanningsuchdeploymentsjointlywiththedataprocessingframeworkisachallengingtask.Forexample,addingnewdatafusionandprocessingcentersevenwhennotstrictlyneededintermsofcomputationalpowercanincreasedeploymentcosts,butsimultaneouslysignificantlyimproverobustness(byremovingsinglepointsoffailure)andreducelatency.第三十五頁，共39頁。SoftwareFrameworksandImplementationLanguagesMoreandmoredifferentcomputationalmo