大智慧(如何把握和應(yīng)對(duì)大數(shù)據(jù)的機(jī)遇與挑戰(zhàn))v1.0

徐宗本郵箱：zbxu@主頁(yè)：1大數(shù)據(jù)·大智慧—如何把握和應(yīng)對(duì)大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)引子2中共中央十八屆五中全會(huì)確定：實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略國(guó)務(wù)院通過(guò)：《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》對(duì)大數(shù)據(jù)的意義、價(jià)值與作用的深刻認(rèn)識(shí)，準(zhǔn)確把握、意義深遠(yuǎn)第一部分理性認(rèn)識(shí)數(shù)據(jù)第二部分準(zhǔn)確把握機(jī)遇第三部分科學(xué)應(yīng)對(duì)挑戰(zhàn)目錄3理性認(rèn)識(shí)大數(shù)據(jù)：數(shù)據(jù)與大數(shù)據(jù)4資料：社會(huì)經(jīng)濟(jì)生活的片斷紀(jì)錄、過(guò)程的監(jiān)控、

經(jīng)驗(yàn)的累積、……數(shù)據(jù):以編碼形式存在的信息載體，是資料的數(shù)字化形式。大數(shù)據(jù)：大而復(fù)雜（形式多樣、快速多變、分布存儲(chǔ)）的數(shù)據(jù)集。記錄文件報(bào)告表格視頻圖片歌曲 ZB（1021）,EB（1018）,PB（1015）, TB（1012）,GB（109）,MB（106）資料的常見(jiàn)形式理性認(rèn)識(shí)大數(shù)據(jù)：關(guān)于大數(shù)據(jù)的“大”5“大”是一個(gè)相對(duì)的概念反映真實(shí)世界的數(shù)據(jù)（碎片）其量己達(dá)到可以從一定程度上反映其真實(shí)面貌的程度。大數(shù)據(jù)（量變

質(zhì)變）理性認(rèn)識(shí)大數(shù)據(jù)：大數(shù)據(jù)的價(jià)值6大數(shù)據(jù)技術(shù)提供社會(huì)科學(xué)的方法論:實(shí)現(xiàn)基于數(shù)據(jù)的決策，支持管理科學(xué)與實(shí)踐的革命決策支持、政策評(píng)估、風(fēng)險(xiǎn)評(píng)估、事件預(yù)測(cè)提供科學(xué)研究的新范式:支持基于數(shù)據(jù)的科學(xué)發(fā)現(xiàn)互聯(lián)網(wǎng)產(chǎn)業(yè)、云服務(wù)產(chǎn)業(yè)、電商／電玩產(chǎn)業(yè)、數(shù)據(jù)服務(wù)產(chǎn)業(yè)實(shí)驗(yàn)—>理論—>模擬(計(jì)算)—>數(shù)據(jù)智慧電網(wǎng)、智慧醫(yī)療、智慧交通、智慧教育、電子政務(wù)/商務(wù)／管制形成高新科技的新領(lǐng)域:推動(dòng)行業(yè)深化發(fā)展并形成大數(shù)據(jù)產(chǎn)業(yè)形成社會(huì)進(jìn)步的新引擎:深刻改變?nèi)藗兊乃季S、生產(chǎn)、生活方式,推動(dòng)社會(huì)進(jìn)步理性認(rèn)識(shí)大數(shù)據(jù)：大數(shù)據(jù)的意義7新一輪信息技術(shù)革命（物大云移）物聯(lián)網(wǎng)（交互方式）大數(shù)據(jù)（交互內(nèi)容）互聯(lián)網(wǎng)、云計(jì)算（基礎(chǔ)設(shè)施）移動(dòng)計(jì)算（應(yīng)用模式）大數(shù)據(jù)技術(shù)是解決眾多國(guó)家重大現(xiàn)實(shí)需求問(wèn)題的共性基礎(chǔ)；是一個(gè)國(guó)家創(chuàng)新能力的核心要素及核心競(jìng)爭(zhēng)力指標(biāo)之一：它能幫助人們從大數(shù)據(jù)中發(fā)現(xiàn)新知識(shí)，創(chuàng)造新價(jià)值，形成新理念，因而是認(rèn)知世界與改造世界的能力；是國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展的核心驅(qū)動(dòng)力?；A(chǔ)性內(nèi)蘊(yùn)性普適性第一部分理性認(rèn)識(shí)數(shù)據(jù)第二部分準(zhǔn)確把握機(jī)遇第三部分科學(xué)應(yīng)對(duì)挑戰(zhàn)目錄8準(zhǔn)確把握機(jī)遇：管理創(chuàng)新機(jī)遇9大數(shù)據(jù)是一個(gè)歷史性的機(jī)遇，人們?nèi)缃窨梢允褂脴O為豐富的數(shù)據(jù)資源來(lái)對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分析,幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行?！?lián)合國(guó)2012年行動(dòng)計(jì)劃報(bào)告市場(chǎng)分析與精準(zhǔn)營(yíng)銷輿情分析（社會(huì)、商業(yè)等）政策分析與評(píng)估金融風(fēng)險(xiǎn)分析和監(jiān)控工業(yè)系統(tǒng)智能控制公共安全監(jiān)控與治理產(chǎn)業(yè)與經(jīng)濟(jì)形勢(shì)評(píng)估管理問(wèn)題難以有普適方法論，決策問(wèn)題一般難以精確建模分析，直接從大數(shù)據(jù)獲取知識(shí)，為管理與決策科學(xué)研究提供了歷史性的機(jī)遇。準(zhǔn)確把握機(jī)遇：產(chǎn)業(yè)發(fā)展機(jī)遇10數(shù)據(jù)采集產(chǎn)業(yè)（開(kāi)發(fā)智能終端，例如智能電表）數(shù)據(jù)管理產(chǎn)業(yè)（如標(biāo)準(zhǔn)、整合、處理、定價(jià)、交易）數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)（如數(shù)據(jù)中心、云存儲(chǔ)）數(shù)據(jù)分析產(chǎn)業(yè)（如大數(shù)據(jù)算法、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)）數(shù)據(jù)服務(wù)產(chǎn)業(yè)（結(jié)合領(lǐng)域的數(shù)據(jù)服務(wù)產(chǎn)品）開(kāi)發(fā)應(yīng)用好大數(shù)據(jù)這一基礎(chǔ)性戰(zhàn)略資源，有利于推動(dòng)大眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新，改造升級(jí)傳統(tǒng)產(chǎn)業(yè)，培育經(jīng)濟(jì)發(fā)展新引擎和國(guó)際競(jìng)爭(zhēng)新優(yōu)勢(shì)。

——國(guó)務(wù)院《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》大數(shù)據(jù)技術(shù)是基礎(chǔ)性、內(nèi)蘊(yùn)性和普適性的技術(shù)，是解決眾多國(guó)家重大現(xiàn)實(shí)需求問(wèn)題的共性基礎(chǔ)，能夠?yàn)楫a(chǎn)業(yè)的不斷升級(jí)提供助力。準(zhǔn)確把握機(jī)遇：科學(xué)研究機(jī)遇11數(shù)據(jù)收集、處理與分析能力的提升，將顯著提升人們對(duì)客觀世界的洞察的深度和可程序化探究問(wèn)題的廣度。

數(shù)據(jù)積累+計(jì)算能力的提升->基于不精確模型（或較少依賴模型）來(lái)直接從大數(shù)據(jù)中獲取知識(shí)成為可能；分析出價(jià)值多半得益于：量的積累，數(shù)據(jù)的跨界使用，處理與計(jì)算能力的提升?！耙源髷?shù)據(jù)為中心”的新興管理與決策新理論與新范式；社會(huì)科學(xué)方法學(xué)；材料基因組學(xué)；基于大數(shù)據(jù)的科學(xué)發(fā)現(xiàn)（天文、物理、物質(zhì)等）；準(zhǔn)確把握機(jī)遇：學(xué)科發(fā)展機(jī)遇12統(tǒng)計(jì)學(xué)面臨革命，融合數(shù)據(jù)、計(jì)算、信息與數(shù)學(xué)的數(shù)據(jù)科學(xué)正日益形成；數(shù)據(jù)科學(xué)與人文社會(huì)科學(xué)、管理科學(xué)等學(xué)科的深度交叉與融合，將徹底打破和革新學(xué)科領(lǐng)域；“解讀大數(shù)據(jù)是時(shí)代任務(wù)”將深刻改變和影響所有其它學(xué)，這一改變將對(duì)大學(xué)的學(xué)科設(shè)置和人才培養(yǎng)產(chǎn)生重大影響，為大學(xué)培養(yǎng)適應(yīng)國(guó)家創(chuàng)新發(fā)展所需要的人才提供機(jī)遇；統(tǒng)計(jì)學(xué)；數(shù)學(xué)；計(jì)算機(jī)科學(xué)；管理科學(xué)；經(jīng)濟(jì)金融學(xué)；工程科學(xué)；第一部分理性認(rèn)識(shí)數(shù)據(jù)第二部分準(zhǔn)確把握機(jī)遇第三部分科學(xué)應(yīng)對(duì)挑戰(zhàn)目錄13科學(xué)應(yīng)對(duì)挑戰(zhàn)：核心挑戰(zhàn)在哪？14目的目的推斷抽樣數(shù)據(jù)（獨(dú)立同分布）以n→∞（估計(jì)分布、極限定理）為基礎(chǔ)經(jīng)典統(tǒng)計(jì)方法推斷大數(shù)據(jù)分析方法傳統(tǒng)的統(tǒng)計(jì)方法預(yù)期的大數(shù)據(jù)方法直接分析（數(shù)據(jù)量巨大、計(jì)算能力超強(qiáng)使變得可能）大數(shù)據(jù)（自然產(chǎn)生，不滿足獨(dú)立同分布）基礎(chǔ)在哪？算法是什么？合理性在哪？從統(tǒng)計(jì)學(xué)談起15分析目標(biāo)的改變數(shù)據(jù)特征的改變中小規(guī)模、固定尺寸、非時(shí)變、單一結(jié)構(gòu)、集中存儲(chǔ)超大規(guī)模、分布存儲(chǔ)或數(shù)據(jù)源、流數(shù)據(jù)、超高維、異構(gòu)等；尋找統(tǒng)計(jì)規(guī)律，因果分析為主關(guān)聯(lián)性分析，支持智能決策樣本等于母體？相關(guān)性能替代因果性？查詢將替代推斷？大數(shù)據(jù)可代替理論？BigData

orBigMistake？---Financialtimes,2014---Science,2014認(rèn)識(shí)論上的困惑（從數(shù)據(jù)到模式、從模式到知識(shí)、從知識(shí)到?jīng)Q策每一個(gè)階段都需要猜想、假設(shè)和理論的支撐）！認(rèn)識(shí)論上的困惑科學(xué)應(yīng)對(duì)挑戰(zhàn)：核心挑戰(zhàn)在哪？16方法論上的沖擊科學(xué)應(yīng)對(duì)挑戰(zhàn)：核心挑戰(zhàn)在哪？方法論上的沖擊分析基礎(chǔ)被破壞（統(tǒng)計(jì)學(xué)基礎(chǔ)、計(jì)算理論基礎(chǔ)、邏輯基礎(chǔ)等）計(jì)算模式受拷問(wèn)（異構(gòu)環(huán)境下的多粒度分布并行計(jì)算）處理算法不可用（必須采用新計(jì)算模式，形成新方法論）真?zhèn)胃与y以判定（基礎(chǔ)不牢，地動(dòng)山搖?。┆?dú)立同分布被破壞大數(shù)定理和中心極限定理的條件（樣本數(shù)>>維數(shù)）—D.Lazer,etal.,TheParableofGoogleFlu:TrapsinBigDataAnalysis,Science,2014GoogleFluTrends:大量誤報(bào)流感爆發(fā)規(guī)模。(Estimatinghigh100outof108weeks)P值檢驗(yàn)的基礎(chǔ)被破壞StaticallyHypothesisInferenceTesting(SHIT!).對(duì)于一大類問(wèn)題應(yīng)用，P=0.01導(dǎo)致11%的誤報(bào)率；

而P=0.05導(dǎo)致29%的誤報(bào)率！—R.Nuzzo,StatisticalErrors,Nature,2014挑戰(zhàn)一挑戰(zhàn)二挑戰(zhàn)三分析基礎(chǔ)被破壞計(jì)算模式需革新決策應(yīng)用缺基礎(chǔ)科學(xué)應(yīng)對(duì)挑戰(zhàn)：重建分析基礎(chǔ)17應(yīng)對(duì)一（重建分析基礎(chǔ)）統(tǒng)計(jì)學(xué)基礎(chǔ)被破壞(Nature,2014)計(jì)算理論必須重建對(duì)大數(shù)據(jù)計(jì)算如何定義可解？對(duì)大數(shù)據(jù)計(jì)算如何區(qū)別難和易？對(duì)大數(shù)據(jù)如何度量計(jì)算復(fù)雜性?

(時(shí)間十存儲(chǔ)十通訊十能耗?)基于線性的相關(guān)性不再能完全刻畫隨機(jī)變量之間的相關(guān)；破壞表示基底的無(wú)關(guān)性假設(shè)破壞建模f(x,y,z)中對(duì)x,y,z的獨(dú)立性假設(shè)！數(shù)據(jù)可能隨時(shí)間變化（）,具有了生命周期且活性發(fā)生變化，分析結(jié)果（如聚類Cluster()）對(duì)t具有某種穩(wěn)定性嗎？目標(biāo)一科學(xué)問(wèn)題一大數(shù)據(jù)分析與處理的統(tǒng)計(jì)學(xué)與計(jì)算基礎(chǔ)

在大數(shù)據(jù)分析與處理的統(tǒng)計(jì)學(xué)與計(jì)算基礎(chǔ)方面取得突破性進(jìn)展，建立起若干新的理論，推動(dòng)形成數(shù)據(jù)科學(xué)的基礎(chǔ)理論體系。以線性回歸為例,中對(duì)于高維未必總是成立（原因：高維時(shí)

難保證

與X中某些分量不相關(guān)；或者在線性相關(guān)的意義下，所選變量X無(wú)法完全刻畫響應(yīng)）

變量選擇與預(yù)測(cè)失效！破壞p/n->0的假設(shè)（典型例子：DNA的維度p=30億堿基對(duì)，樣本個(gè)數(shù)n=病人數(shù)，顯然p/n為很大的數(shù)，并不趨于0?。?/p>

大數(shù)定律和中心極限定理不再成立！科學(xué)應(yīng)對(duì)挑戰(zhàn)：創(chuàng)新計(jì)算模式/計(jì)算方法18應(yīng)對(duì)二（創(chuàng)新計(jì)算模式/方法）環(huán)境：?jiǎn)我唤Y(jié)構(gòu)（CPU，MIC）

混合結(jié)構(gòu)（CPU＋GPU＋MIC共存協(xié)作計(jì)算）程序：串行程序設(shè)計(jì)

MPI并行

多粒度異構(gòu)分布并行模式1：計(jì)算密集型

數(shù)據(jù)密集型

混合型（計(jì)算密集型＋數(shù)據(jù)密集型）模式2：傳統(tǒng)并行

分布式并行計(jì)算模式更新傳統(tǒng)算法失效分布式計(jì)算可行嗎？解什么時(shí)候可組裝？流數(shù)據(jù)如何高效處理？隨機(jī)計(jì)算高效嗎？

異構(gòu)并行可靠嗎？（大數(shù)據(jù)基礎(chǔ)算法）基于Hadoop的處理可行嗎？所出現(xiàn)的幾個(gè)算法并沒(méi)有理論上的可行性支持！X1X2X3……Xn隨機(jī)機(jī)制D1DkDm….….聚合機(jī)制目標(biāo)二科學(xué)問(wèn)題二大數(shù)據(jù)分析與處理的新型計(jì)算模式與高效算法

提出適應(yīng)異構(gòu)計(jì)算環(huán)境下多粒度分布并行計(jì)算模式的系列高效算法（大數(shù)據(jù)算法），形成大數(shù)據(jù)處理的領(lǐng)先核心技術(shù)?？茖W(xué)應(yīng)對(duì)挑戰(zhàn)：建立真?zhèn)涡耘卸?zhǔn)則19目標(biāo)三科學(xué)問(wèn)題三應(yīng)對(duì)三（建立真?zhèn)涡耘卸?zhǔn)則）面向典型領(lǐng)域的基于大數(shù)據(jù)的科學(xué)發(fā)現(xiàn)及其方法論依據(jù)

在國(guó)家重大需求的若干典型領(lǐng)域，形成大數(shù)據(jù)分析與處理的行業(yè)核心技術(shù)，促進(jìn)相應(yīng)領(lǐng)域科學(xué)發(fā)現(xiàn)新模式的形成，推動(dòng)各行各業(yè)利用大數(shù)據(jù)的能力與水平。大數(shù)據(jù)行業(yè)應(yīng)用需求旺盛，但缺乏有效的共性技術(shù)支撐與理論指導(dǎo)；基于大數(shù)據(jù)的科學(xué)發(fā)現(xiàn)（所謂的第四范式）仍缺乏有效的方法論支撐與理論基礎(chǔ)；基于大數(shù)據(jù)的科學(xué)發(fā)現(xiàn)真?zhèn)涡耘卸ǜ永щy決策分析少基礎(chǔ)（FinancialTimes，14）以查詢、簡(jiǎn)單模型為基礎(chǔ)的大數(shù)據(jù)決策方式其邏輯基礎(chǔ)何在？如何評(píng)價(jià)其有效性、可靠性？行業(yè)應(yīng)用缺支撐科學(xué)應(yīng)對(duì)挑戰(zhàn)：典型進(jìn)展20以壓縮感知為代表的處理高維數(shù)據(jù)的稀疏性理論與方法（壓縮感知及其發(fā)展）以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法(尤其對(duì)于圖像大數(shù)據(jù))以經(jīng)驗(yàn)級(jí)聯(lián)貝葉斯(EHB)與正則化貝葉斯方法為代表的結(jié)構(gòu)發(fā)現(xiàn)方法與推理方法以hadoop、spark、Petuum為代表的分布式計(jì)算架構(gòu)與編程模型以排序與搜索、排序?qū)W習(xí)、參數(shù)服務(wù)器等為基礎(chǔ)的互聯(lián)網(wǎng)應(yīng)用實(shí)現(xiàn)全球首部稀疏微波成像驗(yàn)證性原理樣機(jī)深度網(wǎng)絡(luò)對(duì)于上述挑戰(zhàn)性問(wèn)題，近年來(lái)科學(xué)界與產(chǎn)業(yè)界都開(kāi)展了廣泛的探索與實(shí)踐，取得一批令人振奮的結(jié)果。

科學(xué)應(yīng)對(duì)挑戰(zhàn)：我們的工作21謠言比真理多、科學(xué)內(nèi)涵的探討少、局部有進(jìn)展（偏重架構(gòu)、應(yīng)用與實(shí)踐方面探索），但缺少對(duì)科學(xué)問(wèn)題的系統(tǒng)研究。核心基礎(chǔ)和共性技術(shù)尚未建立起來(lái)。國(guó)內(nèi)外處于同一水平。高維數(shù)據(jù)的稀疏處理（L1/2理論、高階壓縮感知、非線性壓縮感知）大數(shù)據(jù)算法（線性方程組問(wèn)題、廣義多體問(wèn)題、機(jī)器學(xué)習(xí)問(wèn)題）非結(jié)構(gòu)化信息處理科學(xué)應(yīng)對(duì)挑戰(zhàn)：國(guó)家大數(shù)據(jù)戰(zhàn)略22聚焦大數(shù)據(jù)分析與處理的核心基