大數(shù)據(jù)與統(tǒng)計(jì)講述

1、1大 數(shù) 據(jù) 與 統(tǒng) 計(jì)張芃國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)資料管理中心2大數(shù)據(jù)與統(tǒng)計(jì)3大數(shù)據(jù)來(lái)了 聯(lián)合國(guó)： 2012年，大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇 OECD研究報(bào)告：使用大數(shù)據(jù)做決策 美國(guó) 2010年：規(guī)劃數(shù)字化的未來(lái) 2012年： Big Data is a Big Deal 2013年：實(shí)現(xiàn)政府信息公開化和機(jī)器可讀化總統(tǒng)令 中國(guó) 2012年：中國(guó)通信學(xué)會(huì)大數(shù)據(jù)專家委員會(huì) 大數(shù)據(jù)發(fā)展戰(zhàn)略4什么是大數(shù)據(jù)從技術(shù)角度看：1KB:2101MB:2201GB:2301TB:2401PB:2501EB:2601ZB:2701YB:2801BB:2905從概念看： 維基百科：“大數(shù)據(jù)”是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)

2、成的數(shù)據(jù)集合， 是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的整合共享、 交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力。 特點(diǎn)：6個(gè)V Volume：數(shù)據(jù)量大 Variety： 數(shù)據(jù)類型多 Velocity：處理速度快 Value：應(yīng)用價(jià)值大 Vender：獲取與發(fā)送的方式自由靈活 Veracity：真實(shí)準(zhǔn)確性 大數(shù)據(jù)是對(duì)海量信息進(jìn)行分析，從而收集有價(jià)值的見解、發(fā)現(xiàn)規(guī)律和預(yù)言復(fù)雜問題答案的技巧與科學(xué)。7從特征看： 樣本=總體 接受不精確 相關(guān)關(guān)系更重要8對(duì)中國(guó)統(tǒng)計(jì)而言，大數(shù)據(jù)并不新鮮 所謂“大數(shù)據(jù)”不過是 全面統(tǒng)計(jì)的理念與方法在信息化時(shí)代的升華 是成熟了的電子商務(wù)與數(shù)據(jù)挖掘技術(shù)相結(jié)合的產(chǎn)物 是統(tǒng)計(jì)分析與

3、預(yù)測(cè)在電子化、信息化、網(wǎng)絡(luò)化社會(huì)的新實(shí)踐9大數(shù)據(jù)的價(jià)值 對(duì)大數(shù)據(jù)的掌握程度可以轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值的來(lái)源 大數(shù)據(jù)時(shí)代已經(jīng)撼動(dòng)了世界的方方面面 核心思想：用規(guī)模劇增來(lái)改變現(xiàn)狀10為什么會(huì)出現(xiàn)大數(shù)據(jù) 計(jì)算機(jī)技術(shù)提高 數(shù)據(jù)采集自動(dòng)化 數(shù)據(jù)存儲(chǔ)能力倍增 以計(jì)算機(jī)技術(shù)為基礎(chǔ)的 數(shù)據(jù)應(yīng)用進(jìn)程的歷史推動(dòng)11翱翔翱翔化蝶化蝶破繭破繭結(jié)蛹結(jié)蛹蠶動(dòng)蠶動(dòng)起源起源數(shù)據(jù)應(yīng)用的前世今生數(shù)據(jù)應(yīng)用的前世今生12起源起源從數(shù)據(jù)到知識(shí)的挑戰(zhàn)和跨越從數(shù)據(jù)到知識(shí)的挑戰(zhàn)和跨越1946年人類歷史上第一臺(tái)電子計(jì)算機(jī)在美國(guó)費(fèi)城問世。計(jì)算機(jī)的主要設(shè)計(jì)者馮諾依曼被后世稱為“計(jì)算機(jī)之父”。馮諾依曼13從數(shù)據(jù)到知識(shí)的挑戰(zhàn)和跨越從數(shù)據(jù)到知識(shí)的挑戰(zhàn)和跨越赫伯

4、特西蒙1947年卡內(nèi)基梅隆大學(xué)的赫伯特西蒙開始研究決策支持系統(tǒng)，這是現(xiàn)代數(shù)據(jù)應(yīng)用概念最早的起源和起點(diǎn)。14結(jié)蛹結(jié)蛹數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)埃德加科德1970年IBM研究員埃德加科德發(fā)明了關(guān)系型數(shù)據(jù)庫(kù)，解決了快速組織、存儲(chǔ)和讀取數(shù)據(jù)的問題，被譽(yù)為“關(guān)系型數(shù)據(jù)庫(kù)之父”。15數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)1988年為解決不同運(yùn)營(yíng)系統(tǒng)的數(shù)據(jù)集成問題，IBM的兩名研究員Barry Devlin和Paul Murphy創(chuàng)造性的提出“數(shù)據(jù)倉(cāng)庫(kù)”的概念，但沒有進(jìn)一步提出實(shí)際的架構(gòu)和設(shè)計(jì)。Barry DevlinPaul Murphy16數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)比爾恩門1992年比

5、爾恩門第一次給出了數(shù)據(jù)倉(cāng)庫(kù)的清晰定義和操作性很強(qiáng)的實(shí)戰(zhàn)法則，真正拉開了數(shù)據(jù)倉(cāng)庫(kù)走向大規(guī)模應(yīng)用的序幕。比爾恩門被譽(yù)為“數(shù)據(jù)倉(cāng)庫(kù)之父”，他強(qiáng)調(diào)數(shù)據(jù)的一致性，主張由頂至底的構(gòu)建方法。17數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)數(shù)據(jù)倉(cāng)庫(kù)之厚積薄發(fā)拉爾夫金博爾1996年斯坦福大學(xué)博士，拉爾夫金博爾出版數(shù)據(jù)倉(cāng)庫(kù)的工具，認(rèn)為務(wù)實(shí)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該從下往上。他認(rèn)同了比爾恩門對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的定義，卻在具體的構(gòu)建方法上和他分庭抗禮。18蠶動(dòng)蠶動(dòng)聯(lián)機(jī)分析之驚艷聯(lián)機(jī)分析之驚艷埃德加科德1993年發(fā)明關(guān)系型數(shù)據(jù)庫(kù)的埃德加科德再立新功，他立足數(shù)據(jù)倉(cāng)庫(kù)的新基礎(chǔ)，詳盡的闡述了構(gòu)建聯(lián)機(jī)分析的十二條原則。19破繭破繭數(shù)據(jù)挖掘之智能生命的產(chǎn)生數(shù)據(jù)挖掘之智能生

6、命的產(chǎn)生德斯納1989年德斯納提出了數(shù)據(jù)應(yīng)用的概念和定義，強(qiáng)調(diào)了數(shù)據(jù)應(yīng)用是一系列以事實(shí)為支持，輔助決策的技術(shù)和方法的集合，獲得了業(yè)界的廣泛認(rèn)同。20化蝶化蝶可視化信息的華麗上演可視化信息的華麗上演弗羅倫斯南丁格爾1855年弗羅倫斯南丁格爾把克里米亞戰(zhàn)爭(zhēng)中戰(zhàn)斗死亡和非戰(zhàn)斗死亡的士兵數(shù)量制作成圖表。這份視覺效果強(qiáng)烈的圖表，催生了一座醫(yī)院，改變了一個(gè)制度。21可視化信息的華麗上演可視化信息的華麗上演奧巴馬2010年3月，奧巴馬任命專人運(yùn)用“數(shù)據(jù)可視化”的技術(shù)推進(jìn)聯(lián)邦政府專項(xiàng)資金使用情況的透明度。22大數(shù)據(jù)時(shí)代對(duì)統(tǒng)計(jì)將產(chǎn)生怎樣的影響 非精準(zhǔn)化 非結(jié)構(gòu)化 非樣本化 非滯后性統(tǒng)計(jì)如何應(yīng)對(duì)大數(shù)據(jù)時(shí)代 理念革

7、命化 采集自動(dòng)化 存儲(chǔ)規(guī)?；?挖掘深度化 分析技術(shù)化 展現(xiàn)可視化 發(fā)布即時(shí)化 人才復(fù)合化24理念革命化：思維觀念的改變真的那么重要嗎？數(shù)據(jù)的價(jià)值在哪里？數(shù)據(jù)需要精準(zhǔn)碼？如何采集數(shù)據(jù)？指標(biāo)體系重要嗎？因果關(guān)系還是相關(guān)關(guān)系？統(tǒng)計(jì)需要預(yù)測(cè)嗎？26經(jīng)濟(jì)總量經(jīng)濟(jì)發(fā)展的先行指標(biāo)和指示器全國(guó)GDP與CRI變動(dòng)趨勢(shì)分析27經(jīng)濟(jì)總量經(jīng)濟(jì)發(fā)展的先行指標(biāo)和指示器全國(guó)財(cái)政收入與CRI變動(dòng)趨勢(shì)分析28采集自動(dòng)化：文字變成數(shù)據(jù)方位變成數(shù)據(jù)溝通變成數(shù)據(jù)一切事物變成數(shù)據(jù) 什么意思？ 真可以！ 過去我喜歡一個(gè)人 現(xiàn)在我喜歡一個(gè)人30存儲(chǔ)規(guī)?；涸谶^去50年中，數(shù)字存儲(chǔ)成本大約每?jī)赡晗鳒p一半， 而存儲(chǔ)密度則增加了5000萬(wàn)倍。3

8、1挖掘深度化： 數(shù)據(jù)挖掘：是指從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、 先前未知的并有潛在價(jià)值的信息的非平凡過程。 是通過分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。32l數(shù)據(jù)挖掘步驟：數(shù)據(jù)準(zhǔn)備：從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集尋找規(guī)律：用某種方法將數(shù)據(jù)集所含的規(guī)律找出來(lái)結(jié)果展示：盡可能以用戶可理解的方式（如可視化）將找出的規(guī)律表示出來(lái)33l數(shù)據(jù)挖掘的技術(shù)基礎(chǔ)：人工智能機(jī)器學(xué)習(xí)模式識(shí)別統(tǒng)計(jì)學(xué)數(shù)據(jù)庫(kù)可視化技術(shù)34l數(shù)據(jù)挖掘的任務(wù)：關(guān)聯(lián)分析聚類分析分類分析異常分析特定群組分析演變分析35分析技術(shù)化： 現(xiàn)實(shí)：簡(jiǎn)單的圖表、數(shù)據(jù)對(duì)比、數(shù)字文字化 大數(shù)據(jù)時(shí)代：數(shù)字工具、數(shù)學(xué)模型、機(jī)器智

9、能36GDP、財(cái)政收入與企業(yè)注冊(cè)資本之間的線性關(guān)系示意圖經(jīng)濟(jì)總量主體發(fā)展與經(jīng)濟(jì)社會(huì)發(fā)展的關(guān)聯(lián)37展現(xiàn)可視化：數(shù)據(jù)可視化：是指將大型數(shù)據(jù)集中地以圖形、圖像形式表示， 并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。38數(shù)據(jù)可視化的技術(shù)基礎(chǔ)： 幾何技術(shù) 像素技術(shù) 圖標(biāo)技術(shù) 圖層技術(shù) 圖像技術(shù) 分布式技術(shù) 統(tǒng)計(jì)技術(shù)39數(shù)據(jù)可視化的基本思想： 依據(jù)數(shù)據(jù)及其內(nèi)在模式和關(guān)系， 利用計(jì)算機(jī)生成的圖像來(lái)獲得深入認(rèn)識(shí)和知識(shí) 利用人類感覺系統(tǒng)的廣闊帶寬，來(lái)解釋錯(cuò)綜復(fù)雜的過程、 以及來(lái)源多樣的大型數(shù)據(jù)集合的內(nèi)在規(guī)律40數(shù)數(shù)據(jù)利用的技據(jù)利用的技術(shù)發(fā)術(shù)發(fā)展展歷歷程程實(shí)際實(shí)際也是價(jià)也是價(jià)值值探求的摸索探求的摸索歷歷程

10、程數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)OLAP聯(lián)機(jī)分析技術(shù)數(shù)據(jù)挖掘可視化展現(xiàn)價(jià)值應(yīng)用統(tǒng)計(jì)分析GIS技術(shù)4120122012年奧巴馬政府預(yù)算開支的可視化展示年奧巴馬政府預(yù)算開支的可視化展示一眼就可以看出，赤字約占美國(guó)總支出的1/3，個(gè)人所得稅是美國(guó)政府最大的財(cái)政來(lái)源，而國(guó)防支出是其最大的支出。（圖片來(lái)源：華盛頓郵報(bào)，2010年2月1日）42左邊為強(qiáng)制性開支，右邊為自主性開支。強(qiáng)制開支中最大的圓為醫(yī)療保險(xiǎn)和醫(yī)療補(bǔ)助，其為綠色，表示較去年增加了，鼠標(biāo)停留處顯示其大小為1.18億，較去年增加了8.4，是強(qiáng)制性開支中最大的一塊。（圖片來(lái)源于網(wǎng)絡(luò)）20132013年奧巴馬政府預(yù)算開支的可視化展示年奧巴馬政府預(yù)算開支的可視化展示

11、43多種直觀的圖表展示方式44示例示例示例示例45示例示例示例示例4647整體分布48 GIS（地理信息分析系統(tǒng)）市場(chǎng)主體3D分析 49發(fā)布即時(shí)化：美國(guó)麻省理工學(xué)院承擔(dān)的一項(xiàng)“十億價(jià)格項(xiàng)目”（Billion Price Project）是基于學(xué)術(shù)研究方法對(duì)全世界海量網(wǎng)上零全世界海量網(wǎng)上零售價(jià)格售價(jià)格進(jìn)行價(jià)格指數(shù)計(jì)算為判斷通脹趨勢(shì)提供信息每天實(shí)時(shí)實(shí)時(shí)收取5050萬(wàn)條萬(wàn)條互聯(lián)網(wǎng)上的商品信息,是美國(guó)政府統(tǒng)計(jì)收集的5 5倍倍每日網(wǎng)上價(jià)格指數(shù)每日網(wǎng)上價(jià)格指數(shù) Daily Online Price Index50基于淘寶網(wǎng)、天貓網(wǎng)、支付寶等網(wǎng)絡(luò)平臺(tái)的數(shù)據(jù)編制大體反映國(guó)內(nèi)網(wǎng)絡(luò)零售渠道的一般物價(jià)變動(dòng)。包含價(jià)格

12、指數(shù)系列和實(shí)物交易量指數(shù)系列分為九大基本分類指數(shù)權(quán)重為成交金額的比例采用鏈?zhǔn)郊訖?quán)的拉氏指數(shù)法計(jì)算，并逐級(jí)計(jì)算淘寶網(wǎng)絡(luò)零售價(jià)格指數(shù)淘寶網(wǎng)絡(luò)零售價(jià)格指數(shù) ISPI51上海鋼聯(lián)中國(guó)大宗商品價(jià)格指數(shù)與國(guó)家統(tǒng)計(jì)局PPI、CPI走勢(shì)對(duì)比圖 作為中國(guó)領(lǐng)先的大宗商品咨詢平臺(tái)，上海鋼聯(lián)電子商務(wù)股份有限公司通過其資訊采集系統(tǒng)，編制了上海鋼聯(lián)中國(guó)大宗商品價(jià)格指數(shù)。它以產(chǎn)值作為權(quán)重，同時(shí)考慮在地區(qū)因素影響基礎(chǔ)上，對(duì)9大類行業(yè)的基礎(chǔ)產(chǎn)品價(jià)格數(shù)據(jù)進(jìn)行處理合成而得。 52人才復(fù)合化： 谷歌首席經(jīng)濟(jì)學(xué)家哈爾.范里安： “數(shù)據(jù)非常之多而且具有戰(zhàn)略重要性，但真正缺少的是從數(shù)據(jù)中提取價(jià)值的能力。 這也就是為什么統(tǒng)計(jì)學(xué)家、數(shù)據(jù)庫(kù)管理者和掌握機(jī)器理論的人是真正了不起的人?！辟Y料中心怎么辦 統(tǒng)計(jì)資料的大數(shù)據(jù)中心 統(tǒng)計(jì)網(wǎng)絡(luò)的大數(shù)據(jù)中心 統(tǒng)計(jì)服務(wù)的大數(shù)據(jù)中心 統(tǒng)計(jì)歷史的大數(shù)據(jù)中心正確認(rèn)識(shí)大數(shù)據(jù) 重視非結(jié)構(gòu)化不等于不要結(jié)構(gòu)化，而是要 做到從非結(jié)構(gòu)化到結(jié)構(gòu)化 接受不準(zhǔn)確和混雜不等于不要準(zhǔn)確性 強(qiáng)調(diào)總體、全數(shù)據(jù)不等于蔑視或取消抽樣 強(qiáng)化相關(guān)分析不等于不要因果分析 大數(shù)據(jù)分析得出的結(jié)論也是有偏的55數(shù)數(shù)相連，數(shù)數(shù)相通 經(jīng)濟(jì)數(shù)社會(huì)數(shù)人口數(shù)，數(shù)數(shù)相連 過