大數(shù)據(jù)數(shù)據(jù)分析新理念朱老師

優(yōu)選大數(shù)據(jù)數(shù)據(jù)分析新理念朱老師當(dāng)前第1頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)大數(shù)據(jù)時(shí)代與大數(shù)據(jù)

——數(shù)據(jù)分析的新理念

第一部分：大數(shù)據(jù)與大數(shù)據(jù)時(shí)代一、大數(shù)據(jù)產(chǎn)生的背景二、國(guó)內(nèi)發(fā)展現(xiàn)狀三、大數(shù)據(jù)概念的界定第二部分：數(shù)據(jù)分析的新理念四、如何理解大數(shù)據(jù)和分析大數(shù)據(jù)

五、大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)科和統(tǒng)計(jì)研究工作的影響

當(dāng)前第2頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)一、大數(shù)據(jù)產(chǎn)生的背景1955年信息公開(kāi)1965年摩爾定律1973年最小數(shù)據(jù)集1980年標(biāo)準(zhǔn)數(shù)據(jù)接口1988年普適計(jì)算2000年數(shù)據(jù)驅(qū)動(dòng)1955年，約翰?摩斯提出《自由信息法》草案，幾經(jīng)周折，直到1965年才被參議院投票通過(guò)，直到次年7月4日才被美國(guó)總統(tǒng)簽字通過(guò)。摩爾定律：同一個(gè)面積集成電路上可容納的晶體管數(shù)目，一到兩年將增加一倍，亦即計(jì)算機(jī)硬件的處理速度和存儲(chǔ)能力將提升一倍。最小數(shù)據(jù)集的概念起源于美國(guó)醫(yī)療領(lǐng)域，指代國(guó)家的管理層面針對(duì)某個(gè)業(yè)務(wù)管理領(lǐng)域強(qiáng)制搜集的數(shù)據(jù)指標(biāo)。一些領(lǐng)域的最小數(shù)據(jù)集甚至被上升到立法高度。數(shù)據(jù)在不同信息管理系統(tǒng)之間的共享也使數(shù)據(jù)接口的標(biāo)準(zhǔn)化越來(lái)越得到強(qiáng)調(diào)。當(dāng)前第3頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)返回主機(jī)型計(jì)算階段（MainframeComputing）個(gè)人型計(jì)算階段（PersonalComputing）普適計(jì)算階段（UbiquitousComputing）當(dāng)前第4頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)二、國(guó)內(nèi)發(fā)展現(xiàn)狀近年來(lái)，對(duì)大數(shù)據(jù)的研究和應(yīng)用不僅引起了我國(guó)自然科學(xué)和人文社會(huì)科學(xué)界的廣泛重視，也受到我國(guó)中央政府的高度關(guān)注：這些是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分，與大數(shù)據(jù)產(chǎn)業(yè)發(fā)展密切相關(guān)?！丁笆濉眹?guó)家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》明確提出支持海量數(shù)據(jù)存儲(chǔ)、處理技術(shù)的研發(fā)與產(chǎn)業(yè)化《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》提出將信息處理技術(shù)列為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一當(dāng)前第5頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)2013年2月國(guó)家統(tǒng)計(jì)局召開(kāi)的以大數(shù)據(jù)為主題的工作會(huì)議2013年3月26日科研所又舉辦了“大數(shù)據(jù)在政府統(tǒng)計(jì)工作中的應(yīng)用研究”課題研究專家咨詢會(huì)2013年3月4日國(guó)家統(tǒng)計(jì)局科研所重點(diǎn)討論部署了“大數(shù)據(jù)在政府統(tǒng)計(jì)中的應(yīng)用”的研究工作2012年12月國(guó)家統(tǒng)計(jì)局在上海開(kāi)展了大數(shù)據(jù)應(yīng)用的調(diào)研活動(dòng)2012年11月國(guó)家統(tǒng)計(jì)局總統(tǒng)計(jì)師鮮祖德會(huì)見(jiàn)美國(guó)華裔大數(shù)據(jù)專家時(shí)，提出國(guó)家統(tǒng)計(jì)局十分重視大數(shù)據(jù)在統(tǒng)計(jì)中的應(yīng)用，并成立了課題組研究如何通過(guò)對(duì)大數(shù)據(jù)處理推進(jìn)統(tǒng)計(jì)方法制度改革，改進(jìn)政府統(tǒng)計(jì)工作我國(guó)國(guó)家統(tǒng)計(jì)局科研所于2012年8月就召開(kāi)了大數(shù)據(jù)應(yīng)用研究座談會(huì)，提出了在大數(shù)據(jù)時(shí)代運(yùn)用現(xiàn)代信息技術(shù)建立統(tǒng)計(jì)云架構(gòu)的研究目標(biāo)。2013年4月11日，國(guó)家統(tǒng)計(jì)局總統(tǒng)計(jì)師鮮祖德率領(lǐng)大數(shù)據(jù)課題組赴百度公司調(diào)研，就大數(shù)據(jù)在政府統(tǒng)計(jì)中的應(yīng)用及相關(guān)合作事宜，與百度公司有關(guān)領(lǐng)導(dǎo)和專家進(jìn)行了深入交流2013年5月2日國(guó)家統(tǒng)計(jì)局科研所青年學(xué)術(shù)沙龍深入研討大數(shù)據(jù)應(yīng)用2013年8月6日，國(guó)家統(tǒng)計(jì)局總統(tǒng)計(jì)師鮮祖德主持召開(kāi)了“大數(shù)據(jù)在政府統(tǒng)計(jì)中的探索與應(yīng)用研究”課題報(bào)告座談會(huì)2013年10月28日-29日，“第十七次全國(guó)統(tǒng)計(jì)科學(xué)討論會(huì)”在浙江省杭州市召開(kāi)。主題是：大數(shù)據(jù)背景下的統(tǒng)計(jì)。2013年11月19日，國(guó)家統(tǒng)計(jì)局與阿里、百度等11家企業(yè)簽署了大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議。當(dāng)前第6頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)2013年11月19日下午，國(guó)家統(tǒng)計(jì)局與上海鋼聯(lián)電子商務(wù)股份有限公司、山東卓創(chuàng)資訊集團(tuán)有限公司、58同城信息技術(shù)有限公司、天云融創(chuàng)數(shù)據(jù)科技（北京）有限公司、中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司、天脈聚源（北京）傳媒科技有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司、阿里巴巴（中國(guó)）有限公司、紐海信息技術(shù)（上海）有限公司、昆明泛亞有色金屬交易所股份有限公司和南京擎天科技有限公司共11家企業(yè)在京簽訂了大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議，共同推進(jìn)大數(shù)據(jù)在政府統(tǒng)計(jì)中的應(yīng)用，不斷增強(qiáng)政府統(tǒng)計(jì)的科學(xué)性和及時(shí)性。

當(dāng)前第7頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

《大數(shù)據(jù)在政府統(tǒng)計(jì)中的探索與應(yīng)用》2013年10月1日出版當(dāng)前第8頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年2月25日，國(guó)家統(tǒng)計(jì)局局長(zhǎng)馬建堂赴北京市中關(guān)村，考察中關(guān)村國(guó)家自主創(chuàng)新示范區(qū)、中關(guān)村數(shù)海大數(shù)據(jù)交易平臺(tái)和京東商城。他說(shuō)，統(tǒng)計(jì)部門要孜孜不倦推動(dòng)大數(shù)據(jù)在政府統(tǒng)計(jì)中應(yīng)用，不斷加大與各類企業(yè)在大數(shù)據(jù)應(yīng)用中合作力度，努力打造政府統(tǒng)計(jì)數(shù)據(jù)來(lái)源第二軌，使統(tǒng)計(jì)數(shù)據(jù)更加真實(shí)準(zhǔn)確，為社會(huì)提供更加優(yōu)質(zhì)統(tǒng)計(jì)服務(wù)。當(dāng)前第9頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年3月22日，國(guó)家社科基金重大項(xiàng)目《大數(shù)據(jù)與統(tǒng)計(jì)學(xué)理論的發(fā)展研究》開(kāi)題研討會(huì)在廈門大學(xué)舉行。中國(guó)統(tǒng)計(jì)學(xué)會(huì)副會(huì)長(zhǎng)兼秘書(shū)長(zhǎng)、國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)科學(xué)研究所所長(zhǎng)潘璠作為子課題五《大數(shù)據(jù)下的統(tǒng)計(jì)方法實(shí)際應(yīng)用探索》的負(fù)責(zé)人，介紹了大數(shù)據(jù)在政府統(tǒng)計(jì)中的研究進(jìn)展及相關(guān)應(yīng)用動(dòng)態(tài)。當(dāng)前第10頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年4月4日上午，馬建堂在浙江省副省長(zhǎng)朱從玖的陪同下，來(lái)到阿里巴巴集團(tuán)，對(duì)集團(tuán)的電子商務(wù)業(yè)務(wù)進(jìn)行調(diào)研。聽(tīng)取了阿里巴巴集團(tuán)近年來(lái)業(yè)務(wù)發(fā)展?fàn)顩r和大數(shù)據(jù)應(yīng)用情況的報(bào)告，深入了解了天貓和淘寶網(wǎng)兩個(gè)網(wǎng)上零售交易平臺(tái)的運(yùn)營(yíng)模式、商家規(guī)模、交易體量、發(fā)展速度和大數(shù)據(jù)業(yè)務(wù)，與阿里巴巴有關(guān)負(fù)責(zé)人探討了利用網(wǎng)絡(luò)平臺(tái)日常交易產(chǎn)生的大數(shù)據(jù)完善貿(mào)易統(tǒng)計(jì)的構(gòu)想。

當(dāng)前第11頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年5月8日，國(guó)家統(tǒng)計(jì)局局長(zhǎng)馬建堂赴上海調(diào)研大數(shù)據(jù)在統(tǒng)計(jì)工作中的應(yīng)用。馬建堂強(qiáng)調(diào)，統(tǒng)計(jì)部門要順勢(shì)而為，以更加積極開(kāi)放的心態(tài)擁抱大數(shù)據(jù)時(shí)代，以大數(shù)據(jù)利用為引擎，助力進(jìn)一步提升統(tǒng)計(jì)數(shù)據(jù)搜集能力、完善統(tǒng)計(jì)制度方法、加強(qiáng)經(jīng)濟(jì)形勢(shì)分析、提高統(tǒng)計(jì)數(shù)據(jù)質(zhì)量，更好地服務(wù)經(jīng)濟(jì)社會(huì)發(fā)展。當(dāng)前第12頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年5月20日，是北京入夏以來(lái)最熱的一天。下午2點(diǎn)多，國(guó)家統(tǒng)計(jì)局局長(zhǎng)馬建堂一行來(lái)到了位于上地十街的百度公司調(diào)研大數(shù)據(jù)生產(chǎn)及應(yīng)用情況。當(dāng)前第13頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年7月9日下午，科研所所長(zhǎng)潘璠、數(shù)管中心副司級(jí)干部李金寬等一行4人到訪中國(guó)聯(lián)通公司，與聯(lián)通研究院、集團(tuán)客戶事業(yè)部等部門負(fù)責(zé)人就大數(shù)據(jù)合作事宜進(jìn)行深入座談交流。

當(dāng)前第14頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年8月22日，國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)科研所所長(zhǎng)潘璠一行，在深圳市統(tǒng)計(jì)局總統(tǒng)計(jì)師胡衛(wèi)東等的陪同下，分別到訪總部設(shè)在深圳的順豐速運(yùn)有限公司和阿里巴巴一達(dá)通企業(yè)服務(wù)有限公司，與企業(yè)相關(guān)負(fù)責(zé)人就大數(shù)據(jù)合作事宜進(jìn)行深入溝通。

當(dāng)前第15頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)2014年9月27-28日第十五次全國(guó)中青年統(tǒng)計(jì)科學(xué)研討會(huì)日前在天津財(cái)經(jīng)大學(xué)舉行，來(lái)自全國(guó)的統(tǒng)計(jì)專家、學(xué)者、中青年統(tǒng)計(jì)科研人員、統(tǒng)計(jì)工作者及大專院校師生，以“大數(shù)據(jù)的統(tǒng)計(jì)展望”為主題進(jìn)行了廣泛而深入的交流。徐一帆向大會(huì)致辭，國(guó)家統(tǒng)計(jì)局副局長(zhǎng)、中國(guó)統(tǒng)計(jì)學(xué)會(huì)副會(huì)長(zhǎng)李強(qiáng)作了“全面推進(jìn)和深化統(tǒng)計(jì)改革”的專題報(bào)告，總統(tǒng)計(jì)師鮮祖德主持了會(huì)議開(kāi)幕式。當(dāng)前第16頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

國(guó)家統(tǒng)計(jì)局2014年9月29日召開(kāi)“大數(shù)據(jù)與統(tǒng)計(jì)建?！币曨l報(bào)告會(huì)，來(lái)自全國(guó)統(tǒng)計(jì)建模大賽的5支獲獎(jiǎng)代表隊(duì)就各自利用大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)建模的論文成果進(jìn)行了主題匯報(bào)。國(guó)家統(tǒng)計(jì)局副局長(zhǎng)、全國(guó)統(tǒng)計(jì)建模大賽組委會(huì)主任委員張為民要求國(guó)家統(tǒng)計(jì)局各有關(guān)專業(yè)司、各省統(tǒng)計(jì)局、國(guó)家統(tǒng)計(jì)局各調(diào)查總隊(duì)要充分重視大數(shù)據(jù)時(shí)代為統(tǒng)計(jì)系統(tǒng)帶來(lái)的機(jī)遇和挑戰(zhàn)，深入研究大數(shù)據(jù)在統(tǒng)計(jì)工作當(dāng)中的應(yīng)用，奮力推進(jìn)統(tǒng)計(jì)事業(yè)改革發(fā)展。國(guó)家統(tǒng)計(jì)局副局長(zhǎng)徐一帆、許憲春、李強(qiáng)，黨組紀(jì)檢組長(zhǎng)高建華，總統(tǒng)計(jì)師鮮祖德，總經(jīng)濟(jì)師李曉超一同出席了此次報(bào)告會(huì)。

當(dāng)前第17頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

2014年9月30日，國(guó)家統(tǒng)計(jì)局在京舉行大數(shù)據(jù)應(yīng)用報(bào)告會(huì)，與6家企業(yè)簽署大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議。國(guó)家統(tǒng)計(jì)局局長(zhǎng)馬建堂作重要講話。他強(qiáng)調(diào)，統(tǒng)計(jì)部門將攜手合作企業(yè)共同開(kāi)發(fā)利用大數(shù)據(jù)，共同推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)化，積極構(gòu)建由結(jié)構(gòu)化數(shù)據(jù)和大數(shù)據(jù)為基礎(chǔ)來(lái)源的現(xiàn)代化政府統(tǒng)計(jì)，奮力搶占大數(shù)據(jù)開(kāi)發(fā)應(yīng)用制高點(diǎn)，生產(chǎn)更多、更好、更有價(jià)值的統(tǒng)計(jì)產(chǎn)品，為國(guó)家宏觀調(diào)控、人民生活改善、社會(huì)福祉提升提供堅(jiān)實(shí)數(shù)據(jù)支撐。

國(guó)家統(tǒng)計(jì)局與上海航運(yùn)交易所、北京易觀網(wǎng)絡(luò)信息咨詢有限公司、北京搜房網(wǎng)絡(luò)技術(shù)有限公司、北京數(shù)?？萍加邢薰?、浪潮集團(tuán)有限公司、深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司共6家企業(yè)簽署合作協(xié)議。當(dāng)前第18頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

廈門大學(xué)數(shù)據(jù)挖掘研究中心于2014年6月6日向國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)科學(xué)研究所提交《廈門大學(xué)數(shù)據(jù)挖掘研究中心關(guān)于合作成立大數(shù)據(jù)實(shí)驗(yàn)室的建議》，倡議聯(lián)合國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)科學(xué)研究所和臺(tái)灣輔仁大學(xué)商學(xué)研究所成立“廈門大學(xué)數(shù)據(jù)挖掘研究中心大數(shù)據(jù)實(shí)驗(yàn)室”。2014年10月17日正式舉行了揭牌儀式。該實(shí)驗(yàn)中心將聯(lián)合廈門沸騰網(wǎng)絡(luò)科技有限公司，共同推動(dòng)數(shù)據(jù)挖掘和大數(shù)據(jù)研究與應(yīng)用。當(dāng)前第19頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

由中國(guó)國(guó)家統(tǒng)計(jì)局和聯(lián)合國(guó)統(tǒng)計(jì)司聯(lián)合主辦的“大數(shù)據(jù)和官方統(tǒng)計(jì)”國(guó)際會(huì)議2014年10月28日在京開(kāi)幕。國(guó)家統(tǒng)計(jì)局局長(zhǎng)馬建堂出席會(huì)議并致辭，聯(lián)合國(guó)統(tǒng)計(jì)司司長(zhǎng)斯特芬﹒施萬(wàn)斯特，聯(lián)合國(guó)大數(shù)據(jù)全球工作小組主席、澳大利亞統(tǒng)計(jì)局副局長(zhǎng)特雷弗﹒薩頓也分別在開(kāi)幕式上致辭。國(guó)家統(tǒng)計(jì)局副局長(zhǎng)謝鴻光主持開(kāi)幕式，副局長(zhǎng)李強(qiáng)做主旨發(fā)言。這次會(huì)議討論的主要內(nèi)容包括：大數(shù)據(jù)和國(guó)際統(tǒng)計(jì)發(fā)展；手機(jī)、全球定位系統(tǒng)和其他跟蹤裝置；衛(wèi)星影像和其他地理空間信息；Twitter和其他社交媒體；網(wǎng)絡(luò)交易和掃描數(shù)據(jù)；大數(shù)據(jù)來(lái)源的共性及隱私問(wèn)題；發(fā)展中國(guó)家引入創(chuàng)新；未來(lái)之路——大數(shù)據(jù)的應(yīng)用。當(dāng)前第20頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

來(lái)自聯(lián)合國(guó)統(tǒng)計(jì)司、聯(lián)合國(guó)全球脈動(dòng)行動(dòng)、聯(lián)合國(guó)歐洲經(jīng)濟(jì)委員會(huì)、聯(lián)合國(guó)亞太經(jīng)社會(huì)、聯(lián)合國(guó)亞太統(tǒng)計(jì)研究所、歐盟統(tǒng)計(jì)局、海灣阿拉伯國(guó)家合作委員會(huì)統(tǒng)計(jì)中心、國(guó)際貨幣基金組織、國(guó)際電信聯(lián)盟、世界銀行、萬(wàn)國(guó)郵政聯(lián)盟等11個(gè)國(guó)際組織，以及澳大利亞、孟加拉國(guó)、加拿大、哥倫比亞、丹麥、埃及、德國(guó)、印度、印尼、愛(ài)爾蘭、意大利、日本、馬來(lái)西亞、墨西哥、摩洛哥、荷蘭、阿曼、巴基斯坦、菲律賓、韓國(guó)、新加坡、坦桑尼亞、泰國(guó)、阿拉伯聯(lián)合酋長(zhǎng)國(guó)、美國(guó)、越南和中國(guó)等27個(gè)國(guó)家的近120位代表參加研討會(huì)。當(dāng)前第21頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)國(guó)家統(tǒng)計(jì)局局長(zhǎng)馬建堂為經(jīng)濟(jì)發(fā)展新常態(tài)提供更加優(yōu)質(zhì)的統(tǒng)計(jì)保障

——2015年元旦獻(xiàn)辭

(2014)研究應(yīng)用大數(shù)據(jù)邁出實(shí)質(zhì)性步伐，在價(jià)格統(tǒng)計(jì)、貿(mào)經(jīng)統(tǒng)計(jì)、建設(shè)領(lǐng)域統(tǒng)計(jì)、交通運(yùn)輸統(tǒng)計(jì)和經(jīng)濟(jì)監(jiān)測(cè)分析應(yīng)用中取得初步成果。

(2015)繼續(xù)深化重點(diǎn)領(lǐng)域統(tǒng)計(jì)改革，不斷鞏固和拓展統(tǒng)計(jì)生產(chǎn)方式變革成果，加快利用大數(shù)據(jù)、云計(jì)算奮力打造數(shù)據(jù)生產(chǎn)新興之軌，大力推進(jìn)依法統(tǒng)計(jì)，深入開(kāi)發(fā)利用三經(jīng)普資料，全面啟動(dòng)第三次全國(guó)農(nóng)業(yè)普查，認(rèn)真做好全國(guó)1%人口抽樣調(diào)查，扎實(shí)開(kāi)展各項(xiàng)常規(guī)統(tǒng)計(jì)調(diào)查，持之以恒夯實(shí)統(tǒng)計(jì)業(yè)務(wù)基礎(chǔ)和基層基礎(chǔ)，堅(jiān)決打造廉潔統(tǒng)計(jì)，為黨和政府以及社會(huì)各界提供更加優(yōu)質(zhì)統(tǒng)計(jì)服務(wù)。當(dāng)前第22頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)國(guó)內(nèi)各地制定云計(jì)算“十二五”規(guī)劃云計(jì)算、物聯(lián)網(wǎng)園區(qū)中國(guó)各地制定或公布了云計(jì)算、物聯(lián)網(wǎng)等產(chǎn)業(yè)規(guī)劃；這些工程的初始著眼點(diǎn)在房地產(chǎn)，政績(jī)工程居多，大數(shù)據(jù)作為核心內(nèi)容端，使得政績(jī)工程變?yōu)槭褂霉こ獭?/p>

云計(jì)算、物聯(lián)網(wǎng)、社交化媒體、GIS為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來(lái)源。因此大數(shù)據(jù)中包括的每個(gè)用戶的身份、地點(diǎn)、時(shí)間、喜好、厭惡、社會(huì)關(guān)系等等大量的信息。伴隨數(shù)據(jù)挖掘和分析的技術(shù)發(fā)展，我們即將步入基于大數(shù)據(jù)的智能化時(shí)代。云計(jì)算、物聯(lián)網(wǎng)從政績(jī)工程變成實(shí)用工程當(dāng)前第23頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

廣東省政府于2月26日印發(fā)了《廣東省經(jīng)濟(jì)和信息化委員會(huì)主要職責(zé)內(nèi)設(shè)機(jī)構(gòu)和人員編制規(guī)定》。《規(guī)定》明確了廣東省經(jīng)濟(jì)和信息化委員會(huì)16項(xiàng)職責(zé)。根據(jù)職責(zé)，廣東省經(jīng)濟(jì)和信息化委員會(huì)設(shè)21個(gè)內(nèi)設(shè)機(jī)構(gòu)，其中包括成立廣東省大數(shù)據(jù)管理局。其具體職責(zé)是：研究擬訂并組織實(shí)施大數(shù)據(jù)戰(zhàn)略、規(guī)劃和政策措施，引導(dǎo)和推動(dòng)大數(shù)據(jù)研究和應(yīng)用工作;組織制定大數(shù)據(jù)收集、管理、開(kāi)放、應(yīng)用等標(biāo)準(zhǔn)規(guī)范;推動(dòng)形成全社會(huì)大數(shù)據(jù)形成機(jī)制的建立和開(kāi)發(fā)應(yīng)用;承擔(dān)企業(yè)情況綜合工作，負(fù)責(zé)企業(yè)數(shù)據(jù)收集和存儲(chǔ);組織編制電子政務(wù)建設(shè)規(guī)劃并組織實(shí)施;組織協(xié)調(diào)政務(wù)信息資源共享;組織協(xié)調(diào)省級(jí)重大電子政務(wù)項(xiàng)目建設(shè)，組織協(xié)調(diào)網(wǎng)上辦事大廳等電子政務(wù)一站式服務(wù)建設(shè);負(fù)責(zé)統(tǒng)籌政務(wù)信息網(wǎng)絡(luò)系統(tǒng)、政務(wù)數(shù)據(jù)中心的建設(shè)、管理;統(tǒng)籌協(xié)調(diào)信息安全保障體系建設(shè);承擔(dān)信息安全等級(jí)保護(hù)、應(yīng)急協(xié)調(diào)和數(shù)字認(rèn)證相關(guān)工作。當(dāng)前第24頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)福建省人民政府《關(guān)于支持大數(shù)據(jù)產(chǎn)業(yè)重點(diǎn)園區(qū)加快發(fā)展十條措施的通知》（閩政〔2014〕52號(hào)）各市、縣（區(qū)）人民政府，平潭綜合實(shí)驗(yàn)區(qū)管委會(huì)，省人民政府各部門、各直屬機(jī)構(gòu)，各大企業(yè),各高等院校：為推動(dòng)數(shù)字福建（長(zhǎng)樂(lè)）產(chǎn)業(yè)園、中國(guó)國(guó)際信息技術(shù)（福建）產(chǎn)業(yè)園（以下簡(jiǎn)稱園區(qū)）加快建設(shè)成為全省大數(shù)據(jù)產(chǎn)業(yè)重點(diǎn)園區(qū)和“數(shù)字福建”建設(shè)的重要承載基地，現(xiàn)提出如下措施：當(dāng)前第25頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)一、完善園區(qū)發(fā)展規(guī)劃二、引進(jìn)培育產(chǎn)業(yè)龍頭三、推動(dòng)資源匯聚開(kāi)發(fā)四、建設(shè)大數(shù)據(jù)創(chuàng)新平臺(tái)五、加強(qiáng)人才引進(jìn)培養(yǎng)六、做好園區(qū)用地保障七、確保園區(qū)用電需求八、強(qiáng)化園區(qū)網(wǎng)絡(luò)支撐九、實(shí)施財(cái)稅優(yōu)惠政策十、提高安全保障能力本通知確定的相關(guān)優(yōu)惠政策自印發(fā)之日起施行。園區(qū)所在市、縣政府要主動(dòng)靠前服務(wù)，積極創(chuàng)新園區(qū)運(yùn)作模式、資本運(yùn)作模式、產(chǎn)業(yè)協(xié)作模式，及時(shí)為入園企業(yè)解決具體問(wèn)題，為園區(qū)發(fā)展?fàn)I造良好環(huán)境。省直有關(guān)部門要按照職責(zé)分工，加強(qiáng)指導(dǎo)和服務(wù)，大力支持園區(qū)發(fā)展，確保賦予入園企業(yè)的各項(xiàng)優(yōu)惠政策落實(shí)到位。當(dāng)前第26頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)統(tǒng)計(jì)學(xué)是一門古老的學(xué)科，已經(jīng)有三百多年的歷史，在自然科學(xué)和人文社會(huì)科學(xué)的發(fā)展中起到了舉足輕重的作用統(tǒng)計(jì)學(xué)又是一門生命力及其旺盛的學(xué)科，它海納百川又博采眾長(zhǎng)她隨著各門具體學(xué)科的發(fā)展不斷壯大自己毫不例外，大數(shù)據(jù)時(shí)代的到來(lái)，給統(tǒng)計(jì)學(xué)科帶來(lái)了發(fā)展壯大機(jī)會(huì)的同時(shí)，也使得統(tǒng)計(jì)學(xué)科面臨著重大的挑戰(zhàn)。怎樣深刻地認(rèn)識(shí)和把握這一發(fā)展契機(jī)，怎樣更好地理解和應(yīng)對(duì)這一重大挑戰(zhàn)，這就迫使我們需要澄清大數(shù)據(jù)的概念、明確大數(shù)據(jù)的特征；重新審視統(tǒng)計(jì)的工作過(guò)程、提出新的思想理念當(dāng)前第27頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)三、大數(shù)據(jù)概念的界定

我們查閱了大量的關(guān)于大數(shù)據(jù)方面的資料，對(duì)大數(shù)據(jù)概念的定義眾說(shuō)紛紜，對(duì)大數(shù)據(jù)的理解決于定義者的觀點(diǎn)和背景。比較有代表性的定義主要有以下幾種。

維基百科給出的定義是，大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。

大數(shù)據(jù)科學(xué)家JohnRauser提出一個(gè)簡(jiǎn)單的定義是，大數(shù)據(jù)指任何超過(guò)了一臺(tái)計(jì)算機(jī)處理能力的數(shù)據(jù)。當(dāng)前第28頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

美國(guó)咨詢公司麥肯錫的報(bào)告是這樣定義的，大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。

Gartner公司的MervAdrian（2011）認(rèn)為，大數(shù)據(jù)超出了常用硬件環(huán)境和軟件工具在可接受的時(shí)間內(nèi)為其用戶收集、管理和處理數(shù)據(jù)的能力。

IDC(InternationalDataCorporation,2011）對(duì)大數(shù)據(jù)概念的描述為：大數(shù)據(jù)是一個(gè)看起來(lái)似乎來(lái)路不明的大的動(dòng)態(tài)過(guò)程；但是實(shí)際上，大數(shù)據(jù)并不是一個(gè)新生事物，雖然他確確實(shí)實(shí)正在走向主流并引起廣泛的注意；大數(shù)據(jù)并不是一個(gè)實(shí)體，而是一個(gè)橫跨很多IT邊界的動(dòng)態(tài)活動(dòng)。當(dāng)前第29頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

還有一些學(xué)者如格雷布林克（Grobelink.M）（2012）、Forrester的分析師布賴恩·霍普金斯（BrianHopkins）、鮑里斯·埃韋爾松（BorisEvelson）（2012）和Oracle（甲骨文）的劉念真（2013）等雖未給出大數(shù)據(jù)的具體定義，但是他們概括了大數(shù)據(jù)的特點(diǎn)。格雷布林克（2012）認(rèn)為大數(shù)據(jù)具有三個(gè)特點(diǎn)，即多樣性（Variety）、大量性（Volume）、高速性（Velocity），又稱3V特點(diǎn)。布賴恩·霍普金斯（BrianHopkins）、鮑里斯·埃韋爾松（BorisEvelson）（2012）認(rèn)為，除了格雷布林克給出的三個(gè)特性外，大數(shù)據(jù)還具有易變性（Variability）的特點(diǎn)，即4V特點(diǎn)。劉念真則認(rèn)為大數(shù)據(jù)除了Grobelink.M給出的特點(diǎn)外，還具有真實(shí)性（Veracity）和價(jià)值性（Value），即五V特點(diǎn)。當(dāng)前第30頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)大數(shù)據(jù)科學(xué)研究還剛剛起步，既然是研究，我們就要理解其的內(nèi)在的涵義。這些對(duì)大數(shù)據(jù)概念的表達(dá)方式雖然不同，但從各自的角度描述出了對(duì)大數(shù)據(jù)的理解。從表面看我們可以從兩個(gè)角度來(lái)理解，如果把“大數(shù)據(jù)”看成是形容詞，它描述的是大數(shù)據(jù)時(shí)代數(shù)據(jù)的特點(diǎn)；如果把“大數(shù)據(jù)”看成是名詞，它體現(xiàn)的是我們科學(xué)研究的對(duì)象。當(dāng)前第31頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

1、“大數(shù)據(jù)時(shí)代”的定義格雷布林克（Grobelink.M）在《紐約時(shí)報(bào)》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)時(shí)代”已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，管理者決策越來(lái)越依靠數(shù)據(jù)分析，而不是依靠經(jīng)驗(yàn)和直覺(jué)?！按髷?shù)據(jù)”概念之所以被炒得如火如荼，是因?yàn)榇髷?shù)據(jù)時(shí)代已經(jīng)到來(lái)。理解大數(shù)據(jù)，必須首先理解大數(shù)據(jù)的時(shí)代背景，這樣就有必須澄清大數(shù)據(jù)時(shí)代的含義。當(dāng)前第32頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)廣泛性公開(kāi)性動(dòng)態(tài)性社會(huì)性大數(shù)據(jù)時(shí)代特點(diǎn)

我們可以這樣來(lái)定義大數(shù)據(jù)時(shí)代，大數(shù)據(jù)時(shí)代是建立在對(duì)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等渠道廣泛大量數(shù)據(jù)資源收集基礎(chǔ)上的數(shù)據(jù)存儲(chǔ)、價(jià)值提煉、智能處理和分發(fā)的信息時(shí)代。在這個(gè)時(shí)代，可以致力于讓人們能夠從幾乎任何數(shù)據(jù)中獲得可轉(zhuǎn)換為推動(dòng)人們生活方式變化的有價(jià)值的知識(shí)。當(dāng)前第33頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)社會(huì)性世界范圍的計(jì)算機(jī)聯(lián)網(wǎng)，數(shù)據(jù)流通取代產(chǎn)品流通，將生產(chǎn)演變成服務(wù)，將工業(yè)勞動(dòng)演變成信息勞動(dòng)。產(chǎn)品不需要離開(kāi)它的原始占有者就能夠被交換，這類產(chǎn)品通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)可以大量復(fù)制和分配，其價(jià)值增加是通過(guò)知識(shí)實(shí)現(xiàn)實(shí)現(xiàn)這一價(jià)值的主要工具就是計(jì)算機(jī)軟件。廣泛性計(jì)算機(jī)技術(shù)不僅促進(jìn)自然科學(xué)和人文社會(huì)科學(xué)各個(gè)領(lǐng)域的發(fā)展，而且全面融入了人們的社會(huì)生活中人們?cè)诓煌I(lǐng)域采集到的數(shù)據(jù)量之大，達(dá)到了前所未有的程度，數(shù)據(jù)的產(chǎn)生、存儲(chǔ)和處理方式發(fā)生了革命性的變化人們的工作和生活基本上都可以用數(shù)字化表示，在一定程度上改變了人們的工作和生活方式當(dāng)前第34頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)公開(kāi)性大數(shù)據(jù)時(shí)代展示了從信息公開(kāi)運(yùn)動(dòng)到數(shù)據(jù)技術(shù)演化的多維畫(huà)卷雖然考慮對(duì)于用戶隱私的保護(hù)，但是大數(shù)據(jù)必然產(chǎn)生于一個(gè)開(kāi)放的，公共的網(wǎng)絡(luò)環(huán)境之中。一系列受到法律支持或社會(huì)公認(rèn)的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范這種公開(kāi)性和公共性的實(shí)現(xiàn)取決于若干個(gè)網(wǎng)絡(luò)開(kāi)放平臺(tái)或云服務(wù)動(dòng)態(tài)性大數(shù)據(jù)是基于互聯(lián)網(wǎng)的及時(shí)動(dòng)態(tài)數(shù)據(jù)數(shù)據(jù)資料可以隨時(shí)隨地產(chǎn)生，數(shù)據(jù)資料的收集具有動(dòng)態(tài)性數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)處理技術(shù)也隨時(shí)更新，即處理數(shù)據(jù)的工具也具有動(dòng)態(tài)性當(dāng)前第35頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)2、“大數(shù)據(jù)”的定義我們認(rèn)為大數(shù)據(jù)定義之所以眾說(shuō)紛紜，沒(méi)有形成統(tǒng)一的定義。主要是因?yàn)榇髷?shù)據(jù)如其名一樣，所涉內(nèi)容太“大”，大家看它的角度不一樣，于是出現(xiàn)了仁者見(jiàn)仁，智者見(jiàn)智的局面。在了解大數(shù)據(jù)的歷史沿革和大數(shù)據(jù)所處的時(shí)代背景后，我們就可以進(jìn)一步充分了解大數(shù)據(jù)的內(nèi)涵。

這里我們需要提及的是，大數(shù)據(jù)也是數(shù)據(jù)，統(tǒng)計(jì)學(xué)應(yīng)該隨時(shí)地關(guān)注大數(shù)據(jù)分析，哪里有數(shù)據(jù)，哪里就有統(tǒng)計(jì)分析。因此，鑒定“大數(shù)據(jù)”應(yīng)該在現(xiàn)有科學(xué)技術(shù)的基礎(chǔ)上引入統(tǒng)計(jì)學(xué)的思想。當(dāng)前第36頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)

我們可以這樣來(lái)定義“大數(shù)據(jù)”，大數(shù)據(jù)指那些超過(guò)傳統(tǒng)數(shù)據(jù)系統(tǒng)處理能力、超越經(jīng)典統(tǒng)計(jì)思想研究范圍、不借用網(wǎng)絡(luò)無(wú)法用主流軟件工具及技術(shù)進(jìn)行單機(jī)分析的復(fù)雜數(shù)據(jù)的集合。對(duì)于這一數(shù)據(jù)集合，在一定的條件下和合理的時(shí)間內(nèi)，我們可以通過(guò)現(xiàn)代計(jì)算機(jī)技術(shù)和創(chuàng)新統(tǒng)計(jì)方法，有目的地進(jìn)行設(shè)計(jì)、獲取、管理、分析，揭示隱藏在其中的有價(jià)值的模式和知識(shí)。大數(shù)據(jù)特點(diǎn)大量性多樣性價(jià)值性高速性當(dāng)前第37頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)高度發(fā)達(dá)的網(wǎng)絡(luò)技術(shù)承載數(shù)據(jù)資料的個(gè)人電腦、手機(jī)、平板電腦等數(shù)據(jù)資料的來(lái)源范圍在不斷拓展人類獲得數(shù)據(jù)資料在不斷更改數(shù)據(jù)的計(jì)量單位我們認(rèn)為大數(shù)據(jù)的基本特征可以體現(xiàn)在以下四個(gè)方面1.大量性2.多樣性

最小的基本單位是Byte，所有單位：Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB。按照進(jìn)率1024（2的十次方）當(dāng)前第38頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)大數(shù)據(jù)規(guī)模巨大，數(shù)據(jù)在不斷更新變化，這些有價(jià)值的信息可能轉(zhuǎn)瞬即逝，因此，在大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)的接收和處理思想都需要轉(zhuǎn)變，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。3.價(jià)值性

處理時(shí)效性高，因?yàn)榇髷?shù)據(jù)有價(jià)值信息存在時(shí)間短，要求能迅速有效地提取大量復(fù)雜數(shù)據(jù)中的有價(jià)值信息。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。4.高速性當(dāng)前第39頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)四、如何理解大數(shù)據(jù)和分析大數(shù)據(jù)

維克多（VikorMayer-Schǒnberger）在其《大數(shù)據(jù)時(shí)代》一書(shū)中提到傳統(tǒng)的數(shù)據(jù)分析思想應(yīng)作三大轉(zhuǎn)變：一是轉(zhuǎn)變抽樣思想；二是轉(zhuǎn)變數(shù)據(jù)測(cè)量的思想；三是不再探求難以捉摸的因果關(guān)系。毫無(wú)疑問(wèn)，上述三個(gè)轉(zhuǎn)變均與統(tǒng)計(jì)研究工作息息相關(guān)，從統(tǒng)計(jì)研究工作角度如何理解？當(dāng)前第40頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)1、轉(zhuǎn)變抽樣調(diào)查工作思想

大數(shù)據(jù)時(shí)代，我們面對(duì)的數(shù)據(jù)樣本就是過(guò)去資料的總和，樣本就是總體，通過(guò)對(duì)所有與事物相關(guān)的數(shù)據(jù)進(jìn)行分析，既有利于了解總體，又有利于了解局部?？偟膩?lái)講，傳統(tǒng)的統(tǒng)計(jì)抽樣調(diào)查方法有以下幾個(gè)方面的不足可以在大數(shù)據(jù)時(shí)代得到改進(jìn)。（1）抽樣框不穩(wěn)定，隨機(jī)取樣困難。（2）事先設(shè)定調(diào)查目的，會(huì)限制調(diào)查的內(nèi)容和范圍。（3）樣本量有限，抽樣結(jié)果經(jīng)不起細(xì)分。（4）糾偏成本高，可塑性弱。當(dāng)前第41頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)2、轉(zhuǎn)變對(duì)數(shù)據(jù)精確性的要求在大數(shù)據(jù)時(shí)代，由于數(shù)據(jù)來(lái)源廣泛和數(shù)據(jù)處理技術(shù)的不斷進(jìn)步，數(shù)據(jù)的不精確性是允許的，我們應(yīng)該接受紛繁蕪雜的各類數(shù)據(jù)，不應(yīng)一味追求數(shù)據(jù)的精確性，以免因小失大。（1）大數(shù)據(jù)時(shí)代，數(shù)據(jù)規(guī)模大，數(shù)據(jù)不精確性在所難免，盲目追求數(shù)據(jù)的精確性不可取。（2）大數(shù)據(jù)時(shí)代，數(shù)據(jù)不精確性不僅不會(huì)破壞總體信息，還有利于了解總體。大數(shù)據(jù)時(shí)代，越來(lái)越多的數(shù)據(jù)提供越來(lái)越多的信息，也會(huì)讓人們?cè)絹?lái)越了解總體真實(shí)情況。（3）大數(shù)據(jù)時(shí)代，允許不精確性是針對(duì)大數(shù)據(jù)，而不是統(tǒng)一標(biāo)準(zhǔn)。大數(shù)據(jù)的不精確性是偶然產(chǎn)生的，而不是為了不精確性而制造不精確。當(dāng)前第42頁(yè)\共有46頁(yè)\編于星期四\22點(diǎn)3、轉(zhuǎn)變數(shù)據(jù)關(guān)系分析的重點(diǎn)在大數(shù)據(jù)時(shí)代，分析數(shù)據(jù)不再探求難以琢磨的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相關(guān)關(guān)系。需要注意的是，大數(shù)據(jù)時(shí)代事物之間大數(shù)據(jù)的相關(guān)分析與傳統(tǒng)統(tǒng)計(jì)學(xué)相關(guān)分析并不完全相同，主要表現(xiàn)在以下幾個(gè)方面。（1）分析思路不同。傳統(tǒng)統(tǒng)計(jì)分析是一個(gè)“先假設(shè)，后關(guān)系”的分析思路。大數(shù)據(jù)關(guān)系分析往往是直接計(jì)算現(xiàn)象之間的相依性，是既關(guān)聯(lián)又關(guān)系。（2）關(guān)系形式不同。大數(shù)據(jù)時(shí)代，現(xiàn)象的關(guān)系很復(fù)雜，不僅可能是線性關(guān)系，更可能是非線性函數(shù)關(guān)系。更一般的情況是，可能知道現(xiàn)象之間相依的程