大數(shù)據(jù)將給我們帶來怎樣的變化

1、大數(shù)據(jù)帶來的工作、學(xué)習(xí)和生活的變化以及給我們的啟示我們都聽過這個預(yù)測：到2020年，電子數(shù)據(jù)存儲量將在2009年的基礎(chǔ)上增加44倍，達到35萬億GB。根據(jù)IDC數(shù)據(jù)顯示，截止到2010年，這個數(shù)字已經(jīng)達到了120萬PB，或1.2ZB。如果把所有這些數(shù)據(jù)都存入DVD光盤，光盤高度將等同于從地球到月球的一個來回也就是大約480,000英里。對于那些喜歡杞人憂天的人來說，這是數(shù)據(jù)存儲的末日即將到來的不祥預(yù)兆。而對于機會主義者們而言，這就好比是個信息金礦，隨著技術(shù)的進步，金礦開采會變得越來越容易。走進大數(shù)據(jù)-一種新興的數(shù)據(jù)挖掘技術(shù)，它正在讓數(shù)據(jù)處理和分析變得更便宜更快速。大數(shù)據(jù)技術(shù)一旦進入超級計算時代

2、，很快便可應(yīng)用于普通企業(yè)，在遍地開花的過程中，它將改變許多行業(yè)業(yè)務(wù)經(jīng)營的模式。在計算機世界里，大數(shù)據(jù)被定義為一種使用非傳統(tǒng)的數(shù)據(jù)過濾工具，對大量有序或無序數(shù)據(jù)集合進行的挖掘過程，它包括但不僅限于分布式計算(Hadoop)。大數(shù)據(jù)已經(jīng)站在了數(shù)據(jù)存儲宣傳的風(fēng)口浪尖，也存在著大量不確定因素，這點上非常像“云”。我們請教了一些分析人士和大數(shù)據(jù)愛好者，請他們解釋一下大數(shù)據(jù)究竟是什么，以及它對于未來數(shù)據(jù)存儲的意義。大數(shù)據(jù)走進歷史舞臺適用于企業(yè)的大數(shù)據(jù)已經(jīng)出現(xiàn)，這在部分程度上要歸功于計算能耗的降低以及系統(tǒng)已具備執(zhí)行多重處理的能力這樣一個事實。而且隨著主存儲器成本的不斷下降，和過去相比，公司可以將更多的數(shù)據(jù)存

3、到存儲器中。并且，將多臺計算機連到服務(wù)器集群也變得更容易了。這三個變化加在一起成就了大數(shù)據(jù)，IDC 數(shù)據(jù)庫管理分析師Carl Olofson如是說?！拔覀儾粌H要把這些事情做好，還要能承受得起相應(yīng)的開支”，他說。 “過去的某些超級計算機也具有執(zhí)行系統(tǒng)多重處理的能力，(這些系統(tǒng)緊密相連，形成了一個集群)但因為要使用專門的硬件，它的成本高達幾十萬美元甚至更多?！爆F(xiàn)在我們可以使用普通硬件完成相同的配置。正因為這樣，我們能更快更省得處理更多數(shù)據(jù)。大數(shù)據(jù)技術(shù)還沒有在有大型數(shù)據(jù)倉庫的公司中得到廣泛普及。IDC認為，想讓大數(shù)據(jù)技術(shù)得到認可，首先技術(shù)本身一定要足夠便宜，然后，必須滿足IBM稱之為3V標準中的2V

4、，即：類型(variety)，量(volume)和速度(velocity)。種類要求指的是待存儲數(shù)據(jù)的類型分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。量是指存儲和分析的數(shù)據(jù)量可以很龐大。 “數(shù)據(jù)量不只是幾百TB，” Olofson說： “要視具體情況而定，因為速度和時間的關(guān)系，有時幾百GB可能就算很多了。如果我現(xiàn)在一秒能完成過去要花一小時才能完成的300GB的數(shù)據(jù)分析，那結(jié)果將大為不同。大數(shù)據(jù)就是這樣一種技術(shù)，它可以滿足這三個要求中的至少兩個，并且普通企業(yè)也能夠部署?！标P(guān)于大數(shù)據(jù)的三大誤解對于大數(shù)據(jù)是什么以及大數(shù)據(jù)能干什么存在很多誤會。下面就是有關(guān)大數(shù)據(jù)的三個誤解：1、關(guān)系數(shù)據(jù)庫無法大幅增容，因此不能被認為

5、是大數(shù)據(jù)技術(shù)(不對)2、無需考慮工作負載或具體使用情況，Hadoop或以此類推的任何MapReduce都是大數(shù)據(jù)的最佳選擇。(也不對)3、圖解式管理系統(tǒng)時代已經(jīng)結(jié)束。圖解的發(fā)展只會成為大數(shù)據(jù)應(yīng)用的攔路虎。(可笑的錯誤)大數(shù)據(jù)帶來的工作變化大數(shù)據(jù)時代的來臨，對我們統(tǒng)計數(shù)據(jù)的生產(chǎn)方式帶來了很大的挑戰(zhàn)。統(tǒng)計部門要充分利用海量數(shù)據(jù)并對其進行標準化處理，發(fā)掘這一數(shù)據(jù)寶庫，認真把握好這一促進政府統(tǒng)計改革發(fā)展的難得機遇。”在2012年12月27日開幕的全國統(tǒng)計工作會議上，國家統(tǒng)計局局長馬建堂首次對“大數(shù)據(jù)時代”進行解讀，并對政府統(tǒng)計部門如何應(yīng)對“大數(shù)據(jù)時代”的機遇和挑戰(zhàn)提出要求。傳統(tǒng)數(shù)據(jù)采集方式不僅需要科學(xué)

6、地確定調(diào)查對象，還需要通過標準化的報表進行數(shù)據(jù)采集、匯總和分析。然而隨著信息化、網(wǎng)絡(luò)化時代的到來，行政管理、生產(chǎn)經(jīng)營、商務(wù)活動等眾多領(lǐng)域正在源源不斷地產(chǎn)生海量的、即時的電子化數(shù)據(jù)，國內(nèi)許多企業(yè)和民間調(diào)查機構(gòu)已經(jīng)在開發(fā)、挖掘和利用這些數(shù)據(jù)資源，為用戶提供咨詢服務(wù)。隨著“大數(shù)據(jù)”資源的急劇增加和數(shù)據(jù)挖掘技術(shù)的日益成熟，為用戶提供的服務(wù)正在從商務(wù)領(lǐng)域向公共領(lǐng)域滲透，官方統(tǒng)計作為公共統(tǒng)計數(shù)據(jù)信息主渠道的地位面臨一定的挑戰(zhàn)。 談及一些發(fā)達國家政府統(tǒng)計工作的經(jīng)驗，馬建堂指出，近年來，國外許多政府統(tǒng)計機構(gòu)已經(jīng)開始積極應(yīng)用現(xiàn)代化信息技術(shù)，廣泛利用行政記錄、企業(yè)財務(wù)會計資料來采集數(shù)據(jù)，積極研究使用“大數(shù)據(jù)”生產(chǎn)

7、統(tǒng)計信息，努力減輕調(diào)查對象的負擔(dān)。統(tǒng)計工作必須適應(yīng)“大數(shù)據(jù)時代”的變化和要求，馬建堂強調(diào)，通過有效利用客觀存在的海量數(shù)據(jù)，能夠有效降低統(tǒng)計調(diào)查成本，有效減輕被調(diào)查者的負擔(dān)，緩解被調(diào)查者配合程度降低的矛盾，能夠提高統(tǒng)計數(shù)據(jù)的即時性，縮短統(tǒng)計數(shù)據(jù)生產(chǎn)周期，改善統(tǒng)計數(shù)據(jù)的質(zhì)量。統(tǒng)計部門要勇敢面對挑戰(zhàn)，順應(yīng)歷史發(fā)展潮流，積極使用科學(xué)方法發(fā)掘這一巨大的“數(shù)據(jù)寶庫”。大數(shù)據(jù)對生活的改變“（大數(shù)據(jù)）在人的生活方方面面都可以體現(xiàn)，比如我們說的電子商務(wù)，也是這樣，現(xiàn)在是需要你在網(wǎng)上通過海量的數(shù)據(jù)去找，找你喜歡的東西，當(dāng)我了解到你偏好、你的年齡、你的職業(yè)、你的收入、你的生活習(xí)慣之后，在你需要這個產(chǎn)品之前的時候，我

8、就推送給你。這個就很可怕了，作為人，你所有方方面面的需求，我都可以通過數(shù)據(jù)的分析以后推送給你，就意味著你生活的每個方方面面，這個時候它產(chǎn)生的廣告價值是巨大的?！保骸按髷?shù)據(jù)”已成為目前使用頻率最高的技術(shù)熱詞之一，想象未來尋常的一天：清晨，智能鬧鐘在你的淺睡眠時間而非預(yù)設(shè)時間喚醒你；起床后，衣櫥里的衣服會根據(jù)你當(dāng)天的活動進行推薦搭配。此時，車庫里的汽車正在根據(jù)你的設(shè)定進行預(yù)熱或冷卻；駕車上班，你的自動汽車會根據(jù)交通狀況規(guī)劃路線并持續(xù)更新；走在路上或在室內(nèi)，你的可穿戴設(shè)備記錄著你的運動水平、情緒波動、心率、血壓和食物攝取等信息，還有許多你能想象到的和想象不到的應(yīng)用場景，而這一切都是大數(shù)據(jù)在背后支撐

9、的，幾乎所有人都在討論大數(shù)據(jù)背后所帶來的科技方面、技術(shù)方面的進步，觀念上的改變，以及背后所蘊含的巨大價值。如果你要知道，北京人、上海人、廣州人他們各自最想去哪些城市旅游？本周那個熱點人物的搜索最多，哪款手機受關(guān)注最高? 百度指數(shù)可以直接為你解答。全國哪個地方的男士為女士購買商品最大方？哪個星座的女生網(wǎng)上花錢最多，淘寶指數(shù)可以為你呈現(xiàn)。在美國熱播美劇紙牌屋，就是通過海量數(shù)據(jù)庫調(diào)研分析，預(yù)測了觀眾的喜好口味，搭配出來劇情、導(dǎo)演、演員班底，并一炮走紅。全球零售巨頭沃爾瑪對消費者購物進行數(shù)據(jù)分析，發(fā)現(xiàn)男性顧客在購買嬰兒尿布濕時，常常會順便搭配購買幾瓶啤酒來犒勞自己，于是推出了將啤酒和尿布捆綁銷售的促銷

10、手段。如今這個啤酒+尿布的數(shù)據(jù)分析成果，已成為科學(xué)家通俗解釋“大數(shù)據(jù)”的科學(xué)案例。 大數(shù)據(jù)對學(xué)習(xí)的改變大數(shù)據(jù)可以收集足夠多的信息，且覆蓋面廣泛。我們在制作和利用大數(shù)據(jù)時，需要用個性化的方法把它們組織起來，將其運用于教育領(lǐng)域，進而幫助我們以前所未有的視角判斷什么可行、什么不可行；展示那些以前不可能觀察到的學(xué)習(xí)層面，實現(xiàn)學(xué)生學(xué)業(yè)表現(xiàn)的提升；基于學(xué)生的需求而非統(tǒng)一的課程標準來定制個性化課堂，促進理解并提高成績。200多年以來，學(xué)習(xí)一直是學(xué)校體系的一部分。但其實在此之前，還沒有現(xiàn)代意義上的學(xué)?；蛘叽髮W(xué)，教育基本上是以個人形態(tài)存在的。一些富人家的孩子會獲得一個一對一的導(dǎo)師，但這樣的教育只有少數(shù)人才可以享

11、有。現(xiàn)在教育是由普通大眾來獲得，這無論如何都是一個好事，是前進的一大步。但是，目前的這種情況還是不夠的。為什么這么說呢？因為，作為學(xué)生，其實我們每一個人都有自己獨特的個性、需求和學(xué)習(xí)上的傾向。但是，目前我們這個教育系統(tǒng)還沒有辦法支持這個個性。如何才可以改變、完善這個系統(tǒng)？就是要通過對數(shù)據(jù)的收集和利用。如今一些技術(shù)上的進展已經(jīng)為有關(guān)數(shù)據(jù)的大規(guī)模收集和利用創(chuàng)造了條件。在我看來，大數(shù)據(jù)正是可以從這個意義上重塑學(xué)習(xí)的三個主要特征，即反饋、個性化和概率預(yù)測。說到這里，我想舉多鄰國（Duolingo）的例子。它的主體是一個語言學(xué)習(xí)網(wǎng)站，同時提供網(wǎng)頁版和手機應(yīng)用版。多鄰國也是由一位計算機科學(xué)系的教授創(chuàng)建的，

12、他叫路易斯馮安。多鄰國是免費的。通過下載它提供的應(yīng)用程序，你就可以在手機上學(xué)習(xí)國外的語言，非常有意思，使用起來也非常輕松。現(xiàn)在已經(jīng)有成千上萬的人用這個應(yīng)用程序來學(xué)習(xí)語言。多鄰國的貢獻在于，它是一套數(shù)據(jù)導(dǎo)向式的教學(xué)方式。無論用戶是花幾分鐘還是幾個小時在手機上用這個應(yīng)用程序?qū)W習(xí)，他們都可以通過后臺程序來跟蹤收集大家學(xué)習(xí)語言的數(shù)據(jù)。通過學(xué)生在應(yīng)用程序上回答一個個問題，系統(tǒng)和多鄰國的團隊會分析用戶一般會糾結(jié)于哪些問題，會犯哪些錯誤。通過分析使用者的互動數(shù)據(jù)，分析他們的學(xué)習(xí)方式，從而再反過來，用這些積累下來的數(shù)據(jù)去改進整個應(yīng)用程序。路易斯馮安曾說，其實他們對于到底如何學(xué)習(xí)外語所知不多，但是他們可以通過對

13、數(shù)據(jù)的分析來了解學(xué)生更容易犯什么樣的錯誤，從而幫助他們更好地學(xué)習(xí)。比如，他們發(fā)現(xiàn)母語為西班牙語的人在學(xué)習(xí)英語時，有些詞其實應(yīng)該晚一點再學(xué)。這樣他們在學(xué)英語的過程中就會更少碰到障礙，從而更易獲得進步。而在此之前，我們傳統(tǒng)的教學(xué)是怎樣獲得反饋的呢？就是通過考試?？荚囍竽阃ǔ@得一個分數(shù)，這就是你可以通過一場考試得到的全部反饋了。但事實上，這個分數(shù)可以幫到你的不是很多，它并不能幫助你更好地改善你的學(xué)習(xí)。它既沒有辦法很好地分析你的學(xué)習(xí)過程，也不告訴你究竟該如何來改善你的學(xué)習(xí)。而事實上，問題很可能并不在于你本身的努力程度，而在于你的學(xué)習(xí)方式不對、你用的教科書不對、或者你遇到的教學(xué)方式可能根本不適合你

14、。隨著教育的發(fā)展，越來越多教育者開始注意到收集反饋的重要性，但憑借既有的方式，他們收集到的正確數(shù)據(jù)非常有限，或者在量上遠遠未能達到可以改進教學(xué)的規(guī)模。多鄰國的例子可以啟發(fā)我們：當(dāng)通過大數(shù)據(jù)，收集信息和反饋具備了更好的基礎(chǔ)、更多的可能性，我們不僅更容易收集到數(shù)據(jù)了，還可能收集到更多可以幫助我們改善學(xué)習(xí)方法的數(shù)據(jù)。如果我們可以更多關(guān)注學(xué)習(xí)的過程，而不僅僅是像以往那樣更多關(guān)注學(xué)習(xí)的成績，我們的學(xué)習(xí)和教育現(xiàn)狀一定會有所改變。它會找到更好的收集反饋的方式，還能使我們的教學(xué)更適合于每一個個人。當(dāng)一個學(xué)生對他的學(xué)習(xí)內(nèi)容并不十分理解時，他可以用一種新的方法學(xué)習(xí)。他可以慢慢學(xué)，不必用同別人一樣的方法來學(xué)習(xí)。大數(shù)

15、據(jù)在這個問題上的優(yōu)勢在于：它可以收集足夠多的信息，且覆蓋面廣泛。我們在制作和利用大數(shù)據(jù)時，需要用個性化的方法把它們組織起來，將其運用于教育領(lǐng)域，進而幫助我們以前所未有的視角判斷什么可行、什么不可行；展示那些以前不可能觀察到的學(xué)習(xí)層面，實現(xiàn)學(xué)生學(xué)業(yè)表現(xiàn)的提升；基于學(xué)生的需求而非統(tǒng)一的課程標準來定制個性化課堂，促進理解并提高成績。當(dāng)然，在這個指導(dǎo)思想下設(shè)計出來的課程單，除了根據(jù)學(xué)生的需求，也會考慮到他們的潛能。類似這樣的教學(xué)項目在現(xiàn)實中已經(jīng)有所實踐。既然我們可以截取、混合最愛的音樂并將之刻錄到iPod播放器中，那么，為什么不能對我們的學(xué)習(xí)做出同樣的操作呢？所以，對于改善人類的教育而言，“個性化”是

16、僅次于“反饋”的第二大要點。大數(shù)據(jù)可以重塑學(xué)習(xí)的第三大要點在于“概率預(yù)測”。所謂概率預(yù)測，就是通過大數(shù)據(jù)，我們能夠?qū)θ藗兊恼w學(xué)習(xí)狀況和個體的知識掌握情況產(chǎn)生獨到的見解。然后，基于某種高度的可能性，對個體為提高其學(xué)業(yè)成績需要實施的行為作出預(yù)測。比如，選擇最有效的教材、教學(xué)風(fēng)格和反饋機制。在由孟加拉裔美國人薩爾曼可汗創(chuàng)立的可汗學(xué)院中就曾遇到這樣一個例子。后臺數(shù)據(jù)顯示，有一個七年級的女孩一直搞不定數(shù)學(xué)，然后她就反反復(fù)復(fù)地學(xué)這幾門課。但突然有一天，她學(xué)習(xí)了別的課，竟然就開竅了。她對所學(xué)內(nèi)容的反應(yīng)越來越快，在夏季結(jié)束時她成了最好的學(xué)生之一。可汗學(xué)院研究了一下她這個案例，發(fā)現(xiàn)正是因為她在中途突然改變了學(xué)

17、習(xí)的內(nèi)容和方法，才帶來了轉(zhuǎn)變。這個例子正揭示了“概率預(yù)測”的可用武之地。有時候，我們的學(xué)習(xí)之所以沒有進展，正是因為課堂的配置出了問題。由此，可汗學(xué)院提出了“翻轉(zhuǎn)課堂”的理念?！胺D(zhuǎn)課堂”提倡的是，你先在課外閱讀材料或者觀看視頻，這些內(nèi)容通常由世界上最好的老師來講授。然后，你再帶著滿腦子的問題去上課，和你所在學(xué)校的老師進行探討。通過這個方式，你可以找到最合適你的教材和更有針對性的、適合你的教學(xué)風(fēng)格。而面對面的討論，無疑是更好的反饋機制得以產(chǎn)生的基礎(chǔ)?！八越裉靵砜创髷?shù)據(jù)，數(shù)據(jù)確實已經(jīng)變成了一種資源，我們以前認為數(shù)據(jù)是我們在信息化過程中附加產(chǎn)生的東西，是一種附屬的東西，而今天要轉(zhuǎn)過來看這個問題，數(shù)

18、據(jù)是核心，產(chǎn)生數(shù)據(jù)的過程只是一個過程。信息化圍繞著工業(yè)、農(nóng)業(yè)、各行各業(yè)去運轉(zhuǎn)，下一步希望所有的行業(yè)以數(shù)據(jù)為中心考慮問題，設(shè)計流程，管理資產(chǎn)。我們開始以社會為中心的實現(xiàn)信息化，現(xiàn)在希望以數(shù)據(jù)為中心，重構(gòu)我們的社會，重構(gòu)我們的應(yīng)用，重構(gòu)我們的管理。 ”大數(shù)據(jù)帶給我們的啟示我國也有應(yīng)用大數(shù)據(jù)的旺盛需求，迫切需要以大數(shù)據(jù)為工具促進社會進步、加速經(jīng)濟發(fā)展、提升人民生活水平。為此，可從三個方面借鑒美國發(fā)展大數(shù)據(jù)的經(jīng)驗。第一，確立大數(shù)據(jù)的戰(zhàn)略地位。大數(shù)據(jù)領(lǐng)域的競爭將關(guān)系到國家的安全和未來，國家競爭力也將愈發(fā)體現(xiàn)為一國擁有數(shù)據(jù)的規(guī)模、活性以及解釋、運用的能力。我國要發(fā)展好、應(yīng)用好大數(shù)據(jù)，應(yīng)把大數(shù)據(jù)產(chǎn)業(yè)上升到戰(zhàn)略高度，強化全民數(shù)據(jù)意識，樹立以數(shù)據(jù)提高效率、提升精細化和智能化水平的意識，從國家層面推動大數(shù)據(jù)的收集、分析和應(yīng)用。第二，推動大數(shù)據(jù)的創(chuàng)新應(yīng)用。政府部門應(yīng)基于自身及和社會服務(wù)機構(gòu)掌握的豐富數(shù)據(jù)，在醫(yī)療健康、食品衛(wèi)生、道路交通、地質(zhì)災(zāi)害、社會輿情、國防安全等領(lǐng)域先行開展應(yīng)用示范，繼而不斷拓展在各部門、各行業(yè)的應(yīng)用范圍。在此基礎(chǔ)上，要特別注重加強對微博、微信、社交網(wǎng)絡(luò)等新媒體數(shù)據(jù)的應(yīng)用。例如，在波士頓馬拉松爆炸案中，美