大數(shù)據(jù)與大數(shù)據(jù)經(jīng)濟學(xué)

1、大數(shù)據(jù)與大數(shù)據(jù)經(jīng)濟學(xué)2012年，Twitter上每天發(fā)布超過4億條微博，F(xiàn)acebook上每天更新的照片超過1000萬張,Farecast公司用將近10萬億條價格記錄來預(yù)測機票價格，準(zhǔn)確率高達(dá)75%,采用該系統(tǒng)購票，平均每張機票可節(jié)省50美元。Gartner預(yù)測未來5年全球大數(shù)據(jù)將會增加8倍，其中80%是非結(jié)構(gòu)化數(shù)據(jù)。2013年世界上存儲的數(shù)據(jù)將達(dá)到，如果將這些數(shù)據(jù)刻錄到CDR只讀光盤上，并堆起來，其高度將是地球到月球距離的5倍。2011年，麥肯錫公司對全世界大數(shù)據(jù)的分布作了一個研究和統(tǒng)計，中國2010年新增的數(shù)據(jù)量約為250PB，而歐洲約為20008,美國約為3500PB,大數(shù)據(jù)已經(jīng)深深地充

2、斥了人類經(jīng)濟社會的許多角落。著名未來學(xué)家阿爾文?托夫勒(1980)八很早就在其經(jīng)典著作第三次浪潮中，將大數(shù)據(jù)熱情地贊譽為“第三次浪潮的華彩樂章”，但是大數(shù)據(jù)成為高頻詞是最近一兩年的事情。隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云計算的興起，數(shù)據(jù)規(guī)模越來越大，2011年5月，全球知名咨詢公司麥肯錫(MckinseyandCompany)發(fā)布了大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿領(lǐng)域2報告，標(biāo)志著大數(shù)據(jù)”時代的到來，指出數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素;而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來”。2012年世界經(jīng)濟論壇發(fā)布了大數(shù)據(jù)、大影響3的報告，從金融

3、服務(wù)、健康、教育、農(nóng)業(yè)、醫(yī)療等多個領(lǐng)域闡述了大數(shù)據(jù)給世界經(jīng)濟社會發(fā)展帶來的機會。2012年3月，奧巴馬政府發(fā)布大數(shù)據(jù)研究和發(fā)展倡議4,投資2.5億美元，正式啟動大數(shù)據(jù)發(fā)展計劃，計劃在科學(xué)研究、環(huán)境、生物醫(yī)學(xué)等領(lǐng)域?qū)で笸黄?。?jù)Gartner公司2012年8月發(fā)布的技術(shù)發(fā)展生命周期5趨勢圖(圖1),大數(shù)據(jù)不到兩年時間內(nèi)成為新技術(shù)發(fā)展的熱點。一時間大數(shù)據(jù)蜂擁襲來，那么什么是大數(shù)據(jù)?大數(shù)據(jù)對傳統(tǒng)經(jīng)濟學(xué)會帶來哪些沖擊?傳統(tǒng)經(jīng)濟學(xué)應(yīng)該如何面對大數(shù)據(jù)帶來的挑戰(zhàn)?對于什么是大數(shù)據(jù)，目前業(yè)界并沒有公認(rèn)的說法。Dumbill(2012)6采用IBM公司的觀點，認(rèn)為大數(shù)據(jù)具有“3V”特點，即規(guī)模性(Volume)、

4、多樣性(Variety)、實時性(Velocity)。以IDC為代表的業(yè)界認(rèn)為大數(shù)據(jù)具備“4V”特點，即在3V的基礎(chǔ)上增加價值性(Value)。NetApp公司7認(rèn)為大數(shù)據(jù)應(yīng)包括A、B、C三大要素，即分析(Analytic)、帶寬(Bandwidth)和內(nèi)容。田0團(tuán))。所謂大分析(BigAnalytics),指通過對大數(shù)據(jù)進(jìn)行實時分析后帶來新的業(yè)務(wù)模式，幫助用戶獲得洞見，從而更好地進(jìn)行客戶服務(wù);高帶寬(BigBandwidth指快速有效地消化和處理大數(shù)據(jù);大內(nèi)容(BigContent)-方面指大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)與非機構(gòu)化數(shù)據(jù)，另一方面則是指對數(shù)據(jù)的存儲擴展要求極高，能輕松實現(xiàn)數(shù)據(jù)的

5、恢復(fù)、備份、復(fù)制與安全管理。Gartner認(rèn)為，大數(shù)據(jù)需要新的處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力，滿足海量、高增長和多樣化信息資產(chǎn)的需要。大數(shù)據(jù)是工業(yè)傳感器、互聯(lián)網(wǎng)、移動數(shù)碼等固定和移動設(shè)備產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的總和，大數(shù)據(jù)重在實時的處理與應(yīng)用，以獲得所需要的信息和知識，從而實現(xiàn)商業(yè)價值以及為公共管理服務(wù)。數(shù)據(jù)挖掘和人工智能等應(yīng)用工具在大數(shù)據(jù)處理中發(fā)揮著重要作用，現(xiàn)代信息技術(shù)是大數(shù)據(jù)賴以存在和發(fā)展的重要支撐力量。二、大數(shù)據(jù)給經(jīng)濟學(xué)帶來的影響Victor(2012)8在其最新著作大數(shù)據(jù)時代一生活、工作與思維的大變革中指出，大數(shù)據(jù)時代，思維方式要發(fā)生3個

6、變革：第_，要分析與事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少量數(shù)據(jù)樣本;要總體，不要樣本。第二，要樂于接受數(shù)據(jù)的紛繁復(fù)雜，而不再追求精確性。第三,不再探求難以捉摸的因果關(guān)系，應(yīng)該更加注重相關(guān)關(guān)系。楊華磊(2013)9分析了高頻數(shù)據(jù)對傳統(tǒng)經(jīng)濟學(xué)研究范式的沖擊，出現(xiàn)了非主流經(jīng)濟學(xué)就是致力研究異?，F(xiàn)象的經(jīng)濟學(xué)”，當(dāng)然高頻數(shù)據(jù)與大數(shù)據(jù)不是一回事，兩者之間存在交集。那么，大數(shù)據(jù)給經(jīng)濟學(xué)帶來了哪些影響昵?(一)大數(shù)據(jù)研究對象變成了總體傳統(tǒng)經(jīng)濟學(xué)研究中，由于搜集數(shù)據(jù)的條件所限，人們往往對數(shù)據(jù)進(jìn)行抽樣，用少量樣本來進(jìn)行研究，這一傳統(tǒng)一直延續(xù)至今，并且成為經(jīng)濟學(xué)研究的主流做法，但是抽樣的質(zhì)量對研究結(jié)果影響很大，比如

7、公眾對政府統(tǒng)計部門公布的物價指數(shù)和基尼系數(shù)引發(fā)的懷疑。在大數(shù)據(jù)時代，很多場合下已經(jīng)無需進(jìn)行針對樣本的研究，直接將總體作為研究對象，從而很大程度上改變了數(shù)據(jù)來源方式，對數(shù)據(jù)的處理也產(chǎn)生了深遠(yuǎn)的影響。（二）大數(shù)據(jù)不需要基于假設(shè)檢驗的研究傳統(tǒng)的經(jīng)濟學(xué)研究，往往根據(jù)研究內(nèi)容提出數(shù)個假設(shè)，然后再采用數(shù)學(xué)模型基于統(tǒng)計檢驗來驗證假設(shè)。但在大數(shù)據(jù)時代，由于有足夠的變量、足夠的數(shù)據(jù)，可以采用人工智能來進(jìn)行數(shù)據(jù)挖掘和知識發(fā)現(xiàn)，得到的結(jié)論是成百上千的，和傳統(tǒng)經(jīng)濟學(xué)研究需要驗證假設(shè)的數(shù)量永遠(yuǎn)不是一個數(shù)量級。在大數(shù)據(jù)時代，如果繼續(xù)采用傳統(tǒng)的假設(shè)檢驗方法進(jìn)行研究，永遠(yuǎn)是不充分的、不完備的、無法滿足需要的。大數(shù)據(jù)時代重在對

8、數(shù)據(jù)處理的多樣化結(jié)果進(jìn)行分析，可以是基于經(jīng)濟學(xué)的，也可以是基于應(yīng)用的，從而輔助人們決策。此外，由于變量的完備性要求使得傳統(tǒng)的基于假設(shè)驗證的研究有時變得十分尷尬。比如，研究研發(fā)投入對企業(yè)績效的影響，需要考慮的不僅僅是研發(fā)投入，還要考慮企業(yè)資本結(jié)構(gòu)、競爭水平、人員素質(zhì)、行業(yè)特點、管理能力等諸多因素，研究者重點關(guān)注的是研發(fā)投入的彈性系數(shù)，但卻得到了其它所有數(shù)十個變量的彈性系數(shù)，從而使研究重心不容易掌握。（三）大數(shù)據(jù)使得因果關(guān)系變得不太重要傳統(tǒng)經(jīng)濟學(xué)是一門解釋科學(xué)，重在對經(jīng)濟現(xiàn)象進(jìn)行解釋，了解他們的因果關(guān)系，但在大數(shù)據(jù)時代，這樣做是遠(yuǎn)遠(yuǎn)不夠的，大數(shù)據(jù)甚至可以發(fā)現(xiàn)事物發(fā)展?jié)撛诘囊?guī)律，以供經(jīng)濟學(xué)家解釋，具

9、有_定的“智能性”，某種程度上超越了經(jīng)濟學(xué)研究的因果關(guān)系。大數(shù)據(jù)并沒有改變因果關(guān)系，但是使傳統(tǒng)經(jīng)濟學(xué)的因果關(guān)系變得不太重要。比如經(jīng)濟學(xué)家在預(yù)測房價時，無非是根據(jù)住房價格變化的影響因素來進(jìn)行分析，比如經(jīng)濟發(fā)展水平、人均收入、土地價格、宏觀房產(chǎn)政策、地點等因素。但谷歌預(yù)測房價時，根據(jù)住房搜索查詢量變化進(jìn)行預(yù)測，結(jié)果比不動產(chǎn)經(jīng)濟學(xué)家的預(yù)測更為準(zhǔn)確及時。IBM日本公司，通過檢索關(guān)鍵詞“新訂單”“雇員“生產(chǎn)”等來預(yù)測采購經(jīng)理人指數(shù)，僅用6小時就得出結(jié)果，并且和專業(yè)的采購人指數(shù)分析師們計算的結(jié)果基本一致。大數(shù)據(jù)并沒有改變因果關(guān)系，但使因果關(guān)系變得意義不大，很多時候因果關(guān)系成為正確的廢話”。（四）傳統(tǒng)的因果

10、關(guān)系有時無法驗證弄清事物之間的內(nèi)在聯(lián)系和作用機制，一直是傳統(tǒng)經(jīng)濟學(xué)研究的核心。但有時因果關(guān)系是沒有辦法驗證的。比如新產(chǎn)品上市，人們往往傾向于購買新產(chǎn)品，這樣對舊產(chǎn)品的需求會下降，那么舊產(chǎn)品價格應(yīng)該立即回落，這是其一。從另外個角度，如果大家都認(rèn)識到這一點，就會貪便宜購買舊產(chǎn)品，短期內(nèi)會造成舊產(chǎn)品供不應(yīng)求，反而導(dǎo)致舊產(chǎn)品漲價。究竟是漲是跌，要看這兩種因素誰弱誰強，采用傳統(tǒng)經(jīng)濟學(xué)研究方法是難以驗證這兩種效應(yīng)的，只能驗證兩種效應(yīng)作用的綜合結(jié)果。實際情況是，在大數(shù)據(jù)時代，西雅圖Dg公司分析了近400萬商品的超過250億條價格信息，發(fā)現(xiàn)新產(chǎn)品上市時，短期內(nèi)舊產(chǎn)品價格是上漲的，過一段時間才逐步回落。采用大數(shù)

11、據(jù)，既可以知道多少人購買舊產(chǎn)品，也能知道多少人購買新產(chǎn)品，以及舊產(chǎn)品價格變化的規(guī)律。在這種情況下，我們知道所有的因果關(guān)系，卻難以檢驗，并且沒有意義，知道結(jié)果更重要。（五）傳統(tǒng)經(jīng)濟學(xué)研究具有滯后性傳統(tǒng)經(jīng)濟學(xué)對于新生事物是不敏感的，必須等事情發(fā)生并且成長到_定規(guī)模以后才能搜集到足夠數(shù)據(jù)進(jìn)行相關(guān)研究。在大數(shù)據(jù)時代，可以通過海量數(shù)據(jù)對經(jīng)濟行為進(jìn)行分析，一旦有新情況、新動態(tài)立即予以關(guān)注，從而實現(xiàn)對新生事物的早期干預(yù)和分析，因此具有前瞻性。大數(shù)據(jù)本身就具有智能，可以輔助經(jīng)濟學(xué)發(fā)現(xiàn)知識。(六)大數(shù)據(jù)對基于統(tǒng)計檢驗的計量經(jīng)濟學(xué)沖擊很大建立在回歸和統(tǒng)計檢驗基礎(chǔ)上的計量經(jīng)濟學(xué)以其嚴(yán)謹(jǐn)?shù)倪壿嫵蔀榻?jīng)濟學(xué)研究的重要方法

12、論，迄今為止，諾貝爾經(jīng)濟學(xué)獎獲得者有近半數(shù)是計量經(jīng)濟學(xué)家，但大數(shù)據(jù)動搖了這_根基，比如采用普通回歸研究自變量X于因變量Y的關(guān)系，對于X回歸系數(shù)采用t檢驗，_般認(rèn)為相伴概率小于0.05(特殊情況可以放大到0.1)就說明兩變量相關(guān)。其實在這種情況下，犯兩變量不相關(guān)錯誤的可能性是5%,以CNNIC發(fā)布的第31次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告M為例，2012年底我國網(wǎng)民數(shù)量達(dá)5.64億人，假設(shè)我們研究網(wǎng)民平均受教育年限(X)與上網(wǎng)時長(Y)的關(guān)系，5%就是2820萬人，此時我們還能漠視這5%的錯誤嗎?同樣，如果t檢驗的相伴概率為0.95,那么很明顯說明平均受教育年限與上網(wǎng)時長不相關(guān)，但同樣會犯錯誤，即有

13、5%的可能性平均受教育年限(X)與上網(wǎng)時長(Y)是相關(guān)的，會涉及2820萬網(wǎng)民，這同樣是不能忽視的。（七）大數(shù)據(jù)對經(jīng)濟學(xué)建模提出挑戰(zhàn)傳統(tǒng)的經(jīng)濟學(xué)研究，往往采用1個或少數(shù)幾個數(shù)學(xué)模型來進(jìn)行研究，但任何模型都各有長處，也各有其局限，沒有包治百病萬能的數(shù)學(xué)模型。比如動態(tài)面板容易使投入變量的彈性系數(shù)估計變小，空間面板容易出現(xiàn)空間矩陣設(shè)置方法不當(dāng)導(dǎo)致結(jié)果偏誤，面板變系數(shù)模型難以和空間面板結(jié)合使用，面板聯(lián)立方程模型對方程形式的要求極高，面板向量自回歸模型難以和空間面板融合等等。在研究同一問題時，可用模型其實較多，有沒有最佳模型昵?這恐怕是個無解的問題。實際情況是，迄今為止傳統(tǒng)經(jīng)濟學(xué)研究得出的結(jié)論，至多只能

14、說明采用甲模型的結(jié)論，并不具有普適性，換個乙模型結(jié)論可能立即就變了，其實研究結(jié)論是脆弱的。此外，在研究同一個問題時，即使采用同一模型，由于模型的變量選擇、估計的方法、參數(shù)設(shè)置、滯后期選擇等不同，也會導(dǎo)致估計結(jié)果相差很大。在大數(shù)據(jù)時代，借助云計算和分布式處理等現(xiàn)代信息技術(shù)，往往可以采用成百上千的模型來進(jìn)行研究。Google公司在預(yù)測2009年美國甲型H1N1流感爆發(fā)時間時，把5000萬條美國人常用的檢索詞條和美國疾控中心2003-2008年期間季節(jié)性流感傳播數(shù)據(jù)進(jìn)行比較，希望通過搜索記錄判斷這些人是否得了流感，先后共采用了4.5億個不同的數(shù)學(xué)模型，預(yù)測結(jié)果和官方數(shù)據(jù)的一致率高達(dá)97%,但比官方節(jié)

15、省了兩周時間，從而為政府采取相關(guān)措施贏得了寶貴的時間。在傳統(tǒng)經(jīng)濟學(xué)研究中，由于研究對象錯綜復(fù)雜，直接影響與間接影響因素眾多，變量的完備性被認(rèn)為是不可能的事情，往往只能選取少數(shù)變量來進(jìn)行研究，達(dá)到一個相對滿意的結(jié)果。在大數(shù)據(jù)時代，我們可以獲取越來越多的變量，從而使遺失變量的可能性降到最低，這樣在研究中由原來的數(shù)個變量可能會變成數(shù)十個甚至成百上千的變量，在這樣的情況下，對原有的建模技術(shù)就帶來了巨大挑戰(zhàn)，對計量經(jīng)濟學(xué)的發(fā)展將會產(chǎn)生深遠(yuǎn)影響。（八）大數(shù)據(jù)給經(jīng)濟學(xué)研究工具和手段發(fā)生變化傳統(tǒng)經(jīng)濟學(xué)研究，_個團(tuán)隊、數(shù)臺電腦、幾個軟件就能進(jìn)行像樣的研究，很少有運算需要動用大中型服務(wù)器的，但在大數(shù)據(jù)時代，經(jīng)濟學(xué)

16、研究發(fā)生了巨大的變化，在人員組成上，不光要有經(jīng)濟學(xué)家和領(lǐng)域?qū)＜遥€要有大數(shù)據(jù)維護(hù)專家、大數(shù)據(jù)建模專家;在計算工具上，需要廣泛借助云計算，幾臺電腦根本解決不了問題;從合作關(guān)系上，需要廣泛與政府、大數(shù)據(jù)擁有者、云計算服務(wù)商等合作，不然難以進(jìn)行研究。大數(shù)據(jù)時代，經(jīng)濟學(xué)研究必須依靠跨學(xué)科團(tuán)隊，傳統(tǒng)的少數(shù)幾個學(xué)者就能進(jìn)行研究的模式已經(jīng)難以為繼。（九）大數(shù)據(jù)徹底改變了傳統(tǒng)的統(tǒng)計調(diào)查方式大數(shù)據(jù)徹底改變了傳統(tǒng)的統(tǒng)計調(diào)查方式，比如對于經(jīng)濟指數(shù)、物價指數(shù)的計算，完全可以采用全新的模式，徹底摒棄傳統(tǒng)方式。對于統(tǒng)計學(xué)中的異常點，以往的處理方式往往是丟棄，或者是平滑，但在大數(shù)據(jù)時代，由于樣本眾多，異常點成為寶貴的資源和

17、研究對象廣受重視。傳統(tǒng)的統(tǒng)計數(shù)據(jù)是經(jīng)過加工后的結(jié)構(gòu)化的數(shù)據(jù)，在大數(shù)據(jù)時代，人們更加重視原始數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，因為如果統(tǒng)計數(shù)據(jù)已經(jīng)經(jīng)過加工，那就變成了二手?jǐn)?shù)據(jù)，如果_手?jǐn)?shù)據(jù)加工過程出現(xiàn)問題必然導(dǎo)致后續(xù)處理出現(xiàn)誤差。此外，大數(shù)據(jù)還使間隔時間較短的高頻數(shù)據(jù)研究成為可能。三、大數(shù)據(jù)經(jīng)濟學(xué)（一）大數(shù)據(jù)經(jīng)濟學(xué)的定義與研究內(nèi)容考慮到大數(shù)據(jù)給傳統(tǒng)經(jīng)濟學(xué)帶來的巨大沖擊和影響，迫切需要對此進(jìn)行研究，斯坦福大學(xué)的教授、沃爾瑪全球電子商務(wù)的高級副總裁的共同創(chuàng)立者發(fā)明了個新詞，指將計算機科學(xué)和信息技術(shù)應(yīng)用于經(jīng)濟學(xué)領(lǐng)域，特別指應(yīng)用于大數(shù)據(jù)的經(jīng)濟分析的意義相近，翻譯成中文后更容易混淆，加上其和（生態(tài)）相近，因此并不是一個

18、好的名詞。本文提出大數(shù)據(jù)經(jīng)濟學(xué),給出如下定義：大數(shù)據(jù)經(jīng)濟學(xué)是在經(jīng)濟學(xué)研究和應(yīng)用中采用大數(shù)據(jù)并且采用大數(shù)據(jù)思想對傳統(tǒng)經(jīng)濟學(xué)進(jìn)行深化的新興交叉學(xué)科。大數(shù)據(jù)經(jīng)濟學(xué)不僅要研究如何建模、管理和應(yīng)用大數(shù)據(jù)，而且要深入研究傳統(tǒng)經(jīng)濟學(xué)如何應(yīng)對大數(shù)據(jù)帶來的挑戰(zhàn)并進(jìn)行改良，大數(shù)據(jù)經(jīng)濟學(xué)需要經(jīng)濟學(xué)家、領(lǐng)域?qū)＜液托畔⒓夹g(shù)專家等密切合作，對人文社科與自然科學(xué)的跨學(xué)科研究提出了更高的要求，并且對整個經(jīng)濟學(xué)、社會學(xué)、公共管理等將帶來革命性變革。大數(shù)據(jù)經(jīng)濟學(xué)的研究內(nèi)容包括：第一，大數(shù)據(jù)計量經(jīng)濟學(xué)。這是和傳統(tǒng)計量經(jīng)濟學(xué)對應(yīng)的一個學(xué)科，也是大數(shù)據(jù)經(jīng)濟學(xué)下面的子學(xué)科。在大數(shù)據(jù)背景下，經(jīng)濟學(xué)建模與分析方法與傳統(tǒng)計量經(jīng)濟學(xué)完全不同，迫切需要采用全新的思路和方法進(jìn)行研究。對信息技術(shù)專家們而言，大數(shù)據(jù)經(jīng)濟學(xué)僅僅是算法和建模問題，但是如果沒有經(jīng)濟學(xué)理論指導(dǎo)，沒有經(jīng)濟學(xué)家的思維，必然會導(dǎo)致研究方向的迷失。一些大數(shù)據(jù)領(lǐng)域的學(xué)者認(rèn)為要相關(guān)，不要因果”，這是非常要不得的，傳統(tǒng)經(jīng)濟學(xué)理論至今仍然到處閃爍著智慧的光芒，對經(jīng)濟現(xiàn)象的深入見解時刻發(fā)揮