大數(shù)據(jù)論文報(bào)告

計(jì)算機(jī)系統(tǒng)構(gòu)造（論文）題目

大數(shù)據(jù)的分析院系信息工程系專(zhuān)業(yè)計(jì)算機(jī)科學(xué)與技術(shù)年級(jí)級(jí)班級(jí)1471姓名杜航學(xué)號(hào)指導(dǎo)教師:孫楊年12月22日目錄1緒論………………………32大數(shù)據(jù)概述………………32.1什么是大數(shù)據(jù)………………………32.2大數(shù)據(jù)的三個(gè)層次…………………42.3云存儲(chǔ)對(duì)大數(shù)據(jù)的增進(jìn)作用………………………52.4大數(shù)據(jù)將來(lái)的行業(yè)應(yīng)用……………63大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)………………73.1機(jī)遇與挑戰(zhàn)并存……………………73.2大數(shù)據(jù)時(shí)代如何抓住機(jī)遇并應(yīng)對(duì)挑戰(zhàn)……………74國(guó)內(nèi)外有關(guān)大數(shù)據(jù)以及信息資源共享的研究現(xiàn)狀……………………94.1境外的大數(shù)據(jù)發(fā)展…………………94.2國(guó)內(nèi)外有關(guān)"政府?dāng)?shù)據(jù)信息共享"研究與比較……………………105參考文獻(xiàn)…………………111緒論說(shuō)起大數(shù)據(jù)，預(yù)計(jì)大家都覺(jué)得只聽(tīng)過(guò)概念，但是具體是什么東西，怎么定義，沒(méi)有一種原則的東西，由于在我們的印象中仿佛諸多公司都叫大數(shù)據(jù)公司，業(yè)務(wù)形態(tài)則有幾百種，感覺(jué)不是較好理解，因此我建議還是從字面上來(lái)理解大數(shù)據(jù)，在維克托?邁爾?舍恩伯格及肯尼斯?庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》提到了大數(shù)據(jù)的4個(gè)特性，一種是數(shù)量大，一種是價(jià)值大，一種是速度快，一種是多樣性。有關(guān)大數(shù)據(jù)的概念其實(shí)在1998年已經(jīng)就有人提出了，但是到了現(xiàn)在才開(kāi)始有所發(fā)展，這些其實(shí)都是和當(dāng)下移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展分不開(kāi)的，移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，為大數(shù)據(jù)的產(chǎn)生提供了更多的產(chǎn)生大數(shù)據(jù)的硬件前提，例如說(shuō)智能手機(jī)，智能硬件，車(chē)聯(lián)網(wǎng)，Pad等數(shù)據(jù)的產(chǎn)生終端。這些智能通過(guò)移動(dòng)通信技術(shù)和人們的生活緊密的結(jié)合在一起，在人流、車(chē)流的背后產(chǎn)生了信息流，也就產(chǎn)生了大量的數(shù)據(jù)。另首先就是移動(dòng)通信技術(shù)的快速發(fā)展，在2G時(shí)代，無(wú)線網(wǎng)速慢，數(shù)據(jù)產(chǎn)生也非常慢，數(shù)據(jù)體量也不夠，因此還是無(wú)法形成大數(shù)據(jù)，而到了4G時(shí)代，終端數(shù)據(jù)的增加，使得任何的移動(dòng)終端都在無(wú)時(shí)無(wú)刻的產(chǎn)生著大量的數(shù)據(jù)，這個(gè)也是大數(shù)據(jù)到來(lái)的一種條件之一。第三個(gè)方面的就是大數(shù)據(jù)有關(guān)技術(shù)的飛速發(fā)展，如云計(jì)算，云存儲(chǔ)技術(shù)，他們的快速發(fā)展，是大數(shù)據(jù)誕生的溫床，如果沒(méi)有這些技術(shù)，即使有大量的數(shù)據(jù)也只能望洋興嘆。傳統(tǒng)的存儲(chǔ)技術(shù)相對(duì)落后，根據(jù)不同數(shù)據(jù)實(shí)施單一存儲(chǔ)，這個(gè)顯然滿(mǎn)足不了大數(shù)據(jù)的需求，而云時(shí)代的存儲(chǔ)系統(tǒng)需要的不僅僅是容量的提高，對(duì)于性能的規(guī)定同樣迫切，與以往只面對(duì)有限的顧客不同，在云時(shí)代，存儲(chǔ)系統(tǒng)將面對(duì)更為廣闊的顧客群體，顧客數(shù)量級(jí)的增加使得存儲(chǔ)系統(tǒng)也必須在吞吐性能上有飛速的提高，只有這樣才干對(duì)請(qǐng)求作出快速的反映，云儲(chǔ)存技術(shù)的成熟為大數(shù)據(jù)的快速發(fā)展奠定了基礎(chǔ)。2大數(shù)據(jù)概述2.1什么是大數(shù)據(jù)？說(shuō)起大數(shù)據(jù)，預(yù)計(jì)大家都覺(jué)得只聽(tīng)過(guò)概念，但是具體是什么東西，怎么定義，沒(méi)有一種原則的東西，由于在我們的印象中仿佛諸多公司都叫大數(shù)據(jù)公司，業(yè)務(wù)形態(tài)則有幾百種，感覺(jué)不是較好理解，因此我建議還是從字面上來(lái)理解大數(shù)據(jù)，在《大數(shù)據(jù)時(shí)代》提到了大數(shù)據(jù)的4個(gè)特性，一種是數(shù)量大，一種是價(jià)值大，一種是速度快，一種是多樣性。一種是數(shù)量比較大，大致有多大，就是大到PB級(jí)別，甚至ZB級(jí)別，1PB等于1024TB，1TB等于1024G，那么1PB等于100多G，固然了具體的計(jì)算辦法能夠有關(guān)資料數(shù)據(jù)進(jìn)行查詢(xún)，總之，和傳統(tǒng)的單個(gè)網(wǎng)站數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)相比，已經(jīng)是它的上百倍還多，而只有數(shù)據(jù)體量達(dá)成了PB級(jí)別以上，才干被稱(chēng)為大數(shù)據(jù)。第二個(gè)是價(jià)值大，價(jià)值是大致量數(shù)據(jù)的更深一步的演變，就是說(shuō)，你如果有1PB以上的全國(guó)全部20-35年輕人的上網(wǎng)數(shù)據(jù)的時(shí)候，那么它自然就有了商業(yè)價(jià)值，例如通過(guò)分析這些數(shù)據(jù)，我們就懂得這些人的愛(ài)好，進(jìn)而指導(dǎo)產(chǎn)品的發(fā)展方向等等。如果有了全國(guó)幾百萬(wàn)病人的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)進(jìn)行分析就能預(yù)測(cè)疾病的發(fā)生。這些都是大數(shù)據(jù)的價(jià)值。第三個(gè)就是多樣性，如果只有單一的數(shù)據(jù)，那么這些數(shù)據(jù)就沒(méi)有了價(jià)值，例如只有單一的個(gè)人數(shù)據(jù)，或者單一的顧客提交數(shù)據(jù)，這些數(shù)據(jù)還不能稱(chēng)為大數(shù)據(jù)，因此說(shuō)大數(shù)據(jù)還需要是多樣性的，例如現(xiàn)在的上網(wǎng)顧客中，年紀(jì)，學(xué)歷，愛(ài)好，性格等等每個(gè)人的特性都不同，這個(gè)也就是大數(shù)據(jù)的多樣性，固然了如果擴(kuò)展到全國(guó)，那么數(shù)據(jù)的多樣性會(huì)更強(qiáng)，每個(gè)地區(qū)，每個(gè)時(shí)間段，都會(huì)存在多個(gè)各樣的數(shù)據(jù)多樣性。第四個(gè)是速度快，就是通過(guò)算法對(duì)數(shù)據(jù)的邏輯解決速度非?？?，1秒定律，可從多個(gè)類(lèi)型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。總之，這些就是大數(shù)據(jù)的四個(gè)特性，只有含有了這些特性的數(shù)據(jù)才干稱(chēng)為大數(shù)據(jù)，那么實(shí)際中的大數(shù)據(jù)是怎么樣呢？業(yè)內(nèi)出名的和大數(shù)據(jù)有關(guān)的公司，七牛云存儲(chǔ)將要在8月29日、30日舉辦一次大數(shù)據(jù)的會(huì)議，對(duì)于位于大數(shù)據(jù)技術(shù)產(chǎn)業(yè)鏈上的公司來(lái)說(shuō)，我們應(yīng)當(dāng)能夠獲得更多的干貨爆料。2.2大數(shù)據(jù)的三個(gè)層次大數(shù)據(jù)有三個(gè)層次，第一種是數(shù)據(jù)采集層，以App、saas為代表的服務(wù)。第二個(gè)技術(shù)服務(wù)層，以七牛云存儲(chǔ)為代表的大數(shù)據(jù)技術(shù)服務(wù)層，這些涉及數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)的分析，數(shù)據(jù)的挖掘等等，第三個(gè)是數(shù)據(jù)應(yīng)用層，以數(shù)據(jù)為基礎(chǔ)，為將來(lái)的移動(dòng)社交、交通、教育，金融進(jìn)行服務(wù)。本模塊重要講第一種層次，背面兩個(gè)層次在下面的模塊再細(xì)講。數(shù)據(jù)采集層——App、saas服務(wù)在移動(dòng)互聯(lián)網(wǎng)時(shí)代，大數(shù)據(jù)的來(lái)源層有兩個(gè)方面，一種方面是面對(duì)個(gè)人的數(shù)據(jù)來(lái)源前端如多個(gè)各樣的App，首先是面對(duì)公司服務(wù)的saas服務(wù)的產(chǎn)品。面對(duì)個(gè)人的App：飲食領(lǐng)域的App，如餓了么，顧客通過(guò)App進(jìn)行選餐，下單，通過(guò)App交互就會(huì)形成飲食領(lǐng)域的大數(shù)據(jù)；在o2o領(lǐng)域，如嗒嗒巴士，顧客通過(guò)使用App進(jìn)行乘坐交通，上班下班，就會(huì)形成交通領(lǐng)域的大數(shù)據(jù)，如穿衣助手，顧客通過(guò)App進(jìn)行選擇衣服顏色，樣式，進(jìn)行搭配，就會(huì)形式服務(wù)類(lèi)的大數(shù)據(jù)，固然了尚有秒拍、快看等娛樂(lè)類(lèi)的消費(fèi)數(shù)據(jù)。面對(duì)個(gè)人顧客的App，以滿(mǎn)足顧客的需求為重要出發(fā)點(diǎn)，產(chǎn)生顧客的數(shù)據(jù)，這些數(shù)據(jù)涉及以個(gè)人基礎(chǔ)的數(shù)據(jù)，也涉及隨群體數(shù)據(jù)，隨著App顧客量的增加，這些App數(shù)據(jù)就成了大數(shù)據(jù)。面對(duì)個(gè)人的數(shù)據(jù)來(lái)源：直接通過(guò)顧客的需求產(chǎn)生數(shù)據(jù)，而面對(duì)公司服務(wù)的——saas服務(wù)則不同，他們通過(guò)為公司提供一套完整的解決方案，而產(chǎn)生數(shù)據(jù)，例如圖靈機(jī)器人，人臉識(shí)別技術(shù)，氣象plus、?？低暤?，他們通過(guò)完美的解決方案服務(wù)公司，最后服務(wù)顧客，從而產(chǎn)生大數(shù)據(jù)，數(shù)據(jù)采集層，是大數(shù)據(jù)的來(lái)源，也是大數(shù)據(jù)的基礎(chǔ)。2.3云存儲(chǔ)對(duì)大數(shù)據(jù)的增進(jìn)作用有了數(shù)據(jù)采集層，那么下一步就是數(shù)據(jù)的存儲(chǔ)層了，使用云存儲(chǔ)技術(shù)將數(shù)據(jù)存儲(chǔ)在云主機(jī)上，確保數(shù)據(jù)的安全、穩(wěn)定、高效都需要云存儲(chǔ)技術(shù)來(lái)完畢。云存儲(chǔ)重要負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)以及計(jì)算，例如七牛的云存儲(chǔ)技術(shù)，云存儲(chǔ)技術(shù)是大數(shù)據(jù)發(fā)展跨但是去的一道坎，如果沒(méi)有云存儲(chǔ)技術(shù)，大數(shù)據(jù)就不能得到發(fā)展。（1）云存儲(chǔ)中面對(duì)公司存儲(chǔ)的數(shù)據(jù)最大現(xiàn)在的云存儲(chǔ)分為公共云存儲(chǔ)和私有云存儲(chǔ)，公共云存儲(chǔ)重要是面對(duì)個(gè)人，例如百度網(wǎng)盤(pán)等，而私有云存儲(chǔ)重要是面對(duì)公司，其實(shí)面對(duì)公司的云存儲(chǔ)的存儲(chǔ)的大數(shù)據(jù)最后來(lái)源還是來(lái)自個(gè)人，例如現(xiàn)在的諸多saas服務(wù)，IM、統(tǒng)計(jì)等公司服務(wù)，服務(wù)重要是面對(duì)個(gè)人的App，而類(lèi)似七牛云存儲(chǔ)這樣的云存儲(chǔ)則是出于更底層，基于云主機(jī)之上，而位于全部個(gè)人服務(wù)、公司服務(wù)之下，因此說(shuō)，七牛云存儲(chǔ)應(yīng)當(dāng)積累了更多的大數(shù)據(jù)，而通過(guò)即將月底舉辦的這次《數(shù)據(jù)重構(gòu)將來(lái)》的大會(huì)，我想能夠獲得更多的有關(guān)大數(shù)據(jù)的干貨。（2）云存儲(chǔ)滿(mǎn)足了海量數(shù)據(jù)的存儲(chǔ)需求隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，傳統(tǒng)的存儲(chǔ)方式已經(jīng)在容量、性能、智能化等方面無(wú)法滿(mǎn)足需求。云存儲(chǔ)的出現(xiàn)，例如類(lèi)似和七牛同樣的云存儲(chǔ)技術(shù)，從功效上彌補(bǔ)了傳統(tǒng)存儲(chǔ)的局限性，通過(guò)虛擬化大容量存儲(chǔ)、分布式存儲(chǔ)和自動(dòng)化運(yùn)維等功效，實(shí)現(xiàn)了存儲(chǔ)空間無(wú)限增加和擴(kuò)容，自動(dòng)化和智能化功效提高了存儲(chǔ)效率。另外，規(guī)模效應(yīng)和彈性擴(kuò)展，減少運(yùn)行成本，避免資源浪費(fèi)。（3）云存儲(chǔ)技術(shù)節(jié)省了開(kāi)發(fā)者的成本特別是當(dāng)下移動(dòng)互聯(lián)網(wǎng)的火爆，使得App行業(yè)出現(xiàn)了暴發(fā)式的增加，App的數(shù)量已經(jīng)達(dá)成了300百萬(wàn)以上，同時(shí)圖片App、視頻App、音頻App如camera360、優(yōu)酷視頻、荔枝FM等App都會(huì)在發(fā)展過(guò)程中產(chǎn)生大量的數(shù)據(jù)，對(duì)于這些數(shù)據(jù)來(lái)說(shuō)，如果讓公司本身去開(kāi)發(fā)一款分布式的存儲(chǔ)系統(tǒng)，這可能需要構(gòu)建一種幾十人的開(kāi)發(fā)團(tuán)體，成本也會(huì)大大增加，而通過(guò)使用類(lèi)似七牛同樣的云存儲(chǔ)，能夠節(jié)省公司成本，讓公司發(fā)展更加緊速。（4）云存儲(chǔ)技術(shù)為大數(shù)據(jù)分析提供了基礎(chǔ)根據(jù)作為大數(shù)據(jù)的存儲(chǔ)服務(wù)商，云存儲(chǔ)有著非常大的數(shù)據(jù)挖掘潛力，云存儲(chǔ)平臺(tái)為大數(shù)據(jù)的分析提供了“水”的來(lái)源，有了這些數(shù)據(jù)，同時(shí)配備上某些數(shù)據(jù)分析工具，完全能夠產(chǎn)生某些非常有價(jià)值的分析數(shù)據(jù)報(bào)告。例如基于云存儲(chǔ)服務(wù)這個(gè)基礎(chǔ)，能夠在公司的需求下，為公司提供企數(shù)據(jù)分析，例如這款應(yīng)用在哪些地區(qū)受訪問(wèn)次數(shù)多、如何的顧客更喜歡這款應(yīng)用等，但不會(huì)涉及分析顧客隱私有關(guān)的數(shù)據(jù)。固然了，還能夠針對(duì)整個(gè)圖片行業(yè)、視頻行業(yè)、以及音頻行業(yè)提供受眾的顧客行為、以及特性這一系列的群體特性。這些都是云存儲(chǔ)在存儲(chǔ)的數(shù)據(jù)體量達(dá)成大數(shù)據(jù)的特性后，能做的一系列的分析根據(jù)。因此說(shuō)云存儲(chǔ)是大數(shù)據(jù)發(fā)展中的最重要的一種環(huán)節(jié)。2.4大數(shù)據(jù)將來(lái)的行業(yè)應(yīng)用說(shuō)了大數(shù)據(jù)的采集層，數(shù)據(jù)存儲(chǔ)層，那么最后講下大數(shù)據(jù)的應(yīng)用層，既然有了大數(shù)據(jù)，那么以大數(shù)據(jù)為基礎(chǔ)，就會(huì)產(chǎn)生以移動(dòng)金融，移動(dòng)社交，O2O，在線教育等多方面的應(yīng)用。（1）移動(dòng)金融隨著移動(dòng)互聯(lián)網(wǎng)金融的發(fā)展，金融交易與支付已經(jīng)從桌面電腦延伸到移動(dòng)智能終端，公司本身只能從內(nèi)部洞察經(jīng)營(yíng)狀況，或從市場(chǎng)中獲得不全方面的統(tǒng)計(jì)信息，作為決策參考。例如銀聯(lián)智惠能夠協(xié)助公司能夠從外部理解市場(chǎng)，洞察對(duì)手的位置，理解市場(chǎng)趨勢(shì)和本身的地位，通過(guò)運(yùn)用本身優(yōu)勢(shì)通過(guò)全行業(yè)的交易統(tǒng)計(jì)得到高質(zhì)量的基礎(chǔ)數(shù)據(jù)，并替公司完畢了大量繁瑣的數(shù)據(jù)采集、清理工作，整合到公司的基礎(chǔ)經(jīng)營(yíng)分析數(shù)據(jù)庫(kù)中，讓公司事半功倍。當(dāng)基礎(chǔ)數(shù)據(jù)進(jìn)入公司數(shù)據(jù)庫(kù)后，通過(guò)銀聯(lián)智惠的顧客畫(huà)像模擬器進(jìn)行目的客戶(hù)消費(fèi)行為建模，將歷史交易行為分得出目的客戶(hù)的交易共性特性,從而完整的從消費(fèi)性別、消費(fèi)年紀(jì)、消費(fèi)習(xí)慣、消費(fèi)頻率、消費(fèi)區(qū)域、消費(fèi)偏好等多重維度完整描述客戶(hù)群的輪廓，并得出客戶(hù)的上下游關(guān)聯(lián)交易行為特性，讓公司真正認(rèn)知客戶(hù)群體的全貌，從而進(jìn)行有效的商業(yè)決策。（2）移動(dòng)社交隨著脈脈，戀愛(ài)記等社交應(yīng)用的顧客越來(lái)越多，顧客的社交行為將會(huì)成為大數(shù)據(jù)的分析基礎(chǔ)，通過(guò)分析顧客的社交時(shí)間、對(duì)象、地點(diǎn)以及行為，能夠分析出顧客的愛(ài)好、年紀(jì)、需求，同時(shí)基于顧客的大數(shù)據(jù)，能夠針對(duì)這些數(shù)據(jù)做定向營(yíng)銷(xiāo)，從而大大提高了營(yíng)銷(xiāo)的效果，而相比之前的營(yíng)銷(xiāo)手段，則是基本根據(jù)人員的策劃和想象得出，沒(méi)有數(shù)據(jù)參考，營(yíng)銷(xiāo)的效果也不好把控。例如脈脈能夠通過(guò)某些顧客數(shù)據(jù)為公司招聘到適宜的人，同時(shí)還能為某些顧客提供某些適宜的職位，完畢需求和供求的高精度的匹配。例如以統(tǒng)計(jì)戀愛(ài)為主的社交App，能夠通過(guò)分析情侶之間的數(shù)據(jù)，獲得更多的情感數(shù)據(jù)，從而為某些適齡男女提供戀愛(ài)的指導(dǎo)。這些都是基于大數(shù)據(jù)的應(yīng)用。（3）O2O類(lèi)的應(yīng)用移動(dòng)互聯(lián)網(wǎng)的進(jìn)一步發(fā)展，增進(jìn)了O2O的繁華，以嗒嗒巴士為代表的定制公交車(chē)應(yīng)用，就是大數(shù)據(jù)的代表應(yīng)用。傳統(tǒng)的公交出行在公交站、公交路線的設(shè)定上，相對(duì)來(lái)說(shuō)比較固定，通過(guò)分析一種都市內(nèi)的群體出行數(shù)據(jù)，能夠獲得人群隨著時(shí)間的出行規(guī)則，例如懂得在早上8點(diǎn)為出行高峰，而從某個(gè)社區(qū)到某個(gè)寫(xiě)字樓的人流數(shù)為最大，那么我就定制一條公交線路出來(lái)，對(duì)于顧客來(lái)說(shuō)，滿(mǎn)足了顧客的需求，而對(duì)于公交公司來(lái)說(shuō)，則是優(yōu)化了交通路線，節(jié)省了資源，間接提高了成本，這些都是大數(shù)據(jù)的好處。尚有更多的領(lǐng)域能夠用到大數(shù)據(jù)，如大數(shù)據(jù)醫(yī)療，大數(shù)據(jù)營(yíng)銷(xiāo)，可穿戴設(shè)備等等。通過(guò)大數(shù)據(jù)能夠發(fā)明出更多價(jià)值，正如一篇文章說(shuō)到，通過(guò)大數(shù)據(jù)讓做事的辦法更加容易，讓現(xiàn)實(shí)從三維空間變成了二維碼空間，就像宇宙的蟲(chóng)洞同樣，能夠直接達(dá)成目的。意思是在過(guò)去沒(méi)有大數(shù)據(jù)做參考，我們需要實(shí)驗(yàn)多次，才干懂得那條路是對(duì)的，但是現(xiàn)在有了大數(shù)據(jù)做數(shù)據(jù)參考，我們能夠直接達(dá)成終點(diǎn)。因此說(shuō)大數(shù)據(jù)使得事情的發(fā)展變得更加簡(jiǎn)樸。3大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)3.1機(jī)遇與挑戰(zhàn)并存大數(shù)據(jù)分析給當(dāng)代社會(huì)帶來(lái)了新的機(jī)遇與挑戰(zhàn)。首先，與傳統(tǒng)研究側(cè)重于揭示事物的共性不同，大數(shù)據(jù)研究將有助于人們發(fā)現(xiàn)事物的個(gè)體特性，并針對(duì)每一種體的特性給出個(gè)體化的解決方案。同時(shí)，大數(shù)據(jù)研究也將使人們能夠從大量個(gè)體的差別變化中，揭示其中存在的難以察覺(jué)的規(guī)律。另首先，大數(shù)據(jù)的海量樣本規(guī)模和高維數(shù)特性也引入下列明顯特性：數(shù)據(jù)收集的偏差性、數(shù)據(jù)產(chǎn)生的異母體性、計(jì)算成本、噪音的累積疊加、假關(guān)聯(lián)性、外生性，以及測(cè)量誤差等等。為了應(yīng)對(duì)這些挑戰(zhàn)，需要引入新的計(jì)算和統(tǒng)計(jì)辦法。首先，從計(jì)算的角度來(lái)看，大數(shù)據(jù)提供的數(shù)據(jù)量巨大，這會(huì)給實(shí)施統(tǒng)計(jì)計(jì)算和最后完畢統(tǒng)計(jì)估算和檢查帶來(lái)問(wèn)題。例如，對(duì)于一種列數(shù)上百萬(wàn)的矩陣，一次簡(jiǎn)樸的矩陣求逆操作在計(jì)算上都是困難的。另首先，從統(tǒng)計(jì)分析的角度來(lái)看，大數(shù)據(jù)經(jīng)常包含被抽樣個(gè)體的大量特性信息，即樣本的個(gè)異性和高維性。個(gè)異性和高維性給統(tǒng)計(jì)分析與計(jì)算帶來(lái)諸多問(wèn)題，涉及異母體、噪音累積、假有關(guān)、內(nèi)生性。以假有關(guān)性為例，高維數(shù)會(huì)增加發(fā)現(xiàn)欺騙性關(guān)聯(lián)的風(fēng)險(xiǎn)。例如，在人類(lèi)基因體現(xiàn)數(shù)據(jù)分析中，學(xué)者可能會(huì)認(rèn)為第八對(duì)染色體上的某個(gè)重要致癌基因（MYC）和Y染色體性別決定基因（SRY）有很強(qiáng)的有關(guān)性。但是，這可能僅僅是由于考慮的基因數(shù)目太高，以至于有些高有關(guān)性的出現(xiàn)只是偶然事件。3.2大數(shù)據(jù)時(shí)代如何抓住機(jī)遇并應(yīng)對(duì)挑戰(zhàn)（1）大數(shù)據(jù)資源”成為重要戰(zhàn)略資源互聯(lián)網(wǎng)時(shí)代,“資源”的含義正在發(fā)生極大的變化,它已不再僅僅只是指煤、石油、礦產(chǎn)等某些看得見(jiàn)、摸得著的實(shí)體，“大數(shù)據(jù)”，也正在演變成不可或缺的戰(zhàn)略資源?；ヂ?lián)網(wǎng)、物聯(lián)網(wǎng)每天都在產(chǎn)生大量的數(shù)據(jù)，這些龐大的數(shù)據(jù)資源，為人們根據(jù)數(shù)據(jù)理解世界、理解市場(chǎng)、理解人們的生活提供了可能。大數(shù)據(jù)已經(jīng)被視為一種資產(chǎn)、一種財(cái)富、一種能夠被衡量和計(jì)算的價(jià)值。得大數(shù)據(jù)者得天下，是某些推崇大數(shù)據(jù)時(shí)代的變革者所堅(jiān)信不疑的判斷。（2）“大數(shù)據(jù)決策”成為一種新決策方式根據(jù)大數(shù)據(jù)進(jìn)行決策，從數(shù)據(jù)中獲取價(jià)值,讓數(shù)據(jù)主導(dǎo)決策，是一種前所未有的決策方式，并正在推動(dòng)著人類(lèi)信息管理準(zhǔn)則的重新定位。隨著大數(shù)據(jù)分析和預(yù)測(cè)分析對(duì)管理決策影響力的逐步加大，依靠直覺(jué)做決定的狀況將會(huì)被徹底變化。暴發(fā)的甲型H1N1流感病毒，谷歌公司就是通過(guò)觀察人們?cè)诰W(wǎng)上搜索的大量統(tǒng)計(jì)，在流感暴發(fā)的幾周前，就判斷出流感是從哪里傳輸出來(lái)的，從而使公共衛(wèi)生機(jī)構(gòu)的官員獲得了極有價(jià)值的數(shù)據(jù)信息，并做出有針對(duì)性的行動(dòng)決策，而這比疾控中心的判斷，提前了一兩周。美國(guó)的Farecast系統(tǒng)，它的一種功效就是飛機(jī)票價(jià)預(yù)測(cè)，它通過(guò)從旅游網(wǎng)站獲得的大量數(shù)據(jù)，分析41天之內(nèi)的1個(gè)價(jià)格樣本，分析全部特定航線機(jī)票的銷(xiāo)售價(jià)格，并預(yù)測(cè)出現(xiàn)在機(jī)票價(jià)格在將來(lái)一段時(shí)間內(nèi)的漲降走勢(shì)，從而協(xié)助虛擬乘客選擇最佳的購(gòu)票時(shí)機(jī)，并減少可觀的購(gòu)票成本。（3）“大數(shù)據(jù)應(yīng)用”增進(jìn)信息技術(shù)與各行業(yè)深度融合有專(zhuān)家指出，大數(shù)據(jù)及其分析，會(huì)在將來(lái)變化幾乎每一種行業(yè)的業(yè)務(wù)功效，從科學(xué)研究到保險(xiǎn)，從銀行業(yè)到互聯(lián)網(wǎng)，各個(gè)不同的領(lǐng)域都在遭遇暴發(fā)式增加的數(shù)據(jù)量。在美國(guó)的17個(gè)行業(yè)中，已有15個(gè)行業(yè)大公司擁有大量的數(shù)據(jù)，其平均擁有的數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超出了美國(guó)國(guó)會(huì)圖書(shū)館所擁有的數(shù)據(jù)量。在醫(yī)療與健康行業(yè)，根據(jù)數(shù)據(jù)預(yù)測(cè)，如果含有有關(guān)的IT設(shè)施，數(shù)據(jù)投資和分析能力等條件，大數(shù)據(jù)將在將來(lái)，使美國(guó)醫(yī)療市場(chǎng)獲得每年3000億美元的新價(jià)值，并消減2/3的全國(guó)醫(yī)療開(kāi)支。在制造業(yè)領(lǐng)域，制造公司為管理產(chǎn)品生命周期將采用IT系統(tǒng)，涉及電腦輔助設(shè)計(jì)、工程、制造、產(chǎn)品開(kāi)發(fā)管理工具和數(shù)字制造，制造商能夠建立一種產(chǎn)品生命周期管理平臺(tái)PLM(ProductLifecycleMansgement)，從而將多個(gè)系統(tǒng)的數(shù)據(jù)集合在一起，共同發(fā)明出新的產(chǎn)品。另外，在交通、能源、材料、商業(yè)和服務(wù)等行業(yè)領(lǐng)域甚至在新聞傳媒領(lǐng)域，也都在以大數(shù)據(jù)為發(fā)展契機(jī)，加速這些行業(yè)與信息技術(shù)的深度融合。（4）“大數(shù)據(jù)開(kāi)發(fā)”推動(dòng)新技術(shù)和新應(yīng)用不停涌現(xiàn)大數(shù)據(jù)的應(yīng)用需求，是大數(shù)據(jù)新技術(shù)開(kāi)發(fā)的源泉。在很快的將來(lái)，可能諸多原來(lái)單純依靠人類(lèi)本身判斷力的領(lǐng)域應(yīng)用，最后都將被計(jì)算機(jī)系統(tǒng)的數(shù)據(jù)分析和數(shù)據(jù)挖掘功效，所普遍變化甚至取代。一小片適宜的信息，可能會(huì)促使創(chuàng)新邁進(jìn)一大步；一組數(shù)據(jù)，也可能會(huì)得到數(shù)據(jù)收集人難以想象的應(yīng)用，甚至可能在另一種看起來(lái)毫不有關(guān)的領(lǐng)域得到應(yīng)用。借助這些創(chuàng)新型的大數(shù)據(jù)應(yīng)用，數(shù)據(jù)的能量將會(huì)層層被放大?！罢Z(yǔ)義網(wǎng)（SemanticWeb）”,也稱(chēng)為下一代互聯(lián)網(wǎng)，事實(shí)上就是“數(shù)據(jù)網(wǎng)”（WebofData）。語(yǔ)義網(wǎng)是一種全球的數(shù)據(jù)庫(kù)網(wǎng)，在這個(gè)數(shù)據(jù)庫(kù)網(wǎng)中，計(jì)算機(jī)可自動(dòng)為顧客搜尋、檢索和集成網(wǎng)上的信息，而不再需要搜索引擎。大數(shù)據(jù)時(shí)代正在催生的這個(gè)最大的技術(shù)變革，就是要重新構(gòu)造互聯(lián)網(wǎng)，打造出下一代互聯(lián)網(wǎng)。（5）“大數(shù)據(jù)安全”上升為國(guó)家戰(zhàn)略安全傳統(tǒng)意義上的國(guó)家安全，是指軍隊(duì)對(duì)國(guó)家領(lǐng)土安全的保護(hù)，是國(guó)家之間軍事實(shí)力的較勁。但在互聯(lián)網(wǎng)高度發(fā)達(dá)的大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)變成了幾乎是透明的虛擬世界，也因此使國(guó)家安全的環(huán)境和內(nèi)涵發(fā)生了極大的變化，對(duì)大數(shù)據(jù)的安全保存、防丟失和防破壞等問(wèn)題，成為我們必須要面對(duì)的安全難題。大數(shù)據(jù)安全，已經(jīng)上升成為國(guó)家安全的重要構(gòu)成部分。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)安全的威脅隨時(shí)都有可能發(fā)生。多個(gè)國(guó)家信息基礎(chǔ)設(shè)施和重要機(jī)構(gòu)所承載著的寵大數(shù)據(jù)信息，如由信息網(wǎng)絡(luò)系統(tǒng)所控制的石油和天然氣管道、水、電力、交通、銀行、金融、商業(yè)和軍事等，都有可能成為被攻擊的目的。另外，大數(shù)據(jù)也為網(wǎng)絡(luò)恐怖分子提供了新的資源支持，有可能使恐怖分子通過(guò)網(wǎng)絡(luò)侵入到人們工作生活的方方面面，并通過(guò)威脅、攻擊、破壞，癱瘓民用或軍事基礎(chǔ)設(shè)施等手段，達(dá)成其制造心理恐慌和財(cái)產(chǎn)損失，威脅國(guó)家安全和社會(huì)安全的目的。（6）大數(shù)據(jù)時(shí)代將成為世界發(fā)展主潮流世界上許多國(guó)家都已經(jīng)認(rèn)識(shí)到了大數(shù)據(jù)所蘊(yùn)含的重要戰(zhàn)略意義，紛紛開(kāi)始在國(guó)家層面進(jìn)行戰(zhàn)略布署，以迎接大數(shù)據(jù)技術(shù)革命，以此來(lái)面對(duì)新機(jī)遇和新挑戰(zhàn)。4國(guó)內(nèi)外有關(guān)大數(shù)據(jù)以及信息資源共享的研究現(xiàn)狀4.1境外的大數(shù)據(jù)發(fā)展大數(shù)據(jù)的發(fā)展與政府?dāng)?shù)據(jù)開(kāi)放之間有著不可分割的關(guān)系，能夠說(shuō)民間商業(yè)應(yīng)用對(duì)運(yùn)用數(shù)據(jù)的愿望是推動(dòng)大數(shù)據(jù)發(fā)展的重要?jiǎng)恿?，政府將掌握的大量信息資源開(kāi)放給公眾是大數(shù)據(jù)發(fā)展的核心。各國(guó)商業(yè)公司、組織和個(gè)人都可運(yùn)用政府公開(kāi)的數(shù)據(jù)平臺(tái)，通過(guò)加工、分析，公布應(yīng)用程序，向公眾提供數(shù)據(jù)服務(wù)。爆炸式的數(shù)據(jù)聚集，增進(jìn)了大數(shù)據(jù)思維、技術(shù)、工具的蓬勃發(fā)展。美國(guó)于1997年建立了首個(gè)全面公開(kāi)聯(lián)邦政府統(tǒng)計(jì)數(shù)據(jù)的網(wǎng)站，建立了聯(lián)邦政府資金使用狀況的網(wǎng)站（USA）和經(jīng)濟(jì)刺激計(jì)劃資金使用狀況（R）。年，頒布了《開(kāi)放政府指令》（USOpenGovernmentDirective），這項(xiàng)法案規(guī)定在"透明"（transparency）、"參加"（participation）、"協(xié)同"（collaboration）的原則下在政府網(wǎng)站上公布更多數(shù)據(jù)庫(kù)，通過(guò)網(wǎng)站數(shù)據(jù)開(kāi)放使公眾理解政府信息。年5月正式推出了網(wǎng)站，由聯(lián)邦信息官主導(dǎo)，以公民能夠自由檢索并獲得聯(lián)邦政府?dāng)?shù)據(jù)、實(shí)現(xiàn)政府透明化為目的，規(guī)定各聯(lián)邦政府機(jī)構(gòu)提供信息。截至年5月，該網(wǎng)站提供來(lái)自172個(gè)聯(lián)邦部門(mén)、機(jī)構(gòu)和組織的373029條原始和地理空間數(shù)據(jù)、1209個(gè)數(shù)據(jù)工具、350個(gè)電腦應(yīng)用、137個(gè)手機(jī)應(yīng)用。日本沒(méi)有公布網(wǎng)站，但是于年公布了電子政務(wù)開(kāi)放數(shù)據(jù)戰(zhàn)略草案和《面對(duì)年的ICT綜合戰(zhàn)略》，并在年行動(dòng)計(jì)劃提出"通過(guò)大數(shù)據(jù)和開(kāi)放數(shù)據(jù)開(kāi)創(chuàng)新市場(chǎng)".歐盟委員會(huì)于年提出"歐盟開(kāi)放數(shù)據(jù)戰(zhàn)略"和有關(guān)法律提案，但愿讓歐洲公司與市民獲取歐盟公共管理部門(mén)的全部信息，計(jì)劃在年建立一種聚集不同組員國(guó)以及歐洲機(jī)構(gòu)數(shù)據(jù)的"泛歐門(mén)戶(hù)"。在開(kāi)放數(shù)據(jù)的風(fēng)潮下亞洲的中國(guó)香港、中國(guó)澳門(mén)、新加坡和韓國(guó)都建立了本國(guó)或地區(qū)的網(wǎng)站，現(xiàn)在為止，全世界已正式建立數(shù)據(jù)開(kāi)放門(mén)戶(hù)網(wǎng)站的國(guó)家和地區(qū)達(dá)成了35個(gè)。美國(guó)、英國(guó)、巴西、挪威、墨西哥、印尼、菲律賓、南非等八國(guó)宣布成立"開(kāi)放政府聯(lián)盟"（OGP），并公布《開(kāi)放政府宣言》。年，美國(guó)聯(lián)邦政府宣布將和印度政府合作，將現(xiàn)有的改造成開(kāi)源平臺(tái)，并且與年開(kāi)放全部平臺(tái)代碼，印度將率先移植作為中央政府的數(shù)據(jù)開(kāi)放平臺(tái)。4.2國(guó)內(nèi)外有關(guān)"政府?dāng)?shù)據(jù)信息共享"研究與比較與國(guó)外相比，國(guó)內(nèi)關(guān)注"政府?dāng)?shù)據(jù)信息共享"的研究不管是在廣度還是深度上，均稍有局限性，且國(guó)內(nèi)研究起步晚了幾年，但是國(guó)內(nèi)研究也獲得了較好的進(jìn)展。早年已有學(xué)者提出要在全國(guó)推行"小共享、大共建"信息共建共享模式,即通過(guò)系統(tǒng)共建信息平臺(tái)實(shí)現(xiàn)全國(guó)共享，或通過(guò)區(qū)域性共建達(dá)成逐步融合，實(shí)現(xiàn)全國(guó)政務(wù)信息共享。尚有人通過(guò)高超的網(wǎng)絡(luò)技術(shù)分析，發(fā)現(xiàn)政務(wù)信息是在網(wǎng)絡(luò)上呈散亂分布的，因此提出要實(shí)現(xiàn)全國(guó)信息共享，必須首先發(fā)現(xiàn)網(wǎng)絡(luò)環(huán)境下政府信息資源的異質(zhì)性構(gòu)成。也就是說(shuō)，應(yīng)當(dāng)分析政府?dāng)?shù)據(jù)信息的類(lèi)型。國(guó)內(nèi)行政管理領(lǐng)域的學(xué)者通過(guò)分析政府的科層制度，以科層內(nèi)信息如何傳遞為主題，發(fā)現(xiàn)由于行政科層內(nèi)部協(xié)調(diào)機(jī)制不完善，從而造成政府部門(mén)間信息共享的障礙以及對(duì)策。尚有人在更為具體的層面展開(kāi)具體的方略分析。例如通過(guò)分析國(guó)際電子政務(wù)發(fā)展的成熟度模型，對(duì)我國(guó)電子政務(wù)建設(shè)的推動(dòng)體制、機(jī)制和辦法進(jìn)行了分析，并且提出了跨部門(mén)政府信息資源共享的管理實(shí)施問(wèn)題解決辦法。有些學(xué)者在總結(jié)以前研究的基礎(chǔ)上提出了電子政務(wù)環(huán)境下政府信息資源的共享模式和方略。再如，通過(guò)研究大數(shù)據(jù)時(shí)代政府信息溝通的網(wǎng)絡(luò)模式和傳統(tǒng)模式，敘述了電子政務(wù)下政府信息溝通網(wǎng)絡(luò)模式的交流過(guò)程，并預(yù)測(cè)分析了網(wǎng)絡(luò)環(huán)境下政府信息溝通可能出現(xiàn)的問(wèn)題，提出政府信息溝通的網(wǎng)絡(luò)模式。尚有一批學(xué)者提出了政府部門(mén)間信息共享的抱負(fù)狀態(tài)、整體框架和動(dòng)態(tài)實(shí)施過(guò)程，并從共享規(guī)劃、流程再造、政府業(yè)務(wù)、組織再造和實(shí)施保障四個(gè)方面敘