大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀研究

大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀研究大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀研究摘要：大數(shù)據(jù)的產(chǎn)生給未來信息技術(shù)帶來新的機(jī)遇與挑戰(zhàn)。大數(shù)據(jù)對(duì)數(shù)據(jù)處理的有效性、實(shí)時(shí)性提出了更高要求，需要根據(jù)大數(shù)據(jù)的特點(diǎn)對(duì)當(dāng)前數(shù)據(jù)處理技術(shù)實(shí)施變革，從而形成更有益于大數(shù)據(jù)采集、存儲(chǔ)、處理、管理、分析、共享的新興技術(shù)。本文從大數(shù)據(jù)的產(chǎn)生與發(fā)展、特征、主要應(yīng)用以及大數(shù)據(jù)所帶來的挑戰(zhàn)等方面進(jìn)行闡述與分析。關(guān)鍵詞：大數(shù)據(jù)物聯(lián)網(wǎng)信息處理海量計(jì)算一、大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀隨著物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)技術(shù)(BigData)也越發(fā)進(jìn)入人們的視線。大數(shù)據(jù)是用傳統(tǒng)方法或工具很難處理或分析的數(shù)據(jù)信息。目前，人們對(duì)大數(shù)據(jù)的理解還不夠全面和深入，關(guān)于大數(shù)據(jù)的含義也沒有一個(gè)統(tǒng)一的定義。亞馬遜大數(shù)據(jù)科學(xué)家JohnRauser認(rèn)為：大數(shù)據(jù)是超過任何一臺(tái)計(jì)算機(jī)處理能力的龐大數(shù)據(jù)量。Informatica的中國(guó)區(qū)首席顧問但彬指出：大數(shù)據(jù)是海量數(shù)據(jù)與復(fù)雜類型的數(shù)據(jù)的結(jié)合。而維基百科則把大數(shù)據(jù)定義成諸多大而復(fù)雜的、難以用當(dāng)前數(shù)據(jù)庫(kù)處理的數(shù)據(jù)集合。大數(shù)據(jù)研究受到國(guó)內(nèi)外學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，已成為當(dāng)今信息時(shí)代全世界討論的熱點(diǎn)。2008年，Nature雜志就推出大數(shù)據(jù)?？?，計(jì)算社區(qū)聯(lián)盟也在同一年發(fā)表了扌報(bào)告《Bigdatacomputing;Creatingrevolutionarybreakthroughsincommerce，scienceandsociety》，報(bào)告闡述了解決大數(shù)據(jù)問題所需的關(guān)鍵技術(shù)以及所面臨的挑戰(zhàn)。美國(guó)奧x政府于2012年3月在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，提出了通過收集、處理海量、復(fù)雜的數(shù)據(jù)信息，從而提升能力，加快科學(xué)和工程領(lǐng)域的創(chuàng)新步伐，轉(zhuǎn)變學(xué)習(xí)教育模式，強(qiáng)化美國(guó)本土的'安全”。2011年1月，微軟公司同惠普公司合作開發(fā)了一系列能夠提升生產(chǎn)力，同時(shí)提高決策速度的設(shè)備。此外，歐盟委員會(huì)也提出駕駁大數(shù)據(jù)浪潮的戰(zhàn)略思路，日本發(fā)布的《面向2020的ICT綜合戰(zhàn)略》也提出需要構(gòu)造大量豐富的數(shù)據(jù)基礎(chǔ)。近年來，我國(guó)也積極開展對(duì)大數(shù)據(jù)的研究。2011年10月，工信部確認(rèn)京滬深杭等5城市為“云計(jì)算中心”試點(diǎn)城市。2012年6月，中國(guó)計(jì)算機(jī)學(xué)會(huì)青年計(jì)算機(jī)科技論壇也舉辦了“大數(shù)據(jù)時(shí)代，智謀未來”學(xué)術(shù)報(bào)告研討會(huì)。大數(shù)據(jù)及其科學(xué)研究方法涉及應(yīng)用領(lǐng)域很廣，并將與國(guó)計(jì)民生密切相關(guān)的科學(xué)決策、金融工程以及知識(shí)經(jīng)濟(jì)領(lǐng)域緊緊接合。二、大數(shù)據(jù)的特點(diǎn)目前，企業(yè)界和學(xué)術(shù)界都一致認(rèn)為，大數(shù)據(jù)具有4個(gè)“V”特征，即：容量(Volume)、種類(Variety)、速度(Velocity)和至關(guān)重要的價(jià)值(Value)。容量(Volume)巨大。海量的數(shù)據(jù)集從TB級(jí)別提升到PB級(jí)別。種類(Variety)繁多。大數(shù)據(jù)數(shù)據(jù)源有多種，數(shù)據(jù)格式和種類不同于以前所規(guī)定的結(jié)構(gòu)化數(shù)據(jù)范疇。價(jià)值(Value)密度低。如視頻的例子，在不間斷連續(xù)監(jiān)控的過程中，可能有意義的數(shù)據(jù)僅有一兩秒。速度(Velocity)快。包含大量實(shí)時(shí)、在線數(shù)據(jù)處理分析的需求1秒鐘定律。三、 大數(shù)據(jù)應(yīng)用的領(lǐng)域大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展將推動(dòng)全球經(jīng)濟(jì)由粗放型向集約型轉(zhuǎn)變，這將對(duì)提升企業(yè)整體競(jìng)爭(zhēng)力和政府監(jiān)管能力具有意義深遠(yuǎn)的影響。商業(yè)作為大數(shù)據(jù)的重要應(yīng)用領(lǐng)域。沃爾瑪公司通過對(duì)消費(fèi)者購(gòu)物行為等一系列非結(jié)構(gòu)化數(shù)據(jù)的分析，了解不同顧客的購(gòu)物習(xí)慣，公司從所銷售的數(shù)據(jù)進(jìn)行分析，從而選出適合在一起搭配出售的商品;淘寶也針對(duì)買家開設(shè)了大數(shù)據(jù)平臺(tái)，為客戶量身打造了一整套完善的網(wǎng)購(gòu)體驗(yàn)產(chǎn)品。大數(shù)據(jù)在金融業(yè)也起到了至關(guān)重要的作用。美國(guó)Equifax公司利用大數(shù)據(jù)技術(shù)，通過對(duì)其的數(shù)據(jù)庫(kù)中與財(cái)務(wù)有關(guān)的記錄海量信息進(jìn)行索引處理和交叉分享，從而得到客戶的個(gè)人信用等級(jí)，以推斷出客戶的支付需求與能力。隨著大數(shù)據(jù)在醫(yī)療與生命科學(xué)研究過程中的廣泛應(yīng)用和不斷擴(kuò)展。2010年，中國(guó)公布的《十二五規(guī)劃》指出：要重點(diǎn)建設(shè)國(guó)家級(jí)、省級(jí)和地市級(jí)三級(jí)醫(yī)療衛(wèi)生信息平臺(tái)，建設(shè)電子病歷和電子檔案兩個(gè)最為基礎(chǔ)的數(shù)據(jù)庫(kù)。各級(jí)醫(yī)院也將在醫(yī)療信息倉(cāng)庫(kù)、數(shù)據(jù)中心等領(lǐng)域加大投入，醫(yī)療數(shù)據(jù)信息的存儲(chǔ)將愈加被關(guān)注，醫(yī)療信息中心的關(guān)注焦點(diǎn)也將由傳統(tǒng)的計(jì)算領(lǐng)域轉(zhuǎn)為存儲(chǔ)領(lǐng)域。除此之外，大數(shù)據(jù)在制造業(yè)領(lǐng)域也有著廣闊的應(yīng)用。制造業(yè)企業(yè)積累了廣泛的數(shù)據(jù)信息，在開展對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行技術(shù)管理的同時(shí)，企業(yè)需要通過大數(shù)據(jù)處理技術(shù)來幫助決策者從數(shù)據(jù)庫(kù)儲(chǔ)存的海量信息中找到有價(jià)值的信息，并且對(duì)其進(jìn)行分析處理，從而增強(qiáng)決策的正確性、規(guī)避風(fēng)險(xiǎn)。四、 大數(shù)據(jù)所面臨的挑戰(zhàn)大數(shù)據(jù)技術(shù)使人們能夠更好地利用之前不能使用的各個(gè)數(shù)據(jù)類型，找出被忽略的信息，促進(jìn)企業(yè)組織更加高效、智能。但隨著對(duì)大數(shù)據(jù)研究的不斷深入，人們也更加意識(shí)到當(dāng)大數(shù)據(jù)技術(shù)向人們敞開“方便之門”的同時(shí)，也帶來了眾多的挑戰(zhàn)：大數(shù)據(jù)需要更為專業(yè)化的管理技術(shù)人才。大數(shù)據(jù)的合理利用需要解決容量大、類別多和時(shí)效性高的數(shù)據(jù)處理問題。大數(shù)據(jù)的利用對(duì)信息安全提出了更高要求。大數(shù)據(jù)的集成與管理問題。這些挑戰(zhàn)已成為關(guān)系到未來大數(shù)據(jù)發(fā)展的重要因素，同時(shí)也成為未來引領(lǐng)大數(shù)據(jù)發(fā)展的推動(dòng)力。五、結(jié)束語大數(shù)據(jù)已經(jīng)逐步滲透到人們工作生活的諸多領(lǐng)域中，對(duì)于大數(shù)據(jù)的研究也在不斷的深化。本文針對(duì)大數(shù)據(jù)的產(chǎn)生與發(fā)展、特征、主要應(yīng)用以及大數(shù)據(jù)所帶來的挑戰(zhàn)等方面進(jìn)行闡述與分析。大數(shù)據(jù)的發(fā)展還處于初級(jí)階段，還有更為廣闊的空間需要人們不斷開拓，如何合理地利用大數(shù)據(jù)、更加高效地處理大數(shù)據(jù)來為人們服務(wù)仍需要廣大研究者不斷地研究和探索。參考文獻(xiàn)：劉智慧，張泉靈?大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào)，20