【精品】大數(shù)據文獻綜述

1、信息資源管理文獻綜述題目：大數(shù)據背景下的信息資源管理系別：信息與工程學院班級：2015級信本1班姓名：_學號:學06101015任課教師:2017年6月大數(shù)據背景下的信息資源管理摘要：隨著網絡信息化時代的日益普遍，我們正處在一個數(shù)據爆炸性增長的“大 數(shù)據”時代，在我們的各個方面都產生了深遠的影響。大數(shù)據是數(shù)據分析的前沿 技術。簡言之，從各種各樣類型的數(shù)據中，快速獲得有價值信息的能力就是大數(shù) 據技術，這也是一個企業(yè)所需要必備的技術。“大數(shù)據” 一詞越來越地別提及與使用，我們用它來描述和定義信息爆炸時代產生的海量數(shù)據。就拿百度地圖來說， 我們在享受它帶來的便利的同時，無償?shù)呢暙I了我們的“行蹤”，比

2、如說我們的上 班地點，我們的家庭住址，甚至是我們的出行方式他們也可以知道， 但我們不得 不接受這個現(xiàn)實，我們每個人在互聯(lián)網進入大數(shù)據時代，都將是透明性的存在。各種數(shù)據都在迅速膨脹并變大，所以我們需要對這些數(shù)據進行有效的管理并加以 合理的運用。關鍵詞：大數(shù)據信息資源管理與利用目錄前言：大數(shù)據泛指大規(guī)模、超大規(guī)模的數(shù)據集，因可從中挖掘出有價值 的信息而倍受關注，但傳統(tǒng)方法無法進行有效分析和處理.華爾街日報將大數(shù)據時代、智能化生產和無線網絡革命稱為引領未來繁榮的 大技術變革.“世界經濟論壇”報告指出大數(shù)據為新財富，價值堪比 石油.因此，目前世界各國紛紛將開發(fā)利用大數(shù)據作為奪取新一輪競 爭制高點的重要

3、舉措.當前大數(shù)據分析者面臨的主要問題有：數(shù)據日趨龐大，無論是入庫和查詢，都出現(xiàn)性能瓶頸；用戶的應用和分析結果呈整合趨勢，對 實時性和響應時間要求越來越高；使用的模型越來越復雜，計算量指數(shù)級上升;傳統(tǒng)技能和處理方法無法應對大數(shù)據挑戰(zhàn).正文：大數(shù)據概念大數(shù)據定義維基百科對大數(shù)據的定義則簡單明了 ：大數(shù)據是指利用常用軟件工具捕獲、管 理和處理數(shù)據所耗時間超過可容忍時間的數(shù)據集。 也就是說大數(shù)據是一個體量特 別大，數(shù)據類別特別大的數(shù)據集，并且這樣的數(shù)據集無法用傳統(tǒng)數(shù)據庫工具對其 內容進行抓取、管理大數(shù)據來源1）來自人類活動：人們通過社會網絡、互聯(lián)網、健康、金融、經濟、交通等活動過程所產生的各類數(shù)據，包

4、括微博、病人醫(yī)療記錄、文字、圖形、視頻等 信息.2）來自計算機：各類計算機信息系統(tǒng)產生的數(shù)據，以文件、數(shù)據庫、多媒體等形式存在，也包括審計、日志等自動生成的信息.3）來自物理世界：各類數(shù)字設備、科學實驗與觀察所采集的數(shù)據 .如攝像頭所不斷 產生的數(shù)字信號，醫(yī)療物聯(lián)網不斷產生的人的各項特征值，氣象業(yè)務系統(tǒng)采集設備所收集的海量數(shù)據等傳統(tǒng)數(shù)據庫和大數(shù)據的比較現(xiàn)有數(shù)據處理技術大多采用數(shù)據庫管理技術，從數(shù)據庫到大數(shù)據，看似一個傳統(tǒng)數(shù)據庫時簡單的技術升級，但仔細考察不難發(fā)現(xiàn)兩者存在一些本質上區(qū)別代的數(shù)據管理可以看作“池塘捕魚”，而大數(shù)據時代數(shù)據管理類似“大海捕魚”，“魚 表示待處理的數(shù)據。“捕魚”環(huán)境條件

5、的變化導致“捕魚”方式的根本性差異大數(shù)據技術大數(shù)據處理技術正在改變當前計算機的運行模式，正在改變著這個世界。它 能處理幾乎各種類型的海量數(shù)據，無論是微博、文章、電子郵件、文檔、音頻、 視頻，還是其他形態(tài)的數(shù)據。它實時、高效、可視化呈現(xiàn)結果。它依托云計算將 計算任務分布在大量計算機構成的廉價的資源池上，使用戶能夠按需獲取計算資源、存儲資源、網絡資源和信息服務。云計算技術的應用使得大數(shù)據處理和利用 成為可能。大數(shù)據作為信息金礦，對其采集、傳輸、處理和應用的相關技術就是 大數(shù)據處理技術，是一系列使用非傳統(tǒng)的工具來對大量的結構化、半結構化和非 結構化數(shù)據進行處理，從而獲得分析和預測結果的一系列數(shù)據處理

6、技術， 或簡稱 大數(shù)據技術大數(shù)據的存儲與管理數(shù)據存儲與大數(shù)據應用密切相關。大數(shù)據給存儲系統(tǒng)帶來3個方面挑戰(zhàn)：1）存儲規(guī)模大，通常達到PB甚至EB量級；2）存儲管理復雜，需要兼顧結構化、非結構化和半結構化的數(shù)據3）數(shù)據服務的種類和水平要求高大數(shù)據存儲與管理，需要對上層應用提供高 效的數(shù)據訪問接口，存取 PB甚至EB量級的數(shù)據，并且對數(shù)據處理的實時性、 有效性提出更高要求，傳統(tǒng)常規(guī)技術手段根本無法應付。 某些實時性要求較高的 應用，如狀態(tài)監(jiān)控，更適合采用流處理模式，直接在清洗和集成后的數(shù)據源上進 行分析。而大多數(shù)其他應用需要存儲，以支持后續(xù)更深度數(shù)據分析流程。根據為 上層應用訪問接口和功能側重不同

7、，存儲和管理軟件主要包括文件系統(tǒng)和數(shù)據庫。大數(shù)據環(huán)境下，目前最適用的技術是分布式文件系統(tǒng)、分布式數(shù)大數(shù)據隱私與安全當前大數(shù)據的發(fā)展仍然面臨著許多問題，安全和隱私問題是人們公認的關鍵問題之一。其中，隱私問題由來已久，計算機的出現(xiàn)使得越來越多的數(shù)據以數(shù)字化的形式存儲在電腦中，互聯(lián)網的發(fā)展則使數(shù)據更加容易產生和傳播，數(shù)據隱私問題越來越嚴重。大數(shù)據在存儲、處理、傳輸?shù)冗^程中面臨安全風險，具有數(shù)據安全和隱私保護需求。而實現(xiàn)大數(shù)據安全與隱私保護，較其他安全問題（如云安全中數(shù)據安全等）更為棘手。呈現(xiàn)出的安全隱私問題主要有：1）大數(shù)據時代的安全與傳統(tǒng)安全相比，變得更加復雜；2）使用過程中的安全問題；3）對大數(shù)

8、據分析較高的企業(yè)和團體，面臨更多的安全挑戰(zhàn)；4）基于位置的隱私數(shù)據暴露嚴重；5）缺乏相關的法律法規(guī)保證；6）大數(shù)據的共享問題；7）數(shù)據動態(tài)性；8）多元數(shù)據的融合挑戰(zhàn)；目前針對上述問題，主要研究解決方法有：文件訪問控制技術、基礎設備加密、匿名化保護技術、加密保護技術、數(shù)據水印技術、數(shù)據溯源技術、基于數(shù)據失真的技術、基于可逆的置換算法據庫以及訪問接口和查詢語言大數(shù)據在信息管理層面的應用大數(shù)據在宏觀信息管理層面的應用關于大數(shù)據的科學價值與社會價值正如牛津大學的維克托邁爾舍恩伯格教授所言主要表現(xiàn)為兩大方面，“一方面，對大數(shù)據的掌握程度可以轉化為經濟價值的來源。另一方面，大數(shù)據已經撼動了世界的方方面面，

9、從商業(yè)科技到醫(yī)療、政 府、教育、經濟、人文以及社會的其他各個領域?！贝髷?shù)據的潛在經濟價值很快 在現(xiàn)實中表現(xiàn)出來，倫敦智庫政策交易所宣布大數(shù)據每年能為英國政府節(jié)省330億英鎊。因此無論出于利益還是效率方面的考慮， 各國政府對于大數(shù)據在宏觀信 息層面的管理都已提到議事日程上來。美國奧巴馬政府2億美元的“大數(shù)據研究和發(fā)展計劃”，中國工信部在物聯(lián)網“十二五”規(guī)劃中提出了與大數(shù)據密切相關的四 項關鍵技術創(chuàng)新工程：信息感知技術、信息傳輸技術、信息安全技術、信息處理 技術。由此可見，各國政府充分意識到了大數(shù)據的潛在價值， 試圖從宏觀上對信 息結構進行合理的開發(fā)與應用。而在政府宏觀信息管理范疇內較為重要的一個

10、問 題是“數(shù)據開放；只有在保證數(shù)據透明開放的前提下，大數(shù)據的潛在價值才有被 開發(fā)的可能。以大數(shù)據在政務管理方面的應用為例。 今天政府工作在電子政務方 面的發(fā)展已經相對普及，但始終停留于低層次的初級水平， 這不僅涉及到政府工 作效率，更是對政府職能的一次叩問。蒂姆奧萊利在 Web2.0概念基礎上提出 了政府2.0。所謂政府2.0是指政府利用互聯(lián)網上的多元信息平臺，打造形成一 個國民互動、共同創(chuàng)新的整合開放平臺。以此保證與民眾直接互動和溝通， 從條 塊分割、封閉的架構邁向一個開放、協(xié)同、合作、互動的架構，使政府真正成為 服務型政府。其基本特征是公開透明、互動溝通、開放創(chuàng)新、平臺服務。大數(shù)據 對于政

11、府2.0以及政府工作的推動無疑是革命性的，它最終推動了政府信息資源 的公開化和有效利用，打破了政府與社會民眾間的無形藩籬大數(shù)據在中觀信息管理層面的應用大數(shù)據在信息管理中觀層面的影響主要通過對于信息系統(tǒng)的管理完成的，主要應用于某一部門或某一區(qū)域的信息管理。比如大數(shù)據在公共事務管理方面的應 用，在電子政務、醫(yī)療衛(wèi)生、新聞通信、教育管理、公共交通等部門領域內的事 務管理，極大提高了公共事務的處理效率，并為公共事務的管理建立起新方法與 新秩序。在中觀層面信息管理的應用過程中，大數(shù)據能夠在具體領域起到關鍵作 用。比如大數(shù)據對圖書館在信息數(shù)據獲取與服務等方面提供的機遇與挑戰(zhàn)；大數(shù)據在當前企業(yè)競爭情報系統(tǒng)管

12、理方面的強大優(yōu)勢；大數(shù)據在城市交通管理體系建 構中的積極作用；在醫(yī)療方面能夠有效預測流感的發(fā)生， 并及時采取合理的治療 手段，保證社會醫(yī)療衛(wèi)生安全；甚至對于電力通信、地理測繪等也能產生效能。大數(shù)據的積極影響已經深入社會生活各個層面，并且已經開始干預生活，影響人們的生活模式大數(shù)據在微觀信息管理層面的應用大數(shù)據在信息管理微觀層面的應用，主要表現(xiàn)為對于信息以及信息資源的處 理等方面，具體針對某類客戶、某一問題的信息收集、整理、分析工作。例如汽 車導航、航海路線、設備維修、人員管理等微觀事務的信息管理，能夠切實解決 現(xiàn)實生活中的具體問題。大數(shù)據的這種微觀信息管理在商業(yè)、 經濟領域的應用效 果表現(xiàn)得最為

13、突出，甚至很多企業(yè)正是以大數(shù)據的開發(fā)而聞名。正如著名的 OReilly公司預言的那樣，“數(shù)據是下一個Intellnsid未來屬于將數(shù)據轉換成產 品的公司和人們?！逼渲惺澜缱钤绲拇髷?shù)據公司之一 Farecast公司，他們創(chuàng)建了 一個相對穩(wěn)定的預測系統(tǒng)，在對某一行業(yè)的數(shù)據進行合理分析的基礎上，用以預測某類產業(yè)價格的升降趨勢。比如在機票價格、賓館預訂、二手車購買等方面， 通過Farecast公司的預測系統(tǒng)可以發(fā)現(xiàn)它們價格的走勢與增降幅度，且具有較 高的命中率，從而幫助很多消費者節(jié)省大量開支。其后微軟公司( Microsoft )國際商業(yè)機器公司（舊M）、甲骨文公司（Oracle）、谷歌公司（Goog

14、le）、亞馬 遜公司（Amazon）、Facebook等等各大跨國巨頭也都先后進入大數(shù)據領域，一 方面推動著大數(shù)據處理技術快速發(fā)展，另一方面從大數(shù)據中獲取巨額利潤。 比如 以圖書銷售為主要業(yè)務的亞馬遜公司，他們采用了機器生成的個性化圖書推薦系 統(tǒng)，以此代替之前的書評家的個人評論與推薦， 從而極大降低了投入成本、增長 了銷售量，并最終徹底改變了電子商務，使電子商務在今天得以全面普及。 同時 亞馬遜公司與各大出版公司協(xié)商將圖書數(shù)據化的工程也取得了巨大成功，將大數(shù)據的應用推向新的方向、走向新的高峰。今天大數(shù)據在經濟領域的應用可謂深入 而廣泛，已經成為了不可逆轉的一種趨勢大數(shù)據背景下我國信息資源管理現(xiàn)

15、狀分析我國的網絡信息資源管理跟一些發(fā)達國家相比，還存在很大的差距，即我國的網絡信息資源管理所研究的內容還不是很系統(tǒng)和完善，一般對網絡信息資源管理的研究也主要是從理論的層面進行研究的， 主要研究的內容有信息資源的特征、 信 息資源管理的體系結構以及信息資源的利用中所存在的問題和相應的對策等。在當前信息技術飛速發(fā)展的時代，信息資源的重要性不言而喻，全球特別是發(fā)達國 家對大數(shù)據的研究非常重視。特別是近些年，美國政府相關部門以及軍方斥巨資研究大數(shù)據以及大數(shù)據的 發(fā)展規(guī)劃，以便更好地提升美國的教育事業(yè)、科研事業(yè)以及整個國家的信息安全 能力，這表明美國非常重視大數(shù)據的研究， 并將大數(shù)據作為國家發(fā)展的一個促

16、進 策略。從目前的形式來看，我國對大數(shù)據的研究也緊跟時代的發(fā)展潮流，信息資源管理發(fā)展由最初的傳統(tǒng)型管理步入網絡信息資源管理時代，其發(fā)展勢頭迅猛。綁 賀錠院士曾經說過：“我國將產生全球最大量的數(shù)據，要重視大數(shù)據的開發(fā)利用和管理。”而工信部提出我國必須要利用信息資源促進并發(fā)展傳統(tǒng)產業(yè)， 有效提升傳 統(tǒng)產業(yè)的質量和經濟效益，進而促進我國經濟社會的快速、 穩(wěn)定發(fā)展。信息處理 技術所包括的數(shù)據存儲技術、圖像視頻智能分析技術以及數(shù)據挖掘信息技術等也 都屬于大數(shù)據處理技術。而大數(shù)據背景下，我國在信息資源管理和利用方面存在 的問題很多，如當前我國依然沿用其他先進國家的網絡信息資源管理和利用技術， 沒有自主性和

17、創(chuàng)新性；大數(shù)據安全管理能力不強、大數(shù)據存儲及處理能力不高、 大數(shù)據應用能力較差等。在技術的角度來講，當前我國主要研究的是數(shù)據庫以及 數(shù)據挖掘等方面，包括一些搜索引擎技術、元數(shù)據以及專業(yè)指引庫技術等。 而現(xiàn) 在，我國無法提出適合我國信息技術快速發(fā)展的信息資源管理手段，雖然也有很多研究性的理論知識，但是將其付諸實踐的難度卻很大。結論：通過研究發(fā)現(xiàn)，關于大數(shù)據的開發(fā)雖然已經取得巨大進步，但仍處于初級階 段,在信息技術與信息管理方面尚有較大提升空間， 應用范圍也有待進一步擴展， 同時它的反本質主義傾向也易于導致邊際的泛化擴展，這都需要進一步研究解決。 最后我們應該看到，大數(shù)據作為信息管理領域內出現(xiàn)的一

18、種新理念、新技術，它為我們帶來了新的契機，面對這一歷史的端點，我們有責任與義務投入全部的科 研熱情與力量，將我國大數(shù)據研究推至世界領先地位， 以保證我們在新世紀激烈 的競爭環(huán)境中占據有利地位參考文獻：1梁吉業(yè)，馮晨嬌，宋鵬.大數(shù)據相關分析綜述J.計算機學報,2016,(01):1-18.2黃欣榮.大數(shù)據技術的倫理反思J.新疆師范大學學報(哲學社會科學 版),2015,(03):46-53+2.3黃劉生，田苗苗，黃河.大數(shù)據隱私保護密碼技術研究綜述J.軟件學報,2015,(04):945-959.4李學龍，龔海剛.大數(shù)據系統(tǒng)綜述J.中國科學：信息科學,2015,(01):1-44.5孫杰，賀晨.

19、大數(shù)據時代的互聯(lián)網金融創(chuàng)新及傳統(tǒng)銀行轉型J.財經科學,2015,(01):11-16.6劉雅輝，張鐵贏，靳小龍，程學旗.大數(shù)據時代的個人隱私保護J.計算機研究與發(fā) 展,2015,(01):229-247.7方巍，鄭玉，徐江.大數(shù)據:概念、技術及應用研究綜述J.南京信息工程大學學報(自然科學版),2014,(05):405-419.8何克抗.大數(shù)據面面觀J.電化教育研究,2014,(10):8-16+22.9任磊，杜一，馬帥，張小龍，戴國忠.大數(shù)據可視分析綜述J.軟件學報,2014,(09):1909-1936.10程學旗，靳小龍，王元卓，郭嘉豐，張鐵贏，李國杰.大數(shù)據系統(tǒng)和分析技術綜述J.軟件學報,2014,(09):1889-1908.11