大數(shù)據(jù)管理的戰(zhàn)略價值

大數(shù)據(jù)管理的戰(zhàn)略價值大數(shù)據(jù)管理的戰(zhàn)略價值大數(shù)據(jù)的概念目前尚無定論，不同廠商、不同用戶站的角度不同，對大數(shù)據(jù)的理解也不一樣。我認為大數(shù)據(jù)是指信息技術大量應用于各行各業(yè)，使得后者擁有快速獲取、高效存儲、精準分析、智慧處理大量化、多樣化、快速化、價值化的各種類型的數(shù)據(jù)的能力。大數(shù)據(jù)的挖掘及分析能給企業(yè)科學決策提供幫助。大數(shù)據(jù)管理提升組織能力美國奧巴馬政府宣布推出的“大數(shù)據(jù)的研究和發(fā)展倡議”（BigDataResearchandDevelopmentInitiative）是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的標志，這表明大數(shù)據(jù)的研究正式提升到戰(zhàn)略層面，大數(shù)據(jù)在經(jīng)濟社會各個層面、各個領域都開始受到重視。如今，大數(shù)據(jù)影響著各行業(yè)、企業(yè)、部門的發(fā)展，各行各業(yè)對大數(shù)據(jù)需求與日俱增，如圖1所示。國際與國內(nèi)知名企業(yè)充分認識到大數(shù)據(jù)管理的重要性，開始實施大數(shù)據(jù)管理策略來應對大數(shù)據(jù)發(fā)展帶來的機會和挑戰(zhàn)，如表1所示。從數(shù)據(jù)資料整理的過程中發(fā)現(xiàn)，國內(nèi)在大數(shù)據(jù)領域起步較晚，但互聯(lián)網(wǎng)/IT公司由于累積的用戶較多，信息量大，所以在大數(shù)據(jù)的預見性上比其他行業(yè)強。行業(yè)領先的企業(yè)都在為大數(shù)據(jù)的到來做著準備。大數(shù)據(jù)管理是重要的企業(yè)競爭力。如今，大數(shù)據(jù)已經(jīng)深入全球經(jīng)濟的各個部門，與影響傳統(tǒng)生產(chǎn)中的重要因素硬件設施和人力資源一樣，影響著現(xiàn)代企業(yè)經(jīng)濟活動。而且作為一種普遍需求，它不再局限應用于某些特殊行業(yè)。企業(yè)中所有部門都在整合、比較越來越多的數(shù)據(jù)集合，致力于降低成本、提升品質(zhì)、增強生產(chǎn)能力以及開發(fā)新產(chǎn)品。例如，通過分析直接從產(chǎn)品測試現(xiàn)場收集的數(shù)據(jù)能夠幫助企業(yè)改進設計。此外，還可以通過深入分析客戶行為，對比大量的市場數(shù)據(jù)超越競爭對手。麻省理工學院斯隆管理學院的教授ErikBrynjolfsson表示：基于數(shù)據(jù)分析的決策實現(xiàn)的生產(chǎn)率增長，要比任何其他因素高5%到6%。這種生產(chǎn)率增長能夠決定大多數(shù)行業(yè)的勝負。對于那些能夠戰(zhàn)略性地利用大數(shù)據(jù)的企業(yè)，他們的創(chuàng)新能力、業(yè)務靈活性和利潤都將得到極大的提高。大數(shù)據(jù)管理擁有多種創(chuàng)造價值的方式。豐富的數(shù)據(jù)來源配上先進的大數(shù)據(jù)分析、挖掘技術可以在多方面給我們帶來巨大的價值。第一，可以使決策更為多樣、有效：大數(shù)據(jù)信息區(qū)別于以往單一信息包括用戶上網(wǎng)信息、終端信息等，可以更有效地實現(xiàn)決策支持，為公司自有業(yè)務優(yōu)化提供有力依據(jù)。第二，可以通過大數(shù)據(jù)分析提升商業(yè)信息服務的精準：引入大數(shù)據(jù)技術使得基于大數(shù)據(jù)分析的信息服務成為可能。第三方企業(yè)可以實現(xiàn)更精準化的廣告投放、信息咨詢服務等其他商業(yè)智能活動。大數(shù)據(jù)管理的問題和挑戰(zhàn)問題人才短缺。數(shù)據(jù)的快速積累和發(fā)展，越來越凸顯的問題就是數(shù)據(jù)人才的缺失，特別是在統(tǒng)計方法和大數(shù)據(jù)上有深厚專業(yè)知識的管理員和分析員。將來一企業(yè)需要通過數(shù)據(jù)分析結(jié)果做決策，所以分析人員的水平?jīng)Q定企業(yè)的競爭力。麥肯錫咨詢公司在2011年公布的研究報告中預計：按照目前的趨勢，美國需要14萬到19萬具有深度分析數(shù)據(jù)的專業(yè)知識人才和150萬有數(shù)據(jù)管理經(jīng)驗的管理者，但是這種類型的人才具有培養(yǎng)難度大，需經(jīng)過多年的培訓等特點。雖然他們的定量分析是采用美國作為例證，但這種類型的人才上的短缺將是全球性的。SAS軟件總經(jīng)理劉政認為：大數(shù)據(jù)嚴重人才短缺，歐美公司也在中國尋找人才，但他們不知道中國本身大數(shù)據(jù)人才更匱乏。解決這種短缺，不能簡單地通過改變畢業(yè)要求并等著學生畢業(yè)時擁有更多的技能或者僅僅通過引進外國人才來填補了這一短缺。因此需要加強專門培訓數(shù)據(jù)方面專業(yè)人才的力度，為立足大時代打下堅實后盾。數(shù)據(jù)存儲的安全問題。企業(yè)過去信息化建設都是較分散的進行，互相之間信息不流通，業(yè)務不能順暢有效的執(zhí)行和控制，形成了許多“信息孤島”，既影響了現(xiàn)有系統(tǒng)的繼續(xù)運行，也影響了新系統(tǒng)的實施。只有進行和加強數(shù)字資源的整合才能有效地消除“信息孤島”，整合讓數(shù)據(jù)從分散變得集中，大大降低信息的管理難度，實現(xiàn)資源共享，降低運營成本，并更加有利于對大數(shù)據(jù)的利用。但結(jié)果是數(shù)據(jù)將變得更大，一旦數(shù)據(jù)遭受入侵，遭受的損失也要大得多。因此數(shù)字資源整合也帶來了數(shù)據(jù)存儲的安全問題不能被忽視。安全問題主要來自于兩個方面：第一、隱私問題，整合數(shù)據(jù)必然帶來了個人信息被多個數(shù)據(jù)庫共享，個人隱私面臨著極大的風險。第二、數(shù)據(jù)量的急劇增加和數(shù)據(jù)類型的多樣化，一旦數(shù)據(jù)庫被破壞，按傳統(tǒng)關系數(shù)據(jù)庫的數(shù)據(jù)恢復過程將相當?shù)穆L。挑戰(zhàn)如何實現(xiàn)高效、智能的存儲和獲取。大數(shù)據(jù)在傳統(tǒng)數(shù)據(jù)庫的存取狀態(tài)是：輸入比輸出容易。大多數(shù)數(shù)據(jù)庫管理系統(tǒng)設計用于高效的事務處理：一個大型數(shù)據(jù)庫里主要以添加、更新為主，搜索和檢索為輔。大量的數(shù)據(jù)被毫不費力地添加到一個數(shù)據(jù)庫，如果該數(shù)據(jù)庫是一個運行了一段時間的大站點，則很有可能已經(jīng)構(gòu)成大數(shù)據(jù)。隨著數(shù)據(jù)量和各種類型數(shù)據(jù)的不斷增加，數(shù)據(jù)的存儲和訪問速度成瓶頸，解決速度，是大數(shù)據(jù)面臨的一個巨大的挑戰(zhàn)。如何進行有效的數(shù)據(jù)管理。數(shù)據(jù)從產(chǎn)生、傳播、存儲、保護、歸檔到安全維護的各個環(huán)節(jié)都有可能產(chǎn)生錯誤，數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量管理也逐漸被人們重視。2008年，IBM首次提出“智慧地球”概念，希望“互聯(lián)地球的人、機器和數(shù)據(jù)”，形成所謂“物聯(lián)網(wǎng)”，然后將物聯(lián)網(wǎng)與現(xiàn)有的互聯(lián)網(wǎng)結(jié)合，實現(xiàn)人類社會與物理系統(tǒng)的整合。這樣，在數(shù)據(jù)量快速增長的同時也增加了數(shù)據(jù)之間的相互聯(lián)系，讓原本管理與維護的難度加大、成本增高，原來的數(shù)據(jù)管理思想也要隨之革新，此外優(yōu)秀管理也提高了應用的合理性。管理與應用數(shù)據(jù)兩種行為是不可分離、相輔相成的關系。管理能力的提高帶動著應用數(shù)據(jù)的質(zhì)量提高，管理和維護的目的是應用，應用的基礎是好的管理維護。例如：我國鐵道部正在研究實施多網(wǎng)運作減壓應對網(wǎng)購擁堵問題，但多網(wǎng)運作的共享數(shù)據(jù)數(shù)量巨大，如何有效管理成為首先要考慮的問題。如何利用數(shù)據(jù)分析結(jié)果掘“金”。大數(shù)據(jù)本身并沒有什么價值，基于大數(shù)據(jù)的處理和分析才能為企業(yè)帶來巨大的商業(yè)附加值。面對激烈的市場競爭，越來越多的企業(yè)逐漸意識到數(shù)據(jù)已經(jīng)成為新的生產(chǎn)資料，擁有數(shù)據(jù)并正確使用數(shù)據(jù)將會成為企業(yè)成功的核心競爭力。但在發(fā)掘數(shù)據(jù)里“金子”的時候，同時存在挖到“垃圾”的可能，這種“垃圾”嚴重誤導企業(yè)的決策。猶如斯坦福大學的教授TrevorHastie說的：在大量的干草堆中尋找針是很麻煩的，因為有很多長得像針一樣的稻草。大數(shù)據(jù)統(tǒng)計也為錯誤的調(diào)查提供了很多初始資料。喬治?梅森大學的數(shù)學家RebeccaGoldin認為這是使用數(shù)據(jù)最有害的方式之一。越來越多的企業(yè)意識到了這種挑戰(zhàn)：IT負責人和職員無法有效地對海量數(shù)據(jù)進行有效地收集、處理和分析；另一方面，企業(yè)CEO以及高層管理人員因不能及時獲得所需的信息，而無法預測出潛在的業(yè)務機遇，坐等商業(yè)機會的流失。如何應對非結(jié)構(gòu)化數(shù)據(jù)的海量增長趨勢。數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，兩類數(shù)據(jù)區(qū)別在于：前者一般采用數(shù)據(jù)記錄存儲，而后者普遍采用文件系統(tǒng)存儲。非結(jié)構(gòu)化數(shù)據(jù)包括：全文文本、圖像、聲音、影視、超媒體等信息。這類數(shù)據(jù)的特征體現(xiàn)在：體積大、增長快、多樣化。Autonomy創(chuàng)始人兼CEO林奇認為：非結(jié)構(gòu)化數(shù)據(jù)是大數(shù)據(jù)的主旋律，接下來的15年，非結(jié)構(gòu)化數(shù)據(jù)將成為信息的主體，將來90%的信息將是非結(jié)構(gòu)化的，我們必須掌握未來科技的發(fā)展趨勢，必須要讓計算機了解人類想要什么樣的信息。據(jù)凱捷咨詢與《經(jīng)濟學人》信息部最近聯(lián)合進行的研究顯示，大部分高管人員（58%）依賴非結(jié)構(gòu)化數(shù)據(jù)分析做出業(yè)務決策。企業(yè)分析的數(shù)據(jù)越多，就越能獲得有價值的見解。綜上可以知，非結(jié)構(gòu)化數(shù)據(jù)作用巨大，但現(xiàn)有存儲技術在吞吐能力、可擴展性、易管理性等方面并跟不上非結(jié)構(gòu)化數(shù)據(jù)增長的速度，主要用于管理結(jié)構(gòu)化數(shù)據(jù)的關系數(shù)據(jù)庫的局限性暴露地越來越明顯。因此探索新一代存儲技術是對企業(yè)來說非常大的挑戰(zhàn)。如果處理不好，大數(shù)據(jù)也會給企業(yè)帶來巨大的麻煩。2011年的《IBM-麻省理工斯隆管理學院評論》顯示：在過去一個對全世界100個國家中的3000名高級管理人員進行調(diào)查，他們分別來自30多個行業(yè)，結(jié)果顯示60%的高級管理人員表示無法有效利用所有數(shù)據(jù)