大數(shù)據發(fā)展存在的主要問題.doc

（一）數(shù)據孤島問題大數(shù)據的基礎在于數(shù)據，但是如果拿不到底層的數(shù)據，數(shù)據分析也就無從談起。隨著社交網絡、移動互聯(lián)網和物聯(lián)網的興起以及社交媒體的發(fā)展導致各種海量數(shù)據生成，帶來了無限想象力和商業(yè)應用價值?！暗谝粋€問題就是沒數(shù)據，理論上我們中國有很多數(shù)據，但實際做數(shù)據分析會發(fā)現(xiàn)非常困難。”中國科學院院士、北京大數(shù)據研究院院長鄂維南表示，數(shù)據孤島是一個嚴重的問題，從技術層面看，大數(shù)據的主要挑戰(zhàn)是采集和分析。不同部門的數(shù)據儲存在不同地方，大數(shù)據來源眾多、數(shù)量巨大、形式各異。大數(shù)據最高的層次就是用數(shù)據來形成智慧，這需要從中獲得一目了然的信息。做數(shù)據分析先要整合數(shù)據，整合數(shù)據需要真正高效、可靠的數(shù)據管理和分析平臺。社會大數(shù)據是一種社會公共資源，由于政府部門之間、企業(yè)之間、政府和企業(yè)間信息不對稱、制度法律不具體、缺乏公共平臺和共享渠道等多重因素，還有多樣的設備、各式各樣的應用場景，導致大量政府數(shù)據存在“不愿公開、不敢公開、不能公開、不會公開”的問題，早就了一個個企業(yè)和政府管理部門的數(shù)據孤島。阻礙數(shù)據共享的另一個主要原因是缺乏動力和擔心安全。貴陽大數(shù)據交易所執(zhí)行總裁王叁壽透露，不少企業(yè)以保護商業(yè)機密或節(jié)省數(shù)據整理成本等為理由，不愿意交易自身數(shù)據。在出行領域，每天有上千萬的出行記錄和數(shù)百輛車的實時地理位置信息被記錄在出行軟件上。電商行業(yè)大量流轉的貨物，掌握著許多家庭住址。這些大數(shù)據涉及到千家萬戶的財產甚至人身安全，企業(yè)不愿意泄露這部分信息。部分政府部門也缺乏數(shù)據公開的動力：有的是因懶政而讓數(shù)據沉睡，有的則是已經利用數(shù)據開展商業(yè)化應用，因此不愿共享?！皵?shù)據孤島的痛不是技術問題，是利益問題，背后隱藏的利益導致了數(shù)據孤島的產生?！倍蹙S南坦言。對于如何打通數(shù)據孤島，加快政府數(shù)據開放共享，政府要建立完善大數(shù)據發(fā)展協(xié)調機制，穩(wěn)步推動公共數(shù)據資源開放，將大數(shù)據作為一項國家戰(zhàn)略。大量的數(shù)據仍然掌握在個別企業(yè)和政府機構中，要想實現(xiàn)共享和保證信息安全，還要統(tǒng)籌規(guī)劃大數(shù)據基礎設施建設，推動制定公共信息資源保護和開放的制度性文件，明確數(shù)據開放共享的原則和底線。中國的大數(shù)據才剛剛起步，若想打通城市現(xiàn)存的信息壁壘，就要讓城市多方資源聯(lián)動起來，搭建城市數(shù)據共享的平臺，從而形成良好的數(shù)據開發(fā)和使用氛圍，激活大數(shù)據價值，充分發(fā)揮數(shù)據資源整合的優(yōu)質效應。（二）底層技術差距很大即便解決了數(shù)據共享問題，數(shù)據可供隨時取用，每天天所產生的海量數(shù)據需要有一個強有力且安全的平臺來對這些數(shù)據進行收集、分析。微軟大中華區(qū)董事長兼CEO柯睿杰認為，數(shù)據智能并非那么觸手可及。要想從來源眾多、數(shù)量巨大、形式各異的大數(shù)據獲得一目了然的信息，就需要真正高效、可靠的數(shù)據管理和分析平臺，從而為用戶提出一個切實可行的方案。中國當前的數(shù)據產生量占全球數(shù)據總量的13%，增長速度也很快，如圖3所示。如何處理巨量數(shù)據是中國大數(shù)據產業(yè)面臨的首要技術問題。中國的數(shù)據體量特別大中國的視頻比任何國家都要多，這些數(shù)據儲存困難，需要用的時候往往就沒了。59%的數(shù)據是無效數(shù)據，70%的數(shù)據過于復雜，85%的企業(yè)數(shù)據架構無法適應數(shù)據量和復雜性增長的需求，98%的企業(yè)無法及時、準確地為業(yè)務提供正確的信息。這些問題都給數(shù)據統(tǒng)計分析帶來了困難。另一方面，數(shù)據分析本身也是一個難題。大數(shù)據中，絕大部分屬于非結構化的數(shù)據，無法用數(shù)字或同意的結構表示。這些大量存在于社交網絡、互聯(lián)網和電子商務等領域的大數(shù)據，在高維、多變和強隨機性等方面表現(xiàn)出不確定性。股票交易數(shù)據流就是不確定性大數(shù)據的一個典型例子。研究和應用這些數(shù)據需要結合包括數(shù)學、經濟學、社會學、計算機科學和管理科學在內的多學科交叉。圖2 中國大數(shù)據細分市場結構情況圖3:2011-2018年中國大數(shù)據產業(yè)營收規(guī)模及增速目前，我國大數(shù)據技術創(chuàng)新能力還有待提升。大數(shù)據產業(yè)發(fā)展規(guī)劃（2016-2020年）指出，我國在新型計算平臺、分布式計算架構、大數(shù)據處理、分析和呈現(xiàn)方面與國外仍存在較大差距，對開源技術和相關生態(tài)系統(tǒng)影響力弱。同時，大數(shù)據應用水平不高。我國發(fā)展大數(shù)據具有強勁的應用市場優(yōu)勢，但是目前還存在應用領域不廣泛、應用程度不深、認識不到位等問題。我們在大數(shù)據應用上并不落后國外，但是在底層技術上遠遠不及國外，技術都來源于谷歌等國外大公司。很多時候我們的商業(yè)模式走在了技術前面，并沒有通過技術手段來推動創(chuàng)新。國家層面要支持大數(shù)據共性關鍵技術研究，加強海量數(shù)據存儲、數(shù)據清洗、數(shù)據分析發(fā)掘、數(shù)據可視化等領域關鍵技術攻關，并支持自然語言理解、機器學習、深度學習等人工智能技術創(chuàng)新。（三）專業(yè)人才短缺嚴重近年來，大數(shù)據成為一個新興熱詞越來越被人們所提及。我國大數(shù)據產業(yè)發(fā)展進入爆發(fā)期，對于企業(yè)來說，大數(shù)據的影響更為猛烈。由于成熟的人才培訓體系尚未建立，企業(yè)數(shù)據爆炸性增長給企業(yè)帶來了隱患，直接導致人才短缺的問題日益突出。大數(shù)據面臨的最嚴重的問題就是應用場景和人才的問題，應用場景的問題是需要時間，作為一個新興發(fā)展起來的產業(yè)，對大數(shù)據人才的需求開始成爆炸式的增長。人才不足限制了大數(shù)據產業(yè)創(chuàng)新發(fā)展的成效。清華大學計算機系教授武永衛(wèi)透露的數(shù)據顯示，未來3至5年，中國需要180萬數(shù)據人才，截至目前，中國大數(shù)據從業(yè)人員只有約30萬人。LinkedIn（領英）發(fā)布的2016年中國互聯(lián)網最熱職位人才報告則顯示，數(shù)據分析是當下中國互聯(lián)網行業(yè)需求最旺盛的6類人才職位之一。 數(shù)據來源人民網同時，大數(shù)據行業(yè)選才的標準隨著大數(shù)據的發(fā)展也不斷變化。初期， ETL研發(fā)、系統(tǒng)架構開發(fā)、數(shù)據倉庫研究等偏硬件領域對大數(shù)據人才的需求較多，傾向于需要具有 IT、計算機背景的人才。隨著大數(shù)據從水平領域往各垂直領域的延伸發(fā)展，對，從事數(shù)據分析、數(shù)據挖掘、人工智能等偏軟件領域的統(tǒng)計學、數(shù)學專業(yè)的人才的需求不斷加大。在高端人才稀缺的現(xiàn)實情況下，越來越多的企業(yè)希望能夠培養(yǎng)自己的大數(shù)據分析人才。企業(yè)多選擇從海外和傳統(tǒng)行業(yè)挖掘跨界人才，薪酬待遇也是很好，但仍然無法滿足國內市場的大量需求。為了滿足企業(yè)對大數(shù)據人才的需求，各種培訓機構和各大高校也開始強化大數(shù)據人才的培養(yǎng)，京東、諾基亞、亞馬