2020年大數(shù)據(jù)（征信領(lǐng)域）行業(yè)分析報告

大數(shù)據(jù)（征信領(lǐng)域）行業(yè)分析報告2020年9月

目 錄一、行業(yè)簡介 41、大數(shù)據(jù)相關(guān)定義 42、大數(shù)據(jù)的特征 43、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展歷程 5二、行業(yè)發(fā)展情況分析 61、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)模 62、大數(shù)據(jù)產(chǎn)業(yè)區(qū)域結(jié)構(gòu) 73、大數(shù)據(jù)產(chǎn)業(yè)行業(yè)結(jié)構(gòu) 84、大數(shù)據(jù)的征信領(lǐng)域應(yīng)用 85、行業(yè)未來發(fā)展趨勢 8（1）各行各業(yè)對數(shù)據(jù)分析的需求將更加旺盛 8（2）人工智能化是大數(shù)據(jù)的發(fā)展方向 9（3）產(chǎn)業(yè)鏈的分工將日益清晰和細化 9（4）數(shù)據(jù)處理外包行業(yè)將興起 10三、行業(yè)驅(qū)動力分析 111、國家政策扶持 112、市場整體認知度不斷提升 123、基于數(shù)據(jù)分析的業(yè)務(wù)管理在企業(yè)應(yīng)用場景越來越廣泛 12四、行業(yè)應(yīng)用需求分析 131、金融科技 132、征信 14五、行業(yè)競爭分析 161、競爭格局 16（1）大數(shù)據(jù)行業(yè)整體競爭情況 16（2）征信服務(wù)領(lǐng)域的競爭態(tài)勢 172、行業(yè)進入壁壘 18（1）技術(shù)壁壘 18（2）客戶資源壁壘 18（3）人才壁壘 19（4）應(yīng)用領(lǐng)域資質(zhì)壁壘 193、征信領(lǐng)域主要企業(yè) 19（1）上海華夏鄧白氏 19（2）益博睿 20（3）中誠信征信 20（4）金電聯(lián)行 20（5）芝麻信用 20（6）前海征信 21（7）蘇州朗動 21六、行業(yè)發(fā)展制約因素 211、數(shù)據(jù)積累不足，開放程度不高 212、高端技術(shù)人才競爭激烈 21附件：行業(yè)上下游情況 221、數(shù)據(jù)來源 22（1）產(chǎn)業(yè)概況 22（2）關(guān)鍵技術(shù)：數(shù)據(jù)庫技術(shù) 232、數(shù)據(jù)管理 24（1）產(chǎn)業(yè)概況 24（2）關(guān)鍵技術(shù)：分布式架構(gòu) 253、數(shù)據(jù)應(yīng)用 26（1）產(chǎn)業(yè)概況 26（2）關(guān)鍵技術(shù)：機器學(xué)習(xí)和人工智能 26

大數(shù)據(jù)（征信領(lǐng)域）行業(yè)分析報告一、行業(yè)簡介1、大數(shù)據(jù)相關(guān)定義對于大數(shù)據(jù)的概念，目前尚無業(yè)界所廣泛接受的明確定義。各權(quán)威機構(gòu)及普遍理解的大數(shù)據(jù)定義如下：麥肯錫在研究報告《大數(shù)據(jù)的下一個前言：創(chuàng)新、競爭和生產(chǎn)力》中認為：大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲存、管理和分析等能力的數(shù)據(jù)集；美國國家標(biāo)準(zhǔn)技術(shù)研究所（NationalInstituteofStandardsandTechnology，NIST）的大數(shù)據(jù)工作組在《大數(shù)據(jù)：定義和分類》中認為：大數(shù)據(jù)是指那些傳統(tǒng)數(shù)據(jù)架構(gòu)無法有效地處理的新數(shù)據(jù)集。維基百科列示的定義是：大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息。Gartner列示的定義是：大數(shù)據(jù)是體量大、快速和多樣化的信息資產(chǎn)，需用高效率和創(chuàng)新型的信息技術(shù)加以處理，以提高發(fā)現(xiàn)洞察、作出決策和優(yōu)化流程的能力。國內(nèi)普遍的理解是：大數(shù)據(jù)是具有數(shù)據(jù)量巨大、來源多樣、生成極快、且多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大數(shù)據(jù)集的數(shù)據(jù)。2、大數(shù)據(jù)的特征在傳統(tǒng)的數(shù)據(jù)處理周期里，處理數(shù)據(jù)只有兩個環(huán)節(jié)：從“數(shù)據(jù)源”到“應(yīng)用”，而各個環(huán)節(jié)使用的技術(shù)也較為簡單。傳統(tǒng)的數(shù)據(jù)源需要經(jīng)過處理存到一個結(jié)構(gòu)化數(shù)據(jù)庫進行管理，然后再使用諸如數(shù)理統(tǒng)計、結(jié)果可視化等技術(shù)完成對數(shù)據(jù)的應(yīng)用。與傳統(tǒng)的數(shù)據(jù)處理周期不同，大數(shù)據(jù)處理需要在傳統(tǒng)的“數(shù)據(jù)源”到“應(yīng)用”這一流程上增加“數(shù)據(jù)管理”這一步驟，以應(yīng)對海量大數(shù)據(jù)帶來的新挑戰(zhàn)。對于大數(shù)據(jù)的數(shù)據(jù)特征，業(yè)界通常引用國際數(shù)據(jù)公司（InternationalDataCorporation）定義的4V進行描述：①數(shù)據(jù)量大（Volume）：雖然對大數(shù)據(jù)量的統(tǒng)計和預(yù)測結(jié)果并不完全相同，但是一致認為數(shù)據(jù)量將急劇增長。②類型繁多（Variety）：除了結(jié)構(gòu)化數(shù)據(jù)外，大數(shù)據(jù)還包括各類非結(jié)構(gòu)化數(shù)據(jù)，例如文本、音頻、視頻、點擊流量、文件記錄等，以及半結(jié)構(gòu)化數(shù)據(jù)，例如電子郵件、辦公處理文檔等。③數(shù)據(jù)價值（Value）：從海量價值密度低的數(shù)據(jù)中挖掘出具有高價值的數(shù)據(jù)。這一特性突出表現(xiàn)了大數(shù)據(jù)的本質(zhì)是獲取數(shù)據(jù)價值，關(guān)鍵在于商業(yè)價值，即如何有效利用好這些數(shù)據(jù)。④處理速度快（Velocity）：通常具有時效性，企業(yè)只有把握好對數(shù)據(jù)流的掌握應(yīng)用，才能最大化地挖掘利用大數(shù)據(jù)所潛藏的商業(yè)價值。3、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展歷程我國的大數(shù)據(jù)產(chǎn)業(yè)目前已經(jīng)歷了三個時期：①探索期：大約從2004年前后，隨著數(shù)據(jù)庫等技術(shù)的進步，數(shù)據(jù)挖掘概念開始普及，越來越多的企業(yè)將信息管理作為單獨的業(yè)務(wù)部門。但由于當(dāng)時企業(yè)數(shù)據(jù)采集能力的限制，以及企業(yè)信息化時間較短，本身管理軟件中積累的歷史數(shù)據(jù)有限，一些廠商推出的領(lǐng)先數(shù)據(jù)管理方案并不容易獲得企業(yè)認可，業(yè)務(wù)尚不足以推動技術(shù)的快速進步。②市場啟動期：2008年金融危機后，國內(nèi)企業(yè)為了盡快從業(yè)務(wù)低迷的狀態(tài)中恢復(fù)，獲得市場競爭優(yōu)勢，對商業(yè)智能（BI）以及商業(yè)分析（BA）的需求出現(xiàn)快速提升，主要應(yīng)用在決策支持、業(yè)務(wù)優(yōu)化、銷售機會挖掘預(yù)測等領(lǐng)域。但在隨后的2010-2011年，領(lǐng)先企業(yè)擁有優(yōu)勢后并不甘愿放棄，而落后企業(yè)更急于尋求方案快速趕上，使得共同作用下，企業(yè)級市場對商業(yè)智能及商業(yè)分析的需求并未減退，反而成為一種常態(tài)。③高速發(fā)展期：到了2012年以后，由于企業(yè)信息化及互聯(lián)網(wǎng)應(yīng)用的日益完善，對消費者及企業(yè)內(nèi)外部所積累的數(shù)據(jù)日益豐富，大數(shù)據(jù)的概念迅速為各類人群所接受。而在企業(yè)領(lǐng)域，包括營銷、風(fēng)險管控、預(yù)測、客戶挖掘、海量數(shù)據(jù)實時處理、可視化展現(xiàn)、數(shù)據(jù)倉庫建設(shè)等方面的多樣化需求迅速擴張，業(yè)務(wù)推動技術(shù)進入高速創(chuàng)新期。而進入2015年后，企業(yè)深度利用數(shù)據(jù)價值的意識迅速提高，數(shù)據(jù)資產(chǎn)管理成為熱門概念，企業(yè)開始愿意通過數(shù)據(jù)交易進行變現(xiàn)，各種與大數(shù)據(jù)有關(guān)的政策及法律法規(guī)不斷完善。預(yù)計，中國大數(shù)據(jù)市場將在2020年前后進入成熟期。一方面業(yè)務(wù)需求的變化將推動細分領(lǐng)域出現(xiàn)豐富的商業(yè)模式，并使得新產(chǎn)品和服務(wù)具有穩(wěn)定的剛性需求；另一方面隨著產(chǎn)業(yè)鏈的完善，專注于細分行業(yè)及細分應(yīng)用領(lǐng)域廠商競爭逐漸穩(wěn)固，而不善于充分利用數(shù)據(jù)的企業(yè)將被快速淘汰出局。二、行業(yè)發(fā)展情況分析1、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)模目前，我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展在經(jīng)歷初期探索、市場啟動等階段后，大數(shù)據(jù)的技術(shù)、應(yīng)用以及社會公眾的接受度等方面逐步趨于成熟，整個產(chǎn)業(yè)開始步入快速發(fā)展階段，行業(yè)規(guī)模增長迅速。根據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院發(fā)布的數(shù)據(jù)顯示，2018年中國大數(shù)據(jù)產(chǎn)業(yè)的市場規(guī)模約為4,384.5億元人民幣，同比增長23.50%。隨著國家政策激勵以及大數(shù)據(jù)應(yīng)用模式的逐步成熟，未來幾年中國大數(shù)據(jù)市場仍將保持快速增長，預(yù)計到2021年中國大數(shù)據(jù)市場規(guī)模將達到8,070.60億元。數(shù)據(jù)來源：整理自公開資料當(dāng)前，國內(nèi)大數(shù)據(jù)正在被越來越廣泛地應(yīng)用到政府公共管理、金融、交通、零售、醫(yī)療、工業(yè)制造等領(lǐng)域，隨著大數(shù)據(jù)應(yīng)用范圍的不斷擴大，大數(shù)據(jù)所形成的市場價值將不斷提升。2、大數(shù)據(jù)產(chǎn)業(yè)區(qū)域結(jié)構(gòu)當(dāng)前，由于各地區(qū)發(fā)展基礎(chǔ)和起步時間不同，全國各省市大數(shù)據(jù)發(fā)展水平存在明顯的差異性。從區(qū)域角度來看，華北、華東、中南是大數(shù)據(jù)企業(yè)主要集中區(qū)域，這些區(qū)域集中了中國主要的互聯(lián)網(wǎng)企業(yè)和金融、消費品、制造等行業(yè)用戶。其中，2018年華北地區(qū)份額最高，占27.60%。數(shù)據(jù)來源：大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟3、大數(shù)據(jù)產(chǎn)業(yè)行業(yè)結(jié)構(gòu)大數(shù)據(jù)市場剛剛邁入中國之時，國內(nèi)對大數(shù)據(jù)的應(yīng)用領(lǐng)域主要集中在互聯(lián)網(wǎng)，智能交通、電子政務(wù)、金融理財、電商物流等方面雖然得到了發(fā)展，但應(yīng)用領(lǐng)域仍然較為狹窄。近年來，隨著泛互聯(lián)網(wǎng)的發(fā)展，各行業(yè)的數(shù)據(jù)量激增，金融科技、征信、工業(yè)、醫(yī)療等更多領(lǐng)域開始關(guān)注并利用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)價值，并逐步成為大數(shù)據(jù)行業(yè)的主流下游應(yīng)用領(lǐng)域。4、大數(shù)據(jù)的征信領(lǐng)域應(yīng)用隨著我國社會信用體系建設(shè)的步伐不斷加快以及計算機和網(wǎng)絡(luò)技術(shù)的不斷提高，征信業(yè)的發(fā)展也需要適應(yīng)大數(shù)據(jù)時代發(fā)展所帶來的技術(shù)變革。征信機構(gòu)在積累征信數(shù)據(jù)的同時，也需要提升自身的數(shù)據(jù)存儲能力，豐富所積累數(shù)據(jù)的維度，提升數(shù)據(jù)分析挖掘、處理速度等各方面能力，從而促進大數(shù)據(jù)技術(shù)在征信領(lǐng)域的應(yīng)用。隨著云計算、數(shù)據(jù)挖掘等信息技術(shù)的發(fā)展和應(yīng)用，為征信產(chǎn)品的創(chuàng)新和升級奠定了技術(shù)基礎(chǔ)。數(shù)據(jù)處理能力的提升，使得征信機構(gòu)可以對數(shù)據(jù)資源進行更充分地挖掘和分析，開發(fā)出具有更高技術(shù)含量的產(chǎn)品和服務(wù)，滿足銀行、保險等金融機構(gòu)多層次、全方位、專業(yè)化的征信需求。此外，以互聯(lián)網(wǎng)金融為代表的新型互聯(lián)網(wǎng)服務(wù)行業(yè)的快速發(fā)展也帶來大量新的征信需求。對于互聯(lián)網(wǎng)金融企業(yè)，需要借助信用信息共享來防范信用風(fēng)險、降低交易成本。大數(shù)據(jù)技術(shù)在征信領(lǐng)域的應(yīng)用，可以幫助其甄別和防范可能發(fā)生的風(fēng)險。5、行業(yè)未來發(fā)展趨勢（1）各行各業(yè)對數(shù)據(jù)分析的需求將更加旺盛隨著計算機技術(shù)的發(fā)展普及，各種信息系統(tǒng)的廣泛運用，各類系統(tǒng)中積累了大量的原始數(shù)據(jù)，各行各業(yè)對于數(shù)據(jù)分析的需求越來越急迫，除了分析這些數(shù)據(jù)內(nèi)部所蘊含的規(guī)律、預(yù)測相關(guān)系統(tǒng)的運行趨勢以外，對于數(shù)據(jù)分析的廣度和速度都有了越來越高的要求。這些需求促使IT、互聯(lián)網(wǎng)廠商不斷加快對于數(shù)據(jù)分析技術(shù)的研發(fā)創(chuàng)新。一方面，大數(shù)據(jù)分析不再局限于結(jié)構(gòu)化的歷史數(shù)據(jù)，而更傾向于分析來自社交網(wǎng)絡(luò)、各種傳感器采集的非結(jié)構(gòu)化數(shù)據(jù)；另一方面，激烈的市場競爭促使大數(shù)據(jù)解決方案廠商加大了對數(shù)據(jù)的快速、實時分析、智能決策技術(shù)的研發(fā)投入。（2）人工智能化是大數(shù)據(jù)的發(fā)展方向人工智能的實現(xiàn)以大數(shù)據(jù)和深度學(xué)習(xí)算法為基礎(chǔ)。深度學(xué)習(xí)依托于模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過模仿人腦的思維方式進行數(shù)據(jù)的分析和處理。大數(shù)據(jù)則為人工智能提供的海量數(shù)據(jù)進行算法的驗證和模型的構(gòu)建。在沒有海量數(shù)據(jù)支持的情況下，僅依靠深度學(xué)習(xí)算法上的革新是無法實現(xiàn)人工智能的。而近期人工智能之所以能取得突飛猛進的進展，是因為這些年來大數(shù)據(jù)長足發(fā)展的結(jié)果。正是由于各類感應(yīng)器和數(shù)據(jù)采集技術(shù)的發(fā)展，我們開始擁有以往難以想象的海量數(shù)據(jù)，并開始在某一領(lǐng)域擁有深度的、精細化的數(shù)據(jù)。而這些，都是訓(xùn)練某一領(lǐng)域智能的前提。大數(shù)據(jù)是讓人們通過數(shù)據(jù)看到未來，幫助人類決策；而人工智能則是為了徹底將人們從勞動中解放出來，幫助或者替代人類完成任務(wù)。大數(shù)據(jù)為人工智能提供數(shù)據(jù)支持，人工智能通過主動學(xué)習(xí)、處理、分析大數(shù)據(jù)，自發(fā)得到可以指導(dǎo)人類決策的依據(jù)，指導(dǎo)或者直接替代人類進行決策和行動。人工智能將是各個領(lǐng)域的大數(shù)據(jù)應(yīng)用的發(fā)展方向。（3）產(chǎn)業(yè)鏈的分工將日益清晰和細化隨著數(shù)據(jù)價值認知的深化，用戶對于數(shù)據(jù)的質(zhì)量要求越來越高，標(biāo)簽的準(zhǔn)確性、無效或錯誤值的比例、數(shù)據(jù)檢索的效率和數(shù)據(jù)關(guān)聯(lián)的精準(zhǔn)度等指標(biāo)對產(chǎn)業(yè)鏈上各類產(chǎn)品或服務(wù)價格的影響日漸加大。同時，在綜合性的大型數(shù)據(jù)交易平臺帶動下，圍繞數(shù)據(jù)所產(chǎn)生的各類需求能夠得到最大程度的凸顯，必然會促進大數(shù)據(jù)產(chǎn)業(yè)鏈的劃分逐漸清晰和細化，諸如數(shù)據(jù)采集、匯聚、加工、交易和分析等環(huán)節(jié)在內(nèi)的細分產(chǎn)業(yè)都將得到極大的推動。此外，企業(yè)在大數(shù)據(jù)產(chǎn)業(yè)鏈中的定位將會更加明確和聚焦。當(dāng)前很多跨越了多個環(huán)節(jié)的企業(yè)，將會根據(jù)自身的優(yōu)勢和特點來重新定位在大數(shù)據(jù)產(chǎn)業(yè)鏈中的角色，可以預(yù)見的是某些數(shù)據(jù)擁有者將專注于對外提供數(shù)據(jù)服務(wù)，而目前橫跨分析和應(yīng)用環(huán)節(jié)的企業(yè)將會有很大一部分成為專業(yè)的分析技術(shù)提供商。（4）數(shù)據(jù)處理外包行業(yè)將興起當(dāng)前，有大量公司將各種IT和業(yè)務(wù)功能外包給服務(wù)提供商，這其中包含數(shù)據(jù)分析。數(shù)據(jù)外包將是繼軟件外包之后的另一大產(chǎn)業(yè)。從歷史上來看，我國的軟件外包產(chǎn)業(yè)始于20世紀(jì)八十年代，此后一直保持持續(xù)穩(wěn)定增長，軟件外包已經(jīng)成為發(fā)達國家的軟件公司降低成本的一種重要的手段。而數(shù)據(jù)外包作為一個新興的大數(shù)據(jù)產(chǎn)業(yè)，即為企業(yè)和科研客戶提供海量數(shù)據(jù)處理的外包服務(wù)，幫助客戶完成海量數(shù)據(jù)作業(yè)任務(wù)，并最終交付精準(zhǔn)無誤的數(shù)據(jù)成果。使用戶最小成本、最大利益獲得處理后的數(shù)據(jù)資產(chǎn)，從而可以將更多的人力和資本投入到生產(chǎn)和科研活動中。市場研究和咨詢公司HexaResearch于2017年公布的報告稱，全球數(shù)據(jù)分析外包市場將在2016年至2024年間的復(fù)合年增長率超過30%，年收入超過60億美元。大數(shù)據(jù)的價值體現(xiàn)在基于海量數(shù)據(jù)形成的洞見以指導(dǎo)人類行為。海量數(shù)據(jù)不僅僅體現(xiàn)在數(shù)據(jù)體量上，還體現(xiàn)在關(guān)聯(lián)性上。分離數(shù)據(jù)形成的“數(shù)據(jù)孤島”是大數(shù)據(jù)行業(yè)面臨的重要問題，其阻礙了數(shù)據(jù)的連接融合，使數(shù)據(jù)無法形成知識體系產(chǎn)生洞見，降低了數(shù)據(jù)的利用價值。只有跨領(lǐng)域的數(shù)據(jù)分析才更有可能形成真正的知識和智能從而產(chǎn)生更大的價值。同時，大數(shù)據(jù)本身具有非常強的資產(chǎn)屬性，大數(shù)據(jù)時代，數(shù)據(jù)就是金錢。因此，基于各類大數(shù)據(jù)的共享與交易也將得到蓬勃的發(fā)展。三、行業(yè)驅(qū)動力分析1、國家政策扶持大數(shù)據(jù)對整個世界的影響力呈現(xiàn)快速增長趨勢，美國等發(fā)達國家紛紛布局大數(shù)據(jù)產(chǎn)業(yè)，推出大數(shù)據(jù)相關(guān)政策。我國對大數(shù)據(jù)的政策支持力度上也在不斷提升。2012年以來，發(fā)改委、科技部、工信部等部門在科技和產(chǎn)業(yè)化方面支持了一批大數(shù)據(jù)相關(guān)項目，推進技術(shù)研發(fā)取得積極效果。2014年3月，“大數(shù)據(jù)”第一次出現(xiàn)在《政府工作報告》中，并明確提出設(shè)立新興產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新平臺，在大數(shù)據(jù)等方面趕超先進，引領(lǐng)未來產(chǎn)業(yè)發(fā)展。2015年6月的國務(wù)院常務(wù)會議上，政府再次強調(diào)“推進簡政放權(quán)，放管結(jié)合、優(yōu)化服務(wù)，而大數(shù)據(jù)手段的運用十分重要?！?015年7月，國務(wù)院辦公廳印發(fā)了《關(guān)于運用大數(shù)據(jù)加強對市場主體服務(wù)和監(jiān)管的若干意見》。2015年9月國務(wù)院印發(fā)的《促進大數(shù)據(jù)發(fā)展行動綱要》，進一步明確推動大數(shù)據(jù)發(fā)展和應(yīng)用的總體目標(biāo)、主要任務(wù)、政策機制等內(nèi)容。2016年3月，國家“十三五”規(guī)劃綱要發(fā)布，指出要實施國家大數(shù)據(jù)戰(zhàn)略。把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，全面實施促進大數(shù)據(jù)發(fā)展行動，加快推動數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用，助力產(chǎn)業(yè)轉(zhuǎn)型升級和社會治理創(chuàng)新。此外，2019年7月，國務(wù)院辦公廳發(fā)布《關(guān)于加快推進社會信用體系建設(shè)構(gòu)建以信用為基礎(chǔ)的新型監(jiān)管機制的指導(dǎo)意見》，強調(diào)充分發(fā)揮“互聯(lián)網(wǎng)+”、大數(shù)據(jù)對信用監(jiān)管的支撐作用，著力提升信用監(jiān)管信息化建設(shè)水平，建立完善事前、事中、事后信用監(jiān)管體系，進一步發(fā)揮信用在創(chuàng)新監(jiān)管機制、提高監(jiān)管能力和水平方面的基礎(chǔ)性作用。上述政策的出臺無疑推動了大數(shù)據(jù)市場快速增長以及大數(shù)據(jù)技術(shù)在征信領(lǐng)域的應(yīng)用，對本行業(yè)的發(fā)展起著重要的作用。2、市場整體認知度不斷提升隨著信息化和工業(yè)化深入融合的進程加快，大數(shù)據(jù)、云計算、人工智能等前沿概念和技術(shù)逐步滲透到社會的各個領(lǐng)域，對傳統(tǒng)經(jīng)濟產(chǎn)生巨大的沖擊和影響，尤其是隨著大數(shù)據(jù)時代變革的深入，越來越多的企業(yè)開始認識到數(shù)據(jù)資產(chǎn)的重要性，并逐漸開始關(guān)注如何有效利用這些數(shù)據(jù)來產(chǎn)生更大的價值。例如在互聯(lián)網(wǎng)和金融領(lǐng)域，數(shù)據(jù)的擁有規(guī)模，分析和運用數(shù)據(jù)的能力將決定企業(yè)的核心競爭力。對這些企業(yè)來說，掌控數(shù)據(jù)就可以深入了解市場需求，采取更為精準(zhǔn)的策略，從而帶來巨大的回報。目前，作為數(shù)據(jù)資產(chǎn)先行者的企業(yè)，如谷歌、Facebook、亞馬遜、阿里巴巴等，都在挖掘多種形態(tài)的設(shè)備及軟件功能，積累各種類型的數(shù)據(jù)資產(chǎn)，發(fā)揮大數(shù)據(jù)的商業(yè)價值。3、基于數(shù)據(jù)分析的業(yè)務(wù)管理在企業(yè)應(yīng)用場景越來越廣泛雖然企業(yè)級大數(shù)據(jù)應(yīng)用目前在國內(nèi)還處于初級階段，但是商業(yè)價值已經(jīng)顯現(xiàn)出來。運用大數(shù)據(jù)指導(dǎo)運營的企業(yè)數(shù)量快速增長，大數(shù)據(jù)在應(yīng)用層面開始取得良好的效果；大數(shù)據(jù)技術(shù)的應(yīng)用場景也在持續(xù)擴展，逐步與金融、征信、互聯(lián)網(wǎng)等多個領(lǐng)域進行深入結(jié)合。以大數(shù)據(jù)技術(shù)在征信領(lǐng)域的應(yīng)用為例，隨著大數(shù)據(jù)與征信行業(yè)的深入結(jié)合，大數(shù)據(jù)企業(yè)可利用大數(shù)據(jù)技術(shù)對企業(yè)信息進行收集、整理以及深入挖掘，從而提供企業(yè)信息的多維展示以及征信相關(guān)的分析成果，幫助金融機構(gòu)在資質(zhì)驗證、準(zhǔn)入核驗、風(fēng)險識別及預(yù)警等多個方面大幅提高工作效率及準(zhǔn)確度。大數(shù)據(jù)技術(shù)可以幫助企業(yè)更快地從海量信息中獲取想要的信息，加快企業(yè)的業(yè)務(wù)決策，傳統(tǒng)的IT系統(tǒng)將越來越不能滿足當(dāng)前的大數(shù)據(jù)分析需求。四、行業(yè)應(yīng)用需求分析大數(shù)據(jù)行業(yè)的下游應(yīng)用領(lǐng)域極其廣泛，例如金融科技、征信等領(lǐng)域，下游應(yīng)用領(lǐng)域市場規(guī)模的增長代表著大數(shù)據(jù)行業(yè)市場需求的上升。1、金融科技金融科技是基于大數(shù)據(jù)、云計算、人工智能等一系列技術(shù)創(chuàng)新，全面應(yīng)用于支付清算、借貸融資、財富管理、零售銀行、保險、交易結(jié)算等六大金融領(lǐng)域，是金融業(yè)未來的主流趨勢?；仡櫲祟惤鹑诎l(fā)展史，科技創(chuàng)新與金融創(chuàng)新始終緊密相連，特別是進入信息社會以來，在摩爾定律的作用下，新技術(shù)的出現(xiàn)速度不斷加快，而金融與科技的共生式成長也使得現(xiàn)代金融體系伴隨信息技術(shù)共同經(jīng)歷著指數(shù)級增長。大數(shù)據(jù)在金融業(yè)的應(yīng)用場景相當(dāng)廣泛。如在銀行業(yè)，大數(shù)據(jù)應(yīng)用場景集中在數(shù)據(jù)庫營銷、用戶經(jīng)營、數(shù)據(jù)風(fēng)控、產(chǎn)品設(shè)計和決策支持等；在證券業(yè)，證券企業(yè)可以運用大數(shù)據(jù)技術(shù)進行數(shù)據(jù)挖掘和分析以找到高頻交易服務(wù)對象、資產(chǎn)較高的服務(wù)對象和理財服務(wù)對象，然后證券公司就可以根據(jù)服務(wù)對象的特點進行精準(zhǔn)營銷，推薦針對性服務(wù)。根據(jù)艾瑞咨詢統(tǒng)計，2018年我國金融機構(gòu)技術(shù)資金投入達2,297.3億元，其中投入到以大數(shù)據(jù)、云計算為代表的前沿科技資金為675.2億元，占總體投入的比重為29.4%。另外，艾瑞咨詢預(yù)計，到2022年中國金融機構(gòu)技術(shù)資金投入將達到4,034.7億元，其中前沿科技投入占比將增至35.1%。數(shù)據(jù)來源：艾瑞咨詢雖然我國目前與歐美發(fā)達國家相比，金融基礎(chǔ)比較薄弱，但正是我國金融市場尚未成熟的特點給予我國金融科技快速發(fā)展的土壤，未來相關(guān)金融機構(gòu)投入到以大數(shù)據(jù)、云計算為代表的前沿科技資金投入也會不斷加大，這也會在相當(dāng)程度上推動大數(shù)據(jù)行業(yè)的發(fā)展。2、征信征信是依法收集、整理、保存、加工自然人、法人及其他組織的信用信息，并對外提供信用報告、信用評估、信用信息咨詢等服務(wù)，幫助客戶判斷、控制信用風(fēng)險，進行信用管理的活動。黨的十八大以來，在黨中央、國務(wù)院統(tǒng)一部署下，我國征信業(yè)發(fā)展明顯提速，初步形成了“政府+市場”雙輪驅(qū)動，金融信用信息基礎(chǔ)數(shù)據(jù)庫與市場化征信機構(gòu)錯位發(fā)展、功能互補的市場格局，征信體系在市場經(jīng)濟中發(fā)揮了更為重要的基礎(chǔ)性作用。從征信企業(yè)業(yè)務(wù)流程看，信息收集、信息加工處理、信用產(chǎn)品輸出、商業(yè)化應(yīng)用是征信業(yè)務(wù)開展的四大關(guān)鍵環(huán)節(jié)，而大數(shù)據(jù)的應(yīng)用貫徹于征信企業(yè)業(yè)務(wù)流程四大關(guān)鍵環(huán)節(jié)始終。特別是央行在2009年1月發(fā)布了征信行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)：《征信數(shù)據(jù)元信用評級數(shù)據(jù)元》、《征信數(shù)據(jù)交換格式信用評級違約率數(shù)據(jù)采集格式》，該標(biāo)準(zhǔn)格式的發(fā)布帶動了大數(shù)據(jù)風(fēng)控技術(shù)的快速發(fā)展。同時，以機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)為代表的大數(shù)據(jù)算法的不斷完善，也極大地推動我國征信行業(yè)的發(fā)展。根據(jù)央行征信中心統(tǒng)計，截至2019年底，征信系統(tǒng)共收錄10.2億自然人、2,834.1萬戶企業(yè)和其他組織的信息，規(guī)模已位居世界前列。此外，我國央行征信中心2011、2015和2019年征信查詢總次數(shù)分別為3.09億次、7.19億次和25.1億次，增長速度較快，特別是2015年到2019年，征信查詢總次數(shù)增長了近2.5倍，年復(fù)合增長率達到36.69%。數(shù)據(jù)來源：中國人民銀行征信中心雖然我國目前征信查詢次數(shù)增長較快，但是對于中國龐大的人口基數(shù)來說，人均查詢次數(shù)仍然偏少，且考慮到我國目前金融市場尚未成熟的特點，未來我國征信行業(yè)市場需求巨大。綜上所述，以金融科技、征信等領(lǐng)域為代表的大數(shù)據(jù)下游應(yīng)用領(lǐng)域市場規(guī)模的增長一方面對大數(shù)據(jù)產(chǎn)業(yè)提供了穩(wěn)健的需求保障，另一方面也對大數(shù)據(jù)技術(shù)提出了更高的需求。這就要求大數(shù)據(jù)相關(guān)企業(yè)不僅要不斷加大技術(shù)研發(fā)投入，而且要更加深入了解、分析下游應(yīng)用領(lǐng)域市場訴求，從而提供更加貼合市場需求的大數(shù)據(jù)技術(shù)解決方案。五、行業(yè)競爭分析1、競爭格局（1）大數(shù)據(jù)行業(yè)整體競爭情況目前，根據(jù)自身核心競爭力與商業(yè)模式情況，我國大數(shù)據(jù)企業(yè)主要呈現(xiàn)數(shù)據(jù)優(yōu)勢型、技術(shù)擁有型、應(yīng)用服務(wù)型三大特征，行業(yè)內(nèi)企業(yè)均具備一項或多項上述特征。①數(shù)據(jù)優(yōu)勢型企業(yè)具備數(shù)據(jù)優(yōu)勢型特征的企業(yè)即先天擁有或以收集數(shù)據(jù)資源為目標(biāo)的企業(yè)，這類企業(yè)占據(jù)一定的先發(fā)優(yōu)勢，可利用手中的數(shù)據(jù)資源提升自身的企業(yè)競爭力，或主導(dǎo)數(shù)據(jù)交易平臺機制的形成。具備數(shù)據(jù)優(yōu)勢型特征的企業(yè)以在自身行業(yè)積累了豐富數(shù)據(jù)資源以及力圖匯聚開放網(wǎng)絡(luò)數(shù)據(jù)的企業(yè)為代表。②技術(shù)擁有型企業(yè)具有技術(shù)擁有型特征的企業(yè)是以技術(shù)見長的，專注于數(shù)據(jù)采集、存儲、分析以及可視化工具的企業(yè)，主要為軟件企業(yè)、硬件企業(yè)和解決方案服務(wù)商。③應(yīng)用服務(wù)型企業(yè)具有應(yīng)用服務(wù)型特征的企業(yè)是指為客戶提供云服務(wù)和數(shù)據(jù)服務(wù)的企業(yè)，這類企業(yè)廣泛對接各個行業(yè)，專注于產(chǎn)品的便捷化和可維護性，同時針對不同行業(yè)客戶的需求提供差異化的服務(wù)。（2）征信服務(wù)領(lǐng)域的競爭態(tài)勢目前，我國征信服務(wù)行業(yè)處于發(fā)展初期，參與主體主要包括征信公司、互聯(lián)網(wǎng)公司、咨詢公司等，也有少部分IT企業(yè)參與其中，整體技術(shù)水平有待提高，產(chǎn)品較為單一且重合度較高，基本處于起步狀態(tài)。在征信服務(wù)領(lǐng)域，傳統(tǒng)的征信、市場咨詢服務(wù)往往以報告的形式提供給終端用戶；傳統(tǒng)的IT數(shù)據(jù)咨詢服務(wù)通常以做項目的模式出現(xiàn)，通過咨詢規(guī)劃、解決方案設(shè)計、項目實施的方式滿足客戶特定需求。近年來，傳統(tǒng)征信服務(wù)企業(yè)的業(yè)務(wù)模式受到較大的沖擊，新型征信服務(wù)企業(yè)采用創(chuàng)新產(chǎn)品和服務(wù)方式導(dǎo)致競爭格局產(chǎn)生重大變化。大數(shù)據(jù)時代需要建立可量化、可定價、可交易的征信體系，并且允許數(shù)據(jù)以更加安全、合理的方式進行流通，降低征信市場的服務(wù)成本。在信息向市場主體有序開放的大趨勢下，經(jīng)驗豐富和技術(shù)領(lǐng)先的征信服務(wù)提供商將逐步占據(jù)越來越多的市場份額。據(jù)中國人民銀行征信管理局統(tǒng)計，截至2019年12月末，全國企業(yè)征信機構(gòu)備案企業(yè)數(shù)量為128家。2020年5月19日，國務(wù)院發(fā)布《關(guān)于新時代加快完善社會主義市場經(jīng)濟體制的意見》，構(gòu)建適應(yīng)高質(zhì)量發(fā)展要求的社會信用體系和新型監(jiān)管機制。完善誠信建設(shè)長效機制，推進信用信息共享，建立政府部門信用信息向市場主體有序開放機制。健全覆蓋全社會的征信體系，培育具有全球話語權(quán)的征信機構(gòu)和信用評級機構(gòu)。這預(yù)示著企業(yè)征信領(lǐng)域?qū)⒂瓉砀鼮閺V闊的市場前景，征信服務(wù)行業(yè)的競爭格局將隨著參與主體的擴容而發(fā)生動態(tài)調(diào)整，行業(yè)競爭將有所加劇。目前，我國征信服務(wù)行業(yè)正處于發(fā)展早期，尚未出現(xiàn)市場份額較大的壟斷型企業(yè)，行業(yè)發(fā)展擁有廣闊的前景和發(fā)展空間。總體來看，雖然大量市場化機構(gòu)參與到企業(yè)征信業(yè)務(wù)中，但是大多數(shù)企業(yè)征信機構(gòu)產(chǎn)品單一，競爭力較弱，可替代性較高。預(yù)計未來，只有已經(jīng)完成品牌積累且具有先進技術(shù)實力的科技型企業(yè)才具有廣闊的發(fā)展前景。2、行業(yè)進入壁壘（1）技術(shù)壁壘本行業(yè)有較高的技術(shù)要求，包括數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)資源整合、數(shù)據(jù)安全等方面。例如：在數(shù)據(jù)分析方面，將海量的數(shù)據(jù)資源通過模型提煉成為對客戶業(yè)務(wù)和商業(yè)決策產(chǎn)生直接幫助的知識產(chǎn)品；在數(shù)據(jù)處理方面，搭建更高效的數(shù)據(jù)倉庫；在數(shù)據(jù)安全上，保證物理層面上的信息安全以及數(shù)據(jù)的加密；在數(shù)據(jù)資源整合方面，整合不同標(biāo)準(zhǔn)、不同格式、不同口徑的數(shù)據(jù)源。同時，大數(shù)據(jù)技術(shù)應(yīng)用于征信領(lǐng)域時，大數(shù)據(jù)企業(yè)還需要對下游客戶的業(yè)務(wù)流程、業(yè)務(wù)需求有深刻的理解。這些都對本行業(yè)的新進企業(yè)形成了較高的技術(shù)壁壘。（2）客戶資源壁壘銷售渠道和客戶基礎(chǔ)是本行業(yè)企業(yè)能否在本行業(yè)立足的關(guān)鍵因素之一，本行業(yè)的下游客戶一般包括大型互聯(lián)網(wǎng)、金融機構(gòu)，上述客戶往往對服務(wù)質(zhì)量有較高的要求，對供應(yīng)商的選擇也比較謹慎。同時，客戶一旦選擇某種平臺型產(chǎn)品，一般會將其整合進入公司內(nèi)部的決策規(guī)則流程，因此對該類服務(wù)有較高的粘性。隨著行業(yè)先進入者客戶資源的逐漸擴大，對客戶群體會形成標(biāo)準(zhǔn)化的服務(wù)模式，有助于與客戶之間建立長期合作關(guān)系，進一步增強客戶粘性。因此，本行業(yè)對于沒有成熟技術(shù)能力或者缺乏部分較穩(wěn)定客戶基礎(chǔ)的新進者來說，存在一定的客戶資源壁壘。（3）人才壁壘本行業(yè)是集科研與應(yīng)用為一體的知識、資源、技術(shù)密集型行業(yè)。人才是產(chǎn)生技術(shù)成果、挖掘資源的關(guān)鍵要素，人才的流失就意味著科技成果和信息等技術(shù)的流失，也可能意味著部分上下游資源的流失。尤其在技術(shù)更新和商業(yè)創(chuàng)新的時代背景下，高端的技術(shù)人才顯得更為重要。相關(guān)專業(yè)人才主要集中于率先進入此領(lǐng)域、具有多年行業(yè)實踐經(jīng)驗的行業(yè)領(lǐng)先者中，對新進入者形成較高人才壁壘。（4）應(yīng)用領(lǐng)域資質(zhì)壁壘大數(shù)據(jù)技術(shù)在各領(lǐng)域應(yīng)用時，需根據(jù)業(yè)務(wù)開展所處細分領(lǐng)域的監(jiān)管要求獲得相應(yīng)資質(zhì)。以大數(shù)據(jù)在技術(shù)在征信領(lǐng)域的應(yīng)用為例，根據(jù)《征信業(yè)管理條例》，設(shè)立經(jīng)營企業(yè)征信業(yè)務(wù)的征信機構(gòu)，應(yīng)當(dāng)符合《中華人民共和國公司法》規(guī)定的設(shè)立條件，并自公司登記機關(guān)準(zhǔn)予登記之日起30日內(nèi)向所在地的國務(wù)院征信業(yè)監(jiān)督管理部門派出機構(gòu)辦理備案。只有獲得征信業(yè)務(wù)經(jīng)營備案資質(zhì)的企業(yè)才可以從事企業(yè)征信相關(guān)業(yè)務(wù)，并通過信息主體、企業(yè)交易對方、行業(yè)協(xié)會、政府有關(guān)部門、人民法院依法公布的判決、裁定等公開渠道采集企業(yè)信用信息。根據(jù)中國人民銀行數(shù)據(jù)，截至2019年12月底，全國僅有22個?。ㄊ校┑?28家企業(yè)征信機構(gòu)在中國人民銀行分支行完成備案。3、征信領(lǐng)域主要企業(yè)（1）上海華夏鄧白氏上海華夏鄧白氏商業(yè)信息咨詢有限公司主要經(jīng)營商務(wù)咨詢服務(wù)、企業(yè)征信服務(wù)等，通過高價值的商業(yè)洞察專注于企業(yè)運營風(fēng)險管理，幫助企業(yè)提升營收、削減成本、管控風(fēng)險以及實現(xiàn)業(yè)務(wù)轉(zhuǎn)型，為客戶提供及時、準(zhǔn)確、富有洞察力的商業(yè)信息以及定制化的風(fēng)險管理解決方案。（2）益博睿益博睿信息技術(shù)（北京）有限公司是Experian集團在中國的全資子公司，主要經(jīng)營企業(yè)征信、決策分析、反欺詐和身份認證、數(shù)據(jù)質(zhì)量和精準(zhǔn)營銷等四大業(yè)務(wù)，向世界各地的客戶提供數(shù)據(jù)和分析工具。益博睿在中國已經(jīng)成為銀行零售風(fēng)險管理和巴塞爾新資本協(xié)議實施的重要廠商。（3）中誠信征信中誠信征信有限公司是中國誠信信用管理有限公司的全資子公司，為專業(yè)化、全方位的信用服務(wù)機構(gòu)。中誠信征信是目前信用產(chǎn)品較全、信用風(fēng)險管理經(jīng)驗豐富的全國性信用風(fēng)險管理機構(gòu)之一，能夠為企業(yè)、政府、金融機構(gòu)等提供全方位信用管理咨詢和信用管理軟件系統(tǒng)開發(fā)服務(wù)。（4）金電聯(lián)行金電聯(lián)行（北京）信息技術(shù)有限公司的主要業(yè)務(wù)是通過基于大數(shù)據(jù)理論和云計算創(chuàng)建的客觀信用評價體系為中小微企業(yè)提供信用融資授信服務(wù)，同時為金融機構(gòu)提供量化風(fēng)險管理為政府社會信用體系建設(shè)提供服務(wù)的技術(shù)型高新科技企業(yè)。（5）芝麻信用芝麻信用管理有限公司是螞蟻金服旗下獨立的第三方征信機構(gòu)，其業(yè)務(wù)之一是通過云計算、機器學(xué)習(xí)等技術(shù)提供企業(yè)信用報告、風(fēng)險云圖等服務(wù)。芝麻信用研發(fā)的小微企業(yè)信用洞察系統(tǒng)“靈芝”專注為小微企業(yè)提供企業(yè)征信服務(wù)和整體征信畫像。（6）前海征信深圳前海征信中心股份有限公司是中國平安保險（集團）股份有限公司的全資子公司，產(chǎn)品包括反欺詐產(chǎn)品、信用風(fēng)險產(chǎn)品、數(shù)據(jù)開放平臺、綜合報告等四大產(chǎn)品類型，覆蓋貸前、貸中、貸后全流程，可應(yīng)用于租賃、借貸、購物、酒店、餐飲、交通、公益事業(yè)等多個領(lǐng)域。（7）蘇州朗動蘇州朗動網(wǎng)絡(luò)科技有限公司立足于企業(yè)征信的相關(guān)信息整合，經(jīng)過深度學(xué)習(xí)、特征抽取和使用圖構(gòu)建技術(shù)，為用戶提供全面、可靠、透明的數(shù)據(jù)信息。該公司的”云聚數(shù)據(jù)”分享平臺，為商業(yè)銀行、政府征信、基金以及多家互聯(lián)網(wǎng)企業(yè)提供數(shù)據(jù)解決方案。六、行業(yè)發(fā)展制約因素1、數(shù)據(jù)積累不足，開放程度不高與發(fā)達國家相比，我國數(shù)據(jù)積累存在幾方面的不足：對于數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)存儲上沒有足夠的意識，對歷史數(shù)據(jù)沒有很好的保留和沉淀；數(shù)據(jù)積累偏靜態(tài)，沒有做到動態(tài)更新，導(dǎo)致有些數(shù)據(jù)過于陳舊；數(shù)據(jù)孤島現(xiàn)象嚴重，沒有做到數(shù)據(jù)開放和共享，同時數(shù)據(jù)的歸屬權(quán)不清晰，一些原始數(shù)據(jù)存儲在平臺后端，被平臺掌握者控制，數(shù)據(jù)的使用者是否掌握與自己相關(guān)的數(shù)據(jù)取決于平臺的開放性和接口提供。上述這些現(xiàn)象制約著大數(shù)據(jù)的融合及發(fā)展。2、高端技術(shù)人才競爭激烈大數(shù)據(jù)處理在我國屬于新興行業(yè)，對從業(yè)人員的行業(yè)經(jīng)驗和技術(shù)水平有較高要求。由于近年來行業(yè)發(fā)展迅速，對行業(yè)有深入了解的高素質(zhì)專業(yè)人才相對比較缺乏，難以滿足日益擴大的市場需求，需要高級專業(yè)人員擁有包括圖像、語音、文本數(shù)據(jù)的自動處理技術(shù)，以及數(shù)據(jù)的抓取、清洗等基礎(chǔ)能力。缺乏技術(shù)人才企業(yè)就無法提供有質(zhì)量保證的產(chǎn)品和服務(wù)。人才的短缺將直接影響到服務(wù)質(zhì)量與客戶的滿意度，一定程度上制約了行業(yè)的快速發(fā)展，當(dāng)前業(yè)內(nèi)公司除了加強自身人才培養(yǎng)之外，也開始加大力度引進外部人才，造成行業(yè)內(nèi)人才競爭不斷加劇。同時，由于大數(shù)據(jù)企業(yè)多集中在北京、上海等發(fā)達城市，企業(yè)員工所需付出的生活成本較高，對于薪酬的要求也較高。為了留住及吸引高端技術(shù)人才，相關(guān)人員的薪酬支出亦會給大數(shù)據(jù)企業(yè)帶來較大的壓力。附件：行業(yè)上下游情況大數(shù)據(jù)產(chǎn)業(yè)鏈覆蓋從數(shù)據(jù)采集挖掘到數(shù)據(jù)應(yīng)用服務(wù)，當(dāng)前大數(shù)據(jù)及相關(guān)應(yīng)用的產(chǎn)業(yè)鏈日益完善。產(chǎn)業(yè)鏈概況如下：1、數(shù)據(jù)來源（1）產(chǎn)業(yè)概況近年來，官方數(shù)據(jù)開放程度逐漸提高，行業(yè)聯(lián)盟興起，第三方數(shù)據(jù)服務(wù)蓬勃發(fā)展，各大企業(yè)（以互聯(lián)網(wǎng)核心企業(yè)為主）也開始逐步開放群體畫像數(shù)據(jù)，不同口徑單一數(shù)據(jù)的跨界融合成倍放大了數(shù)據(jù)價值。從整體趨勢上來講，數(shù)據(jù)來源已較為多元，數(shù)據(jù)產(chǎn)生量爆炸式增長，可供分析的數(shù)據(jù)維度越來越豐富。據(jù)Forrester的研究結(jié)果，目前在線或移動金融交易、社交媒體、GPS坐標(biāo)等數(shù)據(jù)源每天要產(chǎn)生超過2.5EB（1EB為2的60次方字節(jié)）的海量數(shù)據(jù)。據(jù)國際數(shù)據(jù)公司預(yù)計，全球數(shù)據(jù)總量增長率將維持50%左右，2020年全球數(shù)據(jù)總量將達到40ZB（1ZB=1024EB）；中國將達到8.6ZB，占全球的21%。數(shù)據(jù)來源：國際數(shù)據(jù)公司（InternationalDataCorporation）伴隨著數(shù)據(jù)資源價值逐步得到認可，數(shù)據(jù)流通的需求不斷上升，除企業(yè)直接合作外，數(shù)據(jù)交易市場開始出現(xiàn)，建立數(shù)據(jù)需求方與供給方之間成規(guī)?；穆?lián)系。數(shù)據(jù)的開放需要多方助力，數(shù)據(jù)的流通與分享能夠成倍提升大數(shù)據(jù)的經(jīng)濟價值和社會價值。當(dāng)前大數(shù)據(jù)應(yīng)用的數(shù)據(jù)源仍以自由數(shù)據(jù)為主，尚未形成完善統(tǒng)一的監(jiān)管政策與行業(yè)規(guī)則，企業(yè)之間的數(shù)據(jù)孤島情況仍然存在，數(shù)據(jù)交易方面，數(shù)據(jù)交易模式與數(shù)據(jù)資產(chǎn)定價標(biāo)準(zhǔn)有待建立，發(fā)展程度尚不成熟。數(shù)據(jù)源是大數(shù)據(jù)應(yīng)用的起點與核心，用戶的自有數(shù)據(jù)資源是后續(xù)開發(fā)應(yīng)用的基礎(chǔ)資產(chǎn)。在大數(shù)據(jù)的背景下，除了自有數(shù)據(jù)的不斷增大之外，打破數(shù)據(jù)孤島，實現(xiàn)數(shù)據(jù)開放，大數(shù)據(jù)的價值才能最大地顯現(xiàn)。用戶的自有數(shù)據(jù)與外部服務(wù)商的數(shù)據(jù)相結(jié)合，將成為各個垂直行業(yè)價值開發(fā)的起點。（2）關(guān)鍵技術(shù)：數(shù)據(jù)庫技術(shù)在解決大數(shù)據(jù)問題時，首先需要解決的問題是針對不同數(shù)據(jù)的分類選擇不同方法進行數(shù)據(jù)的整理與存儲。當(dāng)前，來自各領(lǐng)域的數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，包括網(wǎng)頁與社交媒體、機器數(shù)據(jù)、內(nèi)部數(shù)據(jù)、交易數(shù)據(jù)、生物數(shù)據(jù)、來自數(shù)據(jù)提供商的數(shù)據(jù)等。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)最重要的區(qū)別即是數(shù)據(jù)類別由原來的結(jié)構(gòu)化數(shù)據(jù)，加入了半結(jié)構(gòu)/非結(jié)構(gòu)化的數(shù)據(jù)。為解決半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)，NoSQL數(shù)據(jù)庫應(yīng)運而生。NoSQL（NotOnlySQL）數(shù)據(jù)庫泛指非關(guān)系型數(shù)據(jù)庫，能夠解決大規(guī)模數(shù)據(jù)集合的處理問題，特別是針對非關(guān)聯(lián)性數(shù)據(jù)。NoSQL數(shù)據(jù)庫包括Key-Value存儲、列存儲、文檔型等多種類型，適用于多種場景，具體情況如下：數(shù)據(jù)庫類型相關(guān)產(chǎn)品舉例典型應(yīng)用場景數(shù)據(jù)模型優(yōu)點Key-Value數(shù)據(jù)庫Redis,etcd內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪問負載等Key指向Value的鍵值對，通常用哈希表來實現(xiàn)查找速度較快列存儲數(shù)據(jù)庫Cassandra,HBase分布式的文件系統(tǒng)以列簇式存儲，將同一列數(shù)據(jù)存在一起查找速度較快，可擴展性較強，較容易進行分布式擴展文檔型數(shù)據(jù)庫ElasticSearch,MongoDB等Web應(yīng)用Key-Value對應(yīng)的鍵值對，Value為結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)要求不嚴格，表結(jié)構(gòu)可變，無需預(yù)先定義表結(jié)構(gòu)圖數(shù)據(jù)庫Neo4J,JanusGraph,ArrangoDB等社交網(wǎng)絡(luò)，推薦系統(tǒng)等圖結(jié)構(gòu)能夠自然擴展使用圖形的相關(guān)算法，如最短路徑尋址，N度關(guān)系查找等2、數(shù)據(jù)管理（1）產(chǎn)業(yè)概況數(shù)據(jù)管理是利用計算機硬件和軟件技術(shù)對數(shù)據(jù)進行有效的收集、存儲、處理和應(yīng)用的過程，經(jīng)歷了人工管理、文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)三個發(fā)展階段。狹義的數(shù)據(jù)管理包括數(shù)據(jù)準(zhǔn)備、存儲管理、計算處理及數(shù)據(jù)安全等環(huán)節(jié)。隨著互聯(lián)網(wǎng)和移動互聯(lián)時代的到來，非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，繼而對數(shù)據(jù)的處理和管控提出了更高的要求，將對非結(jié)構(gòu)化數(shù)據(jù)的清洗、加工、挖掘、集成和可視化被納入廣義數(shù)據(jù)管理過程，以滿足更深入的數(shù)據(jù)處理需要，在此過程中，數(shù)據(jù)管理的外延還將持續(xù)拓展。數(shù)據(jù)管理各環(huán)節(jié)概況如下：資料來源：艾瑞咨詢（2）關(guān)鍵技術(shù)：分布式架構(gòu)與傳統(tǒng)數(shù)據(jù)“數(shù)據(jù)簡單、算法復(fù)雜”的計算不同，大數(shù)據(jù)計算是數(shù)據(jù)密集型計算，對計算單元和存儲單元間的數(shù)據(jù)吞吐率要求極高，對性價比和擴展性要求也非常高。因此傳統(tǒng)以來大型機和小型機的并行計算不能滿足大數(shù)據(jù)時代數(shù)據(jù)體量、規(guī)模、類型的變化。由此，分布式計算被大規(guī)模應(yīng)用到了大數(shù)據(jù)領(lǐng)域。分布式計算系統(tǒng)是一組自治的計算機集合，通過通