面向互聯(lián)網(wǎng)金融行業(yè)的大數(shù)據(jù)資源服務(wù)平臺(tái)

面向互聯(lián)網(wǎng)金融行業(yè)的大數(shù)據(jù)資源服務(wù)平臺(tái)論文結(jié)構(gòu)介紹1大數(shù)據(jù)資源服務(wù)體系2可信互聯(lián)網(wǎng)金融交易系統(tǒng)3結(jié)論4介紹由于全球信息技術(shù)的發(fā)展，全球數(shù)據(jù)量的增長比以往任何歷史時(shí)期更快，比如云計(jì)算和互聯(lián)網(wǎng)。國際數(shù)據(jù)報(bào)告公司指出2011年全球數(shù)據(jù)總量是1.8澤字節(jié)（ZB），2020年將增加35.2ZB，年均增長超過40%?！案２妓埂狈治鰩熤赋瞿?0%的全球數(shù)據(jù)是在過去2或3年之內(nèi)生成的?；ヂ?lián)網(wǎng)無疑是最偉大的信息和數(shù)據(jù)增長源，包括不同的數(shù)據(jù)類型（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)）。而且大數(shù)據(jù)已經(jīng)滲透到各個(gè)領(lǐng)域和社會(huì)領(lǐng)域，包括工業(yè)領(lǐng)域，技術(shù)，運(yùn)輸，電力，醫(yī)療，金融，社會(huì)保障，國防與公共安全等。在這樣的背景下，文章探討一個(gè)典型的互聯(lián)網(wǎng)金融行業(yè)，提出了大數(shù)據(jù)資源服務(wù)體系結(jié)構(gòu)，并介紹了大數(shù)據(jù)分析研究及相關(guān)應(yīng)用。大數(shù)據(jù)資源服務(wù)體系當(dāng)前主要的大數(shù)據(jù)技術(shù)平臺(tái)：谷歌文件系統(tǒng)（GF）、MapReduce處理模型、開源軟件框架、Hadoop分布式文件系統(tǒng)（HDFS）以上數(shù)據(jù)分析平臺(tái)的研究目前主要集中于一兩個(gè)區(qū)域的大數(shù)據(jù)的管理、處理、分析以及可視化隨著大數(shù)據(jù)的爆炸性增長趨勢(shì)和其他多元化特征日益顯著。因?yàn)槿狈?duì)全局性數(shù)據(jù)的考慮，現(xiàn)有的技術(shù)無法刻畫一些重要數(shù)據(jù)資源的特點(diǎn)，如整體分布和成分指標(biāo)因此，本文提出了一個(gè)基于指數(shù)網(wǎng)絡(luò)的大數(shù)據(jù)資源服務(wù)框架，主要由三部分組成：數(shù)據(jù)源識(shí)別和采集，數(shù)據(jù)資源的存儲(chǔ)和分析，服務(wù)支撐平臺(tái)大數(shù)據(jù)資源服務(wù)框架：大數(shù)據(jù)資源服務(wù)體系數(shù)據(jù)源識(shí)別和采集：由于大數(shù)據(jù)資源分散且數(shù)量巨大無法完全存儲(chǔ)，本文使用抽樣的方法來獲取一部分樣本，通過研究網(wǎng)絡(luò)數(shù)據(jù)資源、數(shù)據(jù)類型、數(shù)據(jù)成分、網(wǎng)絡(luò)接口限制以及其他特征來分析這些因素對(duì)數(shù)據(jù)識(shí)別和采集的影響，并且建立了大數(shù)據(jù)資源的統(tǒng)計(jì)模型。同時(shí)，通過對(duì)數(shù)據(jù)資源的探索和發(fā)現(xiàn)考慮了各種網(wǎng)絡(luò)限制，并采用拒絕性采樣保證數(shù)據(jù)恢復(fù)機(jī)制中抽樣單