大數(shù)據(jù)平臺分析報(bào)告

1、密級：內(nèi)部公開環(huán)境數(shù)據(jù)中心大數(shù)據(jù)平臺分析Bigdataplatformanalysism.SOFTWAREPRODUCTFPI-Company聚光科技（杭州）股份有限公司目錄1 .大數(shù)據(jù)背景1.1.1. 什么是大數(shù)據(jù)1.1.2. 發(fā)展現(xiàn)狀1.1.3. 大數(shù)據(jù)的應(yīng)用2.2 .大數(shù)據(jù)平臺介紹4.2.1. 定位4.2.1.1. 產(chǎn)品概述4.2.2. 功能4.2.3. 設(shè)計(jì)4.2.4. 技術(shù)錯(cuò)誤！未定義書簽。2.5. 總結(jié)4.3 .環(huán)境數(shù)據(jù)中心5.3.1. 背景定位5.3.2. 功能5.3.2.1. 5.3.2.2. 錯(cuò)誤！未定義書簽。3.3. 設(shè)計(jì)6.3.4. 技術(shù)錯(cuò)誤！未定義書簽。4 .總結(jié)6.1

2、.大數(shù)據(jù)背景1.1. 什么是大數(shù)據(jù)大數(shù)據(jù)最早在上世紀(jì)90年代被提出，是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合?，F(xiàn)在，業(yè)界普遍認(rèn)同所謂“大數(shù)據(jù)”具有明顯的“3V特征”：量級（Volume）,速度（Velodty）和多樣性（Variety）。大數(shù)據(jù)普遍具有量級大，要求處理速度快，數(shù)據(jù)本身具有豐富的多樣性。在甲骨文公司和中國移動(dòng)研究院的相關(guān)研究文檔里，都追加了第四個(gè)VValue,價(jià)值；而舊M在其相關(guān)文檔中給出的第四個(gè)“V”則是真實(shí)性（Veracity）。大數(shù)據(jù)的價(jià)值：在海量的規(guī)則或不規(guī)則數(shù)據(jù)之中，用新的數(shù)據(jù)處理手段，以很快的速度計(jì)算或分析出潛在規(guī)律性、根本性的判斷、趨

3、勢或預(yù)見。1.2. 發(fā)展現(xiàn)狀隨著移動(dòng)互聯(lián)網(wǎng)的帶寬的增加和智能設(shè)備銷售量的上升，互聯(lián)網(wǎng)業(yè)迎來了“云計(jì)算”和“大數(shù)據(jù)”。世界經(jīng)濟(jì)論壇一份有關(guān)大數(shù)據(jù)的研究報(bào)告稱，每天全球幾十億人使用計(jì)算機(jī)、GPS設(shè)備、電話和醫(yī)療設(shè)備，產(chǎn)生海量的數(shù)據(jù)信息。這些用戶大部分來自發(fā)展中國家，他們的需求和習(xí)慣尚未被真正理解，如果能夠借助大數(shù)據(jù)相關(guān)技術(shù)分析和挖掘數(shù)據(jù)背后的信息，將有助于認(rèn)識需求、提供預(yù)測和防范危機(jī)。大數(shù)據(jù)的真正意義并不在于大帶寬和大存儲，而在于對容量大且種類繁多的數(shù)據(jù)進(jìn)行分析并從中萃取大價(jià)值。采用大數(shù)據(jù)處理方法，生物制藥、新材料研制生產(chǎn)的流程會發(fā)生革命性的變化，可以通過數(shù)據(jù)處理能力極高的計(jì)算機(jī)并行處理，同時(shí)進(jìn)行

4、大批量的仿真比較和篩選，大大提高科研和生產(chǎn)效率。數(shù)據(jù)已成為礦物和化學(xué)元素一樣的原始材料，未來可能形成“數(shù)據(jù)探礦”、“數(shù)據(jù)化學(xué)”等新學(xué)科和新工藝模式。大數(shù)據(jù)處理的興起也將改變云計(jì)算的發(fā)展方向，云計(jì)算正在進(jìn)入以AaaS（分析即服務(wù)）為主要標(biāo)志的Cloud2.0時(shí)代。1.3. 大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的開發(fā)與應(yīng)用有著三個(gè)特點(diǎn)：1、數(shù)據(jù)樣本，不再是抽樣，而就是數(shù)據(jù)的總體。分析數(shù)據(jù)是把所有搜集到的數(shù)據(jù)包括在內(nèi)。2、數(shù)據(jù)不必百分之百地準(zhǔn)確，不必剔除特例，而是從“海量”的數(shù)據(jù)中總結(jié)出絕大部分人的共同特性。用“絕大多數(shù)的特性”代表“總體的特性”。3、不再注重?cái)?shù)據(jù)之間的“因果性”，而只注重于它們之間的“相關(guān)性”。在大

5、數(shù)據(jù)時(shí)代中舉了很多實(shí)例講解以上的觀點(diǎn)。1、語言的翻譯：傳統(tǒng)翻譯軟件是設(shè)定了很多的語法規(guī)則，用這些僵化的規(guī)則拆解每個(gè)句子，然后再逐字翻譯生成不同語文的語句。但這往往使翻譯出來的語句非常生硬拗口，甚至錯(cuò)誤率極高。業(yè)界還盛傳一個(gè)有關(guān)微軟公司”機(jī)器翻譯部門”的一個(gè)笑話：部門每有一個(gè)語言專家辭職，翻譯質(zhì)量就會提高一些。谷歌的翻譯軟件卻不是這么做，他們翻譯團(tuán)隊(duì)的成員大多不但不是語文學(xué)家，甚至連翻譯成的那種語言都一竅不通。他們都是一些統(tǒng)計(jì)學(xué)家，從大量的已存的翻譯文章中對比，尋求規(guī)律，然后產(chǎn)生翻譯的文字。事實(shí)證明雖然網(wǎng)上搜集來的翻譯文章有不少是錯(cuò)誤的，是低質(zhì)量的，但由于數(shù)據(jù)量極大，這些錯(cuò)誤自然就被忽略了，這種

6、方法的確大大提高了翻譯的質(zhì)量和準(zhǔn)確性。也就是說“不百分之百”精確的大數(shù)據(jù)用簡單算法比精確的小數(shù)據(jù)用復(fù)雜算法要有效地多！2、流感的預(yù)測以前衛(wèi)生單位發(fā)布流感成災(zāi)的信息，往往都是從各大醫(yī)院和衛(wèi)生所搜集來的數(shù)據(jù)，這個(gè)方法的最大缺點(diǎn)是“信息是滯后的”，但是“災(zāi)”已成事實(shí)了，衛(wèi)生單位才警告社會，這時(shí)已經(jīng)有很多人被感染。又是谷歌提出了不同的預(yù)測辦法。他們是以有多少人搜索“咳嗽怎么辦？”或“發(fā)燒怎么辦？”來警示流感可能發(fā)生了。但除了注意到搜索這些詞語的頻率大幅增高外，還可以鎖定是哪個(gè)區(qū)域的人開始大量搜索這類問題的答案。于是谷歌就能提早告訴大眾有流感開始盛行，而且傳染區(qū)是向哪個(gè)方向遷移。這個(gè)項(xiàng)目使得衛(wèi)生單位及早

7、研制預(yù)防疫苗，及早控制疫情的擴(kuò)散，大幅降低了流感的傳播。3、飛機(jī)票價(jià)高低和多早預(yù)購的關(guān)系也許大家會直覺地認(rèn)為越早買機(jī)票就越可以買到較便宜的機(jī)票。一家叫Farecast公司的創(chuàng)始人從他的親身經(jīng)驗(yàn)啟發(fā)了一個(gè)新的服務(wù)。他發(fā)現(xiàn)坐他旁邊的人比他晚好幾天購買機(jī)票卻比他的購買價(jià)格還低。于是他搜集了所有航空公司的票價(jià)與提前訂購時(shí)間的數(shù)據(jù)關(guān)系，并建立了數(shù)學(xué)模型?，F(xiàn)在我們?nèi)魏稳丝梢陨系剿木W(wǎng)站：輸入你的出發(fā)地和目的地，加上你要出發(fā)的時(shí)間，馬上這個(gè)網(wǎng)頁能告訴你是現(xiàn)在就趕快買票還是再等幾天才買。2 .大數(shù)據(jù)平臺介紹由于互聯(lián)網(wǎng)TOB的數(shù)據(jù)不外露，在網(wǎng)上的大數(shù)據(jù)2.1. 背景定位2.1.1. 產(chǎn)品概述2.2. 功能2.3

8、. 設(shè)計(jì)2.4. 總結(jié)3 .環(huán)境數(shù)據(jù)中心3.1. 背景定位環(huán)境管理部門每天要面對大量的數(shù)據(jù)，如環(huán)境監(jiān)測數(shù)據(jù)、排污收費(fèi)數(shù)據(jù)、排污申報(bào)數(shù)據(jù)、環(huán)境統(tǒng)計(jì)數(shù)據(jù)、環(huán)保信訪數(shù)據(jù)、行政處罰數(shù)據(jù)、總量減排數(shù)據(jù)等。這些數(shù)據(jù)，往往存在來源復(fù)雜、格式多樣、不一致、不準(zhǔn)確、不完整、存放分散等問題，給環(huán)境管理帶來諸多困難。各業(yè)務(wù)系統(tǒng)也彼此獨(dú)立，從而形成了一個(gè)個(gè)信息孤島，數(shù)據(jù)難以共享，環(huán)境決策缺乏有效的數(shù)據(jù)支持，難以做到科學(xué)決策。因此，需要建立統(tǒng)一的環(huán)境數(shù)據(jù)中心，全面整合各類環(huán)境資源數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的集中管理。使之成為環(huán)保各業(yè)務(wù)科室之間協(xié)同工作的數(shù)據(jù)中心，成為多媒體、文檔資料和政策法規(guī)的存儲中心，成為環(huán)保決策所需的數(shù)據(jù)倉庫中心。3.2. 功能3.2.1. 數(shù)據(jù)的管理數(shù)據(jù)中心的數(shù)據(jù)來源主要于：1 .國家下發(fā)的軟件系統(tǒng)，如污染源普查軟件、環(huán)境統(tǒng)計(jì)軟件；2 .已有的業(yè)務(wù)系統(tǒng)，如排污申報(bào)與收費(fèi)管理系統(tǒng)、12369環(huán)保熱線等。3 .Excel表格、電子文檔、圖片、視頻、掃描件等；4 .數(shù)據(jù)直