大數(shù)據(jù)平臺(tái)分析報(bào)告

1、密級(jí)：內(nèi)部公開(kāi)環(huán)境數(shù)據(jù)中心大數(shù)據(jù)平臺(tái)分析big data platform analysis software productfpi-company聚光科技（杭州）股份有限公司內(nèi)部資料注意保密i 目 錄1. 大數(shù)據(jù)背景 . 11.1. 什么是大數(shù)據(jù) . 11.2. 發(fā)展現(xiàn)狀 . 11.3. 大數(shù)據(jù)的應(yīng)用 . 22. 大數(shù)據(jù)平臺(tái)介紹 . 42.1. 定位. 42.1.1. 產(chǎn)品概述 . 42.2. 功能. 42.3. 設(shè)計(jì). 42.4. 技術(shù). 錯(cuò)誤！未定義書簽。2.5. 總結(jié). 43. 環(huán)境數(shù)據(jù)中心 . 53.1. 背景定位 . 53.2. 功能. 53.2.1. 53.2.2. 錯(cuò)誤！未定義

2、書簽。3.3. 設(shè)計(jì). 63.4. 技術(shù). 錯(cuò)誤！未定義書簽。4. 總結(jié). 6內(nèi)部資料注意保密- 1 - 1.大數(shù)據(jù)背景1.1. 什么是大數(shù)據(jù)大數(shù)據(jù)最早在上世紀(jì)90 年代被提出，是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合?，F(xiàn)在， 業(yè)界普遍認(rèn)同所謂 “大數(shù)據(jù)”具有明顯的“3v 特征” ： 量級(jí) （volume） ，速度（ velocity）和多樣性（ variety） 。大數(shù)據(jù)普遍具有量級(jí)大，要求處理速度快，數(shù)據(jù)本身具有豐富的多樣性。在甲骨文公司和中國(guó)移動(dòng)研究院的相關(guān)研究文檔里，都追加了第四個(gè)vvalue，價(jià)值；而 ibm 在其相關(guān)文檔中給出的第四個(gè)“ v”則是真實(shí)

3、性（ veracity)。大數(shù)據(jù)的價(jià)值：在海量的規(guī)則或不規(guī)則數(shù)據(jù)之中，用新的數(shù)據(jù)處理手段，以很快的速度計(jì)算或分析出潛在規(guī)律性、根本性的判斷、趨勢(shì)或預(yù)見(jiàn)。1.2. 發(fā)展現(xiàn)狀隨著移動(dòng)互聯(lián)網(wǎng)的帶寬的增加和智能設(shè)備銷售量的上升，互聯(lián)網(wǎng)業(yè)迎來(lái)了“云計(jì)算”和“大數(shù)據(jù)”。世界經(jīng)濟(jì)論壇一份有關(guān)大數(shù)據(jù)的研究報(bào)告稱，每天全球幾十億人使用計(jì)算機(jī)、gps設(shè)備、電話和醫(yī)療設(shè)備，產(chǎn)生海量的數(shù)據(jù)信息。這些用戶大部分來(lái)自發(fā)展中國(guó)家，他們的需求和習(xí)慣尚未被真正理解，如果能夠借助大數(shù)據(jù)相關(guān)技術(shù)分析和挖掘數(shù)據(jù)背后的信息，將有助于認(rèn)識(shí)需求、提供預(yù)測(cè)和防范危機(jī)。大數(shù)據(jù)的真正意義并不在于大帶寬和大存儲(chǔ)，而在于對(duì)容量大且種類繁多的數(shù)據(jù)進(jìn)行

4、分析并從中萃取大價(jià)值。采用大數(shù)據(jù)處理方法，生物制藥、新材料研制生產(chǎn)的流程會(huì)發(fā)生革命性的變化，可以通過(guò)數(shù)據(jù)處理能力極高的計(jì)算機(jī)并行處理，同時(shí)進(jìn)行大批量的仿真比較和篩選，大大提高科研和生產(chǎn)效率。數(shù)據(jù)已成為礦物和化學(xué)元素一樣的原始材料，未來(lái)可能形成“數(shù)據(jù)探礦”、 “數(shù)據(jù)化學(xué)”等新學(xué)科和新工藝模式。大數(shù)據(jù)處理的興起也將改變?cè)朴?jì)算的發(fā)展方向，云計(jì)算正在進(jìn)入以aaas（分析即服務(wù)）為主要標(biāo)志的cloud 2.0 時(shí)代。內(nèi)部資料注意保密- 2 - 1.3. 大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的開(kāi)發(fā)與應(yīng)用有著三個(gè)特點(diǎn)：1、數(shù)據(jù)樣本， 不再是抽樣，而就是數(shù)據(jù)的總體。分析數(shù)據(jù)是把所有搜集到的數(shù)據(jù)包括在內(nèi)。2、數(shù)據(jù)不必百分之百地準(zhǔn)

5、確，不必剔除特例，而是從“海量”的數(shù)據(jù)中總結(jié)出絕大部分人的共同特性。用“絕大多數(shù)的特性”代表“總體的特性”。3、不再注重?cái)?shù)據(jù)之間的“因果性” ，而只注重于它們之間的“相關(guān)性” 。在大數(shù)據(jù)時(shí)代中舉了很多實(shí)例講解以上的觀點(diǎn)。1、語(yǔ)言的翻譯：傳統(tǒng)翻譯軟件是設(shè)定了很多的語(yǔ)法規(guī)則， 用這些僵化的規(guī)則拆解每個(gè)句子，然后再逐字翻譯生成不同語(yǔ)文的語(yǔ)句。但這往往使翻譯出來(lái)的語(yǔ)句非常生硬拗口，甚至錯(cuò)誤率極高。業(yè)界還盛傳一個(gè)有關(guān)微軟公司“機(jī)器翻譯部門”的一個(gè)笑話：部門每有一個(gè)語(yǔ)言專家辭職，翻譯質(zhì)量就會(huì)提高一些。谷歌的翻譯軟件卻不是這么做，他們翻譯團(tuán)隊(duì)的成員大多不但不是語(yǔ)文學(xué)家，甚至連翻譯成的那種語(yǔ)言都一竅不通。他們

6、都是一些統(tǒng)計(jì)學(xué)家，從大量的已存的翻譯文章中對(duì)比，尋求規(guī)律，然后產(chǎn)生翻譯的文字。事實(shí)證明雖然網(wǎng)上搜集來(lái)的翻譯文章有不少是錯(cuò)誤的，是低質(zhì)量的，但由于數(shù)據(jù)量極大，這些錯(cuò)誤自然就被忽略了，這種方法的確大大提高了翻譯的質(zhì)量和準(zhǔn)確性。也就是說(shuō)“不百分之百”精確的大數(shù)據(jù)用簡(jiǎn)單算法比精確的小數(shù)據(jù)用復(fù)雜算法要有效地多! 2、流感的預(yù)測(cè)以前衛(wèi)生單位發(fā)布流感成災(zāi)的信息，往往都是從各大醫(yī)院和衛(wèi)生所搜集來(lái)的數(shù)據(jù)，這個(gè)方法的最大缺點(diǎn)是“信息是滯后的”，但是“災(zāi)”已成事實(shí)了，衛(wèi)生單位才警告社會(huì)，這時(shí)已經(jīng)有很多人被感染。又是谷歌提出了不同的預(yù)測(cè)辦法。他們是以有多少人搜索“咳嗽怎么辦?”或“發(fā)燒怎么辦 ?”來(lái)警示流感可能發(fā)生了

7、。 但除了注意到搜索這些詞語(yǔ)的頻率大幅增高外，還可以鎖定是哪個(gè)區(qū)域的人開(kāi)始大量搜索這類問(wèn)題的答案。于是谷歌就能提早告訴大眾有流感開(kāi)始盛行，而且傳染區(qū)是向哪個(gè)方向遷移。這個(gè)內(nèi)部資料注意保密- 3 - 項(xiàng)目使得衛(wèi)生單位及早研制預(yù)防疫苗，及早控制疫情的擴(kuò)散，大幅降低了流感的傳播。3、飛機(jī)票價(jià)高低和多早預(yù)購(gòu)的關(guān)系也許大家會(huì)直覺(jué)地認(rèn)為越早買機(jī)票就越可以買到較便宜的機(jī)票。一家叫farecast公司的創(chuàng)始人從他的親身經(jīng)驗(yàn)啟發(fā)了一個(gè)新的服務(wù)。他發(fā)現(xiàn)坐他旁邊的人比他晚好幾天購(gòu)買機(jī)票卻比他的購(gòu)買價(jià)格還低。于是他搜集了所有航空公司的票價(jià)與提前訂購(gòu)時(shí)間的數(shù)據(jù)關(guān)系，并建立了數(shù)學(xué)模型。現(xiàn)在我們?nèi)魏稳丝梢陨系剿木W(wǎng)站： ，

8、輸入你的出發(fā)地和目的地，加上你要出發(fā)的時(shí)間，馬上這個(gè)網(wǎng)頁(yè)能告訴你是現(xiàn)在就趕快買票還是再等幾天才買。內(nèi)部資料注意保密- 4 - 2.大數(shù)據(jù)平臺(tái)介紹由于互聯(lián)網(wǎng) to b 的數(shù)據(jù)不外露，在網(wǎng)上的大數(shù)據(jù)2.1. 背景定位2.1.1. 產(chǎn)品概述2.2. 功能2.3. 設(shè)計(jì)2.4. 總結(jié)內(nèi)部資料注意保密- 5 - 3.環(huán)境數(shù)據(jù)中心3.1. 背景定位環(huán)境管理部門每天要面對(duì)大量的數(shù)據(jù)，如環(huán)境監(jiān)測(cè)數(shù)據(jù)、排污收費(fèi)數(shù)據(jù)、排污申報(bào)數(shù)據(jù)、環(huán)境統(tǒng)計(jì)數(shù)據(jù)、環(huán)保信訪數(shù)據(jù)、行政處罰數(shù)據(jù)、總量減排數(shù)據(jù)等。這些數(shù)據(jù)，往往存在來(lái)源復(fù)雜、格式多樣、不一致、不準(zhǔn)確、不完整、存放分散等問(wèn)題，給環(huán)境管理帶來(lái)諸多困難。各業(yè)務(wù)系統(tǒng)也彼此獨(dú)立，從而形成了一個(gè)個(gè)信息孤島，數(shù)據(jù)難以共享，環(huán)境決策缺乏有效的數(shù)據(jù)支持，難以做到科學(xué)決策。因此，需要建立統(tǒng)一的環(huán)境數(shù)據(jù)中心，全面整合各類環(huán)境資源數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的集中管理。使之成為環(huán)保各業(yè)務(wù)科室之間協(xié)同工作的數(shù)據(jù)中心，成為多媒體、文檔資料和政策法規(guī)的存儲(chǔ)中心，成為環(huán)保決策所需的數(shù)據(jù)倉(cāng)庫(kù)中心。3.2. 功能3.2.1. 數(shù)據(jù)的管理數(shù)據(jù)中心的數(shù)據(jù)來(lái)源主要于：1. 國(guó)家下發(fā)的軟件系統(tǒng)，如污染源普查軟件、環(huán)境統(tǒng)計(jì)軟件；2已有的業(yè)務(wù)系統(tǒng)，如排污申報(bào)與收費(fèi)管理系統(tǒng)、12369環(huán)保熱線等。3excel 表格、電子文檔、圖片、視頻、掃描件等；4數(shù)據(jù)直報(bào)系統(tǒng)：系統(tǒng)