大數(shù)據(jù)平臺分析報告

密級：內部公開環(huán)境數(shù)據(jù)中心大數(shù)據(jù)平臺分析Bigdataplatformanalysis聚光科技（杭州）股分有限公司目錄TOC\o"1-5"\h\z\o"CurrentDocument"1.大數(shù)據(jù)背景1\o"CurrentDocument"11什么是大數(shù)據(jù)1\o"CurrentDocument"12發(fā)展現(xiàn)狀1\o"CurrentDocument"13大數(shù)據(jù)的應用2\o"CurrentDocument"2.大數(shù)據(jù)平臺介紹4定位4211.產(chǎn)品概述422功能4\o"CurrentDocument"設計4技術錯誤床定義書簽。25總結4\o"CurrentDocument"3.環(huán)境數(shù)據(jù)中心5\o"CurrentDocument"31.背景定位532功能5\o"CurrentDocument"5錯誤!未定義書簽。3.3.設計634技術錯誤!未定義書簽。\o"CurrentDocument"4.總結6.大數(shù)據(jù)背景11什么是大數(shù)據(jù)大數(shù)據(jù)最早在上世紀90年代被提出，是指無法在一定時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的數(shù)據(jù)集合。現(xiàn)在，業(yè)界普遍認同所謂“大數(shù)據(jù)”具有明顯的“3V特征”：量級(Volume),速度(Velocity)和多樣性(Variety)。大數(shù)據(jù)普遍具有量級大，要求處理速度快，數(shù)據(jù)本身具有豐富的多樣性。在甲骨文公司和中國挪移研究院的相關研究文檔里，都追加了第四個V——Value,價值；而舊M在其相關文檔中給出的第四個“V”則是真實性(Veracity)。大數(shù)據(jù)的價值：在海量的規(guī)則或者不規(guī)則數(shù)據(jù)之中，用新的數(shù)據(jù)處理手段,以很快的速度計算或者分析出潛在規(guī)律性、根本性的判斷、趨勢或者預見。發(fā)展現(xiàn)狀隨著挪移互聯(lián)網(wǎng)的帶寬的增加和智能設備銷售量的上升，互聯(lián)網(wǎng)業(yè)迎來了“云計算”和“大數(shù)據(jù)”。世界經(jīng)濟論壇一份有關大數(shù)據(jù)的研究報告稱，每天全球幾十億人使用計算機、GPS設備、電話和醫(yī)療設備，產(chǎn)生海量的數(shù)據(jù)信息。這些用戶大部份來自發(fā)展中國家，他們的需求和習慣尚未被真正理解，如果能夠借助大數(shù)據(jù)相關技術分析和挖掘數(shù)據(jù)暗地里的信息，將有助于認識需求、提供預測和防范危機。大數(shù)據(jù)的真正意義并不在于大帶寬和大存儲，而在于對容量大且種類繁多的數(shù)據(jù)進行分析并從中萃取大價值。采用大數(shù)據(jù)處理方法，生物制藥、新材料研制生產(chǎn)的流程會發(fā)生革命性的變化，可以通過數(shù)據(jù)處理能力極高的計算機并行處理，同時進行大批量的仿真比較和篩選，大大提高科研和生產(chǎn)效率。數(shù)據(jù)已成為礦物和化學元素一樣的原始材料，未來可能形成“數(shù)據(jù)探礦”、“數(shù)據(jù)化學”等新學科和新工藝模式。大數(shù)據(jù)處理的興起也將改變云計算的發(fā)展方向，云計算正在進入以AaaS(分析即服務)為主要標志的Cloud2.0時代。大數(shù)據(jù)的應用大數(shù)據(jù)的開辟與應用有著三個特點：1、數(shù)據(jù)樣本，再也不是抽樣，而就是數(shù)據(jù)的總體。分析數(shù)據(jù)是把所有搜集到的數(shù)據(jù)包括在內。2、數(shù)據(jù)不必百分之百地準確，不必剔除特例，而是從“海量”的數(shù)據(jù)中總結出絕大部份人的共同特性。用“絕大多數(shù)的特性”代表“總體的特性”。3、再也不注重數(shù)據(jù)之間的“因果性”，而只注重于它們之間的“相關性”。在《大數(shù)據(jù)時代》中舉了不少實例講解以上的觀點。1、語言的翻譯：傳統(tǒng)翻譯軟件是設定了不少的語法規(guī)則，用這些僵化的規(guī)則拆解每一個句子,然后再逐字翻譯生成不同語文的語句。但這往往使翻譯出來的語句非常生硬拗口，甚至錯誤率極高。業(yè)界還盛傳一個有關微軟公司“機器翻譯部門”的一個笑話：部門每有一個語言專家辭職，翻譯質量就會提高一些。谷歌的翻譯軟件卻不是這么做，他們翻譯團隊的成員大多非但不是語文學家，甚至連翻譯成的那種語言都一竅不通。他們都是一些統(tǒng)計學家，從大量的已存的翻譯文章中對照，尋求規(guī)律，然后產(chǎn)生翻譯的文字。事實證明雖然網(wǎng)上搜集來的翻譯文章有不少是錯誤的，是低質量的，但由于數(shù)據(jù)量極大，這些錯誤自然就被忽略了，這種方法的確大大提高了翻譯的質量和準確性。也就是說“不百分之百”精確的大數(shù)據(jù)用簡單算法比精確的小數(shù)據(jù)用復雜算法要有效地多！2、流感的預測以前衛(wèi)生單位發(fā)布流感成災的信息，往往都是從各大醫(yī)院和衛(wèi)生所搜集來的數(shù)據(jù)，這個方法的最大缺點是“信息是滯后的”，但是“災”已成事實了，衛(wèi)生單位才警告社會，這時已經(jīng)有不少人被感染。又是谷歌提出了不同的預測辦法。他們是以有多少人搜索“咳嗽怎么辦？”或者“發(fā)燒怎么辦？”來警示流感可能發(fā)生了。但除了注意到搜索這些詞語的頻率大幅增高外，還可以鎖定是哪個區(qū)域的人開始大量搜索這種問題的答案。于是谷歌就能提早告訴大眾有流感開始盛行，而且傳染區(qū)是向哪個方向遷移。這個項目使得衛(wèi)生單位及早研制預防疫苗，及早控制疫情的擴散，大幅降低了流感的傳播。3、飛機票價高低和多早預購的關系也許大家會直覺地認為越早買機票就越可以買到較便宜的機票。一家叫Farecast公司的創(chuàng)始人從他的親身經(jīng)驗啟示了一個新的服務。他發(fā)現(xiàn)坐他旁邊的人比他晚好幾天購買機票卻比他的購買價格還低。于是他搜集了所有航空公司的票價與提前訂購時間的數(shù)據(jù)關系，并建立了數(shù)學模型?，F(xiàn)在我們任何人可以上到他的網(wǎng)站：,輸入你的出發(fā)地和目的地，加之你要出發(fā)的時間，即將這個網(wǎng)頁能告訴你是現(xiàn)在就趕快買票還是再等幾天才買。.大數(shù)據(jù)平臺介紹由于互聯(lián)網(wǎng)TOB的數(shù)據(jù)不外露，在網(wǎng)上的大數(shù)據(jù)21背景定位功能23設計24總結.環(huán)境數(shù)據(jù)中心31背景定位環(huán)境管理部門每天要面對大量的數(shù)據(jù)，如環(huán)境監(jiān)測數(shù)據(jù)、排污收費數(shù)據(jù)、排污申報數(shù)據(jù)、環(huán)境統(tǒng)計數(shù)據(jù)、環(huán)保信訪數(shù)據(jù)、行政處罰數(shù)據(jù)、總量減排數(shù)據(jù)等。這些數(shù)據(jù)，往往存在來源復雜、格式多樣、不一致、不許確、不完整、存放分散等問題，給環(huán)境管理帶來諸多艱難。各業(yè)務系統(tǒng)也彼此獨立，從而形成了一個個信息孤島，數(shù)據(jù)難以共享，環(huán)境決策缺乏有效的數(shù)據(jù)支持，難以做到科學決策。因此，需要建立統(tǒng)一的環(huán)境數(shù)據(jù)中心，全面整合各類環(huán)境資源數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的集中管理。使之成為環(huán)保各業(yè)務科室之間協(xié)同工作的數(shù)據(jù)中心，成為多媒體、文檔資料和政策法規(guī)的存儲中心，成為環(huán)保決策所需的數(shù)據(jù)倉庫中心。功能數(shù)據(jù)的管理數(shù)據(jù)中心的數(shù)據(jù)來源主要于：.國家下發(fā)的軟件系統(tǒng)，如污染源普查軟件、環(huán)境統(tǒng)計軟件；.已有的業(yè)務系統(tǒng)，如排污申報與收費管理系統(tǒng)、12369環(huán)保熱線等。.Excel表格、電子文檔、圖片、視頻