氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析24

1、氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析2014-03-24 17:03:19作者：國家氣象總局文海來源：CIO時代網(wǎng)摘要：氣象數(shù)據(jù)在“大數(shù)據(jù)應(yīng)用”浪潮中亟待解決的信息技術(shù)問題，是海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用。這是氣象數(shù)據(jù)能否參與“大數(shù)據(jù)應(yīng)用”的技術(shù)基礎(chǔ)和前提。關(guān)鍵詞：氣象數(shù)據(jù)大數(shù)據(jù)1、引言據(jù)統(tǒng)計，2011年全球的數(shù)據(jù)規(guī)模為 1.8ZB,這些信息將填滿 575億個32GB的ipad,以這些ipad做磚石， 足可以壘建起兩座中國的萬里長城。而到2013年，僅中國當(dāng)年產(chǎn)生的數(shù)據(jù)總量就已超過0.8ZB,2倍于2012 年,相當(dāng)于2009年全球的數(shù)據(jù)總量。預(yù)計到2020年，中國產(chǎn)生的數(shù)據(jù)總量將是2013年的10倍

2、，超過8.5ZB.【1 而屆時全球的數(shù)據(jù)總量預(yù)計將達(dá)到40ZB,如果將這些數(shù)據(jù)全部刻錄成藍(lán)光光盤，則這些光盤的總重量相當(dāng)于424艘滿載荷的尼米茲航空母艦。數(shù)據(jù)量暴增的速度令人瞠目結(jié)舌，我們的確已進(jìn)入“大數(shù)據(jù)時代”.很快地，“地理大數(shù)據(jù)”、“水利大數(shù)據(jù)”、“環(huán)境大數(shù)據(jù)”、“金融大數(shù)據(jù)”、“互聯(lián)網(wǎng)大數(shù)據(jù)”乃 至“氣象大數(shù)據(jù)”等名詞陸續(xù)出現(xiàn)在有關(guān)媒體上?！按髷?shù)據(jù)”逐漸成為近來人們談?wù)撟疃?、思考最多的技術(shù)話題之一。一些人憧憬于“大數(shù)據(jù)”可能帶來的十分珍稀的高價值信息和珍貴商機(jī)，也有許多人困惑于目前所知“大數(shù)據(jù)"的應(yīng)用式，以此研判著可能給本行業(yè)帶來的變化和新的業(yè)務(wù)契機(jī)-氣象部門也是如此。做為拋

3、磚引玉，筆者擬就如下問題提出自己的看法：(1) 氣象數(shù)據(jù)是否具備"大數(shù)據(jù)"的核心特征？(2) 業(yè)界公認(rèn)的“大數(shù)據(jù)應(yīng)用”的主要形態(tài)是什么？(3) “大數(shù)據(jù)時代”背景下 氣象數(shù)據(jù) 應(yīng)用中新的價值領(lǐng)域在何處？需要首先具備哪些必要條件？(4) 氣象信息技術(shù)領(lǐng)域當(dāng)務(wù)之急需要解決的關(guān)鍵技術(shù)問題。2、大數(shù)據(jù)的現(xiàn)實以及氣象數(shù)據(jù)的體量構(gòu)成2.1 大數(shù)據(jù)的行業(yè)分布就數(shù)據(jù)量而言，中國的 大數(shù)據(jù)近期具有如下行業(yè)分布特征：(1) 互聯(lián)網(wǎng)公司目前國的互聯(lián)網(wǎng)公司，擁有總計約2EB的數(shù)據(jù)，而其中的互聯(lián)網(wǎng)三巨頭BAT(百度、阿里巴巴、騰訊)占有了其中的 3/4 (約1.5EB )。(2) 電信、金融、保險、

4、電力、石化系統(tǒng)這些行業(yè)及企業(yè)數(shù)據(jù)量分布較為平均，就每個企業(yè)（或運營商、部門）而言，大致都擁有10PB 以上的數(shù)據(jù)，且年增量都在 PB級以上?？偤蛣t有數(shù)百個EB的存儲數(shù)據(jù)和數(shù)十 EB的年增量。（3）公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域 城市：隨著平安城市、智慧城市等工程的推進(jìn)，監(jiān)控攝像頭遍布大街小巷。一個中等規(guī)模城市每年視頻監(jiān)控產(chǎn)生的數(shù)據(jù)約 300PB.最保守估計（含定期循環(huán)清除），每年能夠保存下來的數(shù)據(jù)在數(shù)百PB以上。交通：飛機(jī)航班往返一次產(chǎn)生的數(shù)據(jù)達(dá)TB級。列車、水陸路運輸每年產(chǎn)生并保存下來的各種數(shù)據(jù)視頻、文本類數(shù)據(jù)約達(dá)數(shù)十 PB.衛(wèi)生：整個醫(yī)療衛(wèi)生行業(yè)，一年保存下來的數(shù)據(jù)可達(dá)到數(shù)百PB.電子

5、政務(wù)：一個智慧城市的電子政務(wù)所產(chǎn)生的數(shù)據(jù)每季度約達(dá)200PB.而調(diào)查顯示，未來12年中國政府部門的數(shù)據(jù)規(guī)模超過 100TB的將達(dá)到53.3%,有將近三成（33.3%）的用戶數(shù)據(jù)規(guī)模是1050TB.（ 4） 其他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域 隨著產(chǎn)業(yè)互聯(lián)網(wǎng)的普及，（線下）商業(yè)銷售、制造業(yè)、農(nóng)林牧漁業(yè)、（線下）餐飲、食品、科研、物流 運輸?shù)鹊冗@些傳統(tǒng)行業(yè)的數(shù)據(jù)量將呈現(xiàn)迅速增長態(tài)勢，但目前這些行業(yè)數(shù)據(jù)量尚處于積累期，體量不大，多的達(dá)到PB級別，基本約近百 TB甚至數(shù)十TB級別?！?】（ 5） 氣象數(shù)據(jù)氣象部門需要永久保存的數(shù)據(jù)目前約45PB,年增量約1PB.由此可見，以數(shù)據(jù)量而言，在整

6、個大數(shù)據(jù)市場中，新興的互聯(lián)網(wǎng)行業(yè)巨頭BAT，以及電信、金融、保險等行業(yè)占據(jù)比重較大。相對而言， 氣象數(shù)據(jù) 無論總量還是增量，較這些數(shù)據(jù)大戶至少低 3 個數(shù)量級。2.2 大數(shù)據(jù) 的特征早在 2012 年，業(yè)界便已就 大數(shù)據(jù) 在體積、類型、速度和價值這四個方面的特征達(dá)成了共識，即所謂大數(shù)據(jù)的 4V 特征：Volume （大體積）：體積巨大是 大數(shù)據(jù) 的最根本的特征，體積不足夠大，任何數(shù)據(jù)都不能稱之為“大數(shù)據(jù)”.一般而言，大數(shù)據(jù)的起始計量單位至少是PB EB或ZB級別。Variety （多樣性）：類型和來源渠道繁多是 大數(shù)據(jù) 的第二個特征。 大數(shù)據(jù) 非但體積巨大，而且容繁雜， 數(shù)據(jù)種類繁多，包括網(wǎng)絡(luò)

7、日志、音頻、視頻、圖片、地理位置信息等等；這些種類繁雜的數(shù)據(jù)來源于多種不同的 渠道。多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的甚至全新的要求。Velocity （高速度）：生成速度快，處理時效要求高，這是 大數(shù)據(jù) 區(qū)分于傳統(tǒng)數(shù)據(jù)采集、匯聚、處理乃 至數(shù)據(jù)挖掘等方面最顯著的特征。Value （價值稀薄）：數(shù)據(jù)價值密度相對較低，這是 大數(shù)據(jù) 的第四個特征。根據(jù)業(yè)界專家的看法， 大數(shù)據(jù) 里蘊藏著的信息無所不包，任何人所需要的任何信息，都可以從大數(shù)據(jù) 里尋找到。只是這些信息隱藏在 大數(shù)據(jù) 的汪洋大海之中， 尋之如同大海撈針， 人們需要研究出類似沙里淘金的辦法， 才能在有效的時間將所需信息尋找到。 因此如

8、何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價值“提純”,是大數(shù)據(jù) 時代亟待解決的難題。當(dāng)然，還有一些人將對 大數(shù)據(jù) “ Value ”的理解確定在“價值豐富”的層面上；而最早提出“ 大數(shù)據(jù) ”概念及特征的 Gartner 公司和麥肯錫公司，甚至至今仍堅持特征“3V”（ Volume、Variety 、 Velocity ）論，認(rèn)為“ Value ”不能作為 大數(shù)據(jù) 的特征【 3】。限于篇幅，不予展開討論。需要注意的是，在此“ 4V” （或“ 3V'）特征中，“ Volume”（體量巨大）僅僅是成為 大數(shù)據(jù)的必要條 件，而非充分條件，如同30mm的日降水，在我國東南沿海地區(qū)十分平常，但在西北

9、地區(qū)卻可算罕見大雨，所以體量大小是相對的。事實上， 大數(shù)據(jù) 概念的提出絕非僅因為數(shù)據(jù)量的暴增，而且是因為數(shù)據(jù)已多得用傳統(tǒng)方法無 法應(yīng)對或處理，導(dǎo)致人們必須采用新的方法、新的思路乃至新的理念予以應(yīng)對。如果數(shù)據(jù)量雖大，但卻能夠處理 和掌控，便不能稱其為“ 大數(shù)據(jù)”.因此，“ 4V”對于大數(shù)據(jù)而言，既是特征，也是考量的四個維度。2.3 氣象數(shù)據(jù) 的體量種類分布?xì)庀筚Y料種類較多，就體積而言，其中的地面觀測、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報產(chǎn)品四類資料占據(jù)總量的 90%以上，其中：地面觀測資料：因二十一世紀(jì)以來觀測方法從人工觀測改進(jìn)為自動觀測，擺脫了人類居住條件限制的制 約，臺站數(shù)由本世紀(jì)初的不到 3,

10、000 個，迅速擴(kuò)展到目前的 40,000 多個，觀測頻度由最初的 3 小時/ 次調(diào)整到目 前的5分鐘/次，因而導(dǎo)致資料量呈幾何倍數(shù)增漲，月增量由最初的約240MB猛增到現(xiàn)在的約 2.4TB,增幅約4個數(shù)量級。根據(jù)防、減災(zāi)以及氣象服務(wù)的需要，未來擴(kuò)建計劃有可能將臺站數(shù)繼續(xù)擴(kuò)增至70,000 到 100,000 個，觀測頻度有可能繼續(xù)加密到 1分鐘/次；因此未來六年該類資料總量有可能在現(xiàn)有基礎(chǔ)上再行擴(kuò)增12個數(shù)量級，由現(xiàn)在的每天數(shù)百萬條記錄增至超過一億條記錄/天。天氣雷達(dá)資料：按照天氣雷達(dá)近期發(fā)展規(guī)劃（ 2005-2010 ）以及氣象發(fā)展規(guī)劃（ 2011-2015 ）中 “新一代天氣雷達(dá)建設(shè)增補(bǔ)

11、站點布局方案” , 目前在全國已布設(shè)約 200 部不同波長的多普勒天氣雷達(dá)，并為達(dá)到 雷達(dá)資料全社會共享的目的，已基本實現(xiàn)7 X 24小時全天候不間斷觀測；日增總量約300GB.氣象衛(wèi)星資料：根據(jù)我國氣象衛(wèi)星及其應(yīng)用發(fā)展規(guī)劃（20112020 年），至 2020年，我國計劃發(fā)射11 顆氣象業(yè)務(wù)衛(wèi)星，包括 3 顆風(fēng)云二號 03 批衛(wèi)星， 3 顆風(fēng)云三號上午星、 2 顆風(fēng)云三號下午星、 1 顆降水測量雷 達(dá)星以及 2顆風(fēng)云四號光學(xué)星。此外還將在 2020年前發(fā)射 2顆氣象試驗衛(wèi)星?！緮?shù)據(jù)量待補(bǔ)充】目前的日增總 量約數(shù)百GB，未來有可能增加到數(shù) TB/日。數(shù)值預(yù)報產(chǎn)品：與地面觀測、氣象衛(wèi)星和天氣雷達(dá)

12、等氣象觀探測資料不同，氣象數(shù)值預(yù)報模式資料屬于氣象觀探測資料的加工產(chǎn)品。以GRAPS T639為代表的天氣預(yù)報模式，以及以BCC_CSM2 DERF2.0為代表的氣候預(yù)測模式，每天都在實時運行，不斷產(chǎn)生著數(shù)以萬計的各類要素場，以供國家級、省級乃至區(qū)域級預(yù)報員參考使用，日增量接近 TB級。在上述四類數(shù)據(jù)之外，氣象資料尚有高空探測、地面農(nóng)氣觀測、沙塵暴觀測、閃電定位觀測、風(fēng)廓線雷 達(dá)探測等等許多種，但就體積而言，較上述四類資料至少低一個數(shù)量級，難以將其稱之為“ 大數(shù)據(jù) ” .因此，如果就體積而言，氣象資料可勉強(qiáng)算得上“ 大數(shù)據(jù) ”, 也是因為地面觀測、氣象衛(wèi)星、天氣雷達(dá)和 數(shù)值模式這四大金剛將氣象

13、資料的體積撐大而成的。3、“氣象大數(shù)據(jù)”的特征分析氣象數(shù)據(jù) 的體積雖大，卻有其獨特的特征：（1）體積雖大但總量可控這里對地面觀測、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報產(chǎn)品這四類體量最大的 氣象數(shù)據(jù) 進(jìn)行分析：地面觀測資料數(shù)據(jù)量劇增的原因，是站點數(shù)的增加和觀測頻度的大幅加密。然而，這種臺站規(guī)模的擴(kuò)充 和觀測頻次的加密是基于預(yù)報和服務(wù)需求，經(jīng)過嚴(yán)格科學(xué)論證，有計劃有步驟逐步推進(jìn)的；在觀測臺站達(dá)到一定 密度，觀測頻度足以滿足氣象業(yè)務(wù)需求后， 臺站數(shù)不會無限制持續(xù)增加， 觀測頻度更不會無節(jié)制地永遠(yuǎn)加密下去， 因此總量既是可預(yù)測的，更是可控的。對天氣雷達(dá)而言，布網(wǎng)工作已基本完成，雷達(dá)總量不會有成倍數(shù)的增加。

14、而且目前的天氣雷達(dá)已基本實現(xiàn)7X 24小時全天候不間斷觀測。因此天氣雷達(dá)的資料量（年增量），將穩(wěn)定相當(dāng)長一段時間，而不會有倍數(shù)的 增量變化。未來數(shù)年，我國還將發(fā)射數(shù)顆氣象衛(wèi)星，每顆衛(wèi)星都會產(chǎn)生數(shù)百TB級的數(shù)據(jù)年增量。為滿足氣象衛(wèi)星資料的應(yīng)用時效，國家衛(wèi)星氣象中心針對每一顆氣象衛(wèi)星，都建有相應(yīng)專屬的地面接收處理系統(tǒng)，已完全實現(xiàn)所有 氣象衛(wèi)星遙測遙感資料的實時接收處理。因此氣象衛(wèi)星數(shù)據(jù)目前雖以每年數(shù)百TB的量級增長，而且規(guī)模有可能繼續(xù)擴(kuò)大，但卻始終處于可控可管和完全可用狀態(tài)。數(shù)值預(yù)報模式產(chǎn)品資料是各級預(yù)報員最重要的預(yù)報參考資料，這些產(chǎn)品甫一生成， 便即刻送達(dá)天氣預(yù)報、氣候預(yù)測專家的桌面，供其業(yè)務(wù)參

15、考使用；同時以滿足業(yè)務(wù)需求的時效，分發(fā)至各省級乃至地市級氣象部門，供 其本地化應(yīng)用。因此與氣象衛(wèi)星資料相類似，數(shù)值預(yù)報產(chǎn)品資料體積雖大，卻始終處于可控可管和可用的狀態(tài)， 未來也將始終如此。因此，氣象資料體積雖大，在量級上算得上“大數(shù)據(jù) ”, 但卻始終處于可控可管可用狀態(tài)。（ 2）種類雖多但部信息單純，來源單一按照行業(yè)標(biāo)準(zhǔn)氣象資料分類與編碼，氣象資料分為 14 大類，計有數(shù)百種之多【 4】。該標(biāo)準(zhǔn)基本涵蓋了氣象資料的所有容。所以就容而言，氣象資料在目前及可預(yù)見的未來，超不出該行標(biāo)所規(guī)定的圍。數(shù)百種的 氣象資料種類雖多，但每種資料所含信息卻十分單純：土壤持水量只記載某時某地某規(guī)定土壤深度中水份的持

16、有 程度，“云能天”只記錄某時某地的云量云狀、能見度以及天氣現(xiàn)象等信息。這與互聯(lián)網(wǎng)大數(shù)據(jù) 如電子、微信、微博中所包含的社會百態(tài)、生老病死、喜怒哀樂、柴米油鹽醬醋茶等所有信息有很大差異。究其原因，海量氣象 數(shù)據(jù)是由氣象探測系統(tǒng)以及數(shù)值預(yù)報業(yè)務(wù)系統(tǒng)產(chǎn)生的，來源比較單一；而互聯(lián)網(wǎng) 大數(shù)據(jù) 則由人來提供的，它來源 于人類社會的方方面面和各個角落，是人類活動的實況記錄。（3）價值單一而明確氣象觀探測業(yè)務(wù)系統(tǒng)只采集那些能夠客觀反映自然界氣象狀態(tài)的要素，所以氣象觀探測數(shù)據(jù)里包含且只 包含豐富的氣象信息，而以觀探測數(shù)據(jù)為唯一數(shù)據(jù)和信息來源的氣象數(shù)值模式，其生成的產(chǎn)品中所包含的信息也 只能是局限于未來天氣或氣候

17、狀態(tài)的預(yù)測。因此所謂“氣象大數(shù)據(jù) ”, 其自身的直接用途只能是氣象業(yè)務(wù)，即：天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。麥肯錫公司和 Gartner 公司始終認(rèn)為： “大數(shù)據(jù) 是用傳統(tǒng)的架構(gòu)、 傳統(tǒng)的技術(shù)方法無法解決的數(shù)據(jù)問題” 【3 】；而由上分析可知， 氣象數(shù)據(jù) 始終處于可管、控、用狀態(tài)，雖然隨著數(shù)據(jù)體積的不斷膨脹，以及原有管理 和處理技術(shù)架構(gòu)的舊，逐漸出現(xiàn)性能下降、時效減慢等現(xiàn)象，但并非沒有解決的技術(shù)手段。因此應(yīng)當(dāng)說， 氣象數(shù) 據(jù)是“ 大數(shù)據(jù) ”的組成部分之一，但其自身并不完全具備“ 大數(shù)據(jù) ”的所有特征。從這個觀點考察，以體積碩大 為由稱 氣象數(shù)據(jù) 為“大數(shù)據(jù) ”十分勉強(qiáng)，而且較易產(chǎn)生觀念和認(rèn)知上

18、的混亂；因為衡量體量大小的標(biāo)準(zhǔn)是在不斷 變化的。 信息技術(shù)的發(fā)展突飛猛進(jìn)， 處理及存儲能力依摩爾定律， 每 18 個月增加一倍； 今天的大體量規(guī)模數(shù)據(jù)， 如果不具備超摩爾定律的膨脹能力，數(shù)年后便很有可能萎縮成中等甚至中等以下規(guī)模的數(shù)據(jù)；這樣的事例在 IT 界俯拾皆是。4、應(yīng)用分析展望4.1 大數(shù)據(jù) 帶來大變革大數(shù)據(jù) 時代的作者就 大數(shù)據(jù) 帶給人們思維方面的變革，提出了三個觀點：（1 ）當(dāng)數(shù)據(jù)處理技術(shù)已發(fā)生翻天覆地變化時，在大數(shù)據(jù) 時代進(jìn)行抽樣分析已經(jīng)過時。人們進(jìn)行分析的對象已不是抽樣數(shù)據(jù)，而是所有的數(shù)據(jù)，即：“樣本 = 總體” .（2）執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物，只有接受不精確

19、性，我們才能打開一扇從未涉足 的世界的窗戶。（3）知道“是什么”就夠了，不必知道“為什么”. 在大數(shù)據(jù) 時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲” . 【 5】而對于 大數(shù)據(jù) 的價值，該書作者認(rèn)為，“數(shù)據(jù)就像一個神奇的鉆石礦，當(dāng)它的首要價值被發(fā)掘后仍能不 斷給予” , 它目前展現(xiàn)在人們面前僅僅是其總價值的“冰山一角” . 對此，胡小明先生的理解是：雖然一些數(shù)據(jù)所 蘊含的其所屬領(lǐng)域的部規(guī)律（即所謂“首要價值”）已被本領(lǐng)域?qū)＜页浞职l(fā)掘，但如果將這些數(shù)據(jù)與其它領(lǐng)域數(shù) 據(jù)相，卻有可能發(fā)現(xiàn)出許多意想不到的相關(guān)關(guān)系，即所謂“豐富的未知價值在領(lǐng)域的外部”. 【6】因此，數(shù)據(jù)的價值由“部自

20、身”和“外部關(guān)聯(lián)”兩部分組成：部自身價值是指該數(shù)據(jù)自身所包含的所有 信息對其所屬企業(yè)和部門業(yè)務(wù)工作的支撐、 以及開拓業(yè)務(wù)領(lǐng)域的作用； 而外部關(guān)聯(lián)價值則是指該數(shù)據(jù)與外部企業(yè)、 領(lǐng)域和行業(yè)數(shù)據(jù)進(jìn)行深度結(jié)合以及具有創(chuàng)意的分析思路和有效的處理方法，從而發(fā)掘出新的、超出所屬企業(yè)和部 門原有業(yè)務(wù)圍的、傳統(tǒng)思維所意想不到的、具有開創(chuàng)意義的信息，眾多企業(yè)和行業(yè)部門可由此了解并掌握用傳統(tǒng) 思維和方法無法獲得的事實，并因此可創(chuàng)造出新的經(jīng)濟(jì)和社會價值。無論是否處于“ 大數(shù)據(jù) 時代” , 數(shù)據(jù)的價值概莫能外。而所謂“ 大數(shù)據(jù) 應(yīng)用” , 是由于近二十余年來，各行業(yè)信息化程度逐漸提高，互聯(lián)網(wǎng)及其豐富的應(yīng)用 逐漸滲透到人

21、類社會各個階層的方方面面，在使得人們的工作和生活更加舒適、方便、快捷和安全的同時，也將 社會上各方面信息通過網(wǎng)絡(luò)（尤其是互聯(lián)網(wǎng)）采集并收集管理起來，從而導(dǎo)致社會上數(shù)據(jù)總量以令人瞠目結(jié)舌的 速度暴增，而這些暴增起來的數(shù)據(jù)也逐漸呈現(xiàn)出與此前數(shù)據(jù)所不同的性質(zhì)和特征（即所謂“4V”特征）。由于此時的數(shù)據(jù)具有 Variety （多樣性）的特性，所含信息種類較之此前大大增加，人們有可能通過分析這些信息，獲 得以前不可能得到的新的知識、預(yù)測信息，激發(fā)出新的開拓性思維，乃至開創(chuàng)新的業(yè)務(wù)領(lǐng)域。4.2“ 大數(shù)據(jù) 應(yīng)用”成功案例分析“大數(shù)據(jù) 時代”伴隨著“ 大數(shù)據(jù) 應(yīng)用” . 通過分析眾多媒體、專著上所刊載的各個“

22、 大數(shù)據(jù) 應(yīng)用”成功案 例，不難發(fā)現(xiàn)三個事實：（ 1）所分析的數(shù)據(jù)都是企業(yè)自身所擁有的所有成功案例都是企業(yè)通過分析自身擁有的數(shù)據(jù)而產(chǎn)生的。這里既沒有谷歌通過分析諸如沃爾瑪?shù)瓤珙I(lǐng) 域跨行業(yè)部門的數(shù)據(jù)而得到有價值信息的成功案例，也沒有阿里巴巴通過分析類似騰訊或百度等同為互聯(lián)網(wǎng)運營應(yīng)用的兄弟企業(yè)的數(shù)據(jù)而獲益的案例。不是這些公司沒有分析能力，而是對方的數(shù)據(jù)無法獲取到。所有成功案例 都是該企業(yè)通過分析本企業(yè)所擁有的數(shù)據(jù) -“大數(shù)據(jù) ” - 所獲得的?？缧袠I(yè)、跨部門甚至跨企業(yè)的數(shù)據(jù)聯(lián)合分析應(yīng) 用的成功案例難覓其蹤。因此所有這些成功案例，都是數(shù)據(jù)部自身價值的被挖掘。（ 2）所分析的數(shù)據(jù)對象中所需要的信息足夠

23、豐富沃爾瑪能夠分析出嬰兒紙尿布與啤酒銷量之間的正相關(guān)關(guān)系，是因為其數(shù)據(jù)庫中包含所有本系統(tǒng)連鎖店 中所有商品的銷售記錄，包括啤酒和嬰兒紙尿布。阿里巴巴企業(yè)能夠提前半年預(yù)測出2008 年北美將爆發(fā)經(jīng)濟(jì)危機(jī)，是因為其數(shù)據(jù)庫中詳細(xì)記錄了數(shù)年來世界各地與阿里集團(tuán)的每一筆訂單和詢單，可從中統(tǒng)計并發(fā)現(xiàn)出其異常 變化以及變化的區(qū)域分布。美國中央情報局能夠通過對電子的篩選探知出幾十起針對美國的恐怖襲擊計劃，并提 前采取相應(yīng)措施， 是因為恐怖分子使用電子進(jìn)行通信聯(lián)絡(luò)， 留下了相關(guān)的痕跡。 相反， 我國金融行業(yè)數(shù)據(jù)量巨大， 但分析師們卻絕不可能通過分析金融數(shù)據(jù)來預(yù)測天氣和氣候，因為金融數(shù)據(jù)中不包含任何與氣象有關(guān)的信

24、息；反 之亦然。所以， 大數(shù)據(jù) 應(yīng)用成功案例中最重要的一點，就是這些企業(yè)所分析的數(shù)據(jù)對象中包含了可能需要的所有 信息，只不過這些信息在整體數(shù)據(jù)的汪洋大海中十分稀少，需要采取非傳統(tǒng)的、被稱之為“大數(shù)據(jù) ”技術(shù)的處理手段、在規(guī)定的時效挖掘出來。（ 3）大多是新興的或信息化時間不長的企業(yè)（行業(yè)）這些成功案例企業(yè)或是近十幾年來方才崛起的新興互聯(lián)網(wǎng)企業(yè)（如：谷歌、亞馬遜、阿里巴巴、 騰訊等） ；或是行業(yè)歷史雖然悠久，但信息化建設(shè)歷程并不久遠(yuǎn)（如：沃爾瑪超市等），所擁有信息的在價值尚未真正有效 地挖掘出來。由此可知， 目前業(yè)界眾口稱道的 “大數(shù)據(jù) 應(yīng)用” 成功案例， 基本上都屬于數(shù)據(jù)部自身價值的挖掘和展現(xiàn)

25、， 而且數(shù)據(jù)部的信息種類十分豐富。相對而言，數(shù)據(jù)“外部關(guān)聯(lián)價值”的挖掘和展現(xiàn)在業(yè)界和社會上尚未成為主流 形態(tài)。4.3 氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”前景預(yù)期氣象行業(yè)是信息化建設(shè)較早的行業(yè)，氣象科學(xué)家分析研究氣象數(shù)據(jù)已有近百年的歷史。直到目前，氣象數(shù)據(jù)的核心容并未發(fā)生根本性變化，近年來所增設(shè)的新的探測手段（如氣象衛(wèi)星、天氣雷達(dá)等），其探測信息最 終都將反演成溫、壓、濕、風(fēng)以及云能天等有限的幾個氣象要素，以供業(yè)務(wù)及科研使用。而這些要素之間的物理 關(guān)系，早已被動力氣象學(xué)解釋清楚。已有數(shù)十年歷史的傳統(tǒng)的統(tǒng)計氣候業(yè)務(wù)，正是采用復(fù)雜的統(tǒng)計方法，對氣象 要素進(jìn)行時間、空間分布方面的詳盡分析，發(fā)現(xiàn)其中的規(guī)律，進(jìn)而完

26、成氣候統(tǒng)計預(yù)測的。因此氣象數(shù)據(jù)中常規(guī)探測部分（如：地面觀測、高空探測等）對于氣象行業(yè)而言，其常規(guī)的基本價值（對天氣預(yù)報、氣候預(yù)測以及其它 專業(yè)氣象預(yù)報的貢獻(xiàn)）已被充分認(rèn)識并挖掘。而其中可能潛藏的反映本領(lǐng)域天氣或氣候規(guī)律的新的信號，正在由 數(shù)以千計的氣象科學(xué)家們分析研究著。相對而言，非常規(guī)觀測資料中的氣象衛(wèi)星和天氣雷達(dá)資料，與“大數(shù)據(jù)應(yīng)用”成功案例的特點較相吻合。以氣象衛(wèi)星數(shù)據(jù)為例：雖然氣象衛(wèi)星是用來獲取與氣象要素相關(guān)的各類信息的，然而在森林草場火災(zāi)、船舶航道 浮冰分布等方面，氣象衛(wèi)星卻同樣也能發(fā)揮出跨行業(yè)的實時監(jiān)測服務(wù)價值。究其原因，氣象衛(wèi)星視野的廣闊和搭 載探測設(shè)備種類的多樣化，以及各類儀器

27、設(shè)備所獲信息之間、衛(wèi)星數(shù)據(jù)與其它種類氣象資料（如地面觀測數(shù)據(jù)） 之間綜合應(yīng)用的可能性，占據(jù)了絕大比重。氣象衛(wèi)星每批次（型號）所搭載的探測儀器設(shè)備都較前批次（或型號）有所調(diào)整和增加，因此每顆衛(wèi)星都有可能產(chǎn)生新的遙感產(chǎn)品，除首先應(yīng)用于氣象行業(yè)的預(yù)定應(yīng)用外，幾乎都含有 行業(yè)外新的服務(wù)應(yīng)用的可能，從而可使氣象部門得以不斷擴(kuò)展新的業(yè)務(wù)領(lǐng)域。天氣雷達(dá)數(shù)據(jù)與此類似，限于篇幅，不再展開討論。所以，雖然海量 氣象數(shù)據(jù)屬于專業(yè)感知領(lǐng)域，所含信息量豐富而容單純-只包含（且富含）與氣象有關(guān)的信息，并且其部自身價值中的常規(guī)容已被充分挖掘并應(yīng)用于氣象業(yè)務(wù)，可能深度蘊藏的部自身價值正在艱難地 挖掘中（已屬于科學(xué)問題），但這

28、并不意味著氣象數(shù)據(jù) 的部自身價值已被挖掘殆盡。氣象衛(wèi)星、天氣雷達(dá)等非常規(guī)遙感遙測數(shù)據(jù)中包含的信息十分豐富，有可能挖掘出新的應(yīng)用價值，從而拓展氣象行業(yè)新的業(yè)務(wù)領(lǐng)域和服務(wù)圍。然而這一切，首先需要管理者具有敏銳捕捉行業(yè)外服務(wù)需求的能力，其次則需要一支召之即來、來之能戰(zhàn)、戰(zhàn)之 能勝的服務(wù)產(chǎn)品研發(fā)科技團(tuán)隊，而且需要積極進(jìn)取和勇于擔(dān)當(dāng)?shù)念I(lǐng)導(dǎo)素養(yǎng)以及完善的機(jī)制配合。那種小心翼翼、 循規(guī)蹈矩的行為方式，難以適應(yīng)服務(wù)市場瞬息萬變的狀態(tài)。與之相對應(yīng)，氣象數(shù)據(jù)“外部關(guān)聯(lián)價值”的挖掘，則當(dāng)出現(xiàn)在其與其它專業(yè)領(lǐng)域數(shù)據(jù)的跨領(lǐng)域跨部門綜 合分析應(yīng)用過程中；而這一切的必要條件，就是行業(yè)間數(shù)據(jù)的高度共享和深度分析應(yīng)用。然而，雖

29、然需求十分迫 切，呼吁也強(qiáng)烈而持久，但數(shù)據(jù)的社會共享至今仍是一個世界性難題。美國政府多年來年以來一再發(fā)布政令，要 求政府部門在規(guī)定期限將與國家安全無關(guān)的數(shù)據(jù)實現(xiàn)社會共享。在我國，早在二十一世紀(jì)初便由科技部主導(dǎo)的科 學(xué)數(shù)據(jù)共享試點工作，十余年來進(jìn)展并不順利，行業(yè)間的數(shù)據(jù)并未真正實現(xiàn)共享，氣象部門獲得某些相關(guān)部門的 觀測數(shù)據(jù)異常困難，有時不得不從其上抓取數(shù)據(jù)表格，經(jīng)人工處理后獲得表格中的觀測數(shù)據(jù)。因此，氣象數(shù)據(jù) 通過跨行業(yè)深度結(jié)合而挖掘其外部關(guān)聯(lián)價值的必要環(huán)境并非已全部具備。而如果沒有數(shù)據(jù)的充分社會共享，氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”便將始終徘徊在“部自身價值”的挖掘之中。需要注意的是，“大數(shù)據(jù)應(yīng)用”與

30、目前的氣象公共服務(wù)有所不同：后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會 推廣應(yīng)用，是氣象數(shù)據(jù)已挖掘出的部自身價值（天氣預(yù)報和氣候預(yù)測產(chǎn)品）的充分展示、應(yīng)用和發(fā)揮；前者則是 氣象數(shù)據(jù)“部自身”和“外部關(guān)聯(lián)”價值的挖掘。簡言之，前者是價值產(chǎn)品的創(chuàng)新，后者是價值產(chǎn)品的應(yīng)用。產(chǎn) 品應(yīng)用需要的是積極靈活的客戶經(jīng)理和及時周到的服務(wù)支持，而價值創(chuàng)新，對部自身而言，需要本行業(yè)領(lǐng)導(dǎo)的高 素質(zhì)、科學(xué)家的高度專業(yè)水準(zhǔn)、研發(fā)團(tuán)隊的精干高效；對于外部關(guān)聯(lián)價值而言，則須與其它相關(guān)領(lǐng)域原始數(shù)據(jù)的 深度結(jié)合，而由于其跨行業(yè)以及數(shù)據(jù)量的浩大，這種深度結(jié)合工作所需要的是天才的跨行業(yè)創(chuàng)意分析師和有效地 處理技術(shù)手段。因此，不宜將氣象預(yù)報產(chǎn)品

31、的社會化推廣應(yīng)用簡單地冠以“氣象大數(shù)據(jù)廣泛應(yīng)用”的名稱，因為產(chǎn)品應(yīng)用與氣象數(shù)據(jù)“大小”無關(guān)，而如此冠名將易導(dǎo)致概念的混亂和氣象“大數(shù)據(jù)應(yīng)用”的簡單化。5信息技術(shù)領(lǐng)域需要突破的關(guān)鍵技術(shù)以及與“云”的關(guān)系氣象數(shù)據(jù)的廣泛應(yīng)用需要突破的關(guān)鍵技術(shù)很多，其部分（如天氣雷達(dá)數(shù)據(jù)拼圖等）屬于專業(yè)領(lǐng)域的科學(xué)問題，需要相應(yīng)領(lǐng)域科學(xué)家們的深入研究。就信息技術(shù)領(lǐng)域而言，海量數(shù)據(jù)的高效應(yīng)用是亟需突破的核心技術(shù)難 題。（1）關(guān)鍵技術(shù)：海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用由“2.3 ”分析可知，目前 氣象數(shù)據(jù)的產(chǎn)生量巨大，每時每刻如滔滔洪水般洶涌而至，傳統(tǒng)的技術(shù)架構(gòu)已無法應(yīng)對海量氣象數(shù)據(jù)的處理、管理和有效服務(wù)，以至于有關(guān)業(yè)務(wù)單位不

32、得不頻繁更新設(shè)備，用更高檔的服務(wù)器運行傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和文件系統(tǒng)，用更高性能的磁盤陣列存儲大小不一、數(shù)量驚人的數(shù)據(jù)文件，以及動輒數(shù)億條記錄的數(shù)據(jù)庫列表，以期能夠茍且滿足當(dāng)前日益嚴(yán)苛的數(shù)據(jù)處理、存儲和檢索等業(yè)務(wù)要求。這不僅造成了資 金方面的浪費，更換系統(tǒng)設(shè)備過程中無法避免的系統(tǒng)移植和切換，也給有關(guān)業(yè)務(wù)和用戶造成不必要的負(fù)面影響。 分布式處理和存儲等云計算 /大數(shù)據(jù)技術(shù)雖然提供了對非結(jié)構(gòu)化數(shù)據(jù)的規(guī)管理和高效應(yīng)用技術(shù)，但對于以地面觀 測資料為代表的海量氣象結(jié)構(gòu)化數(shù)據(jù)及其復(fù)雜多變、難以預(yù)測的應(yīng)用方式，卻顯得束手無策。地面觀測資料是氣象業(yè)務(wù)和科研中應(yīng)用最為廣泛和持久的一類結(jié)構(gòu)化數(shù)據(jù)，被要求永久在線管理

33、以提供實時服務(wù)。而通過“ 2.3 ”中的介紹可知，目前全國四萬多個地面觀測站所產(chǎn)生的資料，月增量數(shù)億條記錄（約2.4TB ），未來更有可能膨脹到每日上億條觀測記錄。因此，如何運用恰當(dāng)?shù)募夹g(shù)，有效管理海量地面觀測資料，充分滿足所有用戶對地面觀測資料的實時檢索和分析應(yīng)用，并使系統(tǒng)長期處于穩(wěn)定狀態(tài)，是目前必須解決的核心 技術(shù)問題。雖然該問題在世界IT界亦屬難題，但如果不予解決，則海量 氣象數(shù)據(jù)的應(yīng)用便存在時效上的障礙，本部門業(yè)務(wù)需求尚且無法滿足，遑論“大數(shù)據(jù)應(yīng)用”了。自2013年初以來，國家氣象信息中心下屬的氣象資料服務(wù)室和系統(tǒng)設(shè)計室的有關(guān)技術(shù)人員，與國有關(guān)高科技企業(yè)進(jìn)行聯(lián)合研發(fā)，在此領(lǐng)域已有突破性

34、進(jìn)展。相信不久的將來，此項關(guān)鍵技術(shù)將被突破。（2）“大數(shù)據(jù)應(yīng)用”與云的關(guān)系由于體量的巨大，統(tǒng)籌的集約化管理大數(shù)據(jù)顯得尤為重要，因為如此方可以大幅提高數(shù)據(jù)的應(yīng)用效益，降低系統(tǒng)的復(fù)雜度和運營成本。云計算概念的出現(xiàn)以及隨之衍生出的“云存儲”等應(yīng)用架構(gòu)，為大數(shù)據(jù)的有效管理提供了可行的方案。這在目前國家級和省級業(yè)務(wù)系統(tǒng)已十分復(fù)雜的我國氣象部門，顯得尤為重要和急迫。云存儲在未來必將是 大數(shù)據(jù)的主要管理和應(yīng)用形態(tài)，因為在未來大數(shù)據(jù)開放時代，無力管理 大數(shù)據(jù)者將占大數(shù)據(jù)應(yīng)用者中的絕大多數(shù)； 沒有云存儲，大數(shù)據(jù)的廣泛應(yīng)用就不存在。 反之，如果沒有大數(shù)據(jù)及大數(shù)據(jù)應(yīng)用， 很多“云”（尤其是“存儲云”） 的價值也難以

35、體現(xiàn)出來，二者是相輔相成的關(guān)系。有關(guān)的容及規(guī)劃，已納入全國氣象信息網(wǎng)絡(luò)系統(tǒng)總體設(shè)計之中，在不久的將來，將逐步予以實現(xiàn)。綜上所述，可得出如下結(jié)論:（1） 目前社會上的“大數(shù)據(jù)應(yīng)用”大多仍局限在數(shù)據(jù)部自身價值的深度挖掘方面，氣象數(shù)據(jù) 也是如此。 相對而言，氣象數(shù)據(jù)中的氣象衛(wèi)星和天氣雷達(dá)數(shù)據(jù)因其信息量的較為豐富，有可能在與其它資料深度融合的過程中挖掘出新的應(yīng)用價值，并由此開拓出新的業(yè)務(wù)領(lǐng)域。而氣象數(shù)據(jù) 外部關(guān)聯(lián)價值的挖掘，有待于科學(xué)數(shù)據(jù)社會共享良好環(huán)境的建立。（2） 目前氣象數(shù)據(jù)體量雖大，但其增速緩于摩爾定律。在未來的數(shù)年或十余年后，其體量將漸趨于適中。因此“氣象 大數(shù)據(jù)”的稱謂將是暫時的。（3）氣

36、象數(shù)據(jù)在“大數(shù)據(jù)應(yīng)用”浪潮中亟待解決的信息技術(shù)問題，是海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用。 這是氣象數(shù)據(jù)能否參與“大數(shù)據(jù)應(yīng)用”的技術(shù)基礎(chǔ)和前提。（4） “云存儲”將是未來海量氣象數(shù)據(jù)最合理的存儲管理形式。6、結(jié)語“氣象大數(shù)據(jù)”是暫時的，它終將回歸到自己應(yīng)有的位置，做為全社會“大數(shù)據(jù)”的組成部分之一。氣象數(shù)據(jù)是匯聚自然界與氣象有關(guān)的信息聚合體，其核心價值是支撐氣象業(yè)務(wù)；但其自身價值并未被窮盡。通過努 力，有可能在其中挖掘出新的價值，并因之開辟新的業(yè)務(wù)領(lǐng)域。氣象數(shù)據(jù)對于全社會而言，是極其珍貴的數(shù)據(jù)和信息資源。我們期待著氣象數(shù)據(jù)在跨行業(yè)綜合應(yīng)用這一“外部關(guān)聯(lián)價值”挖掘過程中煥發(fā)出新的耀眼光芒。而在此之前，

37、氣象預(yù)報服務(wù)產(chǎn)品的廣泛社會應(yīng)用，將是氣象 部門履行職責(zé)，服務(wù)社會的工作重點；它與氣象數(shù)據(jù)的價值挖掘一道，成為氣象業(yè)務(wù)中不可或缺的組成部分。參考文獻(xiàn)：【1】ZDNET:數(shù)據(jù)中心2013:硬件重構(gòu)與軟件定義，ZDNET企業(yè)解決方案中心年度技術(shù)報告。原文：【2】36大數(shù)據(jù)：大數(shù)據(jù)史記2013:盤點中國2013行業(yè)數(shù)據(jù)量 <.36dsj./archives/6285>，原文：<.36dsj./archives/6285>【3】瑾：大數(shù)據(jù)是用傳統(tǒng)方法無法解決的數(shù)據(jù)問題，和訊科技：2012年11月30日10:59原文：<tech.hexun./2012-11-30/14855

38、3904.html>【4】QX/T 102-2009氣象資料分類與編碼行業(yè)標(biāo)準(zhǔn)【5】英維克托邁爾-舍恩伯格，肯尼思庫克耶： 大數(shù)據(jù)時代，人民，2013年1月，第一版【6】胡小明：“大數(shù)據(jù)啟發(fā)新思維”，第二屆大數(shù)據(jù)應(yīng)用論壇大會報告，原文：.ciotimes./bi/bzigd/82383 3.html氣象與大數(shù)據(jù)? 時間：2014-03-24 08:47:12來源：未知 作者：宣傳與科普中心 點擊數(shù)：194世界發(fā)展的趨勢之一就是信息化，不同數(shù)據(jù)之間相互交叉編織成立體的、密集的信息網(wǎng)，在其中的任何一個數(shù)據(jù)都可能有它的用途。那么，如何從氣象角度看大數(shù)據(jù)呢？ 特別的大數(shù)據(jù)氣象歷來同數(shù)據(jù)打交道在一

39、些人眼中，氣象部門的主要職責(zé)是預(yù)報天氣。然而，在世界各國的經(jīng)濟(jì)生活中，不少行業(yè)，如 農(nóng)業(yè)、交通業(yè)、建筑業(yè)、旅游業(yè)、銷售業(yè)、保險業(yè)等，無一例外與天氣的變化息息相關(guān)，隨著氣象在社會 生產(chǎn)生活中越來越受重視，氣象業(yè)務(wù)也在不斷地拓寬領(lǐng)域，從最基礎(chǔ)的天氣預(yù)報到現(xiàn)有的氣候預(yù)測、氣候 可行性論證、公共氣象服務(wù)、專業(yè)專項氣象服務(wù)、氣象防災(zāi)減災(zāi)等，氣象業(yè)務(wù)仍將繼續(xù)拓展，把氣象產(chǎn)品 送到更多人手中，為社會創(chuàng)造財富、減輕損失。毫不夸地說，氣象部門就是一個超大的“數(shù)據(jù)庫”，里面存儲了海量的數(shù)據(jù)。從業(yè)務(wù)角度對氣象數(shù)據(jù)進(jìn)行劃分，包括氣象觀測數(shù)據(jù)和氣象產(chǎn)品數(shù)據(jù)。計量和記錄一起促成了數(shù)據(jù)的誕生，它們是數(shù)據(jù)化最早的根基，氣象觀

40、測數(shù)據(jù)是開展各項氣象業(yè)務(wù)的基礎(chǔ)。我們平時從電視、報紙或者獲取的看似簡單的天氣預(yù)報信息，在其后都有非常龐雜的數(shù)據(jù)采集作 支撐，包括全國2000多個地面站、120多個高空探測站、6顆在軌衛(wèi)星、5萬多個自動監(jiān)測站、600多個農(nóng) 業(yè)監(jiān)測站、300多個雷達(dá)站等，逐日逐小時甚至到逐分鐘掃描著中國岀現(xiàn)的各種各樣的大氣數(shù)據(jù)。僅就來 說，每天有85個氣象站、3000多個區(qū)域自動氣象站、7部新一代多普勒天氣雷達(dá)、2個探空雷達(dá)站實時監(jiān)測各類氣象要素。我們每日接收到的天氣預(yù)報信息，就是由如此龐雜的數(shù)據(jù)，再加上歐亞甚至全球的所有 氣象數(shù)據(jù)，通過篩選、運算、分析等一系列復(fù)雜的工序得到的。隨著預(yù)報業(yè)務(wù)的不斷發(fā)展，這些數(shù)據(jù)將

41、更 加精密，數(shù)量也將繼續(xù)增加。隨著各行各業(yè)對氣象信息的需求越來越大，簡單的晴雨氣溫預(yù)報早已無法滿足社會的需要。針對不同領(lǐng)域、不同行業(yè)、不同群體，氣象部門要制作相應(yīng)的氣象產(chǎn)品，例如提供給政府的決策氣象服務(wù)，水利、 電力、交通、農(nóng)業(yè)等部門對氣象也各有需求，各類企業(yè)對氣象信息的需求也不一樣，有的關(guān)注降水，有的 關(guān)注氣溫，有的關(guān)注災(zāi)害，有的關(guān)注風(fēng)速風(fēng)向，而且在不同時間、不同地域，各行各業(yè)對氣象的需求也不 一樣。僅就一般公眾來說，對天氣預(yù)報的需求也不限于是否下雨、溫度如何升降了，他們渴望更精細(xì)、更 準(zhǔn)確、更長時效的預(yù)報，甚至需要氣象部門直接指導(dǎo)他們的生活。氣象產(chǎn)品越來越龐雜，容越來越豐富， 構(gòu)成了氣象大

42、數(shù)據(jù)中的一部分。引爆氣象大數(shù)據(jù)挖掘大數(shù)據(jù)在氣象上的運用量化一切，是數(shù)據(jù)化的核心。長期以來，無論是觀測業(yè)務(wù)、預(yù)報預(yù)測業(yè)務(wù)還是科研工作，氣象工作 者們都一直在做著量化的努力。就氣象數(shù)據(jù)自身來說，我們可以由已知的數(shù)據(jù)模擬得到過去幾千年、幾萬 年甚至更久以前的氣象數(shù)據(jù)，也可以通過這些數(shù)據(jù)去預(yù)測多年后的氣象環(huán)境，當(dāng)然，在這其中還需要量化 其他非氣象因子。大數(shù)據(jù)時代觀點認(rèn)為，對大數(shù)據(jù)進(jìn)行相對簡單的相關(guān)運算永遠(yuǎn)比對小數(shù)據(jù)進(jìn)行復(fù)雜運算 得岀的結(jié)果準(zhǔn)確，在一定程度上來說，氣象部門一直在做這樣的事，例如我們常用到的“遙相關(guān)”、“模 式耦合”等運算方法，正是在尋求氣象要素之間，以及氣象與其它事物之間的相關(guān)關(guān)系。當(dāng)然

43、，一旦我們完成了對大數(shù)據(jù)的相關(guān)關(guān)系分析，我們將不僅僅滿足于知道“是什么”，而會繼續(xù) 更深層次地研究因果關(guān)系，找出背后的“為什么”，這就是氣象科研工作者每日在忙碌的事情了。氣象工作的最終目的是服務(wù)。 氣象部門現(xiàn)有的服務(wù)包括面向政府的決策氣象服務(wù)， 面向社會群體的 公眾氣象服務(wù)，面向水利、電力、交通、農(nóng)業(yè)以及其它部門或企業(yè)的專業(yè)專項服務(wù)，以及針對干旱、暴雨 洪澇、森林火險、冰雹、雷電等災(zāi)害性天氣的氣象災(zāi)害預(yù)報預(yù)警服務(wù)。防災(zāi)減災(zāi)是氣象部門最重要的職責(zé)之一，氣象大數(shù)據(jù)在防災(zāi)減災(zāi)救災(zāi)有可為。 在大數(shù)據(jù)觀點中， 預(yù) 測是核心，而“防災(zāi)”是應(yīng)對災(zāi)害的重中之重，所以氣象預(yù)警信息顯得尤為重要。氣象預(yù)警的確定，需

44、要 非常復(fù)雜的氣象數(shù)據(jù)分析，再綜合地形、地貌等數(shù)據(jù)，以及預(yù)報員自身的經(jīng)驗分析。然而，防災(zāi)減災(zāi)的發(fā) 展方向， 不僅僅是完善預(yù)警系統(tǒng)和提高預(yù)警準(zhǔn)確率， 還要做老百姓看得懂的預(yù)警， 直接指導(dǎo)他們防災(zāi)避災(zāi)， 氣象大數(shù)據(jù)必將發(fā)揮很大的作用。例如，我們可以通過某一個地方的歷史災(zāi)害情況和歷史氣候數(shù)據(jù)，以及 該地的地理信息、森林覆蓋情況、居住人口數(shù)據(jù)等，提前知曉在什么天氣條件下該地會出現(xiàn)洪澇災(zāi)害，雨 要下到多大才會成災(zāi)，下那么大的雨會有多少人受災(zāi)，受災(zāi)人群要如何撤離等等，進(jìn)而指導(dǎo)農(nóng)作物種植、 房屋建造、建筑設(shè)施規(guī)劃選址等等，從源頭防災(zāi)減災(zāi)。氣象部門應(yīng)用氣象大數(shù)據(jù)的實例很多，實際上我們每天都在做著這樣的事情。例

45、如今年 2 月17 日 我省出現(xiàn)的大圍雨雪天氣， 17日夜間至 18日白天，我省普遍出現(xiàn)降雪天氣，有 8個縣出現(xiàn)暴雪， 12 個縣 出現(xiàn)中雪， 52縣出現(xiàn)小雪。全省共有 83 縣 1341鄉(xiāng)鎮(zhèn)降水，市區(qū)也降下中雪。其實早在 2 月中旬初， 我們就已經(jīng)根據(jù)大量的氣象觀測資料以及模式資料數(shù)據(jù)分析，對這次大圍的降雪天氣進(jìn)行密切跟蹤預(yù)報，期間多次向政府及各部門提供決策服務(wù)材料，通過各大媒體發(fā)布預(yù)報和預(yù)警 信息，并針對公路、鐵路、民航、農(nóng)業(yè)等不同領(lǐng)域制作相應(yīng)的氣象服務(wù)產(chǎn)品。正是通過對大量氣象數(shù)據(jù)以 及氣象數(shù)據(jù)與交通、 農(nóng)業(yè)等其他領(lǐng)域的數(shù)據(jù)進(jìn)行分析處理， 才讓我們做到了準(zhǔn)確的預(yù)報和及時到位的服務(wù)， 省領(lǐng)導(dǎo)

46、作出重要批示，充分肯定了各部門之間的通力協(xié)作和聯(lián)動應(yīng)對，將降雪對交通運輸?shù)挠绊懡档搅俗?低。從大數(shù)據(jù)角度來看，這也是對各行各業(yè)之間的數(shù)據(jù)共享做出的肯定。云計算搭載氣象大數(shù)據(jù)助力防災(zāi)減災(zāi) 氣象數(shù)據(jù)的大量搜集、處理和分析，對硬、軟件的要求更為苛刻，傳統(tǒng)的處理設(shè)備難以滿足大數(shù)據(jù) 處理的功能和性能要求。大數(shù)據(jù)與云計算是一個問題的兩面，一個是問題，一個是解決問題的方法。云計算是大數(shù)據(jù)時代的基礎(chǔ)。當(dāng)越來越多的需求出現(xiàn)時，向虛擬的“云端”提出申請，“云端”為 該需求迅速組織計算資源，而在計算結(jié)束并將結(jié)果反饋后，“云端”又可將這些臨時組織起來的資源快速 釋放。這樣既提高了資源利用率，也使得我們不必為了復(fù)雜的運

47、算一味追求昂貴的超級計算機(jī)。云計算使得大數(shù)據(jù)處理更方便、更快速、更省時省力，這在氣象防災(zāi)減災(zāi)中意義重大。要提高預(yù)報 預(yù)警準(zhǔn)確率、科學(xué)評估災(zāi)害，必須要納入除氣象數(shù)據(jù)以外的大量其他各行各業(yè)的數(shù)據(jù)，傳統(tǒng)的設(shè)備無法快 速處理，這無疑是和生命財產(chǎn)安全搶奪時間，而云計算可以很好地規(guī)避這個問題。打破“數(shù)據(jù)壁壘”氣象大數(shù)據(jù)將大有作為 總的說來，氣象大數(shù)據(jù)也就是氣象數(shù)據(jù)加上行業(yè)數(shù)據(jù)分析得出事情變化規(guī)律和對未來的一些預(yù)測， 也就是說， 要在不同數(shù)據(jù)之間確立一定的規(guī)則， 對未來進(jìn)行預(yù)測。 氣象數(shù)據(jù)能做這樣的事情是由于其客觀、 穩(wěn)定、量大，而且氣象數(shù)據(jù)和各行各業(yè)的相關(guān)性非常高。氣象與經(jīng)濟(jì)發(fā)展和社會生活息息相關(guān)，因此，

48、發(fā) 展氣象大數(shù)據(jù)大有作為，一定能為國家、為社會創(chuàng)造更多的財富。氣象部門是高科技部門，積累了大量的數(shù)據(jù)，無疑這些數(shù)據(jù)都是寶貴的資源和財富，要充分挖掘這些資源的價值，利用好這些資源，與政府部門、企業(yè)、社會組織等緊密合作，才能提供更貼近民生、貼近 生產(chǎn)、貼近實際，并且更為準(zhǔn)確、更個性化的氣象服務(wù)產(chǎn)品。氣象大數(shù)據(jù)對創(chuàng)造和增長社會財富有重要意 義，比如說能源，可以通過分析電力負(fù)荷歷史，加上氣象數(shù)據(jù)進(jìn)行用電量估算；比如農(nóng)業(yè)，可以通過某一 地的農(nóng)耕歷史加上氣候信息就可以進(jìn)行農(nóng)作物結(jié)構(gòu)調(diào)整指導(dǎo)；還有交通，航班準(zhǔn)點率歷史加上機(jī)場歷史天 氣特征，就可以得到航班延誤預(yù)測；再有公共衛(wèi)生，通過門診量和藥品銷量加上氣象歷

49、史就可以推測發(fā)病 率趨勢；在飲品方面，通過銷量和氣象要素關(guān)聯(lián)就可以掌握銷量變化。然而，在實現(xiàn)氣象大數(shù)據(jù)的過程中，“數(shù)據(jù)壁壘”是一個實實在在的障礙。我們需要建立雙方及多方的信息基礎(chǔ)環(huán)境進(jìn)行數(shù)據(jù)融合，對各個行業(yè)的數(shù)據(jù)都需要融合深度分析。所以，用好氣象大數(shù)據(jù)，必須 打破各行業(yè)之間的“數(shù)據(jù)壁壘”，真正做到數(shù)據(jù)共享，才能更實現(xiàn)氣象大數(shù)據(jù)的價值，從而更大程度減輕 災(zāi)害損失，為社會創(chuàng)造更多的財富。 （文：蕾/指導(dǎo)：湯筑強(qiáng)）大數(shù)據(jù)時代：氣象應(yīng)用與時俱進(jìn)標(biāo)簽：大數(shù)據(jù) 2014-05-15 14:46當(dāng)前，信息技術(shù)的創(chuàng)新正在改變著我們熟悉的生活和工作方式。在大數(shù)據(jù)時代，與氣象事業(yè)發(fā)展密切相關(guān)的氣象數(shù)據(jù)再次成為焦點

50、。氣象的大數(shù)據(jù)時代真的到來了嗎？近日， 記者就上述問題采訪了國家氣象信息中心副總工程師文海、中國科學(xué)院自動化研究所研究員文生。大數(shù)據(jù)到底有多 大”?IBM研究表明，在整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年產(chǎn)生的。而到了 2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。根據(jù)國際數(shù)據(jù)公司IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番。數(shù)據(jù)量暴增的速度令人瞠目結(jié)舌，我們已進(jìn)入大數(shù)據(jù)時代”。文生說： 事實上，智能終端的大量應(yīng)用，如聊微信、刷微博、手機(jī)支付，讓越來越多的用戶貢獻(xiàn)了越來越多的數(shù)據(jù)。記者了解到，就數(shù)據(jù)量而言，中國的大數(shù)據(jù)主要有以下幾類：互聯(lián)網(wǎng)，大約有2EB的

51、數(shù)據(jù)。電信、金融、保險、電力、石化系統(tǒng)每個系統(tǒng)大致都擁有10PB以上的數(shù)據(jù)；在公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域，一個中等規(guī)模城市每年大約產(chǎn)生300PB。在商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域，數(shù)據(jù)量尚處于積累期，體量不大，多的達(dá)到PB級別，基本約在數(shù)十TB到近百TB級別。對于氣象數(shù)據(jù)來說，氣象部門需要永久保存的數(shù)據(jù)目前約有4PB5PB,年增量約1PB。'文海介紹，相對而言，氣象數(shù)據(jù)較上述數(shù)據(jù)大戶至少低3個數(shù)量級。氣象數(shù)據(jù)是大數(shù)據(jù)嗎？”文生介紹。大數(shù)據(jù)就是全體數(shù)據(jù)，是混雜數(shù)據(jù)，不必追究數(shù)據(jù)的來源。目前，對大數(shù)據(jù)的特征， 科學(xué)界已達(dá)成了共識， 就是大體積、 多樣性、 高速度和價值大。

52、 “體積巨大是大數(shù)據(jù)的最根本的特征。一般而言，大數(shù)據(jù)的起始計量單位至少是PB、 EB 或ZB 級別。 ”文海介紹。類型和來源的渠道繁多是大數(shù)據(jù)的第二個特征。此外，生成速度快、 處理時效高、價值巨大也是大數(shù)據(jù)的特征?！霸隗w積上，氣象數(shù)據(jù)剛剛達(dá)到大數(shù)據(jù)的準(zhǔn)入門檻。 ”文海分析道：目前，在所有氣象資 料中，地面觀測、 氣象衛(wèi)星遙感、 天氣雷達(dá)和數(shù)值預(yù)報產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上，堪稱 “四大金剛 ”。氣象數(shù)據(jù)來源種類繁多， 僅氣候工作特用資料就包括冰芯、 花粉、樹木年輪、 洋流鹽度、 地表植被等觀測資料，已達(dá)數(shù)十種。文海說： “這些數(shù)據(jù)雖然種類多，但都是只用于氣象領(lǐng) 域的科學(xué)數(shù)據(jù)，來源較為單

53、一。 ”眾所周知，基本的氣象數(shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。 “大數(shù)據(jù)應(yīng)用 ”與目前的氣象服務(wù)有所不同，前者是氣象數(shù)據(jù)的 “深度應(yīng)用 ”和 “增值應(yīng)用 ”，后 者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會推廣應(yīng)用。“不宜將氣象預(yù)報產(chǎn)品的社會化推廣應(yīng)用簡單地冠以 氣象大數(shù)據(jù)廣泛應(yīng)用 '的名稱，因為 產(chǎn)品應(yīng)用與氣象數(shù)據(jù)的 大小'無關(guān)，如此冠名將易導(dǎo)致概念的混亂和氣象 大數(shù)據(jù) '的簡單化?！?文海表示。氣象數(shù)據(jù)要如何發(fā)展？大數(shù)據(jù)時代已經(jīng)到來， 氣象數(shù)據(jù)如何發(fā)展是氣象工作者關(guān)注的重點。 “目前，社會上的 大 數(shù)據(jù)應(yīng)用 '大多局限在數(shù)據(jù)基本價值的深度應(yīng)用挖掘方面

54、。 ”文生說。除了大家知道的天氣預(yù) 報等， 現(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來越強(qiáng)， 面向政府提供決策服務(wù)， 面向公眾提供氣 象預(yù)報預(yù)警服務(wù)， 面向社會發(fā)展， 應(yīng)對氣候發(fā)展節(jié)能減排。 這些決策信息怎么來依賴于我們 對氣象數(shù)據(jù)的處理。采用統(tǒng)計分析方法對海量數(shù)據(jù)進(jìn)行分析處理， 發(fā)現(xiàn)其中某些特定要素之間的關(guān)系， 這是 到目前為止，所有 “大數(shù)據(jù)應(yīng)用 ”成功案例的共同特征，即便 “大機(jī)器學(xué)習(xí) ”等目前備受推崇的 大數(shù)據(jù)時代新事物也無例外。 “大數(shù)據(jù)的核心就是預(yù)測 ”，這是大數(shù)據(jù)時代的作者舍恩伯 格的名言。 “如果這一斷言是準(zhǔn)確的話， 那么氣象數(shù)據(jù)的 大數(shù)據(jù)應(yīng)用 '時代也許還沒有到來。 ” 文海分

55、析道。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)， 無法通過運用簡單的統(tǒng)計分析方法來對其進(jìn)行準(zhǔn) 確的預(yù)報和預(yù)測。 人們常說的南美叢林里一只蝴蝶扇動幾下翅膀， 會在幾周后引發(fā)北美的一 場暴風(fēng)雪這一現(xiàn)象， 形象地描繪了氣象科學(xué)的復(fù)雜性。 運用統(tǒng)計分析方法進(jìn)行天氣預(yù)報在數(shù) 十年前便已被氣象科學(xué)界否決了 也就是說， 目前經(jīng)典的大數(shù)據(jù)應(yīng)用方法并不適用于天氣 預(yù)報業(yè)務(wù)。 “既然預(yù)測是大數(shù)據(jù)的核心， 那么對于天氣預(yù)報這一氣象領(lǐng)域核心 預(yù)測 '業(yè)務(wù)而言， 其大數(shù)據(jù)應(yīng)用 '除了統(tǒng)計分析方法外，還有什么別的方法嗎？ ”文海說道。氣象數(shù)據(jù)是整個氣象行業(yè)的基礎(chǔ)資源， 它的價值在氣象行業(yè)部已經(jīng)和正在被深入挖掘著。

56、 對于全社會而言，氣象數(shù)據(jù)也是極其珍貴的信息資源。 我們期待著氣象數(shù)據(jù)在跨行業(yè)綜合應(yīng) 用這一增值應(yīng)用”價值挖掘過程中煥發(fā)出的新的光芒。觀察一下國外氣象同行們的反應(yīng)不無裨益 尤其 當(dāng)你了解到這些國外（尤其是發(fā)達(dá)國家）氣象同 你的頭腦也許會冷靜下來，并產(chǎn)生如下疑問一一面對社會上沸沸揚揚的大數(shù)據(jù)風(fēng)潮， 是身處大數(shù)據(jù)風(fēng)潮發(fā)源地的美國氣象同行。 行對于大數(shù)據(jù)風(fēng)潮近乎一致的冷漠反應(yīng)時, 氣象大數(shù)據(jù)時代真的到來了嗎？來源：中國氣象報權(quán)限：公開來自：labs聲明：本文僅代表作者個人觀點。其原創(chuàng)性及文中表達(dá)的意見、判斷、數(shù)據(jù)、觀點和述文 字等容均與中國移動研究院無關(guān)。移動Labs博客致力于為ICT領(lǐng)域的研究者及

57、從業(yè)者提供技術(shù)和業(yè)務(wù)交流的網(wǎng)絡(luò)平臺，對本文中全部或部分容的真實性、完整性不作任何保證或承諾, 僅供讀者參考交流。大數(shù)據(jù)如何應(yīng)對成長的 煩惱"下一篇>>大數(shù)據(jù)如何應(yīng)對成長的“煩惱"？標(biāo)簽：大數(shù)據(jù)2014-05-23 11:25今天，已經(jīng)幾乎沒有人會再懷疑大數(shù)據(jù)的價值，人們更加關(guān)心的是如何真正將大數(shù)據(jù)推向應(yīng)用，真正發(fā)揮其價值。但是，盡管業(yè)界不乏探索，但客觀來看大數(shù)據(jù)的整體發(fā)展目前尚 處于初級階段。換句話說，對于大數(shù)據(jù)理念的認(rèn)可并不代表就能利用好大數(shù)據(jù)。尤其是在中國，盡管大數(shù)據(jù)擁有良好的產(chǎn)業(yè)基礎(chǔ)和發(fā)展前景，但數(shù)據(jù)資源的開放程度較低、數(shù)據(jù)資產(chǎn)的保護(hù)等現(xiàn)實問題都是當(dāng)前面臨的主要挑戰(zhàn)。如何應(yīng)對這些挑戰(zhàn)，驅(qū)動大數(shù)據(jù)快速走向普遍應(yīng)用？近日工信部電信研究院發(fā)布的大數(shù)據(jù)白皮書，針對上述問題給出了獨到的解答。有效的應(yīng)用模式還未找到當(dāng)前，大數(shù)據(jù)還未形成普遍應(yīng)用的局面。究其原因，在于大多數(shù)企業(yè)，特別是傳統(tǒng)領(lǐng)域的企業(yè)，還未找到有效的應(yīng)用模式。理念的應(yīng)用快于數(shù)據(jù)的應(yīng)用數(shù)據(jù)就是資產(chǎn)。這一輪大數(shù)據(jù)浪潮，使得大數(shù)據(jù)理念迅速普及。盡管很多數(shù)據(jù)尚沒有找 到合適的用途，但很多公司已經(jīng)將其作為資產(chǎn)，對其數(shù)據(jù)進(jìn)行規(guī)劃、存儲，或自行開發(fā)，或 積極尋找買家，或?qū)ふ液献髡?。電信運營商最有可能成為典型的數(shù)據(jù)資產(chǎn)運營者