大數(shù)據(jù)--數(shù)據(jù)科學和數(shù)據(jù)產(chǎn)業(yè)ppt課件

.,大數(shù)據(jù)、數(shù)據(jù)科學和數(shù)據(jù)產(chǎn)業(yè),復旦大學趙衛(wèi)東博士,wdzhao,.,議程,.,大數(shù)據(jù)應用,大數(shù)據(jù)的主流應用經(jīng)典案例,公共安全領域,車牌被摘除，識別困難大卡口視頻、圖像、標簽數(shù)據(jù)總量驚人，大海撈針識別實時性要求極高,.,大數(shù)據(jù)應用,大數(shù)據(jù)的應用領域（1）,匯聚融合醫(yī)療、環(huán)境、氣象、藥品和社交網(wǎng)絡數(shù)據(jù)等資源庫，開展相關指標體系及模型的研究，提供疾病就醫(yī)導航、健康自我檢查、臨床診療精細決策、醫(yī)療資源配置、流行病跟蹤與分析、疫情與突發(fā)事件監(jiān)測及處置等服務。,醫(yī)療衛(wèi)生,匯聚融合全市道路交通、公共交通、對外交通以及相關領域30TB以上的大數(shù)據(jù)資源，提供跨行業(yè)交通大數(shù)據(jù)挖掘分析、短期交通狀況預測等功能，實現(xiàn)支撐政府快速交通部署、交通行業(yè)管理和智慧出行服務；研發(fā)覆蓋全國機場的流量管理系統(tǒng)（CDM）,實現(xiàn)機場協(xié)同決策。,交通出行,.,大數(shù)據(jù)應用,大數(shù)據(jù)的應用領域（2）,匯聚融合公共安全領域人口、視頻、人臉、指紋、情報等數(shù)據(jù)，研發(fā)圖像與視頻智能解析、結(jié)構(gòu)化存儲和智能搜索技術，面向圖像智能處理的大數(shù)據(jù)一體機，提升快速應急響應、突發(fā)事件監(jiān)測處理等能力。,公共安全,匯聚融合A股、B股、港股和美股近百萬筆/秒的交易數(shù)據(jù)等，近2萬家專業(yè)媒體100萬條/天的實時資訊，實時跟蹤微博、微信等互聯(lián)網(wǎng)輿情數(shù)據(jù)，提供更快、更全、更準的風險預警、預測和個性化金融信息服務。,金融證券,.,大數(shù)據(jù)應用,大數(shù)據(jù)的應用領域（3）,匯聚融合互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)，用戶行為交互數(shù)據(jù)，互聯(lián)網(wǎng)網(wǎng)絡流量數(shù)據(jù)，研究語義理解、人群識別、智能推薦等智能分析技術，構(gòu)建互聯(lián)網(wǎng)領域知識庫和用戶行為模型；開發(fā)面向互聯(lián)網(wǎng)營銷的大數(shù)據(jù)管理、分析、決策與服務等支撐平臺，提供互聯(lián)網(wǎng)營銷服務，促進企業(yè)從傳統(tǒng)營銷模式向互聯(lián)網(wǎng)營銷模式轉(zhuǎn)型。,互聯(lián)網(wǎng)營銷,匯聚城市各類道路、橋梁、隧道、商業(yè)樓宇等監(jiān)測數(shù)據(jù)，為公共設施規(guī)劃、養(yǎng)護決策提供依據(jù)、實現(xiàn)對公共設施的實時監(jiān)測。,公共設施,.,大數(shù)據(jù)應用,大數(shù)據(jù)的應用領域（4）,匯集各類農(nóng)業(yè)數(shù)據(jù)，建立農(nóng)產(chǎn)品供求信息實時預測模型，設計災害預警與應急處置預案，為保障農(nóng)產(chǎn)品的數(shù)量安全提供宏觀決策依據(jù)，構(gòu)建農(nóng)產(chǎn)品質(zhì)量追溯機制，提升農(nóng)產(chǎn)品質(zhì)量監(jiān)管能力；實時追蹤農(nóng)業(yè)三資數(shù)據(jù)，打造農(nóng)村民生數(shù)據(jù)平臺，為資源合理調(diào)配、資產(chǎn)安全監(jiān)管提供可靠的數(shù)據(jù)支撐,農(nóng)業(yè),整合已有的建模數(shù)據(jù)，建立仿真工廠，對已有的生產(chǎn)實績數(shù)據(jù)進行生產(chǎn)仿真，模擬工廠運行，為工廠實際建設提供決策依據(jù)。收集產(chǎn)品生產(chǎn)過程各環(huán)節(jié)的實時質(zhì)量數(shù)據(jù)，實現(xiàn)敏捷的一體化質(zhì)量監(jiān)測和管控，并支持產(chǎn)品質(zhì)量追溯。,制造,.,大數(shù)據(jù)應用,大數(shù)據(jù)的應用領域（5）,收集發(fā)電廠實時運行數(shù)據(jù)，建立發(fā)電廠數(shù)字仿真模型，為提高生產(chǎn)安全性、提高發(fā)電效率提供決策依據(jù)。實時收集電網(wǎng)電力資產(chǎn)狀態(tài)數(shù)據(jù)，實現(xiàn)電力資產(chǎn)在線狀態(tài)檢測和電網(wǎng)運行監(jiān)控，主動安全預警和調(diào)度、維保，保障電網(wǎng)可靠高效運行，最終實現(xiàn)堅強智能電網(wǎng)；快速收集用電數(shù)據(jù)，為需求響應、負荷預測、調(diào)度優(yōu)化、投資決策提供支持。,電力,匯聚服裝、餐飲、住宿、出行等各類數(shù)字化生活和消費服務信息，結(jié)合流行時尚、行業(yè)發(fā)展指數(shù)、用戶消費習慣、地理位置等信息的分析挖掘，提供面向消費者的實時、在線、互動的個性化衣食住行生活信息,數(shù)字生活,.,議程,.,數(shù)據(jù)科學,數(shù)據(jù)學（Dataology）和數(shù)據(jù)科學（DataScience）是關于數(shù)據(jù)的科學，定義為研究探索Cyberspace中數(shù)據(jù)界奧秘的理論、方法和技術。主要有兩個內(nèi)涵：一個是研究數(shù)據(jù)本身；另一個是為自然科學和社會科學研究提供一種新方法，稱為科學研究的數(shù)據(jù)方法。,數(shù)據(jù)學和數(shù)據(jù)科學,.,數(shù)據(jù)科學,數(shù)據(jù)科學在20世紀60年代已被提出，當時并未獲得學術界的注意和認可。1974年彼得.諾爾出版了計算機方法的簡明調(diào)查中將數(shù)據(jù)科學定義為：“處理數(shù)據(jù)的科學，一旦數(shù)據(jù)與其代表事物的關系被建立起來，將為其他領域與科學提供借鑒”。1996年在日本召開的“數(shù)據(jù)科學、分類和相關方法”，已經(jīng)將數(shù)據(jù)科學作為會議的主題詞。2001年美國統(tǒng)計學教授威廉.s.克利夫蘭發(fā)表了數(shù)據(jù)科學：拓展統(tǒng)計學的技術領域的行動計劃，因此有人認為是克利夫蘭首次將數(shù)據(jù)科學作為一個單獨的學科，并把數(shù)據(jù)科學定義為統(tǒng)計學領域擴展到以數(shù)據(jù)作為現(xiàn)金計算對象相結(jié)合的部分，奠定了數(shù)據(jù)科學的理論基礎。,發(fā)展歷史,.,數(shù)據(jù)科學,在CCF大數(shù)據(jù)專家委員會于2013年12月發(fā)布的2014年大數(shù)據(jù)發(fā)展趨勢預測報告中都預測數(shù)據(jù)科學將作為一門新的交叉學科逐步興起。甚至類似波色子的發(fā)現(xiàn)，數(shù)學、生物、物理、化學、材料等領域?qū)⒃谝欢ǔ潭壬弦蕾嚁?shù)據(jù)科學才能取得突破性進展。,目標,.,數(shù)據(jù)科學,內(nèi)涵,數(shù)據(jù)科學作為一項新的科學，還有很多根本問題沒有解決，甚至很多問題還沒有被提出。國家自然科學基金委員會在2014年組織的未來五年的“十三五”規(guī)劃中，特別嘗試設立了“數(shù)據(jù)與計算科學”這一專門面向大數(shù)據(jù)的學科方向，還具體定義該方向是研究數(shù)據(jù)的感知、收集、傳輸、管理、分析與應用的交叉性學科，旨在揭示數(shù)據(jù)的內(nèi)在規(guī)律，探索數(shù)據(jù)計算理論，實現(xiàn)從數(shù)據(jù)到知識的轉(zhuǎn)化，為大數(shù)據(jù)的科學計算以及在重要應用領域的預測、決策與應用提供基礎。,.,數(shù)據(jù)科學,大數(shù)據(jù)和數(shù)據(jù)科學,數(shù)據(jù)科學基礎問題體系本身就是大數(shù)據(jù)領域的研究熱點。數(shù)據(jù)科學將帶動多學科融合。數(shù)據(jù)科學是作為一個與大數(shù)據(jù)相關的新興學科出現(xiàn)的，在大數(shù)據(jù)處理的理論研究方面，新型的概率和統(tǒng)計模型將是主要的研究工具。,谷歌無人駕駛汽車,.,數(shù)據(jù)科學,科學研究的第四范式,.,數(shù)據(jù)科學,從經(jīng)驗思維到實證思維,大多數(shù)人以經(jīng)驗思維為主，判斷多而論證少?；跀?shù)據(jù)的實證更少。憑經(jīng)驗得出的判斷往往難以證明。將經(jīng)驗思維轉(zhuǎn)變?yōu)閷嵶C思維是通向數(shù)據(jù)科學時代，通向數(shù)據(jù)驅(qū)動的管理決策的關鍵步驟。,.,數(shù)據(jù)科學,機器翻譯,自然語言的機器翻譯是人工智能研究的一個重要題目。語言學家不辭勞苦地編撰大型詞典和與語法、句法、語義學有關的規(guī)則，數(shù)十萬詞匯構(gòu)成詞庫，語法規(guī)則高達數(shù)萬條，考慮各種情景、語境，窮舉式的做法根本達不到最基本的翻譯質(zhì)量。1960年代后科學家發(fā)現(xiàn)以“模擬人腦”的方式來定義人工智能走入一條死胡同。采用匹配法，同時結(jié)合機器學習，依賴于海量的數(shù)據(jù)及其相關相關統(tǒng)計信息，不管語法和規(guī)則，將原文與互聯(lián)網(wǎng)上的翻譯數(shù)據(jù)對比，找到最相近、引用最頻繁的翻譯結(jié)果做為輸出。,計算機“深藍”,.,議程,.,數(shù)據(jù)產(chǎn)業(yè),大數(shù)據(jù)產(chǎn)業(yè),大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)之后的又一個具有國家戰(zhàn)略意義的新興產(chǎn)業(yè)。如今，大數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務職能領域，逐漸成為重要的生產(chǎn)因素。大數(shù)據(jù)產(chǎn)業(yè)鏈的形成：大數(shù)據(jù)產(chǎn)業(yè)包括與大數(shù)據(jù)的生產(chǎn)與集聚、組織與管理、分析與發(fā)現(xiàn)、應用與服務相關的所有活動。數(shù)據(jù)產(chǎn)業(yè)鏈按照數(shù)據(jù)價值實現(xiàn)流程，包括生產(chǎn)與集聚層、組織與管理層、分析與發(fā)現(xiàn)層、應用與服務層四大層級，每一層都包含相應的IT技術設施、軟件與信息服務。,.,數(shù)據(jù)產(chǎn)業(yè),大數(shù)據(jù)的價值產(chǎn)生,.,數(shù)據(jù)產(chǎn)業(yè),大數(shù)據(jù)產(chǎn)業(yè)鏈,根據(jù)數(shù)據(jù)從產(chǎn)生到應用，繼而產(chǎn)生新數(shù)據(jù)的過程，大數(shù)據(jù)產(chǎn)業(yè)形成了一個環(huán)形產(chǎn)業(yè)鏈。從數(shù)據(jù)產(chǎn)生到應用，參與企業(yè)逐漸增多，數(shù)據(jù)價值逐級增加。環(huán)形產(chǎn)業(yè)鏈主要包括以下幾個方面：以云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新一代信息技術而不斷生產(chǎn)交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)的大數(shù)據(jù)生產(chǎn)活動；以搭建大數(shù)據(jù)平臺、支撐大數(shù)據(jù)組織與管理的服務器、存儲設備、網(wǎng)絡設備、數(shù)據(jù)中心附屬設備等IT基礎設施硬件的銷售與租賃活動；大數(shù)據(jù)平臺的運維與管理服務，系統(tǒng)集成、數(shù)據(jù)安全、云存儲等解決方案與相關咨詢服務；支撐數(shù)據(jù)