大數(shù)據(jù)時(shí)代信息化發(fā)展趨勢(shì)課件

“大數(shù)據(jù)時(shí)代”信息化發(fā)展趨勢(shì)

楊學(xué)山

二o一三年五月十日2022/10/11“大數(shù)據(jù)時(shí)代”信息化發(fā)展趨勢(shì)

楊學(xué)山

二o主要內(nèi)容

大數(shù)據(jù)的由來(lái)和發(fā)展

信息技術(shù)為大數(shù)據(jù)開(kāi)辟了前進(jìn)道路

大數(shù)據(jù)是走向信息時(shí)代的奠基石

大數(shù)據(jù)發(fā)展的關(guān)鍵環(huán)節(jié)電子政務(wù)發(fā)展中的大數(shù)據(jù)主要內(nèi)容大數(shù)據(jù)的由來(lái)和發(fā)展一、大數(shù)據(jù)的由來(lái)和發(fā)展一、大數(shù)據(jù)的由來(lái)和發(fā)展大數(shù)據(jù)是一個(gè)自然形成的發(fā)展中、階段性概念

本報(bào)告所稱大數(shù)據(jù)是指具有數(shù)量巨大、多類型、不同結(jié)構(gòu)化程度、不均衡價(jià)值密度、不一致動(dòng)態(tài)特征、不同應(yīng)用處理特征等特點(diǎn)信息集合。

本報(bào)告所稱大數(shù)據(jù)系統(tǒng)是指一個(gè)圍繞特定目的而形成的數(shù)據(jù)及其處理系統(tǒng)。并不是每一個(gè)大數(shù)據(jù)系統(tǒng)的信息集合都具有上述全部特征，一種或兩種類型，數(shù)量巨大，也是大數(shù)據(jù)。在計(jì)算機(jī)處理能力不斷發(fā)展、信息系統(tǒng)處理的信息日益增長(zhǎng)，特別是互聯(lián)網(wǎng)（包括移動(dòng)互聯(lián)網(wǎng)）的發(fā)展、傳感技術(shù)的廣泛應(yīng)用，大數(shù)據(jù)概念應(yīng)運(yùn)而生在這里，大數(shù)據(jù)和信息、信息資源是同義詞大數(shù)據(jù)是一個(gè)自然形成的發(fā)展中、階段性概念為什么叫大數(shù)據(jù)：一是數(shù)量大YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍GB:2的30次方，MB的1000倍絕大部分應(yīng)用在這兩個(gè)數(shù)量級(jí)為什么叫大數(shù)據(jù)：一是數(shù)量大YB:2的80次方，ZB的1000我們每個(gè)人都在制造和使用信息每秒發(fā)出290萬(wàn)條短信每天Twitter上發(fā)布5000萬(wàn)條微博每天Google處理的數(shù)據(jù)24PB2012年11月11日第一秒，用戶向阿里網(wǎng)購(gòu)提出1千萬(wàn)請(qǐng)求全球新增網(wǎng)頁(yè)571個(gè)過(guò)去3年數(shù)據(jù)量比以往數(shù)萬(wàn)年還多2020年數(shù)據(jù)產(chǎn)出量將比2009年的44倍還多2006年全球生成、復(fù)制的數(shù)字化信息量大約16.1萬(wàn)PB，當(dāng)年的信息產(chǎn)生量約是歷史上圖書(shū)信息總量的3000倍我們每個(gè)人都在制造和使用信息每秒發(fā)出290萬(wàn)條短信過(guò)去3年數(shù)二是類型多結(jié)構(gòu)特征：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化擁有特征：私有、共有、公開(kāi)形態(tài)特征：語(yǔ)音、文本、數(shù)值、圖像、視頻為什么叫大數(shù)據(jù)：二是類型多二是類型多結(jié)構(gòu)特征：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化擁有特征：私有三是更接近把握信息資源的本質(zhì)大數(shù)據(jù)真正開(kāi)始把信息變成資源有的文章將大數(shù)據(jù)看作石油，大數(shù)據(jù)研究與自然資源利用發(fā)現(xiàn)、開(kāi)采、提煉存在一定的相似之處研究大數(shù)據(jù)，首先要研究各種有用的信息在何處，就是找礦其次是把滿足特定需求的信息收集過(guò)來(lái)，就是開(kāi)礦第三是把收集的信息按應(yīng)用需求進(jìn)行結(jié)構(gòu)化處理，就是提煉，如同石油必須經(jīng)過(guò)煉化才能變成消費(fèi)用的汽油、柴油或作為原料用的聚乙烯、聚丙烯第四是將這樣的信息與具體的應(yīng)用結(jié)合，使之發(fā)揮作用，這就是基于大數(shù)據(jù)的應(yīng)用系統(tǒng)，或稱之為圍繞應(yīng)用的大數(shù)據(jù)管理系統(tǒng)，如同汽油通過(guò)加油站加到消費(fèi)者的汽車(chē)內(nèi)，石化原料變成衣服、設(shè)備或其部件。三是更接近把握信息資源的本質(zhì)大數(shù)據(jù)真正開(kāi)始把信息變成資源大數(shù)據(jù)是一個(gè)階段性的概念大數(shù)據(jù)是信息和信息資源開(kāi)發(fā)利用這個(gè)穩(wěn)定概念在今天這個(gè)特定時(shí)期的代表名詞。關(guān)于大數(shù)據(jù)所有作用和意義的期待，都包含在1970年哈佛大學(xué)關(guān)于資源三角形的論述中。這個(gè)論述簡(jiǎn)而言之就是材料、能源、信息是推動(dòng)社會(huì)發(fā)展的三種基本資源。美國(guó)人相信它40多年了，并為之持續(xù)不斷地做了大量的工作，也是美國(guó)在IT領(lǐng)域，包括信息資源領(lǐng)域，一家獨(dú)大的一個(gè)原因。材料信息能源管理大數(shù)據(jù)是一個(gè)階段性的概念大數(shù)據(jù)是信息和信息二、信息技術(shù)為大數(shù)據(jù)開(kāi)辟了前進(jìn)道路信息技術(shù)進(jìn)展是大數(shù)據(jù)產(chǎn)生和發(fā)展的主要?jiǎng)恿鞲屑夹g(shù)：大數(shù)據(jù)的主要來(lái)源存儲(chǔ)技術(shù)：不僅數(shù)據(jù)量大，而且要有信息存儲(chǔ)模式傳輸技術(shù)：不僅提供傳輸能力，還是數(shù)據(jù)的創(chuàng)造者處理技術(shù)：不僅是處理能力，更是處理方法（結(jié)構(gòu)化語(yǔ)義處理）

二、信息技術(shù)為大數(shù)據(jù)開(kāi)辟了前進(jìn)道路信息技術(shù)進(jìn)展是大數(shù)據(jù)產(chǎn)生和11信息技術(shù)繼續(xù)快速發(fā)展，技術(shù)

體系更趨完善1、處理、傳輸、存儲(chǔ)技術(shù)延續(xù)高速發(fā)展2、感知、顯示、獲取技術(shù)駛?cè)肟燔?chē)道3、內(nèi)容處理、智能系統(tǒng)技術(shù)不斷成熟4、技術(shù)體系不斷完善11信息技術(shù)繼續(xù)快速發(fā)展，技術(shù)

體系更趨完善1、處理、傳輸、傳輸技術(shù)：走向?qū)拵Х涸谄占?022/10/11

傳輸人與人物與人物與物人與物走向G級(jí)從個(gè)位數(shù)到T級(jí)P級(jí)甚至更高超高速泛在新的體系架構(gòu)更加深入的融合：三網(wǎng)、固移，工作網(wǎng)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)當(dāng)前的關(guān)鍵技術(shù)：端到端G級(jí)、下一代互聯(lián)網(wǎng)、新技術(shù)條件下的城域網(wǎng)和骨干網(wǎng)體系架構(gòu)，……端到端數(shù)百兆到吉比特，4個(gè)以上數(shù)量級(jí)的匯接帶寬，3D及虛擬現(xiàn)實(shí)等傳輸要求，許多場(chǎng)景下并發(fā)數(shù)量急劇增加傳輸技術(shù)：走向?qū)拵Х涸谄占?022/10/10傳處理存儲(chǔ)技術(shù)：20年內(nèi)提升3個(gè)數(shù)量級(jí)2022/10/11處理/存儲(chǔ)集成度，從當(dāng)前的32/28nm，快步前進(jìn)到14/16nm及以下低功耗、嵌入式、可靠性、小型、可移動(dòng)高性能，超級(jí)計(jì)算機(jī)、匯聚計(jì)算資源能力高性能，一些重要的應(yīng)用，需要繼續(xù)沿摩爾定律提升3個(gè)以上數(shù)量級(jí)

處理能力的集成，更加復(fù)雜的存儲(chǔ)與處理系統(tǒng)更加復(fù)雜和智能化的應(yīng)用，需要尋找新的技術(shù)處理存儲(chǔ)技術(shù)：20年內(nèi)提升3個(gè)數(shù)量級(jí)2022/10/10處理感知獲取技術(shù)：

一組需求驅(qū)動(dòng)快速發(fā)展的技術(shù)2022/10/11感知/獲取RFID生物/光磁轉(zhuǎn)換聲音/文字轉(zhuǎn)換遙感技術(shù)類型聲納熱、壓、聲構(gòu)成、損傷、關(guān)系空間、地球、生物、生命、社會(huì)等全方位、細(xì)粒度的感知各類感知遠(yuǎn)、細(xì)、清的要求機(jī)器閱讀及其他語(yǔ)義信息的獲取感知什么感知獲取技術(shù)：

一組需求驅(qū)動(dòng)快速發(fā)展的技術(shù)2022/10/1顯示反應(yīng)技術(shù)：走向智能2022/10/11顯示/反應(yīng)生物/光磁轉(zhuǎn)換聲音/文字轉(zhuǎn)換表情語(yǔ)言3D及多維控制技術(shù)機(jī)器人文字與感知、網(wǎng)絡(luò)能力并行的反應(yīng)、行動(dòng)能力，在不同空間范圍信息系統(tǒng)的物理行為無(wú)需人來(lái)執(zhí)行虛擬現(xiàn)實(shí)虛實(shí)結(jié)合的現(xiàn)實(shí)三維空間精確行為清晰色彩輕便節(jié)能適應(yīng)可靠打印機(jī)、復(fù)印機(jī)、傳真機(jī)、掃描儀顯示反應(yīng)技術(shù)：走向智能2022/10/10顯示/反應(yīng)生物/光軟件和系統(tǒng)集成：承載信息社會(huì)運(yùn)行控制2022/10/11軟件和系統(tǒng)集成建模技術(shù)、軟件工程技術(shù)、自動(dòng)編程技術(shù)、驗(yàn)證技術(shù)設(shè)備和技術(shù)的多樣復(fù)雜、非結(jié)構(gòu)化事務(wù)和信息的處理、2的50-100次方級(jí)大數(shù)據(jù)的組織與利用、跨領(lǐng)域且物理世界相對(duì)松散的事務(wù)處理、設(shè)備（系統(tǒng)）控制與事務(wù)處理的融合，復(fù)雜系統(tǒng)、不同類型對(duì)象的建模重用、測(cè)試、可靠性、安全性、生產(chǎn)率、適應(yīng)新模式使設(shè)備和系統(tǒng)變成可靠的工作系統(tǒng)

Saas及新的業(yè)態(tài)，構(gòu)建智能的系統(tǒng)應(yīng)對(duì)設(shè)備和系統(tǒng)復(fù)雜化和多樣化的進(jìn)程軟件和系統(tǒng)集成：承載信息社會(huì)運(yùn)行控制2022/10/10軟件信息內(nèi)容的技術(shù)：走向智能的核心2022/10/11信息組織、管理和利用文字聲音的轉(zhuǎn)化、聲音處理、圖像處理機(jī)器翻譯為代表的自然語(yǔ)言處理應(yīng)對(duì)數(shù)量變化，2的50-100次方應(yīng)對(duì)應(yīng)用需求的變化應(yīng)對(duì)音視頻信息類型的變化概念體系為基礎(chǔ)、不同粒度、不同場(chǎng)景的大規(guī)模信息組織、管理和利用信息內(nèi)容的技術(shù)：走向智能的核心2022/10/10信息組織、信息技術(shù)體系架構(gòu)不斷完善，信息、能源、材料技術(shù)融合，以智能技術(shù)為標(biāo)志的新一代生產(chǎn)力體系逐漸成形2022/10/11感知/獲取處理/存儲(chǔ)顯示/反應(yīng)

傳輸軟件和系統(tǒng)集成信息組織、管理與利用信息技術(shù)體系架構(gòu)不斷完善，信息、能源、材料技術(shù)融合，以智能技大數(shù)據(jù)技術(shù)，從內(nèi)容角度要重視三個(gè)方面的來(lái)源

一是關(guān)于數(shù)據(jù)管理和處理研究，包括物理和語(yǔ)義兩個(gè)領(lǐng)域數(shù)據(jù)管理。數(shù)據(jù)結(jié)構(gòu)、算法和數(shù)據(jù)庫(kù)相關(guān)領(lǐng)域取得的進(jìn)展最為突出，如文件系統(tǒng)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)、數(shù)據(jù)模型、內(nèi)存處理、云存儲(chǔ)的研究。應(yīng)當(dāng)看到近十年來(lái)，關(guān)于多維數(shù)據(jù)結(jié)構(gòu)和算法、機(jī)器視覺(jué)和攝錄象研究和技術(shù)，對(duì)于大數(shù)據(jù)研究具有極其重要的參考意義。

二是關(guān)于數(shù)據(jù)利用及適應(yīng)應(yīng)用需求的研究，包括用戶視圖、聯(lián)機(jī)數(shù)據(jù)分析、數(shù)據(jù)挖掘、檢索等。大數(shù)據(jù)技術(shù)，從內(nèi)容角度要重視三個(gè)方面的來(lái)源大數(shù)據(jù)技術(shù)，內(nèi)容角度要重視三個(gè)方面的來(lái)源

三是關(guān)于語(yǔ)義上理解信息的研究，幾乎可以將人工智能研究的全部成果作為大數(shù)據(jù)研究的基礎(chǔ)，因?yàn)閺恼Z(yǔ)義角度理解信息是人工智能的基礎(chǔ)。從圖靈測(cè)試到專家系統(tǒng)，從五代機(jī)到cyc，從模式識(shí)別到神經(jīng)網(wǎng)絡(luò)，從自然語(yǔ)言識(shí)別和理解到機(jī)器人，都是從不同角度研究理解信息的技術(shù)、方法理論。IBM的DeepQA，通過(guò)針對(duì)廣泛收集特定應(yīng)用領(lǐng)域的信息和知識(shí)，在適度結(jié)構(gòu)化、一系列規(guī)則和算法的基礎(chǔ)上，具備這一領(lǐng)域人的智能。其代表作“沃森”，已經(jīng)擊敗了美國(guó)電視臺(tái)“危險(xiǎn)”這個(gè)具有之力競(jìng)賽性質(zhì)的娛樂(lè)節(jié)目的冠軍，今天，又落戶紐約州的倫斯勒里工學(xué)院，與學(xué)生一起學(xué)習(xí)，英語(yǔ)和數(shù)學(xué)。Google的“谷歌大腦”將1.6萬(wàn)個(gè)處理器構(gòu)成當(dāng)前世界上最大的人工腦，模擬人類腦神經(jīng)系統(tǒng)，通過(guò)算法從互聯(lián)網(wǎng)中提取信息識(shí)別貓。大數(shù)據(jù)技術(shù)，內(nèi)容角度要重視三個(gè)方面的來(lái)源三三、大數(shù)據(jù)是走向信息時(shí)代的奠基石三、大數(shù)據(jù)是走向信息時(shí)代的奠基石35億年前開(kāi)始生命形成生物進(jìn)化千萬(wàn)年猴子到人的進(jìn)化約300萬(wàn)年人的進(jìn)化約8000年文字形成約2000年紙和印刷術(shù)的發(fā)明形成最近幾十年計(jì)算機(jī)、信息網(wǎng)絡(luò)、傳感和記錄等技術(shù)的發(fā)明35億年生命史，展示了信息是智能進(jìn)化的主要因素感知、傳遞、反應(yīng)意識(shí)、思維、概念（更高層次的抽象）模仿（抽象）、記憶、判斷、反應(yīng)感知、傳遞、反應(yīng)模仿（抽象）、記憶、判斷、反應(yīng)意識(shí)、思維、概念（更高層次的抽象）文字、記錄感知、記錄、傳輸、存儲(chǔ)、處理數(shù)億年動(dòng)物的進(jìn)化語(yǔ)言、概念體系語(yǔ)言、概念體系文字、記錄感知、記錄、傳輸、存儲(chǔ)、處理形成了當(dāng)今世界的智能體系和水平35億年前開(kāi)始千萬(wàn)年約300萬(wàn)年人的進(jìn)化約8000年約2002022/10/11有效信息總量知識(shí)總量和質(zhì)量使用者總量和質(zhì)量同一交流平臺(tái)人數(shù)發(fā)展環(huán)境系數(shù)設(shè)一個(gè)具有若干個(gè)緊密聯(lián)系群體且有一定相互關(guān)聯(lián)地域，其信息與社會(huì)發(fā)展關(guān)系函數(shù)為f(d)：令f(d)={∑Y+∑Z+∑S+∑T}x?其中Y=有效信息總量Z=知識(shí)總量和質(zhì)量S=使用者總量和質(zhì)量T=

同一交流平臺(tái)參與人數(shù)?=發(fā)展環(huán)境系數(shù)實(shí)際上，YZST是非獨(dú)立的，最關(guān)鍵的因子是T2022/10/10有效信息總量知識(shí)總量和使用者總量和質(zhì)量2022/10/11有效信息總量知識(shí)總量和質(zhì)量使用者總量和質(zhì)量同一交流平臺(tái)人數(shù)發(fā)展環(huán)境系數(shù)以T主線，我們可以初步推論信息交流平臺(tái)和參與人數(shù)與社會(huì)發(fā)展的關(guān)系有效信息總量知識(shí)總量和質(zhì)量使用者總量和質(zhì)量同一交流平臺(tái)人數(shù)發(fā)展環(huán)境系數(shù)1--10百--千萬(wàn)--十萬(wàn)十萬(wàn)--百萬(wàn)千萬(wàn)--億-幾十億原始社會(huì)農(nóng)業(yè)社會(huì)工業(yè)社會(huì)信息社會(huì)這是發(fā)展速度的示意圖，不是規(guī)模原始家族2022/10/10有效信息總量知識(shí)總量和質(zhì)量使用者總量和經(jīng)過(guò)約300萬(wàn)年：語(yǔ)言記憶思維概念等能力的形成約8000年文字形成約2000年紙和印刷術(shù)的發(fā)明形成最近幾十年計(jì)算機(jī)、信息網(wǎng)絡(luò)、傳感和記錄等技術(shù)的發(fā)明示意圖時(shí)間尺度不成比例信息能力不僅是生命、智能進(jìn)化的基礎(chǔ)，也與產(chǎn)業(yè)發(fā)展正相關(guān)經(jīng)過(guò)約300萬(wàn)年：語(yǔ)言約8000年約2000年最近幾十2022/10/11對(duì)歷史縱切面的分析有兩點(diǎn)主要結(jié)論歷史發(fā)展進(jìn)入一個(gè)新的轉(zhuǎn)型期：從工業(yè)社會(huì)走向信息社會(huì)，在這個(gè)歷史發(fā)展轉(zhuǎn)型期，中國(guó)存在超越的可能這個(gè)可能在于13億人的素質(zhì)：知識(shí)、聰明、勤奮，我們會(huì)有5億以上的人口進(jìn)入經(jīng)濟(jì)社會(huì)發(fā)展的綜合平臺(tái)上，形成強(qiáng)大的發(fā)展動(dòng)力，遠(yuǎn)遠(yuǎn)超過(guò)其他強(qiáng)國(guó)中國(guó)的IT夢(mèng)與中國(guó)夢(mèng)重合的歷史必然2022/10/10對(duì)歷史縱切面的分析有兩點(diǎn)主要結(jié)論歷史發(fā)展2022/10/11信息戰(zhàn)：顯示了將所有戰(zhàn)爭(zhēng)要素集中在一個(gè)信息平臺(tái)上的力量2022/10/10信息戰(zhàn)：顯示了將所有戰(zhàn)爭(zhēng)要素集中在一個(gè)信從人工細(xì)化分工到自動(dòng)化生產(chǎn)線2022/10/11從大規(guī)模生產(chǎn)到個(gè)性化生產(chǎn)主要的變化也是信息感知、傳輸、處理、利用的能力增加從人工細(xì)化分工到自動(dòng)化生產(chǎn)線2022/10/10從大規(guī)模生產(chǎn)靈活供應(yīng)鏈建模與仿真智能工廠分銷(xiāo)配送用戶應(yīng)對(duì)消費(fèi)者需求及供應(yīng)商變化的IT供應(yīng)鏈連接產(chǎn)品開(kāi)發(fā)與設(shè)計(jì)，再到制造的工藝工廠工人用知識(shí)為基礎(chǔ)的技術(shù)，優(yōu)化生產(chǎn)、降低成本簡(jiǎn)化產(chǎn)品移動(dòng)的工廠與配送中心的實(shí)時(shí)信息流用戶定制產(chǎn)品，產(chǎn)品使用全過(guò)程跟蹤以及產(chǎn)品回收和再制造全球先進(jìn)制造業(yè)發(fā)展新趨勢(shì)先進(jìn)制造企業(yè)概念信息資源成為現(xiàn)代化發(fā)展的基礎(chǔ)資源在這樣的企業(yè)中，起引領(lǐng)作用的是什么？靈活供應(yīng)鏈建模與仿真智能工廠分銷(xiāo)配送用戶應(yīng)對(duì)消費(fèi)者需求及供應(yīng)四、大數(shù)據(jù)發(fā)展的關(guān)鍵環(huán)節(jié)：收集、組織、管理、利用認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)主體、商業(yè)模式或運(yùn)行機(jī)制信息的結(jié)構(gòu)化大數(shù)據(jù)管理系統(tǒng)四、大數(shù)據(jù)發(fā)展的關(guān)鍵環(huán)節(jié)：收集、組織、管理、利用（一）收集、組織、管理、利用找礦開(kāi)礦煉礦用礦（一）收集、組織、管理、利用找礦找礦：發(fā)現(xiàn)需要的信息資源定義需要的信息資源確定的信息資源在哪里是否已經(jīng)以信息形式存在是否需要采集找礦：發(fā)現(xiàn)需要的信息資源定義需要的信息資源開(kāi)礦：收集和獲取用何種方法收集、獲取要用什么樣的方式采集已有的怎么獲?。嘿?gòu)買(mǎi)、交換、再收集沒(méi)有的怎么采集：委托、技術(shù)方案、自采開(kāi)礦：收集和獲取用何種方法收集、獲取提煉：變成適用信息相對(duì)于信息，提煉的本質(zhì)是按應(yīng)用需求進(jìn)行結(jié)構(gòu)化處理按需求語(yǔ)義和物理的機(jī)構(gòu)化語(yǔ)義相對(duì)于應(yīng)用的目的物理相當(dāng)于處理、存儲(chǔ)、傳輸?shù)乃俣群统杀咎釤挘鹤兂蛇m用信息相對(duì)于信息，提煉的本質(zhì)是按應(yīng)用需求進(jìn)行結(jié)構(gòu)利用：與具體應(yīng)用的結(jié)合將結(jié)構(gòu)化的信息與具體的應(yīng)用結(jié)合，使之發(fā)揮作用這就是基于大數(shù)據(jù)的應(yīng)用系統(tǒng)，或稱之為圍繞應(yīng)用的大數(shù)據(jù)管理系統(tǒng)，如同汽油通過(guò)加油站加到消費(fèi)者的汽車(chē)內(nèi)，石化原料變成衣服、設(shè)備或其部件。利用：與具體應(yīng)用的結(jié)合將結(jié)構(gòu)化的信息與具體的應(yīng)用結(jié)合，使之發(fā)企業(yè)信息示意人員信息：業(yè)務(wù)流信息1：客戶信息資金信息：注冊(cè)信息供應(yīng)鏈信息：法人、管理層、職工，薪資、崗位、業(yè)績(jī)……供應(yīng)鏈信息：零部件、原材料、能源、供應(yīng)商……物流信息：研發(fā)設(shè)計(jì)、生產(chǎn)、庫(kù)存、管理、決策、銷(xiāo)售、服務(wù)、統(tǒng)計(jì)、年報(bào)……業(yè)務(wù)流信息2：業(yè)務(wù)流信息n：承運(yùn)者、工具、地點(diǎn)、計(jì)劃……注冊(cè)資本、應(yīng)收、應(yīng)付、營(yíng)收、成本、庫(kù)存、固定資產(chǎn)、投資、利息……機(jī)構(gòu)客戶：名稱、法人代表、貨品名稱、供貨時(shí)間、聯(lián)系方式、信譽(yù)等級(jí)……個(gè)人客戶：姓名、貨品、時(shí)間、地點(diǎn)、聯(lián)系方式注銷(xiāo)信息記錄文本信息狀態(tài)信息音視頻場(chǎng)景因果信息客戶信息客戶信息財(cái)富信息：與應(yīng)用，如質(zhì)量管理的要求一致嗎？還要做什么？企業(yè)信息示意人員信息：業(yè)務(wù)流信息1：客戶信息資金信息：注冊(cè)信個(gè)人信息示意獎(jiǎng)懲信息：工作信息1：財(cái)富信息：健康信息：出生信息學(xué)習(xí)信息1：獎(jiǎng)勵(lì)事項(xiàng)、懲處事項(xiàng)、違法記錄、失信記錄學(xué)習(xí)信息2：?jiǎn)挝?、崗位、職?wù)、職稱、起止時(shí)間、工資……工作信息2：工作信息n：學(xué)校、專業(yè)、科目、成績(jī)、入學(xué)畢業(yè)時(shí)間、活動(dòng)……病歷、基本健康信息存款、證卷、保險(xiǎn)、其他投資、不同產(chǎn)……死亡信息學(xué)習(xí)信息n：生活信息：關(guān)系信息：家人、親戚、朋友、同事、學(xué)術(shù)、網(wǎng)友……吃、睡、行、休閑，類型、品種、特點(diǎn)……記錄文本信息狀態(tài)信息音視頻場(chǎng)景因果信息與應(yīng)用，如質(zhì)量管理的要求一致嗎？還要做什么？個(gè)人信息示意獎(jiǎng)懲信息：工作信息1：財(cái)富信息：健康信息：出生信質(zhì)量信息示意材料1信息：材料、部件檢測(cè)信息：生產(chǎn)工藝銷(xiāo)售環(huán)節(jié)信息：產(chǎn)品質(zhì)量信息部件1信息：材料生產(chǎn)、運(yùn)輸、保管信息，略部件2信息：生產(chǎn)過(guò)程信息……產(chǎn)品檢測(cè)信息：部件生產(chǎn)、運(yùn)輸、保管信息，略運(yùn)輸、保管、銷(xiāo)售、服務(wù)見(jiàn)下圖部件n信息：執(zhí)行標(biāo)準(zhǔn)、檢測(cè)方法、將側(cè)工具、檢測(cè)結(jié)果……記錄文本信息狀態(tài)信息音視頻材料2信息：材料n信息：執(zhí)行標(biāo)準(zhǔn)、檢測(cè)方法、檢測(cè)工具、檢測(cè)結(jié)果、生產(chǎn)過(guò)程信息執(zhí)行標(biāo)準(zhǔn)生產(chǎn)裝備生產(chǎn)班次責(zé)任人生產(chǎn)過(guò)程檢測(cè)包裝可溯源的完整信息流與應(yīng)用，如質(zhì)量管理的要求一致嗎？還要做什么？質(zhì)量信息示意材料1信息：材料、部件檢測(cè)信息：生產(chǎn)工藝銷(xiāo)售環(huán)節(jié)（二）認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)認(rèn)識(shí):走向透明的社會(huì)、智能的社會(huì)、被數(shù)據(jù)包圍的環(huán)境，認(rèn)識(shí)準(zhǔn)備好了嗎？經(jīng)濟(jì)社會(huì)發(fā)展模式管理：政府與企業(yè)科技、教育和文化人的發(fā)展與生存生活方式（二）認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)認(rèn)識(shí):走向透明的社會(huì)、智能認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)技術(shù)：下面專門(mén)分析傳感處理存儲(chǔ)數(shù)據(jù)管理數(shù)據(jù)分析認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)技術(shù)：下面專門(mén)分析認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)法律：收集利用管理權(quán)利義務(wù)認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)法律：認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)制度：相對(duì)于法律的關(guān)于信息資源的制度國(guó)家層面：如資產(chǎn)、責(zé)任、利用、安全機(jī)構(gòu)層面：如資產(chǎn)、責(zé)任、使用、安全認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)制度：認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)標(biāo)準(zhǔn)：范圍，國(guó)家、行業(yè)、機(jī)構(gòu)類型，收集、存儲(chǔ)、處理、管理、利用；文本、數(shù)值、圖像、音頻、視頻目的，保密、安全、連接、共享認(rèn)識(shí)、技術(shù)、法律、制度、標(biāo)準(zhǔn)標(biāo)準(zhǔn)：（三）信息的結(jié)構(gòu)化信息的結(jié)構(gòu)化是大數(shù)據(jù)技術(shù)的核心、關(guān)鍵和難點(diǎn)（三）信息的結(jié)構(gòu)化信息的結(jié)構(gòu)化是大數(shù)據(jù)技術(shù)的大數(shù)據(jù)結(jié)構(gòu)化是一個(gè)不斷發(fā)展的

漸進(jìn)過(guò)程

追求結(jié)構(gòu)化是數(shù)據(jù)管理的基本動(dòng)力和目的。獲取、處理、存儲(chǔ)、傳輸、利用的效率，特別是利用的有效性基于信息的機(jī)構(gòu)化程度。

數(shù)值及事務(wù)處理等計(jì)算機(jī)信息系統(tǒng)早期對(duì)象結(jié)構(gòu)化已經(jīng)成熟，成為大數(shù)據(jù)結(jié)構(gòu)化的基礎(chǔ)。其他相關(guān)類型的信息：文本、音視頻、圖形圖像等也在數(shù)據(jù)庫(kù)或數(shù)據(jù)管理發(fā)展實(shí)踐中得到不同程度的關(guān)注，產(chǎn)生了一些技術(shù)方法，大數(shù)據(jù)正是在這樣的基礎(chǔ)上發(fā)展。大數(shù)據(jù)結(jié)構(gòu)化是一個(gè)不斷發(fā)展的

漸進(jìn)過(guò)程追求結(jié)構(gòu)化的兩個(gè)維度：內(nèi)在邏輯完備度和應(yīng)用完備

內(nèi)在邏輯的完備度與應(yīng)用需求的完備度之間的約束。這類約束超越了一個(gè)具體系統(tǒng)的范疇。人類科學(xué)和文明進(jìn)步的主要客觀存在物是概念體系，概念體系的主要載體又是文本。即使是嚴(yán)格定義的科學(xué)著作，也沒(méi)有將其內(nèi)在語(yǔ)義結(jié)構(gòu)表示作為要求，科學(xué)越發(fā)展，積累的文獻(xiàn)越多，文本信息結(jié)構(gòu)化的難度越大、任務(wù)越重。學(xué)術(shù)界及不少國(guó)家已經(jīng)認(rèn)識(shí)到這個(gè)問(wèn)題對(duì)科學(xué)研究和提升創(chuàng)新能力的重要性，并著手部署相應(yīng)的研究計(jì)劃和工程，著名的有美國(guó)和英國(guó)科學(xué)基礎(chǔ)設(shè)施計(jì)劃。結(jié)構(gòu)化的兩個(gè)維度：內(nèi)在邏輯完備度和應(yīng)用完備（四）大數(shù)據(jù)管理系統(tǒng)

關(guān)鍵流程分析

基本功能要求

體系架構(gòu)分析

比較與重點(diǎn)（四）大數(shù)據(jù)管理系統(tǒng)關(guān)鍵流程分析大數(shù)據(jù)管理系統(tǒng)一般架構(gòu)示意圖第一層前置處理體系：通信、場(chǎng)景、任務(wù)分配、安全等第二層信息結(jié)構(gòu)化處理體系：場(chǎng)景分類、單元?jiǎng)澐忠?guī)則、算法、單元地址和語(yǔ)義命名規(guī)則、單元為基礎(chǔ)的記錄數(shù)據(jù)庫(kù)及其管理系統(tǒng)、地址函數(shù)庫(kù)、語(yǔ)義特征函數(shù)庫(kù)、物理標(biāo)識(shí)庫(kù)和語(yǔ)義標(biāo)識(shí)庫(kù)及其管理系統(tǒng)第三層信息存儲(chǔ)體系：

實(shí)體庫(kù)、規(guī)則庫(kù)、函數(shù)庫(kù)、標(biāo)識(shí)庫(kù)、算法庫(kù)、索引庫(kù)的存儲(chǔ)結(jié)構(gòu)，中間庫(kù)、原始庫(kù)、工作庫(kù)第四層信息處理體系：

信息獲取處理、信息組織處理、內(nèi)部處理（包括學(xué)習(xí)、反饋、整理等等）、應(yīng)用處理第五層軟硬件資源：

網(wǎng)絡(luò)、軟件、計(jì)算機(jī)等大數(shù)據(jù)管理系統(tǒng)一般架構(gòu)示意圖第一層前置處理體系：通信、場(chǎng)景、體系架構(gòu)分析

目前已經(jīng)商用的大數(shù)據(jù)管理系統(tǒng)或工具，還沒(méi)有全面應(yīng)對(duì)大數(shù)據(jù)系統(tǒng)的需要，這正是我們的機(jī)遇所在體系架構(gòu)分析目前已經(jīng)商用的大數(shù)據(jù)管理系統(tǒng)或工具，還沒(méi)（五）大數(shù)據(jù)演進(jìn)方向機(jī)構(gòu)事務(wù)服務(wù)研究（五）大數(shù)據(jù)演進(jìn)方向機(jī)構(gòu)是指一個(gè)機(jī)構(gòu)（包括企業(yè)）為自身發(fā)展目的而構(gòu)建大數(shù)據(jù)系統(tǒng)，并不斷推向完善這樣的大數(shù)據(jù)系統(tǒng)基于機(jī)構(gòu)，服務(wù)于機(jī)構(gòu)。基于機(jī)構(gòu)的大數(shù)據(jù)系統(tǒng)數(shù)量上構(gòu)成全社會(huì)擁有量的主體這樣的大數(shù)據(jù)系統(tǒng)演進(jìn)，特點(diǎn)是目的明確、類型多樣、利用已有技術(shù)和方法為主要路徑大數(shù)據(jù)系統(tǒng)演進(jìn)的領(lǐng)域：機(jī)構(gòu)是指一個(gè)機(jī)構(gòu)（包括企業(yè)）為自身發(fā)展目的而構(gòu)建大數(shù)據(jù)系統(tǒng)，并不是指基于一類事務(wù)或一類重要信息類型而收集信息、組織信息、提供服務(wù)。人口、企業(yè)、空間信息、交通、水務(wù)等都是基于事務(wù)的大數(shù)據(jù)系統(tǒng)與基于機(jī)構(gòu)的大數(shù)據(jù)系統(tǒng)顯著不同就是追求一類事務(wù)或一類信息的完備度，并具有跨機(jī)構(gòu)性質(zhì)。事務(wù)大數(shù)據(jù)系統(tǒng)演進(jìn)的主要特點(diǎn)是對(duì)該類信息的邏輯分析在技術(shù)上要求居于領(lǐng)先水平大數(shù)據(jù)系統(tǒng)演進(jìn)的領(lǐng)域：事務(wù)是指基于一類事務(wù)或一類重要信息類型而收集信息、組織信息、提供是指提供基于互聯(lián)網(wǎng)服務(wù)的大數(shù)據(jù)系統(tǒng)。顯著特征是贏利為目的，演進(jìn)以商業(yè)模式要求為前提要區(qū)分同一企業(yè)服務(wù)型和研究型的大數(shù)據(jù)系統(tǒng)及相關(guān)研究工作，大型互聯(lián)網(wǎng)和信息技術(shù)企業(yè)服務(wù)企業(yè)都可能存在這兩種類型要區(qū)分一個(gè)企業(yè)商業(yè)化產(chǎn)品、公布的研究成果與其前沿研究的差別除了數(shù)據(jù)結(jié)構(gòu)、算法，也就是本報(bào)告所稱語(yǔ)義特征函數(shù)的基礎(chǔ)理論和方法研究，以科學(xué)研究為基礎(chǔ)的信息結(jié)構(gòu)化外，該領(lǐng)域大數(shù)據(jù)系統(tǒng)的研究和服務(wù)均處于領(lǐng)先水平大數(shù)據(jù)系統(tǒng)演進(jìn)的領(lǐng)域：服務(wù)是指提供基于互聯(lián)網(wǎng)服務(wù)的大數(shù)據(jù)系統(tǒng)。大數(shù)據(jù)系統(tǒng)演進(jìn)的領(lǐng)域：服是指主要目的是科學(xué)研究，研究結(jié)果為大數(shù)據(jù)系統(tǒng)所用。三種主要類型：一是特定類型科學(xué)研究，如基因、地震波、聲紋等二是人工智能及部分應(yīng)用系統(tǒng)的研究，如“DeepQA”,“谷歌大腦”，感知識(shí)別、自然語(yǔ)言理解、機(jī)器人等領(lǐng)域，聲紋庫(kù)、指紋庫(kù)、交通監(jiān)視視頻、安全監(jiān)視視頻，相片集、計(jì)算機(jī)輔助設(shè)計(jì)集、自然事件觀察集等等。三是數(shù)學(xué)、計(jì)算機(jī)科學(xué)的基礎(chǔ)研究。主要貢獻(xiàn)在數(shù)據(jù)結(jié)構(gòu)和算法大數(shù)據(jù)系統(tǒng)演進(jìn)的領(lǐng)域：研究是指主要目的是科學(xué)研究，研究結(jié)果為大數(shù)據(jù)系統(tǒng)所用。大數(shù)據(jù)系統(tǒng)大數(shù)據(jù)系統(tǒng)演進(jìn)的技術(shù)方法研究如何提升邏輯能力和處理能力研究大數(shù)據(jù)特有的演進(jìn)模式，如何在網(wǎng)絡(luò)環(huán)境下的互動(dòng)參與平臺(tái)，開(kāi)放與管理的原則與方法。交互式為主，適度采用計(jì)算或推理是信息結(jié)構(gòu)化的主要模式通過(guò)內(nèi)部學(xué)習(xí)和調(diào)整處理，使系統(tǒng)具備自我演進(jìn)的功能。大數(shù)據(jù)系統(tǒng)演進(jìn)的技術(shù)方法研究如何提升邏輯能力和處理能力大數(shù)據(jù)系統(tǒng)演進(jìn)的技術(shù)方法

建立大數(shù)據(jù)管理系統(tǒng)最重要的技術(shù)方法問(wèn)題是信息結(jié)構(gòu)如何形成。

關(guān)系數(shù)據(jù)庫(kù)中實(shí)體和關(guān)系的確立，即單元的切分和標(biāo)識(shí)的形成是人為的。但面對(duì)類型多樣、來(lái)源不一、數(shù)量龐大的信息，如何切分單元，如何給予成熟的、可處理、可利用的語(yǔ)義標(biāo)識(shí)，人們會(huì)首先傾向于通過(guò)算法或推理，實(shí)際上這是行不通的。大數(shù)據(jù)系統(tǒng)演進(jìn)的技術(shù)方法建立大數(shù)據(jù)管理系統(tǒng)五、電子政務(wù)發(fā)展中的大數(shù)據(jù)

以質(zhì)檢部分事務(wù)系統(tǒng)為例信息化應(yīng)用已經(jīng)延伸到質(zhì)檢各個(gè)領(lǐng)域，在檢驗(yàn)檢疫、質(zhì)量技術(shù)監(jiān)督認(rèn)證認(rèn)可、標(biāo)準(zhǔn)、政府網(wǎng)站、局行政管理等工作中發(fā)揮重要作用，信息安全保障能力逐步提升，大數(shù)據(jù)對(duì)進(jìn)一步提升質(zhì)檢系統(tǒng)信息化水平具有十分重要的作用，要在質(zhì)檢總局電子政務(wù)發(fā)展全局中推進(jìn)。五、電子政務(wù)發(fā)展中的大數(shù)據(jù)

以質(zhì)檢部分事務(wù)系統(tǒng)為例利用信息技術(shù)完善食品、農(nóng)產(chǎn)品

安全追溯體系推廣RFID、二維碼、條形碼等技術(shù)應(yīng)用，在供港澳牛奶、豬肉、蔬菜等食品率先建設(shè)食品安全追溯體系，實(shí)現(xiàn)食品、進(jìn)出口農(nóng)產(chǎn)品安全監(jiān)管“一鍵溯源”。提供包括食品追溯相關(guān)記錄信息查詢、統(tǒng)計(jì)、分析等功能。建立進(jìn)出口食品質(zhì)量安全數(shù)據(jù)庫(kù)和服務(wù)平臺(tái)，食品問(wèn)題預(yù)警和事后快速處理提供支持。推廣商品條碼標(biāo)識(shí)在食品安全追溯中的應(yīng)用，制定標(biāo)準(zhǔn)，實(shí)現(xiàn)食品安全監(jiān)管從粗放模糊型向集約精確型轉(zhuǎn)變。信息收集更好利用結(jié)構(gòu)化，質(zhì)量需要進(jìn)一步完善的工作：信息是否滿足溯源需求、信息來(lái)源及質(zhì)量如何保證、信息如何支持預(yù)警和事件處置利用信息技術(shù)完善食品、農(nóng)產(chǎn)品

安全追溯體系推廣RFID、二維利用信息技術(shù)加強(qiáng)質(zhì)量誠(chéng)信體