工業(yè)互聯(lián)網(wǎng)平臺(tái)綜合應(yīng)用 課件 概論

《工業(yè)數(shù)據(jù)處理與分析》/工業(yè)互聯(lián)網(wǎng)系列課程

工業(yè)數(shù)據(jù)處理與分析概述>>《工業(yè)大數(shù)據(jù)白皮書（2019）》將工業(yè)數(shù)據(jù)定義為：工業(yè)數(shù)據(jù)是指在工業(yè)領(lǐng)域中，圍繞典型智能制造模式，從客戶需求到銷售、訂單、計(jì)劃、研發(fā)、設(shè)計(jì)、工藝、制造、采購(gòu)、供應(yīng)、庫存、發(fā)貨和交付、售后服務(wù)、運(yùn)維、報(bào)廢或回收再制造等整個(gè)產(chǎn)品全生命周期各個(gè)環(huán)節(jié)所產(chǎn)生的各類數(shù)據(jù)及相關(guān)技術(shù)和應(yīng)用的總稱。工業(yè)和信息化部《關(guān)于工業(yè)大數(shù)據(jù)發(fā)展的指導(dǎo)意見》將工業(yè)數(shù)據(jù)定義為工業(yè)領(lǐng)域產(chǎn)品和服務(wù)全生命周期數(shù)據(jù)的總和，包括工業(yè)企業(yè)在研發(fā)設(shè)計(jì)、生產(chǎn)制造、經(jīng)營(yíng)管理、運(yùn)維服務(wù)等各個(gè)環(huán)節(jié)中產(chǎn)生的數(shù)據(jù)，以及工業(yè)互聯(lián)網(wǎng)平臺(tái)中的數(shù)據(jù)等。工業(yè)數(shù)據(jù)概念又有其共通之處，工業(yè)數(shù)據(jù)的兩個(gè)關(guān)鍵核心：一是覆蓋工業(yè)生產(chǎn)與服務(wù)全生命周期過程二是強(qiáng)調(diào)對(duì)數(shù)據(jù)和信息處理的重要性從狹義角度來講，工業(yè)數(shù)據(jù)是指在工業(yè)領(lǐng)域生產(chǎn)服務(wù)全環(huán)節(jié)產(chǎn)生、處理、傳遞、使用的各類海量數(shù)據(jù)的集合；從廣義角度來講，工業(yè)數(shù)據(jù)是包括以上數(shù)據(jù)及與之相關(guān)的全部技術(shù)和應(yīng)用的總稱，除了“數(shù)據(jù)”內(nèi)涵外還有“技術(shù)與應(yīng)用”內(nèi)涵。工業(yè)數(shù)據(jù)呈現(xiàn)容量大、更新快、類型豐富、價(jià)值高的特點(diǎn)，推動(dòng)著技術(shù)變革和優(yōu)化轉(zhuǎn)型，工業(yè)數(shù)據(jù)逐漸演變成一種不可或缺的新型服務(wù)類型工業(yè)數(shù)據(jù)自身并不能為企業(yè)的業(yè)務(wù)發(fā)展提供直接幫助，數(shù)據(jù)所包含的技術(shù)也不能直接推動(dòng)制造業(yè)智能化水平的提升。但是，如果能夠?qū)⒋罅康臄?shù)據(jù)收集起來，將其轉(zhuǎn)換成制造企業(yè)的生產(chǎn)和運(yùn)營(yíng)活動(dòng)所需要的信息，才能真正地實(shí)現(xiàn)其價(jià)值。工業(yè)數(shù)據(jù)具有復(fù)雜性和多樣性的顯著特點(diǎn)。通過對(duì)各類數(shù)據(jù)類型的相互關(guān)系的分析，可以為企業(yè)提供更多有用的信息，以便更好地進(jìn)行經(jīng)營(yíng)決策。工業(yè)數(shù)據(jù)的處理和分析具有十分重要的現(xiàn)實(shí)意義。工業(yè)數(shù)據(jù)處理與分析是采用計(jì)算機(jī)科學(xué)技術(shù)、統(tǒng)計(jì)學(xué)技術(shù)、工業(yè)工程科學(xué)技術(shù)等多種技術(shù)手段，基于工業(yè)互聯(lián)網(wǎng)對(duì)人、機(jī)、物的全面互聯(lián)和數(shù)據(jù)采集，通過對(duì)工業(yè)生產(chǎn)和服務(wù)過程中產(chǎn)生的數(shù)據(jù)進(jìn)行處理、計(jì)算、分析，提取出有價(jià)值的信息，加速向研發(fā)、生產(chǎn)、管理、服務(wù)等各個(gè)環(huán)節(jié)的滲透，有效的解決企業(yè)經(jīng)營(yíng)管理過程中信息不透明、不對(duì)稱問題，實(shí)現(xiàn)降本增效。工業(yè)數(shù)據(jù)處理技術(shù)體系工業(yè)數(shù)據(jù)源數(shù)據(jù)采集，數(shù)據(jù)源數(shù)據(jù)采集是通過各種聯(lián)網(wǎng)設(shè)備，實(shí)現(xiàn)各種數(shù)據(jù)數(shù)字化的任務(wù)，同時(shí)也需要將數(shù)據(jù)存儲(chǔ)起來，準(zhǔn)備好數(shù)據(jù)上傳到工業(yè)互聯(lián)網(wǎng)平臺(tái)的工作。01數(shù)據(jù)傳輸。數(shù)據(jù)傳輸是將采集的數(shù)據(jù)快速地、可靠地上報(bào)到工業(yè)互聯(lián)網(wǎng)平臺(tái)。工業(yè)互聯(lián)網(wǎng)平臺(tái)只有具備高并發(fā)的能力，才能有效地、可靠地實(shí)現(xiàn)數(shù)據(jù)的傳輸。高并發(fā)的實(shí)現(xiàn)，需要借助分布式的架構(gòu)設(shè)計(jì)，同時(shí)使用負(fù)載均衡、消息隊(duì)列和緩存等相關(guān)技術(shù)。02數(shù)據(jù)的存儲(chǔ)。數(shù)據(jù)傳輸完成后，是對(duì)海量數(shù)據(jù)的存儲(chǔ)，從數(shù)據(jù)結(jié)構(gòu)上，數(shù)據(jù)的種類大體上分為3類：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，分別需要不同的存儲(chǔ)手段：03數(shù)據(jù)結(jié)構(gòu)與我們常見的關(guān)系型數(shù)據(jù)庫結(jié)構(gòu)一致，如工廠記錄生產(chǎn)訂單的excel，整齊行列結(jié)構(gòu)，常見的存儲(chǔ)產(chǎn)品MySQL、Oracle、SQLServer等結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)如同Json、XML，例如車間內(nèi)某設(shè)備的名稱、產(chǎn)地、生產(chǎn)日期等描述信息常見的存儲(chǔ)產(chǎn)品Redis、Hbase、MongoDB、OracleNoSQL等半結(jié)構(gòu)化數(shù)據(jù)如工廠內(nèi)的監(jiān)控視頻、設(shè)備、機(jī)床圖片等文件常見的存儲(chǔ)產(chǎn)品HDFS、FastDFS等非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)處理。數(shù)據(jù)處理階段，非?？简?yàn)?zāi)銓?duì)海量數(shù)據(jù)的處理能力，你需要用到大數(shù)據(jù)計(jì)算引擎。大數(shù)據(jù)的處理，從應(yīng)用場(chǎng)景劃分的話，可以分成兩個(gè)大類：04批處理的輸入是在一段時(shí)間內(nèi)已經(jīng)采集并存儲(chǔ)好的有邊界數(shù)據(jù)

流處理的輸入基本上都是無邊界數(shù)據(jù)。批處理流處理數(shù)據(jù)應(yīng)用。數(shù)據(jù)產(chǎn)生價(jià)值的方法，總體來說可以分為4類，1，可視化；2，數(shù)據(jù)挖掘；3，數(shù)據(jù)預(yù)測(cè)；4，控制決策。04最直接的方法是可視化，也可以稱為圖表分析，可視化可以非常直觀地向人們展示數(shù)據(jù)的含義。可視化比圖表分析更進(jìn)一步的方法是挖掘分析。我們可以基于各類算法來分析數(shù)據(jù)的規(guī)律和關(guān)聯(lián)關(guān)系等。挖掘分析還有一種進(jìn)階的方法是預(yù)測(cè)分析。隨著積累的數(shù)據(jù)和經(jīng)驗(yàn)越來越多，我們可以用算法來構(gòu)建預(yù)測(cè)模型。預(yù)測(cè)分析最后一種方法是控制決策。物聯(lián)網(wǎng)設(shè)備可能具備執(zhí)行器，物聯(lián)網(wǎng)系統(tǒng)可以基于業(yè)務(wù)目標(biāo)控制這些執(zhí)行器?？刂茮Q策從數(shù)據(jù)的范圍看工業(yè)數(shù)據(jù)處理與分析的發(fā)展智能化階段信息化時(shí)代電氣時(shí)代蒸汽時(shí)代18世紀(jì)60年代19世紀(jì)70年代20世紀(jì)70年代現(xiàn)在蒸汽時(shí)代電氣時(shí)代信息化時(shí)代智能化階段機(jī)械化階段帶動(dòng)經(jīng)濟(jì)發(fā)展的新方式，這階段的工業(yè)數(shù)據(jù)以紙為記錄媒介的“紙質(zhì)數(shù)據(jù)”，這一階段只是原始地記錄數(shù)據(jù)源，未采用任何處理技術(shù)和分析手段德國(guó)西門子的研制成發(fā)電機(jī)為標(biāo)志，電氣系統(tǒng)自動(dòng)記錄的電子工業(yè)數(shù)據(jù)也不斷產(chǎn)生，這一階段工業(yè)數(shù)據(jù)作為操作經(jīng)驗(yàn)不斷被實(shí)踐，人們會(huì)花大量實(shí)踐不斷實(shí)踐最優(yōu)數(shù)據(jù)處理，但是沒有結(jié)合業(yè)務(wù)進(jìn)行分析電子和信息技術(shù)的廣泛應(yīng)用，工業(yè)大量使用計(jì)算機(jī)電腦、PLC等進(jìn)行生產(chǎn)，使得機(jī)器接管了大部分“體力勞動(dòng)”，信息化階段的工業(yè)數(shù)據(jù)也隨著企業(yè)信息化的發(fā)展而迅速累積，成為企業(yè)的數(shù)據(jù)資產(chǎn)，但是，工業(yè)數(shù)據(jù)處理與分析技術(shù)并未展現(xiàn)，更多的是離散化的單機(jī)數(shù)據(jù)。智能化階段是實(shí)體物理世界與虛擬網(wǎng)絡(luò)世界融合的時(shí)代。這一階段我國(guó)目前處于初期階段，仍需要借助工業(yè)互聯(lián)網(wǎng)平臺(tái)將生產(chǎn)中的供應(yīng)、制造、銷售信息數(shù)據(jù)化、智能化，最終實(shí)現(xiàn)快速、高效、個(gè)性化的產(chǎn)品供應(yīng)，實(shí)現(xiàn)人、機(jī)、料、法、環(huán)的全面連接，實(shí)現(xiàn)“萬物互聯(lián)”。一是設(shè)備維護(hù)管理，通過對(duì)設(shè)備運(yùn)行數(shù)據(jù)的分析，達(dá)到對(duì)設(shè)備進(jìn)行早期維護(hù)，防止出現(xiàn)故障。二是產(chǎn)品遠(yuǎn)程服務(wù)，通過對(duì)產(chǎn)品狀態(tài)參數(shù)數(shù)據(jù)的分析，實(shí)現(xiàn)對(duì)產(chǎn)品的遠(yuǎn)程優(yōu)化。以三一重工為例，通過分析混凝土泵車、起重機(jī)、道路起重機(jī)等設(shè)備的運(yùn)行狀態(tài)進(jìn)行分析，根據(jù)設(shè)備的工作時(shí)長(zhǎng)、輸送時(shí)長(zhǎng)和泵送時(shí)長(zhǎng)，完成階段保修分析，提示客戶維護(hù)不同的部件。三是生產(chǎn)線優(yōu)化，通過對(duì)生產(chǎn)線數(shù)據(jù)的處理與分析，提高生產(chǎn)效率，比如格林公司利用西門子MindSphere分析設(shè)備一年的歷史數(shù)據(jù)，預(yù)測(cè)刀具的磨損狀態(tài)，從而能夠及時(shí)的通知客戶進(jìn)行刀具的更換。四是個(gè)性化定制，根據(jù)顧客的需要，對(duì)產(chǎn)品的設(shè)計(jì)參數(shù)進(jìn)行分析。從數(shù)據(jù)處理技術(shù)看工業(yè)數(shù)據(jù)處理與分析的發(fā)展工業(yè)數(shù)據(jù)處理與分析貫穿于制造的設(shè)計(jì)、工藝規(guī)劃、生產(chǎn)工程、制造、使用和服務(wù)等各個(gè)環(huán)節(jié)。其應(yīng)用與推廣的步伐日益加快，應(yīng)用廣泛的模型可以概括為四類。從數(shù)據(jù)處理技術(shù)看工業(yè)數(shù)據(jù)處理與分析的發(fā)展高級(jí)運(yùn)算和存儲(chǔ)技術(shù)為處理海量數(shù)據(jù)提供了框架。高級(jí)運(yùn)算技術(shù)如批計(jì)算、流計(jì)算、迭代計(jì)算；存儲(chǔ)技術(shù)：NoSQL、Newsql等，在各行各業(yè)中得到廣泛應(yīng)用，降低了企業(yè)掌握能力的門檻。工業(yè)數(shù)據(jù)促進(jìn)了企業(yè)的業(yè)務(wù)場(chǎng)景交互，為傳統(tǒng)的制造業(yè)企業(yè)轉(zhuǎn)型發(fā)展提供了技術(shù)支撐。各種云服務(wù)模型降低了大規(guī)模應(yīng)用數(shù)據(jù)分析的成本。隨著云計(jì)算技術(shù)的逐漸成熟，公有云、私有云、混合云等云服務(wù)為各行業(yè)提供廉價(jià)的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源，避免了昂貴的軟件、硬件和人力投入。0201一方面，工業(yè)互聯(lián)網(wǎng)平臺(tái)具備與設(shè)備、系統(tǒng)和智能產(chǎn)品互聯(lián)互通的能力，可以獲得各種歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，可以幫助企業(yè)采集和匯聚多源設(shè)備、異構(gòu)的信息系統(tǒng)、運(yùn)行環(huán)境、人員等要素實(shí)時(shí)安全。另一方面，工業(yè)互聯(lián)網(wǎng)平臺(tái)是一個(gè)由數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享、數(shù)據(jù)分析和行業(yè)模型組成的完整工業(yè)數(shù)據(jù)服務(wù)鏈，匯集了各種傳統(tǒng)的專業(yè)處理方法和前沿的智能分析工具，可以快速幫助企業(yè)實(shí)現(xiàn)工業(yè)數(shù)據(jù)處理與分析，重新定義產(chǎn)業(yè)架構(gòu)和重塑工業(yè)生產(chǎn)體系，并引領(lǐng)工業(yè)的未來。從數(shù)據(jù)處理技術(shù)看工業(yè)數(shù)據(jù)處理與分析的發(fā)展工業(yè)數(shù)據(jù)在新能源、智慧交通、航天航空、制造裝備等行業(yè)的深入應(yīng)用，其將成為工業(yè)資源的集聚、管理與再配置的載體，成為實(shí)現(xiàn)產(chǎn)業(yè)上下游跨領(lǐng)域廣泛互聯(lián)的基礎(chǔ)設(shè)施。工業(yè)互聯(lián)網(wǎng)平臺(tái)是一個(gè)面向工業(yè)數(shù)字化、網(wǎng)絡(luò)化、智能化需求的開放服務(wù)平臺(tái)。工業(yè)數(shù)據(jù)處理與分析的應(yīng)用場(chǎng)景主要包含研發(fā)設(shè)計(jì)、生產(chǎn)制造、銷售管理、運(yùn)營(yíng)服務(wù)這四個(gè)方面通過對(duì)產(chǎn)品零件精密堆疊組裝、測(cè)試、用戶體驗(yàn)等產(chǎn)品全生命周期數(shù)字化信息進(jìn)行采集、建模、分析，進(jìn)行物理檢測(cè)與實(shí)驗(yàn)，進(jìn)行設(shè)計(jì)參數(shù)驗(yàn)證與優(yōu)化，調(diào)整工廠生產(chǎn)工藝流程和設(shè)備參數(shù)，不斷提升工廠整體工作效率和生產(chǎn)產(chǎn)品品質(zhì)研發(fā)設(shè)計(jì)生產(chǎn)制造中會(huì)產(chǎn)生各種各樣的工業(yè)數(shù)據(jù)，包含工業(yè)控制系統(tǒng)數(shù)據(jù)，生產(chǎn)監(jiān)控?cái)?shù)據(jù)以及各類傳感器數(shù)據(jù)。工業(yè)控制系統(tǒng)數(shù)據(jù)來源主要包括分布式控制系統(tǒng)（DCS）和可編程邏輯控制器（PLC），生產(chǎn)監(jiān)控?cái)?shù)據(jù)主要來源于以SCADA為代表的監(jiān)視控制系統(tǒng)。生產(chǎn)制造從銷售管理方面來看，工業(yè)數(shù)據(jù)主要來源訂單中的業(yè)務(wù)信息。訂單到交付涉及CRM、BPM、PLM、APS、MES等多個(gè)核心業(yè)務(wù)IT系統(tǒng)，各種設(shè)備、不同儀器的訂單類型的流程各不相同，管控困難。銷售管理ERP、SCM、PLM、CRM等信息化系統(tǒng)和數(shù)字化平臺(tái)的應(yīng)用也不斷加強(qiáng)，在生產(chǎn)運(yùn)營(yíng)一體化，能源優(yōu)化調(diào)度、設(shè)備預(yù)測(cè)性維護(hù)、全過程質(zhì)量追溯、異常智能追溯等場(chǎng)景都有典型的案例支持運(yùn)營(yíng)服務(wù)從管理機(jī)制的角度來看，數(shù)據(jù)管理機(jī)制不健全。對(duì)于實(shí)時(shí)大數(shù)據(jù)的分析缺乏管理方法和制度，無法及時(shí)的對(duì)數(shù)據(jù)進(jìn)行處理分析，造成數(shù)據(jù)管理滯后，數(shù)據(jù)的使用效果大打折扣。從數(shù)據(jù)管理能力的成熟程度上來看，企業(yè)對(duì)數(shù)據(jù)有了一定的管理意識(shí)，但是對(duì)數(shù)據(jù)的認(rèn)識(shí)不足，缺乏針對(duì)數(shù)據(jù)管理工作的評(píng)價(jià)標(biāo)準(zhǔn)，缺少對(duì)工業(yè)數(shù)據(jù)的監(jiān)測(cè)、分析的優(yōu)化流程，管理能力不成熟。從數(shù)據(jù)查詢使用的角度出發(fā)，很多企業(yè)在數(shù)據(jù)管理的過程中缺乏對(duì)數(shù)據(jù)分級(jí)分類管理的意識(shí)，在需要某個(gè)或某些數(shù)據(jù)時(shí)，難以找到數(shù)據(jù)的存儲(chǔ)位置，造成人力和物力的浪費(fèi)，甚至?xí)故占降臄?shù)據(jù)難以匹配、無法使用，造成數(shù)據(jù)的冗余浪費(fèi)。數(shù)據(jù)開發(fā)能力決定了從數(shù)據(jù)中能夠獲取的信息的深度。工業(yè)數(shù)據(jù)面臨著企業(yè)對(duì)數(shù)據(jù)開發(fā)能力薄弱的問題，出現(xiàn)擁有大量的數(shù)據(jù)卻無法挖掘出深度信息的現(xiàn)象。開發(fā)能力與數(shù)據(jù)處理、機(jī)理模型、工業(yè)軟件關(guān)系密切。數(shù)據(jù)管理能力決定了數(shù)據(jù)的使用效果，良好的數(shù)據(jù)管理能力能讓數(shù)據(jù)分析事半功倍，而數(shù)據(jù)管理能力不足則會(huì)使得數(shù)據(jù)難以使用，無法適應(yīng)數(shù)據(jù)化