智能制造管理 課件 第十六章 制造大數(shù)據(jù)分析方法

第十六章制造大數(shù)據(jù)分析方法1制造數(shù)據(jù)產(chǎn)生、轉(zhuǎn)化、存儲(chǔ)2數(shù)據(jù)挖掘技術(shù)3商務(wù)智能分析4大數(shù)據(jù)分析技術(shù)5制造大數(shù)據(jù)可視化分析系統(tǒng)制造數(shù)據(jù)產(chǎn)生、轉(zhuǎn)化、存儲(chǔ)制造業(yè)大數(shù)據(jù)是工業(yè)數(shù)據(jù)的總和，我們把它分成三類，即企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)，以及外部跨界數(shù)據(jù)。其中，企業(yè)信息化和工業(yè)物聯(lián)網(wǎng)中機(jī)器產(chǎn)生的海量時(shí)序數(shù)據(jù)是工業(yè)數(shù)據(jù)規(guī)模變大的主要來(lái)源。近年來(lái)物聯(lián)網(wǎng)技術(shù)快速發(fā)展，工業(yè)物聯(lián)網(wǎng)成為制造業(yè)大數(shù)據(jù)新的、增長(zhǎng)最快的來(lái)源之一。16.1.1制造業(yè)大數(shù)據(jù)分類海量的Key-Value數(shù)據(jù)文檔數(shù)據(jù)信息化數(shù)據(jù)接口數(shù)據(jù)視頻數(shù)據(jù)圖像數(shù)據(jù)音頻數(shù)據(jù)其他數(shù)據(jù)制造數(shù)據(jù)產(chǎn)生、轉(zhuǎn)化、存儲(chǔ)各種類型的制造業(yè)大數(shù)據(jù)都是通過(guò)傳感器和RFID（RadioFrequencyIdentification，射頻識(shí)別）進(jìn)行收集的。RFID技術(shù)是一種非接觸式的自動(dòng)識(shí)別技術(shù)，通過(guò)射頻信號(hào)自動(dòng)識(shí)別目標(biāo)對(duì)象并獲取相關(guān)的數(shù)據(jù)信息。利用射頻方式進(jìn)行非接觸雙向通信，達(dá)到識(shí)別目的并交換數(shù)據(jù)。數(shù)據(jù)采集技術(shù)難點(diǎn)主要包括以下幾方面：數(shù)據(jù)量巨大工業(yè)數(shù)據(jù)的協(xié)議不標(biāo)準(zhǔn)視頻傳輸所需帶寬巨大對(duì)原有系統(tǒng)的采集難度大安全性考慮不足16.1.2制造業(yè)大數(shù)據(jù)的收集制造數(shù)據(jù)產(chǎn)生、轉(zhuǎn)化、存儲(chǔ)存儲(chǔ)和管理多源異構(gòu)和多模態(tài)這兩種類型的工業(yè)大數(shù)據(jù)的關(guān)鍵技術(shù)多源異構(gòu)數(shù)據(jù)（Multi-sourceHeterogeneousData）是指數(shù)據(jù)源不同、數(shù)據(jù)結(jié)構(gòu)或類型不同的數(shù)據(jù)集合。多源異構(gòu)數(shù)據(jù)管理需要從系統(tǒng)角度，針對(duì)工業(yè)領(lǐng)域涉及的數(shù)據(jù)在不同階段、不同流程呈現(xiàn)多種模態(tài)（關(guān)系、圖、鍵值、時(shí)序、非結(jié)構(gòu)化）的特點(diǎn)，研制不同的數(shù)據(jù)管理引擎致力于對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行高效地采集、存儲(chǔ)和管理。多源異構(gòu)數(shù)據(jù)管理技術(shù)可有效解決大數(shù)據(jù)管理系統(tǒng)中由模塊耦合緊密、開放性差而導(dǎo)致的系統(tǒng)對(duì)數(shù)據(jù)多樣性和應(yīng)用多樣性的適應(yīng)能力差的問(wèn)題，使大數(shù)據(jù)管理系統(tǒng)能夠更好地適應(yīng)數(shù)據(jù)和應(yīng)用的多樣性并能夠充分利用開源軟件領(lǐng)域強(qiáng)大的技術(shù)開發(fā)和創(chuàng)新能力。多模態(tài)數(shù)據(jù)（Multi-modalData）是指表征同一事物的不同來(lái)源和形式的數(shù)據(jù)。在數(shù)據(jù)生命周期管理中，多模態(tài)數(shù)據(jù)存儲(chǔ)分散、關(guān)系復(fù)雜，在研發(fā)、制造周期以BOM為主線，在制造、服務(wù)周期以設(shè)備實(shí)例為中心，BOM和設(shè)備的語(yǔ)義貫穿了工業(yè)大數(shù)據(jù)的整個(gè)生命周期。數(shù)據(jù)集成的核心任務(wù)是要將互相關(guān)聯(lián)的多模態(tài)數(shù)據(jù)集成到一起，使用戶能夠以透明的方式訪問(wèn)這些數(shù)據(jù)源。16.1.3大數(shù)據(jù)存儲(chǔ)與管理技術(shù)數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘（DataMining）就是從真實(shí)的、大量的、有噪聲的數(shù)據(jù)源中提取先前未知的可供用戶接受、理解、運(yùn)用的潛在知識(shí)的過(guò)程。數(shù)據(jù)挖掘技術(shù)提取的知識(shí)從廣義上理解就是人們口中常說(shuō)的數(shù)據(jù)與信息。16.2.1數(shù)據(jù)挖掘概念與功能數(shù)據(jù)挖掘任務(wù)的基本步驟數(shù)據(jù)挖掘技術(shù)分類。分類用于預(yù)測(cè)離散的目標(biāo)變量，找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類?；貧w?；貧w分析方法用于預(yù)測(cè)連續(xù)的目標(biāo)變量，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系。聚類分析。聚類分析是將數(shù)據(jù)劃分成有意義、解釋性強(qiáng)的組，在數(shù)據(jù)中發(fā)現(xiàn)描述對(duì)象及其關(guān)系的信息。關(guān)聯(lián)分析。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的隱藏關(guān)系的規(guī)則。異常檢測(cè)。異常檢測(cè)就是發(fā)現(xiàn)與大部分其他對(duì)象存在偏差的對(duì)象。Web頁(yè)挖掘。通過(guò)對(duì)Web的挖掘，可以利用Web的海量數(shù)據(jù)進(jìn)行分析，收集政治、經(jīng)濟(jì)、政策、科技、金融、各種市場(chǎng)、競(jìng)爭(zhēng)對(duì)手、供求信息、客戶等有關(guān)的信息。16.2.2數(shù)據(jù)挖掘常用方法數(shù)據(jù)挖掘技術(shù)時(shí)序分析。智能化工業(yè)生產(chǎn)設(shè)備上安裝了大量的傳感器，這些傳感器不斷產(chǎn)生檢測(cè)生產(chǎn)設(shè)備溫度、壓力、位移重量、震動(dòng)的海量的時(shí)間序列數(shù)據(jù)以用于診斷和預(yù)警設(shè)備故障，以便制造企業(yè)監(jiān)控生產(chǎn)、控制能耗、分析設(shè)備利用率。知識(shí)圖譜。工業(yè)生產(chǎn)過(guò)程中會(huì)積累大量的日志文本，此類非結(jié)構(gòu)化數(shù)據(jù)中蘊(yùn)含著豐富的專家經(jīng)驗(yàn)，利用文本分析的技術(shù)能夠?qū)崿F(xiàn)事件實(shí)體和類型提取（故障類型抽取）、事件線索抽取（故障現(xiàn)象、征兆、排查路線、結(jié)果分析），通過(guò)專家知識(shí)的沉淀實(shí)現(xiàn)專家知識(shí)庫(kù)（故障排查知識(shí)庫(kù)、運(yùn)維檢修知識(shí)庫(kù)、設(shè)備操作知識(shí)庫(kù)）。多源數(shù)據(jù)融合。在企業(yè)生產(chǎn)經(jīng)營(yíng)、采購(gòu)運(yùn)輸?shù)拳h(huán)節(jié)中，會(huì)有大量的管理經(jīng)營(yíng)數(shù)據(jù)，利用這些數(shù)據(jù)可實(shí)現(xiàn)供應(yīng)鏈協(xié)同、精準(zhǔn)銷售、市場(chǎng)調(diào)度、產(chǎn)品追溯、能力分析、質(zhì)量管控等等。16.2.3數(shù)據(jù)挖掘技術(shù)在工業(yè)大數(shù)據(jù)的應(yīng)用商務(wù)智能分析16.3.1商務(wù)智能概述及模型分析商務(wù)智能（BusinessIntelligence）最早于1989年由GarnerGroup的分析師HowardDresner首次提出，為提高企業(yè)運(yùn)營(yíng)績(jī)效而采取的一系列方法，軟件和技術(shù)，通過(guò)應(yīng)用相應(yīng)的支持系統(tǒng)來(lái)輔助商業(yè)決策的制定。在企業(yè)積累的海量數(shù)據(jù)源基礎(chǔ)上，面向動(dòng)態(tài)分析決策需求，針對(duì)特定的決策問(wèn)題進(jìn)行建模，確定運(yùn)算規(guī)則，為支持企業(yè)動(dòng)態(tài)決策提供理論方法和算法支撐，是商務(wù)智能的重要研究方向。商務(wù)智能分析16.3.2商務(wù)智能工具商務(wù)智能是在整合、等系統(tǒng)之基礎(chǔ)上，通過(guò)數(shù)據(jù)收集、存儲(chǔ)，利用分析工具實(shí)現(xiàn)知識(shí)管理以為決策者提供價(jià)值信息。因此，商務(wù)智能工具平臺(tái)在商務(wù)智能技術(shù)框架中具有重要地位是商務(wù)智能應(yīng)用模型發(fā)揮作用的直接載體。商務(wù)智能分析16.3.3商務(wù)智能應(yīng)用現(xiàn)狀歐美企業(yè)已經(jīng)認(rèn)識(shí)到商務(wù)智能的重要意義，因而對(duì)它寄予很高的期望，希望能夠通過(guò)商務(wù)智能充分利用企業(yè)以往對(duì)信息技術(shù)的投資、改善決策、提高利潤(rùn)、提高運(yùn)營(yíng)效率和增強(qiáng)透明度。美國(guó)企業(yè)用商務(wù)智能做在線分析處理的較多，而歐洲企業(yè)進(jìn)行高級(jí)分析的較多。北美企業(yè)的部署重點(diǎn)在于特設(shè)查詢、擴(kuò)展性等，歐洲企業(yè)則側(cè)重支持多數(shù)據(jù)庫(kù)、信息門戶整合等。商務(wù)智能在我國(guó)的發(fā)展尚處于起步階段，大部分企業(yè)對(duì)其仍然缺乏必要的了解?，F(xiàn)在雖有寶鋼、中國(guó)海關(guān)以及大的銀行和電信公司進(jìn)行過(guò)或正在進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘項(xiàng)目，但是大部分企業(yè)在這方面的應(yīng)用還幾乎為零。被商務(wù)智能軟件廠商們看好的是電信、金融、航空等行業(yè)，因?yàn)檫@些行業(yè)的信息化程度偏高，并且這些行業(yè)從某種意義上講都是服務(wù)業(yè)，客戶的需求扮演著重要角色，準(zhǔn)確、科學(xué)地把握客戶的需求是身處這些行業(yè)的企業(yè)決策者們孜孜以求的。商務(wù)智能分析16.3.4制造業(yè)商務(wù)智能需求及發(fā)展模式制造業(yè)商務(wù)智能會(huì)因?yàn)椴煌膽?yīng)用行業(yè)而千差萬(wàn)別。在此背景下，提供支持多種制造業(yè)商務(wù)智能發(fā)展模式及產(chǎn)品研發(fā)的解決方案已成為支撐我國(guó)制造企業(yè)發(fā)展并進(jìn)入全球化制造網(wǎng)絡(luò)的重要因素。目前主要存在的五種發(fā)展模式如下：（1）基于自主ERP和自主BI工具的制造業(yè)商務(wù)智能發(fā)展模式：即企業(yè)ERP與BI工具屬于同一個(gè)開發(fā)實(shí)施團(tuán)隊(duì)。（2）基于自主ERP和商業(yè)BI工具的制造業(yè)商務(wù)智能發(fā)展模式：即企業(yè)ERP與BI工具不屬于同一個(gè)開發(fā)實(shí)施團(tuán)隊(duì)。（3）基于商業(yè)ERP和自主BI工具的制造業(yè)商務(wù)智能發(fā)展模式：即尊重目前我國(guó)制造業(yè)多種多樣ERP系統(tǒng)的現(xiàn)實(shí)，利用自主的BI工具發(fā)展自主知識(shí)產(chǎn)權(quán)的我國(guó)行業(yè)商務(wù)智能平臺(tái)。（4）基于自主BI工具的制造業(yè)商務(wù)智能發(fā)展模式：直接基于自主BI開發(fā)應(yīng)用制造企業(yè)專用的商務(wù)智能平臺(tái)。（5）相對(duì)封閉性行業(yè)的制造業(yè)商務(wù)智能發(fā)展模式：針對(duì)相對(duì)封閉的制造行業(yè)，根據(jù)行業(yè)的需求開發(fā)商務(wù)智能平臺(tái)，實(shí)現(xiàn)與行業(yè)系統(tǒng)的深入集成和應(yīng)用。商務(wù)智能分析16.3.5制造業(yè)商務(wù)智能分析框架結(jié)合制造業(yè)對(duì)商務(wù)智能技術(shù)與產(chǎn)品的現(xiàn)實(shí)需求，以商務(wù)智能技術(shù)框架為基礎(chǔ)在商務(wù)智能應(yīng)用模型、工具平臺(tái)和關(guān)鍵技術(shù)分析的基礎(chǔ)上，建立制造業(yè)商務(wù)智能研究的基本框架。以模型研究為核心以工具平臺(tái)研究為重點(diǎn)，以關(guān)鍵技術(shù)研究為支撐。大數(shù)據(jù)分析技術(shù)16.4.1制造業(yè)大數(shù)據(jù)的特點(diǎn)制造業(yè)商務(wù)智能不同于其他行業(yè)，它具有自身鮮明的應(yīng)用特點(diǎn)：（1）數(shù)據(jù)來(lái)源多樣。（2）數(shù)據(jù)的生命周期與產(chǎn)品的生命周期有關(guān)。（3）數(shù)據(jù)質(zhì)量低。（4）數(shù)據(jù)蘊(yùn)含信息復(fù)雜，耦合性不確定。（5）數(shù)據(jù)實(shí)時(shí)性高。（6）數(shù)據(jù)結(jié)構(gòu)化程度低。大數(shù)據(jù)分析技術(shù)16.4.2基于流程的大數(shù)據(jù)分析技術(shù)應(yīng)用制造業(yè)涉及行業(yè)眾多，實(shí)際工作場(chǎng)景千差萬(wàn)別，但廣義上講，所有產(chǎn)品的制造流程都可劃分為設(shè)計(jì)、生產(chǎn)、采購(gòu)、銷售和售后五個(gè)階段。目前大數(shù)據(jù)分析模型在各個(gè)場(chǎng)景中都有應(yīng)用。（1）設(shè)計(jì)階段。大數(shù)據(jù)分析在設(shè)計(jì)階段的應(yīng)用主要體現(xiàn)在工藝流程的參數(shù)優(yōu)化上。此外，在能效優(yōu)化、成本優(yōu)化、工藝標(biāo)準(zhǔn)優(yōu)化及智能設(shè)計(jì)等方面，大數(shù)據(jù)分析也能起到作用。（2）生產(chǎn)階段。大數(shù)據(jù)分析在生產(chǎn)階段的應(yīng)用主要體現(xiàn)在質(zhì)量監(jiān)控、故障診斷和智能調(diào)度上。（3）采購(gòu)階段。大數(shù)據(jù)分析在采購(gòu)階段的應(yīng)用主要體現(xiàn)在庫(kù)存管理和成本優(yōu)化上。（4）銷售階段。大數(shù)據(jù)分析在銷售階段的應(yīng)用主要體現(xiàn)在產(chǎn)量預(yù)測(cè)、需求發(fā)現(xiàn)和配送優(yōu)化上。（5）售后階段。大數(shù)據(jù)分析在售后階段的應(yīng)用主要體現(xiàn)在服務(wù)類型識(shí)別和運(yùn)行狀態(tài)監(jiān)控上。制造大數(shù)據(jù)可視化分析系統(tǒng)制造型的工業(yè)工廠企業(yè)大數(shù)據(jù)的難點(diǎn)在于打通企業(yè)數(shù)據(jù)采集、集成、管理、分析的產(chǎn)業(yè)鏈條，幫助企業(yè)的業(yè)務(wù)人員養(yǎng)成使用數(shù)據(jù)的習(xí)慣。發(fā)展創(chuàng)新，優(yōu)化業(yè)務(wù)流程。智慧工廠工業(yè)BI大數(shù)據(jù)可視化分析系統(tǒng)，為幫助企業(yè)產(chǎn)業(yè)升級(jí)，有效提高管理力賦能。通過(guò)數(shù)據(jù)分析及時(shí)的發(fā)現(xiàn)問(wèn)題，快速做出解決方案。（1）利用大數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展，打造企業(yè)新型能力當(dāng)今的工廠制造業(yè)隨著客戶多樣個(gè)性化的需求，產(chǎn)品上市時(shí)間短、研制成本高，這樣就會(huì)導(dǎo)致工廠的利潤(rùn)降低。用戶的需求迫切，利潤(rùn)空間低、競(jìng)爭(zhēng)大，使得工廠迫切的需要轉(zhuǎn)型。（2）“盤活存量數(shù)據(jù)、用好增量數(shù)據(jù)”，推動(dòng)企業(yè)轉(zhuǎn)型升級(jí)制造型企業(yè)在信息化的每個(gè)發(fā)展階段都會(huì)產(chǎn)生大量的數(shù)據(jù)處理要求，并且會(huì)因?yàn)楦鞣N大量的業(yè)務(wù)活動(dòng)產(chǎn)生各式的大數(shù)據(jù)，所以工業(yè)大數(shù)據(jù)的利用不僅僅是信息化基礎(chǔ)建設(shè)，更重要的是可以幫助企業(yè)創(chuàng)新業(yè)務(wù)，用數(shù)據(jù)的思維來(lái)管理。16.5.1建立制造大數(shù)據(jù)可視化分析系統(tǒng)的作用制造大數(shù)據(jù)可視化分析系統(tǒng)（1）MicroStrategy。成立于1989年，現(xiàn)在是全球最大的獨(dú)立BI（BusinessIntelligence）企業(yè)。MicroStrategy一直是GartnerMagicQudrant評(píng)鑒中列為領(lǐng)先的前五大BI工具和服務(wù)廠家。MicroStrategy可以支持所有主流的數(shù)據(jù)庫(kù)或數(shù)據(jù)源。（2）BusinessObjects。是全球領(lǐng)先的商務(wù)智能(BI)軟件企業(yè)的產(chǎn)品套件，BusinessObjectsXI為報(bào)表、查詢和分析、績(jī)效管理以及數(shù)據(jù)集成提供了最完善、最可靠的平臺(tái)。2007年10月被SAP收購(gòu)，但是保持獨(dú)立運(yùn)營(yíng)。（3）Cognos。隸屬于IBM公司的Cognos是在BI核心平臺(tái)之上，以服務(wù)為導(dǎo)向進(jìn)行架構(gòu)的一種數(shù)據(jù)模型，是唯一可以