工業(yè)大數(shù)據(jù)是如何實(shí)現(xiàn)其價值的

由大數(shù)據(jù)驅(qū)動的制造業(yè)轉(zhuǎn)型升級，是未來制造業(yè)提升生產(chǎn)效率、改進(jìn)產(chǎn)品質(zhì)量、節(jié)約資源消耗、保障生產(chǎn)安全、優(yōu)化銷售服務(wù)的必經(jīng)之路，通過與工業(yè)互聯(lián)網(wǎng)、人工智能、移動互聯(lián)網(wǎng)、云計算等技術(shù)的協(xié)同發(fā)展，工業(yè)大數(shù)據(jù)驅(qū)動的的工業(yè)互聯(lián)網(wǎng)必將深度融入實(shí)體經(jīng)濟(jì)，成為數(shù)字經(jīng)濟(jì)時代的新引擎。工業(yè)互聯(lián)網(wǎng)是以數(shù)字化為基礎(chǔ)，網(wǎng)絡(luò)化為支撐，智能化為目標(biāo)。通過物聯(lián)網(wǎng)技術(shù)對工業(yè)制造過程中的人、物、環(huán)境和過程實(shí)施對象數(shù)字化，將數(shù)據(jù)通過網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的價值流動，以數(shù)據(jù)為生產(chǎn)要素，以數(shù)據(jù)的智能分析為基礎(chǔ)，實(shí)現(xiàn)智能決策和智能控制，實(shí)現(xiàn)智能優(yōu)化和智慧化運(yùn)營，創(chuàng)造經(jīng)濟(jì)價值和社會價值。數(shù)據(jù)是工業(yè)互聯(lián)網(wǎng)的一種最重要的生產(chǎn)要素。一個工廠每天的數(shù)據(jù)以TB計算，但本質(zhì)上，這些數(shù)據(jù)具有“多”、“雜”等特點(diǎn)，良莠不齊。不求隨機(jī)樣本，而是全體數(shù)據(jù)；不求精確性，而是混雜性；不求因果，但求相關(guān)。新工業(yè)革命，本質(zhì)上是智能革命，而智能革命的基礎(chǔ)是信息化，大數(shù)據(jù)是根本。沒有大數(shù)據(jù)對客觀事物全面、快速、真實(shí)、準(zhǔn)確的信息反饋，任何智能設(shè)備都不可能實(shí)現(xiàn)真正的智能。那么，如何讓這些“多”、“雜”的工業(yè)大數(shù)據(jù)發(fā)揮其價值？一工業(yè)大數(shù)據(jù)的數(shù)據(jù)挖掘（一）一些基本概念數(shù)據(jù)挖掘是利用業(yè)務(wù)知識從數(shù)據(jù)中發(fā)現(xiàn)和解釋知識(或稱為模式)的過程，這種知識是以自然或者人工形式創(chuàng)造的新知識。這其中有幾個概念需要了解下：1、OLTP和OLAPOLTP(On-lineTransactionProcessing)聯(lián)機(jī)事務(wù)處理，使事務(wù)應(yīng)用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個事務(wù)。其基本特征是前臺接收的用戶數(shù)據(jù)可以立即傳送到計算中心進(jìn)行處理，并在很短的時間內(nèi)給出處理結(jié)果。OLAP(On-lineAnalyticalProcessing)聯(lián)機(jī)分析處理，專門設(shè)計用于支持復(fù)雜的分析操作，側(cè)重對決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式將查詢結(jié)果提供給決策人員。OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。OLTP和OLAP的區(qū)別2、數(shù)據(jù)倉庫和數(shù)據(jù)集市數(shù)據(jù)倉庫（DataWarehouse，簡寫DW），是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。數(shù)據(jù)倉庫在軟硬件領(lǐng)域、Internet和企業(yè)內(nèi)部網(wǎng)解決方案以及數(shù)據(jù)庫方面提供了許多經(jīng)濟(jì)高效的計算資源，可以保存極大量的數(shù)據(jù)供分析使用，且允許使用多種數(shù)據(jù)訪問技術(shù)。數(shù)據(jù)集市(DataMart)，也叫數(shù)據(jù)市場，從范圍上來說，數(shù)據(jù)是從企業(yè)范圍的數(shù)據(jù)庫、數(shù)據(jù)倉庫，或者是更加專業(yè)的數(shù)據(jù)倉庫中抽取出來的。數(shù)據(jù)倉庫和數(shù)據(jù)集市區(qū)別在于范圍上，前者相當(dāng)于是所有的企業(yè)數(shù)據(jù)的集合，后者重點(diǎn)對整個數(shù)據(jù)倉庫內(nèi)進(jìn)行了分類，迎合了專業(yè)用戶群體的特殊需求。3、數(shù)據(jù)ETL處理數(shù)據(jù)ETL處理，即數(shù)據(jù)的抽?。‥xtract）、數(shù)據(jù)的清洗（Cleaning）、數(shù)字的轉(zhuǎn)換（Transform）、數(shù)字的裝載（Load）。在此前的《小白聊智慧制造之十三：工業(yè)APP是釋放工業(yè)大數(shù)據(jù)價值的方式》已有表述，這里略過。（二）工業(yè)大數(shù)據(jù)的數(shù)據(jù)挖掘1、工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘流程數(shù)據(jù)挖掘過程一般分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘和結(jié)果表達(dá)和解釋三個部分。在數(shù)據(jù)準(zhǔn)備階段，需要對數(shù)據(jù)集進(jìn)行選取和預(yù)處理。其中數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)歸約和數(shù)據(jù)變換等。2、工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘的基本算法數(shù)據(jù)挖掘是一種獲得知識的技術(shù)。其基礎(chǔ)是數(shù)據(jù)，其手段是各種算法，其目的是獲得數(shù)據(jù)中所蘊(yùn)含的知識。數(shù)據(jù)挖掘從一個新的視角將數(shù)據(jù)庫技術(shù)、統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、信息檢索技術(shù)、數(shù)據(jù)可視化和模式識別與人工智能等領(lǐng)域有機(jī)結(jié)合起來，它能組合各個領(lǐng)域的優(yōu)點(diǎn)，從而能從數(shù)據(jù)中挖掘到其他傳統(tǒng)方法不能發(fā)現(xiàn)的有用知識。利用數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)分析常用的方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析等，它們分別從不同的角度對數(shù)據(jù)進(jìn)行挖掘。數(shù)據(jù)挖掘的算法很多，隨著科學(xué)技術(shù)的不斷發(fā)展，新的算法會不斷地加入。3、數(shù)據(jù)挖掘的目的數(shù)據(jù)挖掘分為三層，一是提供數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備的數(shù)據(jù)層，一個是提供算法、引擎和界面的算法層，一個是把數(shù)據(jù)挖掘結(jié)果應(yīng)用于實(shí)踐的應(yīng)用層。數(shù)據(jù)挖掘目的是可以應(yīng)用于應(yīng)用層實(shí)際應(yīng)用的描述類知識和預(yù)測類知識。數(shù)據(jù)挖掘不是一個靜態(tài)的過程，需要不斷對模型重新評估，衡量，修正。在大數(shù)據(jù)時代，數(shù)據(jù)的產(chǎn)生和收集是基礎(chǔ)，數(shù)據(jù)挖掘是關(guān)鍵。數(shù)據(jù)挖掘是大數(shù)據(jù)中最關(guān)鍵也最有價值的工作。通常，數(shù)據(jù)挖掘或知識發(fā)現(xiàn)泛指從大量數(shù)據(jù)中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統(tǒng)化的過程。（三）數(shù)據(jù)挖掘的4個特性1、應(yīng)用性數(shù)據(jù)挖掘是理論算法和應(yīng)用實(shí)踐的完美結(jié)合。數(shù)據(jù)挖掘源于實(shí)際生產(chǎn)生活中應(yīng)用的需求，挖掘的數(shù)據(jù)來自于具體應(yīng)用，同時通過數(shù)據(jù)挖掘發(fā)現(xiàn)的知識又要運(yùn)用到實(shí)踐中去，輔助實(shí)際決策。所以，數(shù)據(jù)挖掘來自于應(yīng)用實(shí)踐，同時也服務(wù)于應(yīng)用實(shí)踐。2、工程性數(shù)據(jù)挖掘是一個由多個步驟組成的工程化過程。數(shù)據(jù)挖掘的應(yīng)用特性決定了數(shù)據(jù)挖掘不僅僅是算法分析和應(yīng)用，而是一個包含數(shù)據(jù)準(zhǔn)備和管理、數(shù)據(jù)預(yù)處理和轉(zhuǎn)換、挖掘算法開發(fā)和應(yīng)用、結(jié)果展示和驗(yàn)證以及知識積累和使用的完整過程。而且在實(shí)際應(yīng)用中，典型的數(shù)據(jù)挖掘過程還是一個交互和循環(huán)的過程。3、集合性數(shù)據(jù)挖掘是多種功能的集合。常用的數(shù)據(jù)挖掘功能包括數(shù)據(jù)探索分析、關(guān)聯(lián)規(guī)則挖掘、時間序列模式挖掘、分類預(yù)測、聚類分析、異常檢測、數(shù)據(jù)可視化和鏈接分析等。一個具體的應(yīng)用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術(shù)基礎(chǔ)，而且每一個功能都有不同的算法支撐。4、交叉性數(shù)據(jù)挖掘是一個交叉學(xué)科，它利用了來自統(tǒng)計分析、模式識別、機(jī)器學(xué)習(xí)、人工智能、信息檢索、數(shù)據(jù)庫等諸多不同領(lǐng)域的研究成果和學(xué)術(shù)思想。同時，一些其他領(lǐng)域如隨機(jī)算法、信息論、可視化、分布式計算和最優(yōu)化也對數(shù)據(jù)挖掘的發(fā)展起到重要的作用。數(shù)據(jù)挖掘與這些相關(guān)領(lǐng)域的區(qū)別可以由前面提到的數(shù)據(jù)挖掘的3個特性來總結(jié)，最重要的是它更側(cè)重于應(yīng)用二基于工業(yè)大數(shù)據(jù)建立數(shù)據(jù)模型上圖是數(shù)字模型建立的流程圖，其中關(guān)鍵點(diǎn)有幾點(diǎn)：1、確定目標(biāo)2、選擇變量和變量重構(gòu)3、選擇算法4、測試結(jié)果三數(shù)據(jù)+模型=服務(wù)隨著新一代信息技術(shù)與制造業(yè)的深度融合，工業(yè)企業(yè)的運(yùn)營管理，越來越依賴工業(yè)大數(shù)據(jù)。工業(yè)大數(shù)據(jù)的潛在價值也日益呈現(xiàn)。隨著越來越多的生產(chǎn)設(shè)備、零部件、產(chǎn)品以及人力物力不斷加入工業(yè)互聯(lián)網(wǎng)，也致使工業(yè)大數(shù)據(jù)呈現(xiàn)出爆炸性增長的趨勢。大數(shù)據(jù)的核心和本質(zhì)是應(yīng)用、算法、數(shù)據(jù)和平臺4個要素的有機(jī)結(jié)合，如圖所示。大數(shù)據(jù)是應(yīng)用驅(qū)動的，大數(shù)據(jù)來源于實(shí)踐，海量數(shù)據(jù)產(chǎn)生于實(shí)際應(yīng)用中。數(shù)據(jù)挖掘源于實(shí)踐中的實(shí)際應(yīng)用需求，用具體的應(yīng)用數(shù)據(jù)作為驅(qū)動，以算法、工具和平臺作為支撐，最終將發(fā)現(xiàn)的知識和信息用到實(shí)踐中去，從而提供量化、合理、可行、能夠產(chǎn)生巨大價值的信息。另外，挖掘大數(shù)據(jù)所蘊(yùn)含的有用信息，需要設(shè)計和開發(fā)相應(yīng)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法。算法的設(shè)計和開發(fā)要以具體的應(yīng)用數(shù)據(jù)為驅(qū)動，同時也要在實(shí)際問題中得到應(yīng)用和驗(yàn)證，而算法的實(shí)現(xiàn)與應(yīng)用需要高效的處理平臺。高效的處理平臺需要有效地分析海量的數(shù)據(jù)及對多源數(shù)據(jù)進(jìn)行集成，同時有力支持?jǐn)?shù)據(jù)挖掘算法以及數(shù)據(jù)可視化的執(zhí)行，并對數(shù)據(jù)分析的流程進(jìn)行規(guī)范。總而言之，這個應(yīng)用、算法、數(shù)據(jù)和平臺相結(jié)合的思想是對大數(shù)據(jù)的理解和認(rèn)識的一個綜合與凝練，體現(xiàn)了大數(shù)據(jù)的本質(zhì)和核心。建立在此架構(gòu)上的大數(shù)