制造業(yè)MES產(chǎn)線IoT平臺(tái)架構(gòu)

1、制造業(yè)MES產(chǎn)線IoT平臺(tái)架構(gòu)Oracle全數(shù)據(jù)和云存儲(chǔ)方案對(duì)于大多數(shù)的制造企業(yè)來(lái)說(shuō)，在快速發(fā)展的同時(shí)對(duì)大量數(shù)據(jù)進(jìn)行訪問、分析及管理越來(lái)越關(guān)鍵。 許多制造企業(yè)都在增強(qiáng)制造質(zhì)量的同時(shí)尋找提升缺陷跟蹤及對(duì)完善供應(yīng)鏈的優(yōu)化能力，從而改善其整體的運(yùn)營(yíng)效率。全數(shù)據(jù)解決方案可以幫助提高制造及運(yùn)營(yíng)效率，同時(shí)提供對(duì)公司運(yùn)作的全方位觀察，從而引導(dǎo)更 好更及時(shí)的決策。以全數(shù)據(jù)為基礎(chǔ)的架構(gòu)可以讓企業(yè)有能力分析各類數(shù)據(jù)源以獲得更好的洞察。這會(huì) 開拓企業(yè)的分析及預(yù)測(cè)選項(xiàng)，并會(huì)取得更好的成果。Oracle是企業(yè)級(jí)解決方案的領(lǐng)導(dǎo)者，在企業(yè)紛紛思考大數(shù)據(jù)如何轉(zhuǎn)換為價(jià)值的過程中，Oracle也在結(jié)合自己的經(jīng)驗(yàn)和能力思考，并且總

2、結(jié)出了全數(shù)據(jù)管理解決方案。即對(duì)于結(jié)構(gòu)化數(shù)據(jù)，Oracle建議采用關(guān)系型數(shù)據(jù)庫(kù)來(lái)處理，其技術(shù)非常成熟，生態(tài)環(huán)境也比較完善。而對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，考慮到未來(lái)技術(shù)的發(fā)展和成本等因素，可以考慮基于Hadoop/NoSQL 來(lái)處理，同時(shí)將關(guān)系型數(shù)據(jù)庫(kù)成熟的經(jīng)驗(yàn)和技術(shù)擴(kuò)展到新技術(shù)平臺(tái)。全數(shù)據(jù)管理平臺(tái)構(gòu)建模式應(yīng)該是關(guān)系型數(shù)據(jù)庫(kù)和 Hadoop/NoSQL 相結(jié)合，在企業(yè)級(jí)產(chǎn)品方面Oracle推出了 Exadata + BDA的一整套全數(shù)據(jù)解決力7K 0Oracle Exadata 數(shù)據(jù)庫(kù)云平臺(tái)采用集成設(shè)計(jì)，旨在為 Oracle數(shù)據(jù)庫(kù)提供卓越的性能、極好的 成本效益和極高的可用性。Exadata可以運(yùn)行所有類型

3、的數(shù)據(jù)庫(kù)負(fù)載，包括聯(lián)機(jī)事務(wù)處理(OLTP)、數(shù)據(jù)倉(cāng)庫(kù)(DW)、內(nèi)存中分析以及各種混合負(fù)載。Oracle BDA 大數(shù)據(jù)機(jī)是一個(gè)靈活、高性能安全的平臺(tái)，用于在 Hadoop、Kafka和NoSQL系 統(tǒng)上運(yùn)行不同的負(fù)載。憑借 Oracle Big Data SQL , BDA將Oracle行業(yè)領(lǐng)先的SQL實(shí)現(xiàn)擴(kuò)展至 Hadoop/ NoSQL 和Kafka系統(tǒng)。BDA將Hadoop 生態(tài)系統(tǒng)的最新技術(shù)和強(qiáng)大的 Oracle SQL 功能 整合到一個(gè)預(yù)先配置的平臺(tái)上，因而支持快速開發(fā)新的大數(shù)據(jù)應(yīng)用程序，支持與現(xiàn)有關(guān)系型數(shù)據(jù)緊密 集成，這在業(yè)界堪稱獨(dú)一無(wú)二。Oracle存儲(chǔ)云服務(wù)為您提供了一個(gè)通過互

4、聯(lián)網(wǎng)存儲(chǔ)、管理和使用大量非結(jié)構(gòu)化數(shù)據(jù)的易用的解 決方案。您的應(yīng)用程序可以使用OpenStack Swift 兼容的REST API或Java API以編程方式訪問Oracle存儲(chǔ)云服務(wù)。您可以使用基于web的圖形控制臺(tái)監(jiān)視關(guān)鍵存儲(chǔ)量度并管理用戶和角色。下面以一個(gè)真實(shí)的案例向您介紹如何通過ORACLE全數(shù)據(jù)平臺(tái)+ Cloud存儲(chǔ)混合云架構(gòu)設(shè)計(jì)，構(gòu)建一個(gè)制造業(yè) MES產(chǎn)線IoT平臺(tái)。1 .典型案例一一某制造業(yè) MES產(chǎn)品檢測(cè)系統(tǒng)大數(shù)據(jù)需求分析1.1. 數(shù)據(jù)源分析? MES產(chǎn)品檢測(cè)系統(tǒng)測(cè)試數(shù)據(jù)分為兩類：? SUMMARY概要數(shù)據(jù)? DETAIL詳細(xì)數(shù)據(jù)o LOGFILE日志文件o IMAGE測(cè)試圖片

5、文件? 數(shù)據(jù)按RETENTION分類?超熱數(shù)據(jù)：當(dāng)前生產(chǎn)數(shù)據(jù)：1天以內(nèi)? 熱數(shù)據(jù)：1天至1月? 溫?cái)?shù)據(jù)：1月至6月? 冷數(shù)據(jù)：6月以上至2年? 具體數(shù)據(jù)分析如下：SUMMARYLOGFILEIMAGE定義測(cè)試數(shù)據(jù)的概測(cè)試日志文件測(cè)試圖片文件（測(cè)試數(shù)據(jù)要信息（測(cè)試數(shù)據(jù)的詳細(xì)信息）的詳細(xì)信息）格式結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)大?。織l）10KB50KB5MB產(chǎn)生數(shù)量/分鐘1000 條10萬(wàn)條1000 條數(shù)據(jù)量/分鐘10 MB5 GB5 GB數(shù)據(jù)量/天14.4 GB7.2 TB7.2 TB數(shù)據(jù)量/月432 GB216 TB216 TB數(shù)據(jù)量/半年2.592 TB1.296 PB1.296 P

6、B數(shù)據(jù)量/年5.184 TB2.592 PB2.592 PB數(shù)據(jù)訪問性能<=5秒（超熱數(shù)據(jù)：1天內(nèi)）要求<=10分鐘 （熱數(shù)據(jù)：1天至1月）<=4小時(shí)（溫?cái)?shù)據(jù)：1月至半年）<=24小時(shí) （半年至2年）數(shù)據(jù)保留期限超熱數(shù)據(jù)：當(dāng)前數(shù)據(jù) 1天以內(nèi)熱數(shù)據(jù)：1天至1月溫?cái)?shù)據(jù)：6月冷數(shù)據(jù)：2年超出2年則自動(dòng)刪除存儲(chǔ)位置本地存儲(chǔ)本地存儲(chǔ)+公有云公有云1.2. 數(shù)據(jù)采集測(cè)試數(shù)據(jù)最初是分散分布在各個(gè)測(cè)試端本地電腦上，后匯總采集存儲(chǔ)至SQL數(shù)據(jù)庫(kù),SUMMARY 與LOGFILE數(shù)據(jù)以表的形式存儲(chǔ)。IMAGE則以文件的形式存儲(chǔ)。1.3. 數(shù)據(jù)分析主要分析測(cè)試數(shù)據(jù)特征值，預(yù)測(cè)數(shù)據(jù)趨勢(shì)1.4.

7、 IoT 閉環(huán)大數(shù)據(jù)分析結(jié)果反饋至生產(chǎn)端，形成閉環(huán)，最終指導(dǎo)生產(chǎn)，提高生產(chǎn)效率。例如通過良率分析，發(fā)現(xiàn)生產(chǎn)參數(shù)，時(shí)間，測(cè)試指標(biāo)結(jié)果和良率的相關(guān)性，通過與MES結(jié)合,實(shí)時(shí)監(jiān)控生產(chǎn)參數(shù)和測(cè)試指標(biāo)，并且做出預(yù)測(cè)，一旦發(fā)現(xiàn)缺陷數(shù)量有增加趨勢(shì)時(shí)，可以通知人為介入,避免大量缺陷件的密集產(chǎn)生。1.5. 大數(shù)據(jù)分析處理流程圖攫熱敷斛心,乩比 冷敷據(jù)為以內(nèi)） |半年以內(nèi)>| 半年至兩年JDSS反饋指導(dǎo)域S生產(chǎn)，提高M(jìn)E5生產(chǎn)效率，形成閉環(huán)的 M2. Oracle全數(shù)據(jù)+云存儲(chǔ)混合架構(gòu)方案=> 構(gòu)建企業(yè)級(jí)IoT平臺(tái)2.1. 超熱數(shù)據(jù)處理階段? 不超過一天的超熱數(shù)據(jù) （SUMMARY 與LOGFILE中

8、間表數(shù)據(jù)）由EXADATA + ORACLE 12c實(shí)現(xiàn)快速處理，尤其是大量的 JOIN操作。? Exadata所特有的SMART SCAN、大容量智能緩存等功能，以及Oracle 12C 的IN MEMORY列式內(nèi)存計(jì)算、分區(qū)等功能可以實(shí)現(xiàn)非常高效地處理超熱數(shù)據(jù)。理熱數(shù)據(jù)（1天以內(nèi)）SUMMARY/： UK FILE JEXADATAORACLE 12c2.2.熱/溫?cái)?shù)據(jù)處理階段? Oracle中的SUMMARY/LOGFILE 中間表數(shù)據(jù)實(shí)時(shí)同步至 BDA大數(shù)據(jù)一體機(jī)平臺(tái)? 文件導(dǎo)入至BDA中的HDFS,表METADATA存儲(chǔ)至HIVE? 導(dǎo)入工具為 OGG? BDA存儲(chǔ)半年以內(nèi)的熱/溫?cái)?shù)

9、據(jù)? 超出半年以外的LOGFILE數(shù)據(jù)則歸檔至公有云存儲(chǔ)2.3.冷數(shù)據(jù)處理階段? BDA大數(shù)據(jù)一體機(jī)中超出半年以外的LOGFILE數(shù)據(jù)歸檔至公有云? IMAGE數(shù)據(jù)歸檔至公有云熬/溫?cái)?shù)據(jù) 再數(shù)摑羋年以內(nèi)）f半年至兩年）BDA大數(shù)據(jù)一體機(jī)tSUWKAMEU 跖 FILE)2.4. BDA方案整體架構(gòu)圖基于客戶需求理解， ORACLE建議如下：超熱數(shù)據(jù)的處理由 Exadata 來(lái)處理；Summary 和Log文件都可以存放于 BDA中，由于Summary 文件較小，且包含Log文件的訪問信息，Summary 文件一直存放在 BDA中；Log文件冷數(shù)據(jù)歸檔 窗口保持為6個(gè)月。整體方案架構(gòu)圖如下:超熱

10、數(shù)據(jù)門天以內(nèi)）熱/盤塞據(jù)（半年以內(nèi)）冷數(shù)據(jù)（半年唱曲年）妻時(shí)同由SUMMARY/LOG FILEIMAGE文件：OE1ACLE 12cES產(chǎn)統(tǒng)師生系產(chǎn)品 檢測(cè)統(tǒng)-1總電IWIA SQL分析2DSS分析決策DSS反饋指導(dǎo)KES生產(chǎn)，提高生產(chǎn)效率，形成閉環(huán)的H）T說(shuō)明:1實(shí)時(shí)同步通過OracleGolden Gate 進(jìn)行實(shí)時(shí)同步。OGG可以按照配置將更新的記錄同步到HDFS中的文件，并且可以指定文件分割的大小。2用戶可以直接通過 ClouderaHadoop 平臺(tái)進(jìn)行數(shù)據(jù)訪問，例如 Impala、Hive等。同時(shí)考慮到現(xiàn) 有人員技能復(fù)用，也可以通過任何一個(gè) Oracle 12c實(shí)例，通過Orac

11、le Big Data SQL 即可沿用Oracle 數(shù)據(jù)庫(kù)平臺(tái)上的DBA管理和訪問方法。3 Summary 一直保存在BDA中，根據(jù)Summary中文件的URI可以定位到公有云中的文件，需要的時(shí)候可以將文件從公有云中恢復(fù)和下載到本地的BDA中進(jìn)行查詢。IMAGE文件一直歸檔至公有云。4 Oracle云中數(shù)據(jù)湖解決方案可以提供靈活的Hadoop集群云服務(wù)，通過Openstack Swift 協(xié)議或者基于內(nèi)存的大數(shù)據(jù)文件協(xié)議(BDFS)直接將Oracle存儲(chǔ)云上的數(shù)據(jù)映射成 Hive表通過SQL進(jìn)行查詢?cè)L問和分析，未來(lái)冷數(shù)據(jù)的批量查詢分析可以通過該方式實(shí)現(xiàn)，分析結(jié)果再返回本地使用，提 升云中海量數(shù)據(jù)綜合分析能力，減少海量數(shù)據(jù)在本地和云中頻繁移動(dòng)。3.總結(jié)通過采用全數(shù)據(jù)平臺(tái)(Exadata +BDA )與歸檔云存儲(chǔ)的混合架構(gòu)，再加上 GoldenGate 實(shí)時(shí)的 集成技術(shù)以及Big Data SQL、Big Data Connect 、R等一系列大數(shù)據(jù)技術(shù)，可分別快速有效地處理 大數(shù)據(jù)處理的不同階段、不同類型數(shù)據(jù)。該架構(gòu)具體優(yōu)勢(shì)體現(xiàn)如下：? 全數(shù)據(jù)平臺(tái)Exadata與BDA構(gòu)成的全數(shù)據(jù)平臺(tái)可支持各種結(jié)構(gòu)化及非結(jié)構(gòu)數(shù)據(jù)， 支持SQL、NOSQL、HIVE、HDFS等各類數(shù)據(jù)平臺(tái)。? 性能