基于BI架構(gòu)的鋼鐵企業(yè)統(tǒng)計(jì)決策分析系統(tǒng)的構(gòu)建

1、基于BI架構(gòu)的鋼鐵企業(yè)智能報(bào)表系統(tǒng)構(gòu)建【摘要】基于BI架構(gòu)，運(yùn)用ORACLE商業(yè)智能技術(shù)構(gòu)造鋼鐵企業(yè)智能報(bào)表系統(tǒng)，建立共享的生產(chǎn)統(tǒng)計(jì)和綜合統(tǒng)計(jì)平臺(tái)，實(shí)現(xiàn)了一級(jí)統(tǒng)計(jì)管理，使統(tǒng)計(jì)內(nèi)容精細(xì)化到從匯總指標(biāo)到每一個(gè)物料信息的解剖、管理,提高了生產(chǎn)、經(jīng)營(yíng)和管理的信息化水平?！娟P(guān)鍵詞】BI 鋼鐵企業(yè) 智能報(bào)表系統(tǒng)1 引 言攀鋼集團(tuán)西昌釩鈦資源綜合利用項(xiàng)目是2008年開始建設(shè)的年產(chǎn)鋼500萬(wàn)噸、釩產(chǎn)品20萬(wàn)噸的資源綜合利用項(xiàng)目。該項(xiàng)目在進(jìn)行工程建設(shè)的同時(shí)，也同步進(jìn)行了大規(guī)模的信息化建設(shè)。信息化項(xiàng)目包括商務(wù)智能系統(tǒng)（BI）、MES系統(tǒng)、整體產(chǎn)銷系統(tǒng)、物流系統(tǒng)、設(shè)備系統(tǒng)、能源系統(tǒng)、人力資源系統(tǒng)等，系統(tǒng)管理范圍覆蓋

2、了從原燃料入廠到成品出廠的全部生產(chǎn)過(guò)程。攀鋼西昌智能報(bào)表系統(tǒng)就是基于BI架構(gòu)構(gòu)建的企業(yè)報(bào)表平臺(tái)。通過(guò)智能報(bào)表系統(tǒng)及時(shí)、準(zhǔn)確反映企業(yè)生產(chǎn)過(guò)程、產(chǎn)品質(zhì)量、營(yíng)銷、財(cái)務(wù)成本、能源、設(shè)備等方面最原始、最完整的信息集合，同時(shí)提供常規(guī)的報(bào)表處理、數(shù)據(jù)分析、數(shù)據(jù)挖掘和其它信息服務(wù)功能。為生產(chǎn)、質(zhì)量、財(cái)務(wù)、營(yíng)銷、能源、設(shè)備、物流等專業(yè)領(lǐng)域的分析工作提供數(shù)據(jù)信息，以促進(jìn)企業(yè)管理水平的提高。2 商務(wù)智能系統(tǒng)簡(jiǎn)介商務(wù)智能系統(tǒng)（BI：BusinessIntelligence）運(yùn)用數(shù)據(jù)倉(cāng)庫(kù)（Data Warehousing）和數(shù)據(jù)集市（data mart）、聯(lián)機(jī)分析處理（Online Analytical Process

3、ing，OLAP）、數(shù)據(jù)挖掘（Data Mining）等技術(shù)進(jìn)行數(shù)據(jù)收集與傳遞、數(shù)據(jù)整理與分析、信息展現(xiàn)與表示，為企業(yè)各級(jí)管理人員提供各種類型決策的信息。攀鋼西昌釩鈦資源綜合利用項(xiàng)目建設(shè)的商務(wù)智能系統(tǒng)包括：領(lǐng)導(dǎo)決策系統(tǒng)（EIS）、智能報(bào)表、專業(yè)分析、制造現(xiàn)場(chǎng)分析等。 3 智能報(bào)表系統(tǒng)總體業(yè)務(wù)流程智能報(bào)表系統(tǒng)由公司綜合統(tǒng)計(jì)報(bào)表、公司專業(yè)統(tǒng)計(jì)報(bào)表、廠級(jí)統(tǒng)計(jì)報(bào)表等組成。每天統(tǒng)計(jì)系統(tǒng)對(duì)成本歸集、物流系統(tǒng)、設(shè)備系統(tǒng)等相關(guān)系統(tǒng)抽取業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗、整理按照相關(guān)規(guī)則生成廠級(jí)當(dāng)天的產(chǎn)品產(chǎn)量、收發(fā)存、主要技經(jīng)指標(biāo)等日?qǐng)?bào)數(shù)據(jù)；每月月底根據(jù)日?qǐng)?bào)數(shù)據(jù)生成廠級(jí)月報(bào)數(shù)據(jù)，在廠級(jí)月報(bào)數(shù)據(jù)的基礎(chǔ)上生成公司專業(yè)月報(bào)，在公司專業(yè)

4、月報(bào)的基礎(chǔ)上生成公司綜合月報(bào)。總體業(yè)務(wù)流程如圖1。 圖1 業(yè)務(wù)流程圖4 智能報(bào)表系統(tǒng)構(gòu)建4.1系統(tǒng)構(gòu)建原則4.1.1 以數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)為基礎(chǔ)通過(guò)基礎(chǔ)數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化、代碼化工作，建立商務(wù)智能系統(tǒng)業(yè)務(wù)之間協(xié)同工作的“標(biāo)準(zhǔn)語(yǔ)言”，使共享的業(yè)務(wù)數(shù)據(jù)采用統(tǒng)一規(guī)范的定義和表述，保證數(shù)據(jù)分類口徑的一致性，促進(jìn)應(yīng)用的順暢運(yùn)作。4.1.2 業(yè)務(wù)規(guī)則的可配置和透明化原則根據(jù)不斷增加的業(yè)務(wù)需求配置不同業(yè)務(wù)規(guī)則、不同指標(biāo)、不同對(duì)象、不同組織結(jié)構(gòu)，并可靈活調(diào)整。另外，提供權(quán)限設(shè)置功能，保證同一業(yè)務(wù)流程上的用戶能夠根據(jù)權(quán)限隨時(shí)查詢，促進(jìn)業(yè)務(wù)處理過(guò)程規(guī)范、透明。4.1.3 統(tǒng)計(jì)與成本核算處理生產(chǎn)數(shù)據(jù)的一致性原則統(tǒng)計(jì)與

5、成本核算采用統(tǒng)一的計(jì)產(chǎn)規(guī)則和統(tǒng)一的數(shù)據(jù)源，以保證統(tǒng)計(jì)系統(tǒng)提供的生產(chǎn)數(shù)據(jù)與財(cái)務(wù)系統(tǒng)提供的一致性。4.1.4 異常情況下數(shù)據(jù)的靈活處理對(duì)系統(tǒng)無(wú)法自動(dòng)獲取以及需要對(duì)報(bào)表值進(jìn)行調(diào)整的數(shù)據(jù)，提供手工數(shù)據(jù)維護(hù)功能。用戶按照數(shù)據(jù)模板要求填報(bào)手工數(shù)據(jù)，通過(guò)功能畫面將手工數(shù)據(jù)上傳并裝載到系統(tǒng)，經(jīng)轉(zhuǎn)換和集成、存入系統(tǒng)的數(shù)據(jù)庫(kù)中。4.2 關(guān)鍵代碼設(shè)計(jì)本系統(tǒng)使用的代碼多數(shù)采用整體產(chǎn)銷系統(tǒng)、物流系統(tǒng)、設(shè)備系統(tǒng)等定義的代碼，系統(tǒng)自身定義的代碼主要有：統(tǒng)計(jì)指標(biāo)代碼、鋼材產(chǎn)品分類代碼等。4.2.1統(tǒng)計(jì)指標(biāo)代碼 按照中國(guó)鋼鐵工業(yè)生產(chǎn)統(tǒng)計(jì)指標(biāo)體系采用線分類法和層次碼的編碼方法進(jìn)行分類和編碼，統(tǒng)計(jì)指標(biāo)代碼結(jié)構(gòu)如表1：表1統(tǒng)計(jì)指標(biāo)代

6、碼結(jié)構(gòu)表項(xiàng)目位數(shù)類型描述獨(dú)立定義備注A1C統(tǒng)計(jì)指標(biāo)大類Y產(chǎn)品大類。如煉鐵產(chǎn)品、煉鋼產(chǎn)品、人造塊礦產(chǎn)品、黑色金屬礦產(chǎn)品及專業(yè)統(tǒng)計(jì)指標(biāo)等B1C統(tǒng)計(jì)指標(biāo)中類N依賴A。對(duì)產(chǎn)品大類的細(xì)分C1N統(tǒng)計(jì)指標(biāo)類型N依賴B。包括數(shù)量指標(biāo)，品質(zhì)指標(biāo)D4N統(tǒng)計(jì)指標(biāo)流水號(hào)N依賴C。包括各專業(yè)統(tǒng)計(jì)指標(biāo)明細(xì)，按照中國(guó)鋼鐵工業(yè)生產(chǎn)統(tǒng)計(jì)指標(biāo)體系統(tǒng)計(jì)指標(biāo)明細(xì)編碼4.2.2 鋼材產(chǎn)品分類代碼對(duì)鋼材產(chǎn)品按化學(xué)成分進(jìn)行統(tǒng)計(jì)明細(xì)歸類，該代碼采用混合分類法和組合碼的編碼方法。4.3 業(yè)務(wù)規(guī)則的配置設(shè)計(jì)根據(jù)不斷增加的業(yè)務(wù)需求配置不同業(yè)務(wù)規(guī)則、不同指標(biāo)、不同對(duì)象、不同組織結(jié)構(gòu)，并可靈活調(diào)整。本系統(tǒng)通過(guò)建立靜態(tài)表，并對(duì)其進(jìn)行維護(hù)的方式實(shí)現(xiàn)的。主

7、要靜態(tài)表包括：指標(biāo)關(guān)系表描述指標(biāo)之間的加減關(guān)系，分子分母關(guān)系，描述了指標(biāo)的統(tǒng)計(jì)指標(biāo)層級(jí)、各指標(biāo)之間的運(yùn)算關(guān)系等；報(bào)表與指標(biāo)關(guān)系表：建立報(bào)表項(xiàng)目與指標(biāo)代碼的對(duì)應(yīng)關(guān)系，使報(bào)表的項(xiàng)目可以靈活調(diào)整；報(bào)表項(xiàng)目與指標(biāo)代碼的對(duì)應(yīng)關(guān)系表：描述了報(bào)表的報(bào)表號(hào)，報(bào)表的類型代碼、制表公式等；計(jì)算參數(shù)表：計(jì)算參數(shù)規(guī)則表、報(bào)表頭尾參數(shù)規(guī)則表。4.4 大宗原燃料處理由于大宗原燃料每次入庫(kù)的灰分、濕量的不同，為了保證入庫(kù)和出庫(kù)的一致，在入庫(kù)時(shí)需根據(jù)檢化驗(yàn)的結(jié)果將入庫(kù)濕量數(shù)據(jù)按一定規(guī)則折算為“標(biāo)準(zhǔn)干量”即“商務(wù)干量”數(shù)據(jù)進(jìn)入物流系統(tǒng)，出庫(kù)時(shí)也折算為“標(biāo)準(zhǔn)干量”出庫(kù)。4.5 授權(quán)設(shè)置本系統(tǒng)設(shè)計(jì)了多個(gè)角色，按角色分別授權(quán)到報(bào)表。

8、其中統(tǒng)計(jì)員角色可對(duì)本區(qū)域的授權(quán)報(bào)表進(jìn)行審核和修改，并進(jìn)行發(fā)布，發(fā)布完成后其他角色才能查看報(bào)表。4.6 智能報(bào)表系統(tǒng)采用的技術(shù)架構(gòu)智能報(bào)表系統(tǒng)采用ORACLE商業(yè)智能技術(shù)架構(gòu),技術(shù)架構(gòu)見圖2。圖2 智能報(bào)表系統(tǒng)總體技術(shù)架構(gòu)智能報(bào)表系統(tǒng)通過(guò)ODI數(shù)據(jù)抽取工具從產(chǎn)銷、財(cái)務(wù)、物流、設(shè)備、MES、能源、人力等各個(gè)應(yīng)用系統(tǒng)抽取數(shù)據(jù)，統(tǒng)一集中在ODS數(shù)據(jù)庫(kù)中，然后進(jìn)行清洗、轉(zhuǎn)換處理，生成數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)和報(bào)表庫(kù)數(shù)據(jù)。最后通過(guò)前臺(tái)報(bào)表展現(xiàn)工具BIEEE將各個(gè)廠級(jí)報(bào)表和公司報(bào)表展現(xiàn)出來(lái)。其中瀏覽器客戶端用于一般業(yè)務(wù)的訪問(wèn)，圖形客戶端主要用于高端用戶做數(shù)據(jù)分析、挖掘使用。4.7 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集

9、成的、相對(duì)穩(wěn)定的、隨時(shí)間不斷變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。主題是一個(gè)在較高層次上將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。數(shù)據(jù)主題的設(shè)計(jì)結(jié)合企業(yè)實(shí)際情況，以工序?yàn)橹黝}，主題下面還有子主題，每個(gè)主題的分析范圍如表2所示：表2 主題分析范圍表分析主題名稱分析范圍煤化工序煤化工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析石灰工序石灰工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析燒結(jié)工序燒結(jié)工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析煉鐵工序煉鐵工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析煉鋼工序煉鋼工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析熱軋工序熱軋工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析提釩工序提釩

10、工序的原燃料投入、產(chǎn)品產(chǎn)出和質(zhì)量分析設(shè)備運(yùn)行設(shè)備運(yùn)行參數(shù)分析等人力分析人員效率和生產(chǎn)力分析綜合分析綜合性數(shù)據(jù)和其他分析為了使用數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)更有效率，職能更加清晰，數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)分三層架構(gòu)進(jìn)行設(shè)計(jì)，分別由用于數(shù)據(jù)集中的ODS層，用于存放固定報(bào)表數(shù)據(jù)的RPT層和用于存放維度表和事實(shí)表的DW層。中間庫(kù)層（ODS）主要是將各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前先進(jìn)行集中，ODS層的數(shù)據(jù)表結(jié)構(gòu)和數(shù)據(jù)源表基本一致，從數(shù)據(jù)源到ODS層之間只要通過(guò)簡(jiǎn)單的增量抽取即可，而無(wú)須進(jìn)行復(fù)雜的表關(guān)聯(lián)和數(shù)據(jù)轉(zhuǎn)換，大大減輕了數(shù)據(jù)抽取對(duì)數(shù)據(jù)源服務(wù)器的壓力。 數(shù)據(jù)庫(kù)層（DW）主要用于存放維度表和事實(shí)表以及數(shù)據(jù)抽取日志表和配置

11、表，為后續(xù)的多維分析作準(zhǔn)備。報(bào)表庫(kù)層（PRT）是針對(duì)復(fù)雜而格式固定的報(bào)表而設(shè)計(jì)的，目的是可以將復(fù)雜的報(bào)表的歷史數(shù)據(jù)可以保存下來(lái)。4.8 ETL設(shè)計(jì) ETL，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)提取、轉(zhuǎn)換和加載。本系統(tǒng)目前選用的ETL工具是ODI(Oracle Data Integrator)。負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或報(bào)表庫(kù)中，成為報(bào)表、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的數(shù)據(jù)基礎(chǔ)。本系統(tǒng)的數(shù)據(jù)抽取包括：ODS數(shù)據(jù)抽取、DW數(shù)據(jù)抽取、RPT廠級(jí)報(bào)表數(shù)據(jù)抽取、RPT

12、公司級(jí)報(bào)表數(shù)據(jù)抽取。為了減少對(duì)業(yè)務(wù)系統(tǒng)的影響，報(bào)表統(tǒng)計(jì)系統(tǒng)不直接從業(yè)務(wù)系統(tǒng)中提取數(shù)據(jù)，而是建立一個(gè)中間接口庫(kù)，將業(yè)務(wù)數(shù)據(jù)先抽取到接口庫(kù)中，然后把接口庫(kù)作為數(shù)據(jù)源來(lái)實(shí)現(xiàn)報(bào)表統(tǒng)計(jì)工作，以實(shí)現(xiàn)數(shù)據(jù)的集中管理。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的需求，有選擇地將中間庫(kù)的數(shù)據(jù)抽取到DW庫(kù)中，抽取過(guò)程涉及數(shù)據(jù)的提取、轉(zhuǎn)換、清洗和加載等流程。對(duì)廠級(jí)報(bào)表數(shù)據(jù)的抽取是將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)抽取到相應(yīng)的RPT庫(kù)中，以實(shí)現(xiàn)數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)到的報(bào)表庫(kù)的轉(zhuǎn)換。對(duì)公司級(jí)報(bào)表數(shù)據(jù)抽取，是待廠級(jí)報(bào)表數(shù)據(jù)抽取成功后將廠級(jí)報(bào)表的數(shù)據(jù)有選擇地抽取到公司級(jí)報(bào)表庫(kù)中，以實(shí)現(xiàn)廠級(jí)報(bào)表和公司報(bào)表數(shù)據(jù)的統(tǒng)一性，減少中間的計(jì)算過(guò)程，避免重復(fù)勞動(dòng)。4.9 報(bào)表設(shè)計(jì)智能報(bào)表系統(tǒng)的每個(gè)報(bào)表對(duì)應(yīng)一個(gè)后臺(tái)的TABLE，每個(gè)TABLE的數(shù)據(jù)是通過(guò)過(guò)程將數(shù)據(jù)從DW中抽取過(guò)來(lái)。由于智能報(bào)表系統(tǒng)中產(chǎn)出的主要是格式嚴(yán)格而固定的復(fù)雜報(bào)表，采用BIEE的PUBLISHER工具進(jìn)行設(shè)計(jì)和展現(xiàn)，而在數(shù)據(jù)庫(kù)層設(shè)計(jì)一個(gè)專用的RPT庫(kù)，專門為每張報(bào)表創(chuàng)建一個(gè)或多個(gè)表進(jìn)行對(duì)應(yīng)，以便對(duì)報(bào)表的歷史數(shù)據(jù)進(jìn)行存檔；而RPT庫(kù)的數(shù)據(jù)則