數(shù)據(jù)倉庫成功案例1

數(shù)據(jù)倉庫成功案例1

數(shù)據(jù)挖掘在寶鋼的實(shí)踐

寶鋼簡介

寶鋼數(shù)據(jù)挖掘基礎(chǔ)

2.1冶金工業(yè)數(shù)據(jù)挖掘背景

2.2其DW流程和具體步驟

2.3其DWX具和主要功能

寶鋼股份信息化的三層數(shù)據(jù)架構(gòu)

寶鋼數(shù)據(jù)倉庫的體系結(jié)構(gòu)及應(yīng)用

4.1系統(tǒng)環(huán)境

4.2寶鋼數(shù)據(jù)倉庫開發(fā)

4.3寶鋼數(shù)據(jù)倉庫應(yīng)用

4.3.1專業(yè)技術(shù)報表

4.3.2數(shù)據(jù)分析與數(shù)據(jù)挖掘

4.3.3決策信息支持

寶鋼數(shù)據(jù)倉庫和數(shù)據(jù)挖掘應(yīng)用及成果

參考文獻(xiàn)

寶鋼簡介

寶鋼是中國最大的鋼鐵生產(chǎn)企業(yè)，目前的規(guī)模達(dá)到年產(chǎn)1100萬噸鋼，2002年的銷售收入達(dá)到330億元，稅前利潤接近60億元。寶鋼的產(chǎn)品系列包括板材、線材、管材等，主要的用戶分布在汽車、家電等制造業(yè)。自1985年投產(chǎn)至今，積累了大量的生產(chǎn)實(shí)績數(shù)據(jù)。

寶鋼數(shù)據(jù)挖掘基礎(chǔ)

2.1冶金工業(yè)數(shù)據(jù)挖掘背景

在冶金工業(yè)中年復(fù)一年的積累著各種數(shù)據(jù)，從每一爐鋼到每一塊板坯到每一個鋼卷，各級計(jì)算機(jī)系統(tǒng)可以把這些數(shù)據(jù)完整地收集起來。但是收集數(shù)據(jù)本身并不是目的，從“信息化帶動工業(yè)化”的角度來看，更重要的是把這些數(shù)據(jù)利用起來，利用數(shù)據(jù)中蘊(yùn)藏的知識來指導(dǎo)生產(chǎn)，形成企業(yè)的核心競爭力。

另一方面，在冶金工業(yè)的運(yùn)營過程中還有許多問題需要解決，例如全流程的質(zhì)量控制和供應(yīng)鏈管理等。由于它們固有的多變量和非線性特點(diǎn)，用傳統(tǒng)的局部優(yōu)化的方法很難達(dá)到企業(yè)級的最優(yōu)?，F(xiàn)在通過把分散在各個生產(chǎn)過程的實(shí)際生產(chǎn)數(shù)據(jù)按主題組織成數(shù)據(jù)倉庫，在此基礎(chǔ)上展開數(shù)據(jù)挖掘工作和獲取知識，利用獲取的知識可以比過去更好地解決這些問題。

2.2其DW流程和具體步驟

通用數(shù)據(jù)挖掘流程：

圖一通用數(shù)據(jù)挖掘流程

寶鋼針對冶金工業(yè)特點(diǎn)的數(shù)據(jù)挖掘流程：

c>

'r___-*

敏疆S EMMA 0

,亶采樣 調(diào)整|~~時建模T評價f優(yōu)化:

■-————=^ *

1 性虧?— 知識

圖二

其采用的方法稱為SEMMAO數(shù)據(jù)挖掘方法論，其主要步驟和含義為：

采樣（S）根據(jù)一定的規(guī)則從大樣本集中抽取規(guī)模較小的樣本子集，可以分為隨機(jī)采樣和非隨機(jī)采樣。采樣的主要目的是減少后續(xù)步驟處理的數(shù)據(jù)量，有時也可以起到改善數(shù)據(jù)分布的作用。

觀察（E）指對數(shù)據(jù)進(jìn)行一些可視化的探索，讓分析人員對數(shù)據(jù)的分布特征做到心中有數(shù)，為后續(xù)的挖掘工作帶來一些有益的提示。

調(diào)整（M）對各種令人不滿意的數(shù)據(jù)進(jìn)行處理，使其滿足建模算法的要求和精度要求。調(diào)整的方法很多，具體的有缺失值處理、奇異值處理、矛盾值處理、標(biāo)準(zhǔn)化和變量變換等。

建模（M）是以一種數(shù)學(xué)模型的方式來表達(dá)隱含在數(shù)據(jù)中的知識。大體上模型可以分為有監(jiān)督和無監(jiān)督兩大類。有監(jiān)督的模型是指目標(biāo)變量已經(jīng)被賦予一定的值，通過訓(xùn)練要建立一種從輸入變量到目標(biāo)變量的映射，使其在一定的誤差準(zhǔn)則意義下達(dá)到最優(yōu)。這樣的模型可以用于分類和預(yù)報的目的。無監(jiān)督的模型則是在缺少目標(biāo)變量的信息的情況下，僅利用輸入變量自身的信息把樣本劃分成為若干個類，從而達(dá)到抽取信息的目的。

評價（A）是對模型的結(jié)果進(jìn)行誤差分析。如果模型被證明是可以接受的，就可以被認(rèn)為是一種知識，可以用于以后的預(yù)報和優(yōu)化。

優(yōu)化（0）是用挖掘出的知識來解決實(shí)際問題，諸如“如何調(diào)整某些輸入變量的值來得到輸出變量的目標(biāo)值”。在一般的商業(yè)性數(shù)據(jù)挖掘中并不包含這一步，它們一般做到評價就結(jié)束了，把進(jìn)一步的使用扔給用戶。但是在我們的實(shí)際應(yīng)用中，發(fā)現(xiàn)模型的理解和使用也很重要，所以在數(shù)據(jù)挖掘的方法論中增加了這一步。優(yōu)化的方法包括聚類調(diào)優(yōu)、遺傳尋優(yōu)等。

2.3其DW工具和主要功能

PracticalMiner（簡稱PM）：寶鋼基于SAS的研發(fā)實(shí)用數(shù)據(jù)挖掘系統(tǒng)SASEnterpriseMiner:美國SAS公司研發(fā)

PM主要功能：

（1） 數(shù)據(jù)收集：根據(jù)用戶的設(shè)定條件，選取分析用數(shù)據(jù)，并提供SAS數(shù)據(jù)格式與其它數(shù)據(jù)格式之間的接口；

（2） 數(shù)據(jù)采樣：抽取數(shù)據(jù)集市中的典型樣本；

（3） 數(shù)據(jù)預(yù)處理：對數(shù)據(jù)進(jìn)行規(guī)范性檢查、變量降維、數(shù)據(jù)變換、異常點(diǎn)處理、矛盾點(diǎn)處理；

（4） 可視化探索：提供直觀的數(shù)據(jù)分析功能；

（5） 聚類分析：提供常用的聚類方法，可以自動決定類數(shù)；

（6） 數(shù)據(jù)建模：提供人工神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)、線性回歸等建模工具，可以優(yōu)化模型結(jié)構(gòu)；

（7） 數(shù)據(jù)預(yù)測：根據(jù)已建立的模型，對數(shù)據(jù)進(jìn)行批量預(yù)報；

（8） 優(yōu)化設(shè)計(jì)：通過定性或定量的方法，對于給定的目標(biāo)，調(diào)整影響量，使目標(biāo)達(dá)到最優(yōu)；

（9） 趨勢分析：研究變量隨時間變化的趨勢；

（10）規(guī)范管理：設(shè)置規(guī)范數(shù)據(jù)庫。

寶鋼股份信息化的三層數(shù)據(jù)架構(gòu)

根據(jù)R.N.Anthony的三級管理模型（2），管理科學(xué)家把管理分為營運(yùn)控制、管理控制、戰(zhàn)略計(jì)劃三個層次。通過管理層次的設(shè)計(jì)，可以使管理的實(shí)施更具有針對性，管理的層次越高，分析的內(nèi)容也越多。寶鋼股份信息化的三層數(shù)據(jù)架構(gòu)一一“數(shù)據(jù)、數(shù)據(jù)庫、數(shù)據(jù)倉庫”正是與管理的三大層次相對應(yīng)，從信息系統(tǒng)的角度支持更高層次管理的實(shí)施。

運(yùn)營控制層次：以生產(chǎn)過程的管理為主，要求完成制造過程數(shù)據(jù)的自動采集和制造過程的自動控制。

管理控制層次：要求完成業(yè)務(wù)管理過程的自動化，按專業(yè)實(shí)現(xiàn)生產(chǎn)、采購、銷售、財務(wù)、設(shè)備等日常業(yè)務(wù)的計(jì)算機(jī)管理，并實(shí)現(xiàn)各專業(yè)的績效分析、評價自動化，完成專業(yè)管理過程的PDCA閉環(huán)控制。這個層次中的日常業(yè)務(wù)自動化管理，通常由數(shù)據(jù)庫應(yīng)用系統(tǒng)完成，如ERP系統(tǒng)等。而各專業(yè)的績效分析、評價自動化，需要以企業(yè)管理知識、業(yè)務(wù)分析邏輯為基礎(chǔ)，建立各種分析評價模型，快速、準(zhǔn)確、安全地提供大量的專業(yè)技術(shù)信息共享，這種把數(shù)據(jù)到信息的轉(zhuǎn)換和發(fā)布的過程，通常由數(shù)據(jù)倉庫應(yīng)用系統(tǒng)來完成。

戰(zhàn)略計(jì)劃層次：它屬于中長期計(jì)劃管理，要求決策支持信息能夠快速的提供，而這些信息需求通常是跨專業(yè)的、要按照決策具體需求來組織的。這個層次的業(yè)務(wù)管理，通常由數(shù)據(jù)倉庫提供信息支持，專業(yè)技術(shù)模型提供決策支持。

寶鋼數(shù)據(jù)倉庫的體系結(jié)構(gòu)及應(yīng)用

4.1系統(tǒng)環(huán)境

寶鋼股份企業(yè)級數(shù)據(jù)倉庫的硬件平臺是兩臺IBMRS6000/S85超級小型機(jī)，與ERP系統(tǒng)主機(jī)通過公司主干網(wǎng)和ESCON光纖通道聯(lián)接。這樣的布局主要是大大減少了操作型數(shù)據(jù)和分析型數(shù)據(jù)在傳輸過程中的“碰撞”，提高數(shù)據(jù)傳輸效率。同時，數(shù)據(jù)倉庫系統(tǒng)從主機(jī)系統(tǒng)剝離了大量統(tǒng)計(jì)、分析功能，實(shí)現(xiàn)了總體系統(tǒng)的負(fù)載均衡，為公司持續(xù)改進(jìn)、科學(xué)決策創(chuàng)造了條件。

4.2.寶鋼數(shù)據(jù)倉庫開發(fā)

寶鋼數(shù)據(jù)倉庫開發(fā)策略采用總體規(guī)劃、分步實(shí)施的方案。在大量調(diào)研的基礎(chǔ)上，編制了數(shù)據(jù)倉庫的主題規(guī)劃，確定數(shù)據(jù)倉庫的關(guān)鍵主題，如生產(chǎn)物流、技術(shù)質(zhì)量、市場營銷、設(shè)備管理、財務(wù)成本、能源管理等，分階段的組織實(shí)施，總體上提高了開發(fā)效率，降低了開發(fā)風(fēng)險。

4.3.寶鋼數(shù)據(jù)倉庫應(yīng)用

寶鋼企業(yè)級數(shù)據(jù)倉庫基本應(yīng)用可以分為三類：專業(yè)技術(shù)報表、數(shù)據(jù)分析與挖掘、決策信息支持。

4.3.1.專業(yè)技術(shù)報表

專業(yè)技術(shù)報表主要是為日常生產(chǎn)經(jīng)營管理服務(wù)，每天，數(shù)據(jù)倉庫系統(tǒng)按需要定時自動生成上千份專業(yè)技術(shù)報表，對公司的銷售、技術(shù)、生產(chǎn)、出廠、設(shè)備、財務(wù)成本管理以及公司的煉鋼、熱軋、冷軋、條鋼產(chǎn)線，從不同的角度、不同層次，結(jié)合前一天生產(chǎn)實(shí)績做出評價，為各級管理者提供決策支持信息。具體業(yè)務(wù)信息系統(tǒng)有：生產(chǎn)調(diào)度信息、企業(yè)統(tǒng)計(jì)信息、生產(chǎn)物流信息、市場營銷信息等等。

4.3.2.數(shù)據(jù)分析與數(shù)據(jù)挖掘

數(shù)據(jù)分析與數(shù)據(jù)挖掘(DM)密不可分，通過一段時間的數(shù)據(jù)積累。圍繞公司的重點(diǎn)工作，如產(chǎn)品質(zhì)量、降本增效工作、合同交貨周期等專題進(jìn)行數(shù)據(jù)分析與挖掘，通過數(shù)據(jù)清理，要因分析、找出影響指標(biāo)的主要因素，及時報警，為公司的經(jīng)營決策提供科學(xué)依據(jù)，為公司穩(wěn)定產(chǎn)品質(zhì)量、降本增效，提升用戶服務(wù)水平，提供有效的技術(shù)支撐。

3.3決策信息支持

為支持公司中長計(jì)劃編制和持續(xù)改進(jìn)，開發(fā)面向決策信息支持的數(shù)據(jù)倉庫應(yīng)用模塊，主要有：

明細(xì)產(chǎn)品成本計(jì)算系統(tǒng)：反映產(chǎn)品的盈利能力的分析與評價。

標(biāo)準(zhǔn)維護(hù)與計(jì)劃值系統(tǒng)：在公司內(nèi)實(shí)現(xiàn)了統(tǒng)一的、可信度高的一系列基本技術(shù)經(jīng)濟(jì)管理指標(biāo)。為公司年度預(yù)算計(jì)劃編制提供各種基礎(chǔ)數(shù)據(jù)。

專業(yè)決策支持：產(chǎn)品性能預(yù)報、配礦系統(tǒng)、配煤系統(tǒng)等等。

上述所有的應(yīng)用全部基于WEB實(shí)現(xiàn)，用戶無需安裝任何附加軟件，只要連接在主干網(wǎng)上，擁有信息授權(quán)，利用瀏覽器就可以得到數(shù)據(jù)倉庫的信息服務(wù)。

寶鋼數(shù)據(jù)倉庫和數(shù)據(jù)挖掘應(yīng)用及成果

電力系統(tǒng)數(shù)據(jù)倉庫

基于數(shù)據(jù)挖掘技術(shù)的配礦系統(tǒng)

數(shù)據(jù)挖掘在寶鋼質(zhì)量控制中的應(yīng)用

PM1.0已經(jīng)成功地應(yīng)用于寶鋼配礦優(yōu)化，在1997?1998年間,PM1.0為寶鋼降低成本達(dá)

6000萬元。PM2.0也已在熱軋產(chǎn)品和冷軋產(chǎn)品的質(zhì)量控制中投入