商業(yè)智能系統(tǒng)

1、商業(yè)智能系統(tǒng)相關(guān)技術(shù)的研究1商業(yè)智能1.1商業(yè)智能概念的定義商業(yè)智能的概念最早是 Gartner Group 丁 1996年提出來(lái)的。商業(yè)智能是由 數(shù)據(jù)倉(cāng)庫(kù)、查詢報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的、以 幫助企業(yè)決策為目的的技術(shù)及其應(yīng)用。商業(yè)智能所涉及的技術(shù)與應(yīng)用，在GartnerGroup命名之前就有，起初被稱為經(jīng)理信息系統(tǒng)(E IS)，在演化成商業(yè)智能之前叫 決策支持系統(tǒng) (DSS)商業(yè)智能是數(shù)據(jù)庫(kù)技術(shù)、OLAP(聯(lián)機(jī)分析處理 OnlineAnalytical Processing簡(jiǎn)稱OLAP技術(shù)、數(shù)據(jù)采集和遷移技術(shù)、網(wǎng)絡(luò)技術(shù)、GUI技術(shù)、查詢報(bào)表技術(shù)、統(tǒng)計(jì)學(xué)、人工智能、知

2、識(shí)發(fā)現(xiàn)技術(shù)等理論和技術(shù)的綜合運(yùn) 用，其核心內(nèi)容是從許多來(lái)自企業(yè)不同的業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)中，提取出有用的數(shù)據(jù)，進(jìn)行活理以保證數(shù)據(jù)的正確性，然后經(jīng)過(guò)抽取(Extraction )、轉(zhuǎn)換(Transformation)和裝載(Load)，即E幾過(guò)程，整合到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù) 里，從而得到企業(yè)信息的一個(gè)全局視圖，利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具等對(duì)數(shù)據(jù)倉(cāng)庫(kù)里的數(shù)據(jù)進(jìn)行分析和處理，形成信息，把信息提煉出輔助決策的知識(shí)，最后把知識(shí)呈現(xiàn)給管理者，為管理者的決策過(guò)程提供支持。1.2正確理解商業(yè)智能商業(yè)智能應(yīng)該是幫助企業(yè)提高決策能力和運(yùn)營(yíng)能力的概念、方法、過(guò)程以及軟件的集合。對(duì)該定義的正確解釋，可以從四

3、個(gè)層面展開。信息系統(tǒng)層面：稱為 商業(yè)智能系統(tǒng)(BI Sys-t em)的物理基礎(chǔ)。表現(xiàn)為具有強(qiáng)大決策分析功能的單獨(dú) 的軟件工具和面向特定應(yīng)用領(lǐng)域的信息系統(tǒng)平臺(tái)，如SCM CRM ERP與事務(wù) 型的MIS不同，商業(yè)智能系統(tǒng)能提供分析、趨勢(shì)預(yù)測(cè)等決策分析功能。數(shù)據(jù)分 析層面：是一系列算法、工具或模型。首先獲取與所關(guān)心主題有關(guān)的高質(zhì)量的數(shù) 據(jù)或信息，然后自動(dòng)或人工參與使用具有分析功能的算法、工具或模型 ，幫助人 們分析信息、得出結(jié)論、形成假設(shè)、驗(yàn)證假設(shè)。知識(shí)發(fā)現(xiàn)層面：與數(shù)據(jù)分析層面一樣，是一系列算法、工具或模型。將數(shù)據(jù)轉(zhuǎn)變成信息，而后通過(guò)發(fā)現(xiàn)，將信息轉(zhuǎn)變成知識(shí)；或者直接將信息轉(zhuǎn)變成知識(shí)。戰(zhàn)略層面：將

4、信息或知識(shí)應(yīng)用在提高 決策能力和運(yùn)營(yíng)能力上；企業(yè)建模等。商業(yè)智能的戰(zhàn)略層面是利用多個(gè)數(shù)據(jù)源的 信息以及應(yīng)用經(jīng)驗(yàn)和假設(shè)來(lái)提高企業(yè)決策能力的一組概念、方法和過(guò)程的集合。 它通過(guò)對(duì)數(shù)據(jù)的獲取、管理和分析，為貫穿企業(yè)組織的各種人員提供信息，以提 高企業(yè)戰(zhàn)略決策和戰(zhàn)術(shù)決策能力?？傊?，商業(yè)智能的目標(biāo)是將企業(yè)所掌握的信息 轉(zhuǎn)換成競(jìng)爭(zhēng)優(yōu)勢(shì)，提高企業(yè)決策能力、決策效率、決策準(zhǔn)確性。為完成這一目標(biāo)， 商業(yè)智能必須具有實(shí)現(xiàn)數(shù)據(jù)分析到知識(shí)發(fā)現(xiàn)的算法、模型和過(guò)程，決策的主題具 有廣泛的普遍性。2商業(yè)智能系統(tǒng)商業(yè)智能的整個(gè)系統(tǒng)被劃分為4個(gè)層面，簡(jiǎn)單的說(shuō)就是主要包括數(shù)據(jù)預(yù)處理、 建立數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析及數(shù)據(jù)展現(xiàn)四個(gè)主要階段

5、。從數(shù)據(jù)源經(jīng)過(guò)抽取( Extra, E)、轉(zhuǎn)換(Transform,裝載(Load, L)過(guò)程加載到中央數(shù)據(jù)倉(cāng)庫(kù)，再?gòu)臄?shù)據(jù)倉(cāng)庫(kù)經(jīng)過(guò)分類加工放到數(shù)據(jù)集市 (Data Market, DM),或者將數(shù)據(jù)集市中的數(shù) 據(jù)進(jìn)一步存放到多維數(shù)據(jù)庫(kù)(Multi-dimension Database, MDD),這都屆丁數(shù)據(jù) 分析的問(wèn)題，從中間層到終端用戶或從多維數(shù)據(jù)庫(kù)到終端用戶可將其劃歸為前端 應(yīng)用實(shí)現(xiàn)(數(shù)據(jù)展現(xiàn))的問(wèn)題。而貫穿整個(gè)體系數(shù)據(jù)處理環(huán)節(jié)的，是 系統(tǒng)的流程 調(diào)度控制和元數(shù)據(jù)管理，其結(jié)構(gòu)如下圖所示。預(yù)測(cè)企業(yè)未來(lái)發(fā)展趨勢(shì)和將要面臨的問(wèn)題。 在海量數(shù)據(jù)和分析手段增多的情況下數(shù)據(jù)展現(xiàn)則主要保障系統(tǒng)分析結(jié)果

6、的可視化。3商業(yè)智能系統(tǒng)的研究?jī)?nèi)容商業(yè)智能系統(tǒng)是以現(xiàn)代管理理論為指導(dǎo)，信息技術(shù)為支撐核心的集成系統(tǒng)。 近年來(lái)，它的研究熱點(diǎn)主要集中在三大方面：支撐技術(shù)的研究、體系結(jié)構(gòu)的研究、 應(yīng)用系統(tǒng)的研究。(1) 支撐技術(shù)的研究技術(shù)研究確切地講，BI并不是一項(xiàng)新技術(shù)，它將數(shù)據(jù)倉(cāng)庫(kù)(DW)、聯(lián)機(jī)分析 處理(OLAP)數(shù)據(jù)挖掘(DM )等技術(shù)與CRM ERP等系統(tǒng)結(jié)合起來(lái)應(yīng)用丁商業(yè)活 動(dòng)實(shí)際過(guò)程當(dāng)中，實(shí)現(xiàn)了技術(shù)服務(wù)丁決策的目的。商業(yè)智能的支撐技術(shù)主要包括 兩方面。一是計(jì)算機(jī)技術(shù)。包括：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市技術(shù)；數(shù)據(jù)挖掘技術(shù)； OLTP OLAP Legacy等分析技術(shù)；數(shù)據(jù)可視化技術(shù)；計(jì)算機(jī)網(wǎng)絡(luò)與 WEB技術(shù)。

7、二是現(xiàn)代管理技術(shù)，包括：統(tǒng)計(jì)、預(yù)測(cè)等運(yùn)籌學(xué)方法；客戶管理、供應(yīng)鏈管理、 企業(yè)資源計(jì)劃等管理理論和方法；企業(yè)建模方法。支撐技術(shù)的研究主要圍繞兩部 分展開：決策支持工具研究和企業(yè)建模方法研究。企業(yè)建模是為解決如何建立特定企業(yè)模式的輔助工具。IDEF(ICAM Definition method, ICAM-Integrated Computer Aided Manufacturing)等研究方法是較程式化的企業(yè)建模方法，比較新的建模方 法包括基丁 UML(Unified Modeling Language"勺企業(yè)建模等方法。數(shù)據(jù)挖掘算法的 研究是目前計(jì)算機(jī)界研究的熱點(diǎn)之一， 它逐漸成為一

8、個(gè)跨越人工智能、數(shù)據(jù)統(tǒng)計(jì) 等多學(xué)科的研究領(lǐng)域。決策分析工具的研究還包括各種分析方法的研究。(2) 體系結(jié)構(gòu)的研究(a) #系結(jié)構(gòu)的研究所謂體系結(jié)構(gòu)(Architecture)是指一整套的規(guī)則和結(jié)構(gòu)，為 一個(gè)系統(tǒng)或產(chǎn)品的整體設(shè)計(jì)提供主框架。而一個(gè)商業(yè)智能的體系結(jié)構(gòu)是指通過(guò)識(shí) 別和理解數(shù)據(jù)在系統(tǒng)中的流動(dòng)過(guò)程和數(shù)據(jù)在企業(yè)中的應(yīng)用過(guò)程來(lái)提供商業(yè)智能 系統(tǒng)應(yīng)用的主框架。BI基礎(chǔ)結(jié)構(gòu)下圖(a)®述了一個(gè)基本的商業(yè)智能體系結(jié)構(gòu)。根據(jù)不同的商業(yè)需求可以得到 與之相應(yīng)改進(jìn)的體系結(jié)構(gòu)，使之更好地解決商務(wù)問(wèn)題。例如，根據(jù)主題和數(shù)據(jù)分 析的需要設(shè)計(jì)不同的數(shù)據(jù)倉(cāng)庫(kù)，選擇合適的中間軟件和決策分析工具， 我們可以

9、 看出要預(yù)留不同的應(yīng)用程序接口，以便后續(xù)的各種方案的比較與操作。酗絡(luò)環(huán)境下BI體系結(jié)構(gòu)網(wǎng)絡(luò)環(huán)境下的商業(yè)智能系統(tǒng)建立在基丁流程的扁平化組織基礎(chǔ)上，可以改變內(nèi)部傳統(tǒng)的基丁職能的多字塔式的 “科層制”組織模式，提高對(duì)市場(chǎng)及客戶的反 映速度，降低運(yùn)營(yíng)成本，實(shí)現(xiàn)物流、資金流、信息流的集成統(tǒng)一，實(shí)現(xiàn)事前、事 中的集中計(jì)劃與管理控制。網(wǎng)絡(luò)環(huán)境下的商業(yè)智能系統(tǒng)模型如圖(b)所示。貌作商冬智候Wth院t中同悻技米】圖(b)網(wǎng)絡(luò)環(huán)境下BI體系結(jié)構(gòu)(3) 應(yīng)用系統(tǒng)的研究對(duì)應(yīng)用系統(tǒng)的研究的重點(diǎn)在丁對(duì)各個(gè)應(yīng)用領(lǐng)域所面臨的決策問(wèn)題的分析。根據(jù)對(duì)各類問(wèn)題的解決方式和解決方案來(lái)決定商業(yè)智能系統(tǒng)應(yīng)該提供的功能以及 具體實(shí)現(xiàn)方法

10、。目前，商業(yè)智能被廣泛應(yīng)用丁與企業(yè)運(yùn)營(yíng)過(guò)程相關(guān)的各個(gè)領(lǐng)域， 并且在很多領(lǐng)域已經(jīng)形成其特有體系。具有代表性的應(yīng)用領(lǐng)域包括：企業(yè)資源計(jì) 劃(ERP、客戶關(guān)系管理(CRM)、企業(yè)性能管理(BPM)、人力資源管理(HRM)、 供應(yīng)鏈管理(SCMD、電子商務(wù)(E-businesS4商業(yè)智能的實(shí)施過(guò)程商業(yè)智能的實(shí)現(xiàn)是一個(gè)循環(huán)的螺旋式上升的過(guò)程。 商業(yè)智能實(shí)施一般可分為 5個(gè)階段:確定目標(biāo)階段(targeting)數(shù)據(jù)收集與預(yù)處理階段(Tracking信息發(fā)送 階段(Routing)、數(shù)據(jù)解釋建模階段(interpreting)及基丁知識(shí)的行動(dòng)階段(Action)。(1) 確定目標(biāo)階段。商業(yè)智能所解決的一般

11、都是一個(gè)客戶面臨的關(guān)鍵問(wèn)題，如何確定和理解問(wèn)題就成為商業(yè)智能實(shí)施的起點(diǎn)和成功的關(guān)鍵。問(wèn)題的確定方法可以有多種，如了解客戶當(dāng)前新業(yè)務(wù)推廣、客戶流失及信用欺詐等。但關(guān)鍵一點(diǎn)是 確定問(wèn)題的商業(yè)價(jià)值，簡(jiǎn)單來(lái)說(shuō)，客戶在商業(yè)智能系統(tǒng)上的投入，通過(guò)問(wèn)題的解決, 能帶來(lái)確定的收益，否則這個(gè)項(xiàng)目從開始就是失敗的。(2) 數(shù)據(jù)收集與預(yù)處理階段。數(shù)據(jù)的收集難度和客戶的實(shí)際情況有較大的關(guān)系，如果客戶已經(jīng)擁有自己規(guī)范和完整的數(shù)據(jù)存儲(chǔ)，收集工作較容易，反之，就很有可能把多種介質(zhì)多種規(guī)格的數(shù)據(jù)通過(guò)活洗、構(gòu)造、集成和格式化轉(zhuǎn)化成所需要的 數(shù)據(jù)。(3) 信息發(fā)送階段。信息的價(jià)值不在丁擁有，而在丁如何恰當(dāng)利用，因?yàn)橛懈?的人共

12、享同樣的信息，就可以更好地相互理解和溝通，做出更好的決策。因此，信息 價(jià)值與獲取，分析該信息的用戶人數(shù)及用戶所屆商業(yè)領(lǐng)域數(shù)量的函數(shù)關(guān)系可表示為:價(jià)值(信息)=用戶數(shù)2X所屆商業(yè)領(lǐng)域數(shù)量。(4) 數(shù)據(jù)解釋與建模階段。這一階段是商業(yè)智能實(shí)施的核心部分。但是，到目前為止對(duì)商業(yè)智能模型訓(xùn)練結(jié)果的優(yōu)劣并沒有絕對(duì)的衡量標(biāo)準(zhǔn)，在一定程度上給建模人員和分析系統(tǒng)的產(chǎn)品化帶來(lái)了困難。針對(duì)確定的數(shù)據(jù)和問(wèn)題，采用多種算法比較、分割數(shù)據(jù)集驗(yàn)證及調(diào)整參數(shù)比較等方式找到相對(duì)優(yōu)的模型。模型建立后， 應(yīng)該對(duì)模型訓(xùn)練結(jié)果及建立過(guò)程等進(jìn)行評(píng)估，以便做出是否調(diào)整模型和完成的決 定。(5) 基丁知識(shí)的行動(dòng)階段。通過(guò)對(duì)模型訓(xùn)練的結(jié)果來(lái)決

13、定是否采取行動(dòng)，如果模型被證明是客觀和有意義的，那么就可以根據(jù)模型訓(xùn)練的結(jié)果采取相應(yīng)的企業(yè) 策略。5商業(yè)智能系統(tǒng)實(shí)施注意的問(wèn)題人的精力是有限的，不可能一天 24小時(shí)盯著系統(tǒng)看。在這種情況下，應(yīng)該 給BI系統(tǒng)裝一只 眼睛”，讓系統(tǒng)幫忙盯著業(yè)務(wù)。當(dāng)業(yè)務(wù)有異常時(shí)，要在第一時(shí) 間通知用戶，以便丁相關(guān)人員在第一時(shí)間采取補(bǔ)救措施。亡羊補(bǔ)牢也來(lái)得及。對(duì) 丁報(bào)警這塊內(nèi)容，在實(shí)施時(shí)需要關(guān)注如下問(wèn)題。(1) 規(guī)劃需要報(bào)警的內(nèi)容|一般來(lái)說(shuō)，需要對(duì)報(bào)警的內(nèi)容進(jìn)行合理的規(guī)劃。 范圍設(shè)置的太小，報(bào)警信息 會(huì)有很多。管理員無(wú)法對(duì)這些數(shù)據(jù)進(jìn)行疑義甄別。 范圍設(shè)置的太寬，則也會(huì)漏掉 有價(jià)值的信息。故這個(gè)范圍的設(shè)置，直接關(guān)系到報(bào)

14、警功能的使用價(jià)值。通常如下 這些信息需要設(shè)置報(bào)警功能。| (a)在價(jià)格分析中，一些異常的價(jià)格需要報(bào)警。如銷售訂單價(jià)格低丁規(guī)定 的價(jià)格或者說(shuō)采購(gòu)訂單價(jià)格高丁規(guī)定的最好價(jià)格。如訂單數(shù)量比較多或者讓供應(yīng) 商趕貨，價(jià)格會(huì)存在一些異常的情況。BI系統(tǒng)在數(shù)據(jù)分析時(shí)，要及時(shí)的告知相關(guān) 人員，便丁他們確認(rèn)相關(guān)的事項(xiàng)。(b) 在庫(kù)存數(shù)據(jù)分析時(shí)，當(dāng)實(shí)際庫(kù)存低丁所規(guī)定的安全庫(kù)存時(shí)，系統(tǒng)要能 夠進(jìn)行報(bào)警。通常情況下，企業(yè)為了保證正常的生產(chǎn)計(jì)劃， 會(huì)在企業(yè)倉(cāng)庫(kù)中預(yù)備 一定的庫(kù)存數(shù)量。而在BI庫(kù)存數(shù)據(jù)分析時(shí)，會(huì)將庫(kù)存數(shù)據(jù)與安全庫(kù)存的要求進(jìn) 行比對(duì)。(c) 基礎(chǔ)數(shù)據(jù)的更新。BIS的運(yùn)轉(zhuǎn)需要有基礎(chǔ)數(shù)據(jù)的支持?，F(xiàn)在大部分的 B

15、I&可以設(shè)置自動(dòng)在某個(gè)時(shí)間從某個(gè)系統(tǒng)導(dǎo)入基礎(chǔ)數(shù)據(jù)，然后進(jìn)行分析。如果 這些數(shù)據(jù)是采用無(wú)人值守的方式進(jìn)行的， 則有可能在數(shù)據(jù)導(dǎo)入的過(guò)程中，遇到一 些意外情況，而無(wú)法成功導(dǎo)入或者導(dǎo)入不完全。 如果遇到這種情況的話，那么系 統(tǒng)要能夠及時(shí)的將這種異常信息發(fā)送給管理員。(2) 規(guī)劃報(bào)警的手段報(bào)警的對(duì)象確定好之后，接下去要考慮的就是報(bào)警的手段?，F(xiàn)在 BIS一般有 三種報(bào)警方式。分別為郵件報(bào)警、即時(shí)消息報(bào)警和手機(jī)短信報(bào)警。 這三種方式也 各有優(yōu)劣。一般對(duì)丁一些比較重要且緊急的消息，可以采用手機(jī)短信的方式進(jìn)行 通知。不過(guò)手機(jī)短信也有一個(gè)不足的地方。 簡(jiǎn)單的說(shuō)，就是手機(jī)短信由丁信息有 限，收到的內(nèi)容不夠

16、詳細(xì)。如不能夠詳細(xì)說(shuō)明哪些數(shù)據(jù)因?yàn)槟男┰蚨鴮?dǎo)入不成 功。通常的做法是，手機(jī)短信是一個(gè)提醒的功能。相關(guān)的信息還是要通過(guò)電子郵 件等信息來(lái)傳達(dá)。手機(jī)短信中只包含一些簡(jiǎn)短的信息。如果管理員意識(shí)到問(wèn)題的 嚴(yán)重，需要查看更加詳細(xì)的內(nèi)容，就需要登陸郵箱來(lái)查看。從這個(gè)層面來(lái)說(shuō)，手 機(jī)短信報(bào)警工具并不市獨(dú)立存在的。 而往往是跟其他手段，如電子郵件或者即時(shí) 信息結(jié)合使用。(3) 定時(shí)對(duì)報(bào)警的有效性進(jìn)行驗(yàn)證報(bào)警措施設(shè)置好之后，還需要定時(shí)的對(duì)報(bào)警的有效性進(jìn)行驗(yàn)證。 因?yàn)橛啥…h(huán) 境的變化，原先的報(bào)警設(shè)置可能會(huì)失效，或者說(shuō)不符合企業(yè)的實(shí)際情況。 此時(shí)就 需要對(duì)此進(jìn)行調(diào)整。(a) 需要定時(shí)抽查原先的報(bào)警設(shè)置是否有效。如

17、當(dāng)數(shù)據(jù)導(dǎo)入發(fā)生異常時(shí)系 統(tǒng)有沒有正常發(fā)生手機(jī)短信通知， 一般來(lái)說(shuō)，如果發(fā)生意外的話，都會(huì)在系統(tǒng)中 留下記錄。如在系統(tǒng)日志中會(huì)留下錯(cuò)誤信息。 管理員可以根據(jù)這些內(nèi)容，來(lái)判斷 原先的設(shè)置是否有效。如果發(fā)現(xiàn)無(wú)效的話，要即使分析問(wèn)題的原因，并及時(shí)采取 相應(yīng)的補(bǔ)救措施。(b) 判斷相關(guān)的參數(shù)設(shè)置是否符合企業(yè)最新的實(shí)際情況。報(bào)警的實(shí)質(zhì)就是看數(shù)據(jù)是否 違反了即定的規(guī)則，這些規(guī)則往往是管理者根據(jù)當(dāng)時(shí)的情況制定的。如果情況發(fā)生了變化， 那么參數(shù)也需要進(jìn)行適當(dāng)?shù)恼{(diào)整。(4) 分類對(duì)報(bào)警信息進(jìn)行管理在報(bào)警信息設(shè)置時(shí)，會(huì)給每個(gè)報(bào)警信息附帶一個(gè)編號(hào)。這就好像系統(tǒng)錯(cuò)誤信 息中的錯(cuò)誤代碼一樣，就看錯(cuò)誤代碼就可以知道錯(cuò)誤信息

18、的種類。在BI系統(tǒng)中的報(bào)警信息管理中，也需要對(duì)報(bào)警的代碼進(jìn)行編碼，這有利丁用戶對(duì)信息進(jìn)行分 類的管理，如將跟庫(kù)存相關(guān)的警告信息，發(fā)送給倉(cāng)庫(kù)管理人員，而不發(fā)給銷售相 關(guān)人員0分類管理可以提高報(bào)警信息的針對(duì)性，主要是對(duì)警告信息的編碼進(jìn)行合理的 規(guī)劃。如采用6位數(shù)字編碼，那么前面兩位可以是類別代碼， 表示是哪個(gè)作業(yè)或 者哪張分析報(bào)表產(chǎn)生的警告信息。而后面四位表示流水碼。有經(jīng)驗(yàn)的用戶，一看 前面兩個(gè)代碼，就能夠判斷是在哪個(gè)報(bào)表上出現(xiàn)了問(wèn)題。有時(shí)為了閱讀的方便， 前面兩位類碼還可以使用拼音或者英文單詞的簡(jiǎn)寫來(lái)代替，理解起來(lái)更加的方便。如安全庫(kù)存報(bào)表，就米用 AK表小分類代碼等等。無(wú)論米用什么樣的編碼方式， 都要遵循一個(gè)簡(jiǎn)單的原則：簡(jiǎn)明易懂。而且在后續(xù)分析時(shí)，也可以根據(jù)這個(gè)代碼 類別來(lái)統(tǒng)計(jì)，某一段時(shí)間內(nèi)發(fā)送警告的數(shù)量。如 12月份基礎(chǔ)數(shù)據(jù)