招商銀行數(shù)據(jù)倉庫方案樣本_第1頁
招商銀行數(shù)據(jù)倉庫方案樣本_第2頁
招商銀行數(shù)據(jù)倉庫方案樣本_第3頁
招商銀行數(shù)據(jù)倉庫方案樣本_第4頁
招商銀行數(shù)據(jù)倉庫方案樣本_第5頁
已閱讀5頁,還剩89頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

招商銀行數(shù)據(jù)倉庫方案建議書I目錄第一章前言第二章建議方案簡介第三章硬件產(chǎn)品簡介第四章軟件產(chǎn)品簡介第五章項目籌劃附錄一成功案例附錄二IBM可以提供服務(wù)附錄三項目進度籌劃安排參照附錄四產(chǎn)品報價第一章前言作為一種發(fā)展中銀行,總部位于國內(nèi)南方知名經(jīng)濟特區(qū)深圳市招商銀行成長令人矚目。為了在五年內(nèi)成為全國知名銀行,進入世界大銀行排行榜,招商銀行決策者們制定了一整套行之有效籌劃,而作為當(dāng)代化管理一某些,與國際上先進模式接軌,計算機管理自然成為相稱重要一某些。招商銀行與世界信息產(chǎn)業(yè)領(lǐng)導(dǎo)者,美國國際商業(yè)機器公司,簡稱IBM合伙,將其業(yè)務(wù)系統(tǒng)成功運營在AS/400平臺之上,成功地邁出了計算機管理第一步。但是她們并不滿足于當(dāng)前狀況,發(fā)揚從來緊跟新科技老式,決定對當(dāng)前業(yè)務(wù)數(shù)據(jù)作進一步解決,將靜態(tài)數(shù)據(jù)轉(zhuǎn)化為決策支持根據(jù)。因此,準(zhǔn)備采用當(dāng)前信息產(chǎn)業(yè)界極為先進數(shù)據(jù)倉庫技術(shù),完畢招商銀行決策支持系統(tǒng),以進一步提高公司實力和競爭力。而世界上最大軟件及征詢服務(wù)公司IBM,將以其在該行業(yè)雄厚實力和數(shù)十年豐富經(jīng)驗,為招商銀行提供一套完整解決方案,使招商銀行管理能力再上一種臺階。本方案以先進性和可擴展性為原則,使招商銀行數(shù)據(jù)倉庫系統(tǒng)既可以保證在幾年內(nèi)技術(shù)和設(shè)備不落后,使之站在世界計算機發(fā)展潮流之上,又可以依照業(yè)務(wù)高速發(fā)展,很以便地升級,以達到業(yè)務(wù)發(fā)展需求性能。先進性方面,IBM提供硬件平臺是具備最強勁解決能力RS6000SP系列并行機,它綜合業(yè)界最高品位技術(shù),具備無與倫比解決能力和可擴展性、可靠性。例如戰(zhàn)勝世界冠軍、國際象棋特級大師卡斯帕羅夫“深藍”就是這種機型,其每秒數(shù)億步解決速度至今仍被人們稱道;軟件平臺是IBM提供最新推出、業(yè)界好評如潮通用數(shù)據(jù)庫產(chǎn)品(UniversalDatabase),這是IBM又一大師級力作;尚有榮獲本年度世界數(shù)據(jù)倉庫產(chǎn)品大獎數(shù)據(jù)采掘工具:IntelligentMiner;在應(yīng)用上,IBM有成熟整套數(shù)據(jù)倉庫解決方案,和其她僅僅能提供某些方面產(chǎn)品廠商有著本質(zhì)區(qū)別??蓴U展性方面,由于數(shù)據(jù)量越來越大,顧客越來越多,為保證合理響應(yīng)速度,對機器性能提高就會有一種幾乎線性增長規(guī)定。硬件和軟件可擴展性就成為一種重要考慮因素。IBMRS6000SP主機正是具備這種特性,從而成為硬件平臺首選;通用數(shù)據(jù)庫在小到手提機,大到并行主機任何平臺上,都能充分發(fā)揮硬件性能。這樣就保證了整個數(shù)據(jù)倉庫系統(tǒng)正常運作。也可以保證顧客在此后升級時,既可以保護既有投資,也使應(yīng)用系統(tǒng)受到影響降到最小,做到無縫升級。背景中華人民共和國銀行業(yè)務(wù)正面臨深刻改革,各種新生事物不斷涌現(xiàn),如新業(yè)務(wù),由于分工模糊而浮現(xiàn)諸多非銀行業(yè)競爭者,業(yè)務(wù)全球化趨勢,由新舊競爭者導(dǎo)致越來越大壓力,迅速發(fā)展信息技術(shù),客戶需求和總體人口構(gòu)成也在不斷變化。全球范疇內(nèi)金融服務(wù)公司間關(guān)系變得更快密,促使決策者重新研究金融市場,資源分派,組織構(gòu)造和業(yè)務(wù)流程,從而采用更有創(chuàng)意公司行為和方略,如公司兼并,市場定位,產(chǎn)品和服務(wù)推陳出新,保持營銷渠道暢通。在銀行業(yè)內(nèi),越來越多公司正在采用數(shù)倉庫工具來創(chuàng)造新商業(yè)機會:進一步分析客戶群構(gòu)成、發(fā)現(xiàn)特殊需求、設(shè)計新產(chǎn)品、在新業(yè)務(wù)推出前開展詳細建模和分析。分析客戶減少也許因素,采用防止辦法,提高服務(wù)質(zhì)量和整體競爭力。分析重要客戶來源,保證整體效益。防止和制止信用卡詐騙活動。正如IBM從來在計算機業(yè)發(fā)展中扮演重要角色同樣,IBM早在1988年,就刊登了第一篇關(guān)于數(shù)據(jù)倉庫文章,成為這一領(lǐng)域先驅(qū),從那時起,數(shù)據(jù)倉庫技術(shù),服務(wù)和解決方案就在來斷地完善,時至今日,IBM公司數(shù)據(jù)倉庫系統(tǒng)已經(jīng)安裝了數(shù)百個,在各個行業(yè),各種平臺上運營。1995年,IBM重新評估了所有數(shù)據(jù)倉庫資源,成立一支核心隊伍,專門開發(fā)運用于各行業(yè)數(shù)據(jù)倉庫解決方案,范疇涉及銀行及金融業(yè),電訊業(yè),零售業(yè),保險及衛(wèi)生業(yè)等。這個小組任務(wù)是分析各行業(yè)業(yè)務(wù)需求,選取最佳軟件和硬件產(chǎn)品,為客戶提供征詢服務(wù)。在數(shù)據(jù)倉庫市場上,IBM始終致力于提供全面解決方案,不但提供技術(shù)和征詢服務(wù),還為客戶簡介專門行業(yè)經(jīng)驗。咱們數(shù)據(jù)倉庫系統(tǒng)運營在各種平臺上,保證一種開放系統(tǒng)供應(yīng)商地位,是當(dāng)前最完整全方位集成式數(shù)據(jù)倉庫解決方案。IDC近來在加拿大市場上作了一次數(shù)據(jù)倉庫調(diào)查,發(fā)現(xiàn)集成度是人們最關(guān)懷問題,除了嚴(yán)格遵循開放原則,IBM還發(fā)展了某些有實力方略聯(lián)盟伙伴,如Vality、進展技術(shù)公司ETI、Cognos以及InformationAdvantage等。通過聯(lián)合開發(fā)和集成調(diào)試,達到聯(lián)盟重要目的:更高檔集成度。IBM始終致力于確立在以網(wǎng)絡(luò)為中心計算技術(shù)方面領(lǐng)導(dǎo)地位,咱們也堅信當(dāng)前咱們站在潮流尖端,公司內(nèi)部建立起遍及全球100各種國家,700各種都市全球性大型數(shù)據(jù)網(wǎng)絡(luò),在專門互聯(lián)網(wǎng)部門,在這一領(lǐng)域技術(shù)成果不斷推出,都無可置疑地表白IBM是當(dāng)之無愧領(lǐng)導(dǎo)者。今天IBM更是提出了一套完整解決方案。如下就數(shù)據(jù)倉庫概念和作用做某些簡要簡介。數(shù)據(jù)倉庫概念及作用所謂數(shù)據(jù)倉庫,數(shù)據(jù)倉庫之父W.H.Inmon曾對數(shù)據(jù)倉庫作了這樣描述:“數(shù)據(jù)倉庫是九十年代信息技術(shù)構(gòu)架新焦點,它提供集成化和歷史化數(shù)據(jù);它集成種類不同應(yīng)用系統(tǒng);數(shù)據(jù)倉庫從發(fā)展和歷史角度來組織和存儲數(shù)據(jù),以供信息化和分析化解決之用”。這里要強調(diào)是必要將業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫分開。兩者功能不同,規(guī)定迥異。雖然業(yè)務(wù)系統(tǒng)為數(shù)據(jù)倉庫提供數(shù)據(jù)。但決不能將數(shù)據(jù)倉庫建立在業(yè)務(wù)系統(tǒng)之上。一來兩者所存數(shù)據(jù)不同。業(yè)務(wù)系統(tǒng)是存儲實時數(shù)據(jù)地方;數(shù)據(jù)倉庫也許更關(guān)懷是整個歷史數(shù)據(jù)。兩者數(shù)據(jù)傳遞不是簡樸復(fù)制,而是一種也許是比較復(fù)雜轉(zhuǎn)換和傳遞過程。二來,這樣做對業(yè)務(wù)系統(tǒng)影響太大。不但會對數(shù)據(jù)安全性導(dǎo)致某些不可預(yù)測影響,還會影響業(yè)務(wù)系統(tǒng)性能。查詢祈求會使系統(tǒng)不堪重負,響應(yīng)速度減少,嚴(yán)重時甚至導(dǎo)致系統(tǒng)崩潰,使業(yè)務(wù)系統(tǒng)癱瘓。因此必要將兩者分開。數(shù)據(jù)倉庫作用重要在于通過對大量數(shù)據(jù)分析,得出需要記錄成果。還可以找出其潛在關(guān)系,從而作出對的判斷。例如,如果銀行要理解它一種客戶狀況,以當(dāng)前狀況來看,需要查詢儲蓄庫,信用卡庫,借貸信息等。這些信息存儲在不同業(yè)務(wù)系統(tǒng)中,不同主機上,顯然要獲得完整客戶資料需要作大量工作,消耗大量時間。但是,如果這個銀行擁有數(shù)據(jù)倉庫系統(tǒng),要完畢這個工作只需要一種最簡樸查詢命令,也許只需要幾秒鐘。由于數(shù)據(jù)倉庫中已有了所有數(shù)據(jù),并且都已經(jīng)重新組織。特別是如果你要查是某些歷史數(shù)據(jù),那么當(dāng)前系統(tǒng)就主線無能為力了。因此,建立一種數(shù)據(jù)倉庫對公司許多對的決策作出有著舉足輕重影響。它可以以合理代價獲得有效決策支持;增進公司中業(yè)務(wù)解決過程重組;改進并強化對客戶服務(wù);強化公司資產(chǎn)和負債管理;增進市場分析;協(xié)助實現(xiàn)公司規(guī)模優(yōu)化。數(shù)據(jù)倉庫特點由于差不多各個業(yè)務(wù)系統(tǒng)各種數(shù)據(jù)都要放進數(shù)據(jù)倉庫,因此,隨著時間增長數(shù)據(jù)倉庫數(shù)據(jù)量是特別大。例如,某單位一天有10G數(shù)據(jù),例如移動通訊局計費系統(tǒng)(如果有幾本流水帳,也許還會超過這個數(shù)字),那么,僅僅過了兩年,數(shù)據(jù)倉庫中數(shù)據(jù)量就有:10*365*2=7300G,相稱于七個多TB數(shù)據(jù)。那么五年后,十年后呢?簡直不能想象。由此可見,數(shù)據(jù)倉庫特點:數(shù)據(jù)量大且有幾乎線性增長性。數(shù)據(jù)倉庫對計算機系統(tǒng)規(guī)定依照上述特點,咱們以為支持?jǐn)?shù)據(jù)倉庫計算機系統(tǒng)一方面必要得有一臺不但性能卓著,并且可擴展性也較好主機。談到可擴展性,許多人會想到對稱多解決器系統(tǒng)(SymmetricalMulti-Processing)系統(tǒng),其實SMP系統(tǒng)CPU數(shù)增長到一定數(shù)目后,對系統(tǒng)性能提高已十分有限,甚至?xí)鸱醋饔?。因此,主機選用,一定要有非常好線性增長性。這里,咱們建議選用當(dāng)前已經(jīng)比較成熟海量并行解決系統(tǒng)(MassiveParallelProcessing),簡稱為MPP。此外,數(shù)據(jù)庫選用也是十分核心。一是要支持超大數(shù)據(jù)量。也許在初始階段,數(shù)據(jù)量已經(jīng)到了TB級。二是要有很強穩(wěn)定性。數(shù)據(jù)倉庫是為決策支持系統(tǒng)提供精確數(shù)據(jù)分析,如果數(shù)據(jù)庫不十分穩(wěn)定,那么,后果不堪設(shè)想。此外,數(shù)據(jù)庫必要有可擴展性,支持多平臺,高性能等等。整個網(wǎng)絡(luò)環(huán)境穩(wěn)定和高速也應(yīng)被列入計算機系統(tǒng)設(shè)計考慮范疇。數(shù)據(jù)倉庫系統(tǒng)體系構(gòu)造一種完整數(shù)據(jù)倉庫系統(tǒng),應(yīng)當(dāng)由定義某些、數(shù)據(jù)獲取某些、管理某些、數(shù)據(jù)分發(fā)某些、信息目錄、數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)存取與分析等某些構(gòu)成。1.定義某些數(shù)據(jù)倉庫系統(tǒng)定義某些完畢數(shù)據(jù)倉庫環(huán)境定義和設(shè)立。這里涉及相應(yīng)定義工具供數(shù)據(jù)倉庫設(shè)計者和管理人員使用。她們使用此類工具進行:a. 設(shè)計和定義數(shù)據(jù)倉庫數(shù)據(jù)庫;b. 定義數(shù)據(jù)倉庫數(shù)據(jù)源;c. 指定一組規(guī)則用來約束當(dāng)數(shù)據(jù)從外部源點進入數(shù)據(jù)倉庫時系統(tǒng)行為。定義某些工作成果是一批元數(shù)據(jù),這批數(shù)據(jù)將存儲在信息目錄中。2.數(shù)據(jù)獲取某些數(shù)據(jù)獲取某些負責(zé)從外部數(shù)據(jù)源析取數(shù)據(jù),并在數(shù)據(jù)倉庫內(nèi)對所析取數(shù)據(jù)實行后解決。為了實現(xiàn)數(shù)據(jù)倉庫系統(tǒng)重要目的以最后顧客最容易理解和使用方式組織和存儲數(shù)據(jù),進行后解決是必要一步。后解決涉及對所析取數(shù)據(jù)提煉和變換。在定義某些所建立規(guī)則用來約束實行后解決時系統(tǒng)行為。數(shù)據(jù)提煉涉及如下內(nèi)容:記錄或記錄內(nèi)欄目重構(gòu),刪去不需要運營信息,字段值解碼和翻譯,補充缺漏值以及檢查數(shù)據(jù)完整性和相容性。變換內(nèi)容如上所述。需補充兩點是變換還可以涉及對原數(shù)據(jù)加上時間標(biāo)記及對導(dǎo)出數(shù)據(jù)計算,在完畢后解決后,即可將解決成果加載到相應(yīng)數(shù)據(jù)倉庫數(shù)據(jù)庫中,這種加載可通過源數(shù)據(jù)庫加載工具實現(xiàn),如果源庫是關(guān)系數(shù)據(jù)庫,普通可用SQL類工具實現(xiàn)對尋常數(shù)據(jù)清理和歸整,來自外部數(shù)據(jù)源數(shù)據(jù)不會原封不動地進入數(shù)據(jù)倉庫,而是必要進行必要變換以增強其可用性。最常用數(shù)據(jù)變換有獲取瞬像數(shù)據(jù)、實行集運算(求和、求平均量等)、分組、填寫缺漏值、預(yù)報趨勢(填入預(yù)測量)、數(shù)據(jù)構(gòu)造與格式轉(zhuǎn)換、提取樣本值、編碼值與可讀值間轉(zhuǎn)化等等。3.管理某些管理某些由一組系統(tǒng)服務(wù)工具構(gòu)成,此類工具及其所提供服務(wù)可為數(shù)據(jù)倉庫系統(tǒng)中其她某些所運用,還可以用于管理數(shù)據(jù)倉庫中數(shù)據(jù)集,數(shù)據(jù)集是對特定一種或一級顧客有用一組數(shù)據(jù),這組數(shù)據(jù)是從數(shù)據(jù)獲取某些得到基本數(shù)據(jù)導(dǎo)出。管理某些提供服務(wù)涉及數(shù)據(jù)維護、數(shù)據(jù)分發(fā)、數(shù)據(jù)倉庫例行維護,其中,維護服務(wù)完畢從基本倉庫數(shù)據(jù)導(dǎo)出特定數(shù)據(jù)集任務(wù);分發(fā)服務(wù)負責(zé)將集中倉庫數(shù)據(jù)分發(fā)到各種分設(shè)數(shù)據(jù)倉庫數(shù)據(jù)庫服務(wù)器和其她供最后顧客使用決策支持系統(tǒng)上面;例行維護服務(wù)涉及了對數(shù)據(jù)倉庫常規(guī)安全性服務(wù)、歸檔服務(wù)、備份、恢復(fù)以及對基本倉庫數(shù)據(jù)和數(shù)據(jù)集監(jiān)督服務(wù)。在當(dāng)前,例行維護服務(wù)多由基本操作系統(tǒng)和數(shù)據(jù)庫系統(tǒng)軟件來完畢。4.信息目錄數(shù)據(jù)倉庫所管理數(shù)據(jù),不但有供最后顧客(公司管理人員、各級決策者)使用,還涉及供數(shù)據(jù)倉庫系統(tǒng)開發(fā)者和維護者使用數(shù)據(jù)。后一類信息是用來描述倉庫數(shù)據(jù)庫構(gòu)造,稱之為元數(shù)據(jù)。元數(shù)據(jù)管理是數(shù)據(jù)倉庫成功應(yīng)用核心。數(shù)據(jù)倉庫系統(tǒng)中信息目錄,用來反映本系統(tǒng)中元數(shù)據(jù)組織狀況。通過信息目錄,可協(xié)助顧客理解在數(shù)據(jù)倉庫中都存儲著什么信息以及如何訪問和使用這些信息。普通來說,一種完整信息目錄應(yīng)當(dāng)由幾某些構(gòu)成,即技術(shù)目錄、業(yè)務(wù)目錄和信息導(dǎo)航器。數(shù)據(jù)倉庫設(shè)計者和管理者所使用數(shù)據(jù),其描述信息由技術(shù)目錄保持和管理。此類信息關(guān)于于數(shù)據(jù)源和目的、數(shù)據(jù)提煉規(guī)則、數(shù)據(jù)源與倉庫數(shù)據(jù)庫之間變換規(guī)則和映射等描述信息。技術(shù)目錄中信息,是在數(shù)據(jù)倉庫設(shè)計者在定義數(shù)據(jù)源和數(shù)據(jù)目的時,以及向數(shù)據(jù)倉庫拷貝數(shù)據(jù)而應(yīng)用某些規(guī)則時產(chǎn)生。如果外部系統(tǒng)擁有庫管理工具、DBMS系統(tǒng)目錄或者CASE工具,也可以借用相應(yīng)工具從外部系統(tǒng)輸入此類信息。為了使數(shù)據(jù)倉庫設(shè)計者和管理者能有重構(gòu)、調(diào)節(jié)和優(yōu)化數(shù)據(jù)倉庫根據(jù),技術(shù)目錄還將保存和維護與上述目的相相應(yīng)信息,此類信息涉及:數(shù)據(jù)倉庫中數(shù)據(jù)總量、數(shù)據(jù)倉庫創(chuàng)立更新日期、倉庫中數(shù)據(jù)存取和用法等。業(yè)務(wù)目錄包括信息,是將倉庫中數(shù)據(jù)以符合最后顧客業(yè)務(wù)習(xí)慣方式表達出來。此類信息涉及:同一倉庫數(shù)據(jù)業(yè)務(wù)習(xí)慣叫法與相應(yīng)數(shù)據(jù)倉庫命名及別名對照、倉庫數(shù)據(jù)來源、導(dǎo)出規(guī)則和數(shù)據(jù)當(dāng)前值、與數(shù)據(jù)擁有者聯(lián)系信息、預(yù)定義查詢與報告內(nèi)容細節(jié)、授權(quán)規(guī)定等。此類信息普通是由數(shù)據(jù)倉庫管理員生成,有也可以由外部系統(tǒng)(CASE工具、查詢或報告生成工具等)引入到數(shù)據(jù)倉庫中來。業(yè)務(wù)目錄使用和倉庫數(shù)據(jù)存取需要簡樸易用工具來輔助,信息導(dǎo)航器就是這樣工具,其基本功能是:對業(yè)務(wù)目錄中信息實行查詢和搜索、經(jīng)查詢而生成暫時性或永久性倉庫數(shù)據(jù)集、向倉庫管理員發(fā)送新數(shù)據(jù)獲取祈求通訊、向數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)分發(fā)部件發(fā)送分發(fā)祈求、與系統(tǒng)數(shù)據(jù)分發(fā)部件和數(shù)據(jù)存取與分析部件直接交互。5.數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)是數(shù)據(jù)倉庫重要協(xié)同支持某些。整個系統(tǒng)都限度不同地依賴數(shù)據(jù)庫軟件支持。其中最基本支持是對倉庫數(shù)據(jù)檢索和維護。 可以有效支持?jǐn)?shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)庫軟件,必要具備兩個能力:伸縮能力和運營效率。由于數(shù)據(jù)倉庫所維護數(shù)據(jù)量普通都在TB之上,因此上述規(guī)定道理是再明白但是了。在當(dāng)前,支持?jǐn)?shù)據(jù)倉庫系統(tǒng)重要是RDBMS,因此效率問題更顯得重要。為理解決在加載、存取和分析大批量倉庫數(shù)據(jù)時存在效率問題,IBM推出了具備廣泛并行解決能力產(chǎn)品,此類產(chǎn)品充分運用大規(guī)模并行解決機能力和開放系統(tǒng)優(yōu)勢,在伸縮性效率上均有實質(zhì)性改觀。數(shù)據(jù)倉庫系統(tǒng)需要數(shù)據(jù)庫軟件提供基本支持涉及并行查詢、并行建索引和并行常規(guī)維護(加載、備份和恢復(fù)等)。6.數(shù)據(jù)存取與分析某些存取與分析某些屬于倉庫系統(tǒng)前端。這里重要由桌面信息系統(tǒng)各種工具構(gòu)成。在C/S計算環(huán)境下,這某些屬于客戶端。數(shù)據(jù)倉庫最后顧客在這里提取信息、分析數(shù)據(jù)集、實行決策,從而可望獲得競爭優(yōu)勢。可以進入這一某些軟件工具,重要是查詢生成工具、多維分析工具和數(shù)據(jù)提取工具等。

第二章建議方案簡介關(guān)于招商銀行如何實現(xiàn)數(shù)據(jù)倉庫建議通過前一段時間調(diào)查研究,IBM特向招商銀行提出這份建議,建議書設(shè)計辦求體現(xiàn)如下要點:在招商銀行既有技術(shù)和經(jīng)驗基本上開展建設(shè),保護貴行在這些方面投資,充分考慮到貴行在數(shù)據(jù)庫技術(shù)如數(shù)據(jù)建模和數(shù)據(jù)庫管理等方面經(jīng)驗,以及正在使用IBM產(chǎn)品,建議新產(chǎn)品都是易于接受和使用如UNIX,DB2UDB系列產(chǎn)品等。建議書編寫過程中,征詢了多位有豐富銀行業(yè)經(jīng)驗專業(yè)顧問,她們對于如何在銀行業(yè)內(nèi)實現(xiàn)數(shù)據(jù)倉庫有近年實踐經(jīng)驗,可以保證盡量減少方案風(fēng)險。為將來發(fā)展打下良好基本,由于銀行金融公司業(yè)務(wù)不斷發(fā)展,以及公司信息系統(tǒng)可采用新技術(shù)不斷涌現(xiàn),因此絕對有必要保證系統(tǒng)有充分可擴展性,可以采納各種新技術(shù),如數(shù)據(jù)采掘工具,互聯(lián)網(wǎng)和多媒體等。采用開放,可重用技術(shù)成分,盡量增長系統(tǒng)靈活性,使投資得到最大限度保護。通過采用成熟技術(shù)使系統(tǒng)建設(shè)風(fēng)險降到最低。采用聯(lián)接集成技術(shù)來減少總體運營成本,在本建議書中最明顯例子就是采用數(shù)據(jù)復(fù)制技術(shù),在AS/400主機系統(tǒng)和數(shù)據(jù)倉庫間傳播數(shù)據(jù)??傮w建議要點:基于大規(guī)模并行技術(shù)開放,可重用,緊密集成組件,這個方案通過國際范疇內(nèi)各種專業(yè)顧問審核,如RichardFinkelstien,IDC及ColinWhite等,并得到她們一致批準(zhǔn)。為開發(fā)完整業(yè)務(wù)系統(tǒng)而選定一整套來自IBM及其伙伴廠商軟件產(chǎn)品。與招商銀行在數(shù)據(jù)分析發(fā)現(xiàn)方面建立數(shù)據(jù)發(fā)掘合伙關(guān)系,使貴行成為中華人民共和國銀行界領(lǐng)先公司,通過精確客戶定位,需求顧測等手段獲得豐厚利潤。IBM將召集來自世界各地數(shù)據(jù)倉庫和數(shù)據(jù)發(fā)掘方面專家,她們有近年為銀行客戶服務(wù)經(jīng)驗,將為貴行提供與業(yè)務(wù)有關(guān)顧問服務(wù)。從技術(shù)及財務(wù)方面為客戶考慮,提供單一而靈活價格條款,以分期實現(xiàn)方式,使系統(tǒng)建設(shè)對現(xiàn)行系統(tǒng)影響減到至少,在整個建設(shè)過程與客戶共擔(dān)風(fēng)險。本建議書核心技術(shù)是SP系統(tǒng),SP系統(tǒng)機器已在世界各地大銀行內(nèi)普遍使用,如中華人民共和國銀行和花旗銀行。方案內(nèi)另一種核心技術(shù)DB2UDB并行版本(EEE)Enterprise-ExtendedEdition,它是當(dāng)前最快并行數(shù)據(jù)庫,也是當(dāng)前唯一一種符合原則全并行數(shù)據(jù)庫。其中還涉及了從AS/400到SP數(shù)據(jù)復(fù)制工具DataPropagator。方案中其她軟件產(chǎn)品有:數(shù)據(jù)集市工具VisualWarehouse,數(shù)據(jù)采掘工具IntelligentMiner,以及DataGuide、ADSM以及進展技術(shù)公司ETI等。在本方案中特定提出一種專門條款:與招商銀行數(shù)據(jù)采掘合伙。數(shù)據(jù)采掘是當(dāng)前國際上各大公司普遍采用一種用于增長和管理效益手段,它是一種比多維分析工具更先進數(shù)據(jù)分析技術(shù)。采用了這項技術(shù)顧客普遍反映良好,以為能較好地協(xié)助她們減少成本,增長收入,管理風(fēng)險,招攬客戶和擴大市場。IBM研究中心依照數(shù)據(jù)倉庫使用經(jīng)驗,總結(jié)出一組需求建模算法,由各地專業(yè)顧問指引了數(shù)百個客戶使用這些工具,選出最適合總結(jié)業(yè)務(wù)流程8個算法,涉及數(shù)據(jù)采掘技術(shù)涉及匯集(Clustering)、分類(Classificaiton)、關(guān)聯(lián)發(fā)現(xiàn)(associationdiscovery)、序列模式發(fā)現(xiàn)(sequentialpatterndiscovery)、相似時間序列發(fā)現(xiàn)(similartimesequencediscovery)和預(yù)測(prediction)。數(shù)據(jù)采掘系統(tǒng)開發(fā)中使用了各種技術(shù)和產(chǎn)品,如數(shù)據(jù)預(yù)備工具和可視化技術(shù),為客戶實現(xiàn)滿意效果。通過這些系統(tǒng)建設(shè),也證明了所用工具和硬件(RS/6000)和數(shù)據(jù)庫環(huán)境(DB2UDB)有足夠可擴展能力,能解決大型數(shù)據(jù)文獻。與當(dāng)前市場上其她解決方案相比,IBM顧問組提供服務(wù)明顯高出一籌,其她公司提供算法只能合用于單一種特定狀況,IBM算法則能在各種公司中使用,所提供API能集成其她表達和決策支持工具,全世界共有9個IBM實驗室,50各種專業(yè)研究人員從事這方面工作,她們提出方案能分析數(shù)以百萬計記錄,與關(guān)系型并行數(shù)據(jù)庫集成,而不再受限于由內(nèi)存容量決定小型文獻。咱們向貴行推薦DB2并行版本EEE,是由于咱們有足夠數(shù)據(jù)采掘技術(shù)和經(jīng)驗,使之能解決非常大量數(shù)據(jù),發(fā)現(xiàn)從來不曾發(fā)現(xiàn)過模式和關(guān)聯(lián)。在方案中,咱們將向貴行提供所有適當(dāng)工具和資源,并但愿組織某些研討會,共同探計如何更好地選取合用于中華人民共和國銀行業(yè)產(chǎn)品和技術(shù)。依照招商銀行提供資料,咱們以為整個公司用數(shù)據(jù)倉庫系統(tǒng)需要一臺裝有8個高節(jié)點SP系統(tǒng),最初時需要400GB存儲空間,有必要時,可以在其她省分行安裝數(shù)據(jù)倉庫或數(shù)據(jù)集市,詳細方案視本地業(yè)務(wù)量而定,咱們設(shè)計了相應(yīng)兩個方案,第一種方案是在總行配備一種8個高節(jié)點SP系統(tǒng),配備650GB存儲設(shè)備;第二個方案是在總行配備一種4個高節(jié)點SP系統(tǒng),配備325GB存儲設(shè)備。然后在各個分行各配備一種2個高節(jié)點SP系統(tǒng),配備162GB存儲設(shè)備。詳細方案見附圖。IBM建議使用第一種方案。由于1.整個數(shù)據(jù)倉庫系統(tǒng)在一種地方,易于管理和維護;2.減少費用,避免重復(fù)投資,可共享資源;3.從業(yè)務(wù)上看,數(shù)據(jù)倉庫得出結(jié)論更具備整體性。建議方案公司級數(shù)據(jù)倉庫與數(shù)據(jù)集市比較依照招商銀行提出業(yè)務(wù)需求,咱們建議采用一種分兩期方案來實現(xiàn)數(shù)據(jù)集市概念,第一步是建立一種全局?jǐn)?shù)據(jù)倉庫,它是建立數(shù)據(jù)集市必由之路,數(shù)據(jù)倉庫和數(shù)據(jù)集市不應(yīng)當(dāng)是兩個完全分開系統(tǒng),由于數(shù)據(jù)集市雖然向獨立業(yè)務(wù)領(lǐng)域提供高質(zhì)量信息,但數(shù)據(jù)來源和基本是與數(shù)據(jù)倉庫無法分開,否則就會浮現(xiàn)數(shù)據(jù)完整性,數(shù)據(jù)可管理性和元數(shù)據(jù)可管理性等問題,全局集中公司數(shù)據(jù)倉庫為所有為特定業(yè)務(wù)領(lǐng)域服務(wù)數(shù)據(jù)集市提供一種可靠基本。數(shù)據(jù)集市定義邏輯成分較多,而不注重于物理角度,公司級數(shù)據(jù)倉庫指把公司業(yè)務(wù)信息經(jīng)提煉整頓后作長期保存,而數(shù)據(jù)集市保存信息附屬于某一特定業(yè)務(wù)范疇,相對比較動態(tài)化,由于數(shù)據(jù)集市有關(guān)業(yè)務(wù)范疇會隨著時間和經(jīng)營方針變化而變化。數(shù)據(jù)集市需要迅速訪問原始業(yè)務(wù)數(shù)據(jù),這些數(shù)據(jù)也許是從幾種不同步期收集來,事先要通過業(yè)務(wù)規(guī)則檢查和凈化解決。這樣才干保證不同業(yè)務(wù)需求數(shù)據(jù)集市都能迅速訪問到所需數(shù)據(jù)。正是這個因素,最成功數(shù)據(jù)集市應(yīng)用不是那些以應(yīng)用為可心業(yè)務(wù)系統(tǒng),而是由全局公司數(shù)據(jù)倉庫中提煉出來數(shù)據(jù)集市系統(tǒng)。公司數(shù)據(jù)倉庫可以扮演過濾器角色,執(zhí)行業(yè)務(wù)規(guī)則和檢查數(shù)據(jù)。本建議書在實現(xiàn)數(shù)據(jù)集市方面推薦一種相稱靈活體系構(gòu)造,數(shù)據(jù)集市規(guī)模可以小到只有幾種顧客,大到整個部門,甚至整公司務(wù)系統(tǒng),為了適應(yīng)這種需求,推薦方案能從核心數(shù)據(jù)倉庫中抽取所需特定數(shù)據(jù),跟蹤與建立數(shù)據(jù)集市關(guān)于所有操作,以便作審計控制,并能在較長時間后重組數(shù)據(jù)。數(shù)據(jù)集市詳細實現(xiàn)依賴于業(yè)務(wù)需求和公司數(shù)據(jù)模型,可以選取方案有諸多,為保證安全性,可管理性,可靠性和可行性,數(shù)據(jù)集市可以在SP平臺上和公司數(shù)據(jù)倉庫共存,這種配備使工作負載可以分布到各種節(jié)點上,從而使數(shù)據(jù)集市應(yīng)用獲得較好性能效果,對于遠程節(jié)點和移動顧客而言,數(shù)據(jù)集市則可以從公司數(shù)據(jù)倉庫平臺轉(zhuǎn)移到其她平臺上,IBMDB2UDB數(shù)據(jù)庫和數(shù)據(jù)復(fù)制產(chǎn)品減少了轉(zhuǎn)移過程復(fù)雜性和難度,這些產(chǎn)品可運營在各種平臺上,如WindowsNT、OS/2、AIX、SunSolaris、HP-UX和SCOUNIX等,使數(shù)據(jù)集市可靈活擴展。對于不大于20GB數(shù)據(jù)集市,還可以把數(shù)據(jù)下載到多維數(shù)據(jù)和分析包中,如Arbor公司Essbase可以從數(shù)據(jù)倉庫中切下某些數(shù)據(jù),專用于部門級數(shù)據(jù)集市應(yīng)用,Essbase有一種多維數(shù)據(jù)庫,最后顧客可以從不同維上分析數(shù)據(jù),在較短響應(yīng)時間內(nèi)分析數(shù)據(jù)和匯總信息。本建議書別的某些將專注于闡述如何建立一種集中式全局?jǐn)?shù)據(jù)倉庫,評估詳細業(yè)務(wù)需求時會進一步解釋數(shù)據(jù)集市實現(xiàn)。方案所用技術(shù)概述本方案涉及七項最重要技術(shù):數(shù)據(jù)倉庫管理和基本構(gòu)造,數(shù)據(jù)獲取,數(shù)據(jù)存儲,決策支持工具,數(shù)據(jù)采掘,公司數(shù)據(jù)倉庫目錄,征詢及顧問服務(wù),下面將分別簡介。每項技術(shù)都分類列出也許選取,咱們在這個項目中推薦方案以及因素。咱們解決方案不但覆蓋了這七項技術(shù),尚有針對性地依照招商銀行業(yè)務(wù)需求來使用這些技術(shù),保證緊密地集成系統(tǒng),完畢所有業(yè)務(wù)需要功能,同步這些技術(shù)遵循開放原則,每個構(gòu)成某些模塊化構(gòu)造使整個系統(tǒng)具備充分靈活性,可以在必要時候升級改進。管理及基本構(gòu)造硬件技術(shù)招商銀行可以選用硬件平臺有SMP,SMP集群和MPP。依照業(yè)務(wù)規(guī)模,銀行業(yè)動態(tài)性,以及為將來發(fā)展建立一種靈活,可擴展,有充分發(fā)展余地基本需求,編寫這份建議書專家一致以為應(yīng)當(dāng)選取MPP平臺,其她評核顧問如RichardFinkelstein、ColinWhite和IDCChrisWilliard等都必定這一選取,依照Gartner集團記錄,九成IT經(jīng)理為了更快,更靈活,更有效地執(zhí)行分析工作,都會選取MPP平臺和并行數(shù)據(jù)庫。IBM有兩種UNIX環(huán)境下MPP解決方案:SP和大型主機上MVS開放版本。咱們推薦SP系統(tǒng),由于它穩(wěn)固構(gòu)造,成功運營記錄,較好性能價格比。SP在1994年推出,時至今日,全世界共有各種系統(tǒng)在運營,總節(jié)點數(shù)超過0個,當(dāng)前在中華人民共和國也安裝了近100個系統(tǒng)。大型銀行公司,普通會選用一種或各種SP平臺來執(zhí)行各種業(yè)務(wù),如市場分析,客戶管理,利潤分析,服務(wù)跟蹤等。SP可以提供幾乎不受限制可擴展能力,本項目建議配備只及當(dāng)前最強大解決能力,最大內(nèi)存和硬盤容量局限性百分之五,有某些顧客甚至在使用超過400個節(jié)點SP系統(tǒng)。系統(tǒng)管理長期穩(wěn)定運營業(yè)務(wù)系統(tǒng)有賴于穩(wěn)定體系構(gòu)造,而系統(tǒng)管理是整個數(shù)據(jù)倉庫穩(wěn)定性量度重要指標(biāo)。有超過一半客戶/服務(wù)器項目是失敗,其中超過90%系統(tǒng)是由于沒有適當(dāng)系統(tǒng)管理構(gòu)造。SP平臺上有一整套系統(tǒng)管理軟件,能管理系統(tǒng)變化,重新配備,操作執(zhí)行以及作性能和故障管理。Tivoli系列系統(tǒng)管理工具進一步完善這組軟件功能,它是一套可靠跨平臺管理工具,能實現(xiàn)完善數(shù)據(jù)倉庫管理功能,使整個系統(tǒng)發(fā)揮最大交用。本方案中采用Tivoli產(chǎn)品是ADSM(ADSTAR分布式存儲管理器)。數(shù)據(jù)獲取數(shù)據(jù)獲取過程由幾步構(gòu)成,有數(shù)據(jù)抽取和傳送,數(shù)據(jù)提煉,數(shù)據(jù)分發(fā)和裝載。數(shù)據(jù)獲取是一種不間斷過程,規(guī)定自動化解決能力,可靠性和可管理性,因此上節(jié)所說系統(tǒng)管理能力也很重要。數(shù)據(jù)獲取核心是公司數(shù)據(jù)倉庫目錄分發(fā)和管理。該功能由DB2UDBEEE中產(chǎn)品DataPropagator完畢。數(shù)據(jù)存儲在SP硬件平臺上,可選數(shù)據(jù)存儲產(chǎn)品有ORACLE、INFORMIX和DB2并行版本,咱們推薦DB2并行版本UDB-EEE,該產(chǎn)品在加拿大實驗室開發(fā),得到多數(shù)顧問一致推薦,由于DB2并行版本是當(dāng)前市場上唯一完全符合原則MPP數(shù)據(jù),通過廣泛安裝和使用進一步證明了其能力。在SP平臺上實現(xiàn)數(shù)據(jù)倉庫選用DB2并行版本占了超過50%,遠遠超過第二位ORACLE,由于它當(dāng)前唯一一種全并行數(shù)據(jù)庫。近來作了一種關(guān)于VLDB(超大型數(shù)據(jù)庫)調(diào)查中,DB2成為最受歡迎產(chǎn)品,在五大數(shù)據(jù)庫中無論是數(shù)據(jù)庫容量還是顧客數(shù)都遠遠領(lǐng)先。例如一家叫BellSygma公司,正在使用DB2/MVS作市場分析,隨著UNIX平臺上數(shù)據(jù)倉庫不斷發(fā)展,她們在考慮轉(zhuǎn)型時決定采用DB2并行版本,由于她們已有DB2使用經(jīng)驗,并且IBM在VLDB上令人信服技術(shù)和經(jīng)驗,可信運營記錄等促使她們作出這種決定。時至今日,她們已經(jīng)開發(fā)出幾種VLDB數(shù)據(jù)倉庫應(yīng)用,均有非常好可擴展性和性能。從來以來,DB2由于其多樣化功能而受世界各大型公司普遍歡迎,美國最大500家公司中有超過80%采用了DB2,其中前100家所有采用了DB2。DB2并行版本象SP平臺同樣,能協(xié)助象招商銀行這樣公司去應(yīng)付各種類型業(yè)務(wù)壓力,有足夠靈活性去增長,刪除,重新開發(fā)和管理應(yīng)用和數(shù)據(jù),DB2有獨特可重用特點,能同步作數(shù)據(jù)倉庫、數(shù)據(jù)集市和內(nèi)部網(wǎng)應(yīng)用數(shù)據(jù)庫服務(wù)器,將來還可以把DB2/400應(yīng)用向下優(yōu)化到DB2上。最新TPC-D測試表白,DB2性能是并行數(shù)據(jù)庫中最佳,這次測試模仿了一種實際數(shù)據(jù)倉庫環(huán)境,從TPC量度上來看,與招商銀行當(dāng)前數(shù)據(jù)倉庫規(guī)模比較接近,IBM公司在1996年共投入了1200個人年開發(fā)DB2產(chǎn)品,此后仍會保持這種力度以保證并行數(shù)據(jù)庫領(lǐng)域領(lǐng)先地位。決策分析支持工具面向最后顧客工具種類繁多,有IBMVisualizer、DataInterPretation;其她公司如Cogons、InformationAdvantage、BusinessObjects、Brio-Query、CrystalReports、Microstrategy、Prodea、ArborEssBase等。匯集總體層次上數(shù)據(jù),從各種角度去分析,發(fā)既有價值信息,但每個工具功能范疇都比較單一而固定。通過專家討論,咱們推薦ArborEssBase,作部門級數(shù)據(jù)集市方案中多維數(shù)據(jù)庫。咱們也但愿建立數(shù)據(jù)采掘合伙關(guān)系,以便更好地發(fā)揮IBM最新數(shù)據(jù)采掘和發(fā)現(xiàn)技術(shù)作用。IBM數(shù)據(jù)采掘技術(shù)數(shù)據(jù)倉庫最重要作用就是發(fā)掘信息,更好地支持業(yè)務(wù)決策,增長客戶忠誠度,提高市場占有率和利潤,信息發(fā)掘應(yīng)用有市場分析,利潤評估,成本審核等。當(dāng)前技術(shù)趨勢是以信息發(fā)現(xiàn)為驅(qū)動,提高上述應(yīng)用效率,IBM在這方面研究和開發(fā)工作始終處在領(lǐng)先地位,與幾種重大金融和零售業(yè)客戶合伙,開發(fā)出某些有針對性解決方案。在此基本上匯集成一種完整數(shù)據(jù)采掘工具包,IntelligentMiner.已在1996年六月推出,支持RS/6000和SP平臺上DB2,該項技術(shù)在業(yè)界內(nèi)堪稱一絕。第一版產(chǎn)品內(nèi)具有八個獨立算法。META集團AaronZornes曾高度評價這一技術(shù)“IBM數(shù)據(jù)采掘工具包和提供有關(guān)服務(wù),相信會對大型公司數(shù)據(jù)倉庫技術(shù)帶來決定性影響?!边@項技術(shù)是一項新技術(shù),對招商銀行而言很有好處,采用這項技術(shù)可以使貴行與其她銀行在技術(shù)上拉開差距,這項技術(shù)必然會進一步發(fā)展,同步也就保證了貴行在數(shù)據(jù)倉庫上投資能發(fā)揮更大作用。公司數(shù)據(jù)倉庫目錄數(shù)據(jù)倉庫元數(shù)據(jù)是數(shù)據(jù)倉庫完整性、自動化限度和可用性基本,元數(shù)據(jù)定義了數(shù)據(jù)倉庫解決過程,記錄下來并支配整個運營過程,對業(yè)務(wù)型顧客而言,元數(shù)據(jù)是一種信息目錄,從中可以較容易地理解和使用數(shù)據(jù)倉庫中信息。元數(shù)據(jù)來源,信息模型和存儲技術(shù)有諸各種,普通互相之間是沖突,為了使各種工具可以順利地互相互換元數(shù)據(jù),需要MetadataInterchangeCoalition協(xié)助,提供元數(shù)據(jù)原則化互換。IBM,ETI,InfromationAdvantage和Vality等公司都支持這種原則,咱們與其她數(shù)據(jù)倉庫廠商也正在共同合伙,以達到最后原則。IBM辦法與Coalition方略完全一致,技術(shù)性元數(shù)據(jù)和業(yè)務(wù)性元數(shù)據(jù)內(nèi)容和使用方式都是比較獨立,針對不同顧客,應(yīng)當(dāng)有不同元數(shù)據(jù)存儲,優(yōu)化信息構(gòu)造。IBM推薦方案中,技術(shù)性元數(shù)據(jù)可以用ETI,業(yè)務(wù)性元數(shù)據(jù)用IBMDataGuide,這些互相獨立產(chǎn)品雖然來自不同廠商,但組合起來能發(fā)揮更大作用,由于它們是所在領(lǐng)域中最佳產(chǎn)品,否則無論如何都要維護兩套元數(shù)據(jù)目錄,還要保證它們之間同步。ETI和DataGuide同步由ETI負責(zé),由于ETI有一種很特別功能,能象解決其她數(shù)據(jù)源同樣解決ETI元數(shù)據(jù)存儲,ETI最大長處就是有選取查詢、傳送數(shù)據(jù),不受軟件和硬件影響,能在任何格式數(shù)據(jù)庫或文獻間傳送大量數(shù)據(jù),所有操作都是在元數(shù)據(jù)控制下進行。ETI元數(shù)據(jù)存儲能卸出,然后卸入DataGuide,或與DataGuide數(shù)據(jù)合并,整個解決過程可在圖形界面中完畢,最后能生成有關(guān)報告,ETI還支持版本控制,建立并維護詳細審計記錄。DataGuide是IBM信息目錄工具,集成工作組級和公司級上最后顧客業(yè)務(wù)元數(shù)據(jù),DataGuide中元數(shù)據(jù)按業(yè)務(wù)性質(zhì)劃提成各種業(yè)務(wù)組,最后顧客很容易瀏覽,分析時如果要查找某一對象,如報告、電子表格、數(shù)據(jù)庫、程序、ETI元數(shù)據(jù)存儲或數(shù)據(jù)采掘工具等,DataGuide都能把所需數(shù)據(jù)連同信息抽調(diào)出來,DataGuide目錄信息存儲在DB2中,與數(shù)據(jù)倉庫中業(yè)務(wù)數(shù)據(jù)放在相似地方。征詢與顧問服務(wù)概述招商銀行已有開發(fā)大型項目技術(shù)和經(jīng)驗。依照IBM在數(shù)百個數(shù)據(jù)倉庫項目中經(jīng)驗,其中有幾種與招商銀行狀況相類似,咱們有信心協(xié)助貴行運用已有技術(shù)和經(jīng)驗,把系統(tǒng)升級,擴展數(shù)據(jù)倉庫范疇和業(yè)務(wù)應(yīng)用廣度。IBM從來是通過增長商業(yè)價值來推動項目進展,保證顧客花在數(shù)據(jù)倉庫上每一分錢都是物有所值,所采用技術(shù)都是絕對有必要,與業(yè)務(wù)需求相適應(yīng),咱們方案進展是分期進行,保證整個項目按步就班,達至最后完全成功。IBM是世界最大顧問服務(wù)公司,提供全面顧問服務(wù),在招商銀行項目中咱們有三個突出長處:★IBM充分結(jié)識到數(shù)據(jù)倉庫重要性,專門建立一種技術(shù)中心,由數(shù)百個專業(yè)人員構(gòu)成,設(shè)計、實現(xiàn)并管理數(shù)據(jù)倉庫項目中所有部件。★IBM已有近年為客戶提供數(shù)據(jù)倉庫征詢與顧問服務(wù)歷史,附錄中列出了IBM數(shù)據(jù)倉庫顧問服務(wù)方式?!颕BM有數(shù)據(jù)采掘方面領(lǐng)先技術(shù),在過去十年中,超過50個研究人員專注于超大型數(shù)據(jù)環(huán)境中數(shù)據(jù)發(fā)掘研究,研究工作在遍及世界各地9個實驗室中進行,先后共研制了42種數(shù)據(jù)發(fā)掘算法,所有這些成果,再加上咱們提供專業(yè)顧問服務(wù),協(xié)助客戶設(shè)計方案,實現(xiàn)和開展培訓(xùn),構(gòu)成了數(shù)據(jù)采掘強大力量。

第三章硬件產(chǎn)品簡介在仔細研究招商銀行總行當(dāng)前運營環(huán)境,以及總行對數(shù)據(jù)倉庫籌劃需求后,IBM提出SP解決方案。IBM方案結(jié)合了在不同平臺(IBMRS/6000及IBMAS/400)間數(shù)據(jù)移動(datamovement),系統(tǒng)連接(systemconnectivity)以及系統(tǒng)可擴展性(systemscalability)等許多新技術(shù),這些技術(shù)不但可以滿足總行當(dāng)前需求,并且提供了滿足將來需求基本。解決方案:由于當(dāng)前總行每天尋常操作是在AS/400上運行,為保證不影響尋常運營,以及滿足數(shù)據(jù)倉庫大量運算需求,IBM建議使用IBM最高檔UNIX平臺RS/6000SP,由于SP具備(1)開放式系統(tǒng)功能。(2)高可擴展性等長處,足以滿足總行當(dāng)前及將來需求。IBM解決方案主機硬件需求:八個R50節(jié)點RS/6000SP,每節(jié)點配備有8個CPU,4GB內(nèi)存,4.5GB內(nèi)置硬盤,外置硬盤為81.1GB。各節(jié)點外置硬盤不互連。八個節(jié)點通過SPSWITCH相聯(lián),構(gòu)成SPMPP構(gòu)造,而每個節(jié)點內(nèi)采用8CPUSMP構(gòu)造。物理上八個R50節(jié)點占用兩個SP機柜,每個SP機柜可放置四個R50節(jié)點。八個7133-020磁盤組占用兩個R00機柜,每個R00機柜可放置四組7133硬盤(每組16個)。IBMRS/6000ScaleablePOWERParallel(SP)簡介SP是RS/6000系列產(chǎn)品線中最高檔產(chǎn)品,是IBM專門為需要大量高速計算客戶所設(shè)計并行機,SP構(gòu)造是高度可伸縮,最小SP可以只有一種節(jié)點,最大SP可以到512個節(jié)點。SP有三種節(jié)點:窄節(jié)點、寬節(jié)點、高節(jié)點,每個SP機框(SystemFrame)可以放置16個窄節(jié)點,或8個寬節(jié)點,或4個高節(jié)點。所謂高節(jié)點即是RS/6000SMP機R50,每個高節(jié)點最多可以有8個CPU,4GB內(nèi)存及6900GBSSA硬盤(或2700GBSCSI硬盤)。節(jié)點之間通訊是通過IBM專門為SP設(shè)計SPSwitch來實現(xiàn),節(jié)點與外部通訊則可選取用以太網(wǎng),F(xiàn)DDI或ATM。每個節(jié)點都運營AIX操作系統(tǒng)。一種低檔RS/6000工作站用來作控制臺,控制整個SP系統(tǒng)運營。整個SP系統(tǒng)可以當(dāng)作一種系統(tǒng)運營一種大并行作業(yè),或者可以區(qū)別為幾種小系統(tǒng),每個小系統(tǒng)運營自己作業(yè)。SP是高可伸縮性并行計算機SPShared-nothing和離散式內(nèi)存構(gòu)造,比共享內(nèi)存SMP構(gòu)造及松散耦合式服務(wù)器集群(Loosely-CoupledCluster)在可擴展性上有明顯優(yōu)勢,SMP(對稱式解決器)構(gòu)造,由于共享內(nèi)存及使用單一操作系統(tǒng),在可擴展性限制上是眾所周知。SMP構(gòu)造第一種瓶頸在于所有CPU均需通過一條系統(tǒng)總線,到內(nèi)存獲取數(shù)據(jù),CPU之間往往需要彼此競爭來獲得系統(tǒng)總線使用權(quán)。SMP構(gòu)造第二個瓶頸在于緩存一致性(CacheCoherence),也就是說每個CPU必要消耗極多時間來擬定每個緩存中數(shù)據(jù)是一致,當(dāng)某個CPU改動它緩存中數(shù)據(jù),它必要把這個更改告知到其她各個CPU,這對CPU及系統(tǒng)總線開銷都是很大。SMP構(gòu)造第三個瓶頸在于它使用一種操作系統(tǒng),這個操作系統(tǒng)由所有CPU所共享,許多內(nèi)核(kernel)構(gòu)造需要加鎖(Locking)與解鎖(unlocking),來保證數(shù)據(jù)一致性,這種Locking機制對SMP構(gòu)造是一項極大系統(tǒng)開銷。SMPorMPPForDataWarehousing當(dāng)前有愈來愈多數(shù)據(jù)倉庫應(yīng)用使用像IBMRS/6000SP這種多功能并行機(MPP)作為硬件平臺,這是由于:1.并行數(shù)據(jù)庫UDBEnterprise-ExtendedEdition(初期版本為DB2PE)已成熟地運營在SP上,而并行運算復(fù)雜性均被數(shù)據(jù)庫所涵蓋,原有應(yīng)用不需要通過任何變化,即可充分運用SP構(gòu)造達到并行效果。2.數(shù)據(jù)倉庫操作自身就具備高度并行性,就以數(shù)據(jù)Scan為例:各數(shù)據(jù)庫均有較好辦法把數(shù)據(jù)放在不同硬盤上,由不同節(jié)點對之操作達到線性加速效果。3.愈來愈多客戶使用SP作為數(shù)據(jù)倉庫平臺,并且成功案例越來越多。由于數(shù)據(jù)倉庫計算量及數(shù)據(jù)量均極為巨大,選取一種具備高度可擴展性平臺是十分重要,如下是關(guān)于何時該選SMP平臺,何時該選MPP平臺幾點原則:1.數(shù)據(jù)庫及最大表(Table)大小。2.同步使用顧客數(shù)。普通一種數(shù)據(jù)倉庫大多有50至200個人同時使用。3.數(shù)據(jù)庫查詢復(fù)雜限度。4.系統(tǒng)總線速度,解決器速度和I/0速度。5.每個查詢會訪問多少數(shù)據(jù),100多行或在百萬行。6.顧客但愿反映時間:幾分鐘或幾小時。7.數(shù)據(jù)庫功能。8.數(shù)據(jù)庫和終端顧客數(shù)增長速度。IBM曾就這個問題(何時該選SMP,何時該選MPP)對許多專家進行調(diào)研,比較中肯意見是:如果數(shù)據(jù)量超過100GB(也有專家以為200GB)顧客最佳認(rèn)真考慮MPP機型,由于它有較好擴展性,固然最佳在實行前即對終端顧客需求有充分理解,可是在實際情形中,這種事先有充分準(zhǔn)備例子不多,因此在實行數(shù)據(jù)倉庫后兩三年內(nèi),數(shù)據(jù)量增長三到四倍情形非常普遍。諸多數(shù)據(jù)倉庫在實行前均有一種實驗籌劃,一種有趣現(xiàn)象是:實驗籌劃愈成功,客戶對數(shù)據(jù)需求就愈大。因而,在考慮平臺時,一定要注意這個平臺可擴展性,雖然要用一臺SMP機型,也要考慮它與否有很高擴展性,與否可以很平滑升級到MPP構(gòu)造,以避免硬件平臺功能無法滿足顧客需求。SP比起松散耦合式服務(wù)器集群(LooselyCoupledCluster)方式有很大優(yōu)越性,服務(wù)器集群重要缺陷在于服務(wù)器之間數(shù)據(jù)傳達速度太慢,以及有太多服務(wù)器要管理,IBM特別為中華人民共和國設(shè)計了SPSwitch,來提供節(jié)點間迅速數(shù)據(jù)傳送,并且IBM也專門為SP設(shè)計了一套管理系統(tǒng)來管理SP,無論SP有多少個節(jié)點,對系統(tǒng)管理人員而言SP只是一種系統(tǒng)。 SP構(gòu)造可以擴展到幾千個節(jié)點,當(dāng)前最大SP有512個節(jié)點,美國花旗銀行使用116個節(jié)點SP運營數(shù)據(jù)倉庫應(yīng)用。

SPSWITCHSP技術(shù)核心是SPSWITCH,它提供了極高速度連接各節(jié)點。SPSWITCH給每兩個節(jié)點提供四條數(shù)據(jù)通道,每兩個節(jié)點之間帶寬高達100MB/S雙向傳送(讀與寫可以同步進行)。SP系統(tǒng)管理:IBM特別為SP開發(fā)了一種系統(tǒng)管理軟件ParallelSystemSupportProgram(PSSP),裝在控制工作臺上(一臺低檔RS/6000)來管理整個SP。PSSP有下列功能:-硬件監(jiān)視與控制-配備管理-顧客管理-軟件安裝與升級-顧客作業(yè)管理SPRAS(Reliability,AvailabilityandServiceability)IBM對SPRAS非常注重,每個重要配件如電源、電扇均有冗余。SPSwitch每個重要芯片均有備份,來保證SPSwitch數(shù)據(jù)傳播對的性以及可靠性,兩個節(jié)點之間則可運用IBM高可靠性軟件產(chǎn)品HACMP提供互為備份。節(jié)點內(nèi)部則有SystemGuard芯片提供實時監(jiān)控。(SystemGuard詳述見后)在SP內(nèi)R50高結(jié)點采用了IBM獨特SMP技術(shù)對稱多解決系統(tǒng)。在整體SP為MPP計算構(gòu)造同步,在每個SP結(jié)點內(nèi)部采用SMP解決,使每個結(jié)點所完畢任務(wù)亦可分散到各種解決器運營,這樣就充分運用了MPP及SMP兩種技術(shù)各自優(yōu)越性。如下再對IBMRS/6000SMP技術(shù)作一簡介:IBMRS/6000SymmetricMulti-Processing(SMP)對稱式多解決器系統(tǒng)在系統(tǒng)設(shè)計及制造上,IBMSMP服務(wù)器代表工業(yè)界科技一項重要成就,在中央解決器構(gòu)造,設(shè)計,科技及包裝上有諸多領(lǐng)先突破,與其他競爭對手SMP設(shè)計比較,RS/6000體現(xiàn)出明顯優(yōu)勢,它可擴展性能力及高可伸縮性給客戶提供了充分投資保護。下表顯示IBMSMP設(shè)計在科技及包裝上優(yōu)勢:老式SMP限制IBMSMP創(chuàng)新InternalcontentionforMemoryAccessandConstrainedDataMovementNon-BlockingDataCrossbarandAdvancedMemoryImplementationSinglePointsofFailureandOverallSystemReliabilityIndependentonboardserviceprocessor(IBMsystemguard)SystemreliabilityandavailabilitySuiteofimprovedstart-up,runtimeandRecoveryFacilitiesLimitedexpansioncapabilitywithinthesameChassisAdvancedexpandabilitydesignLimitedscalability,constrainedperformancePowerPCroadmapbinarycompatibilityNon-Blockingdatacrossbarandadvancedmemoryimplementation:在老式SMP設(shè)計中,各個CPU均由同一條系統(tǒng)總線(SYSTEMBUS)從內(nèi)存獲得所需要數(shù)據(jù)(DATA),IBM在設(shè)計SMP時,使用互換開關(guān)技術(shù)(CROSS-BARSWITCH),各個CPU均可由自己通道到內(nèi)存獲取所需數(shù)據(jù),因而各種CPU可同步由內(nèi)存獲取數(shù)據(jù),R50系統(tǒng)帶寬可高達1.8GB/Sec。這種設(shè)計對客戶好處有:1. IBM把這種比較昂貴,使用在較尖端電腦(如IBMES/9000)內(nèi)存存取技術(shù),提供應(yīng)RS/6000SMP機型。2. 使系統(tǒng)有較大解決能力,即可服務(wù)較多顧客。3. 提供較好功能(Performance)和可擴展性以及客戶投資保護。4. 當(dāng)客戶應(yīng)用是DATAWAREHOUSE時,復(fù)雜查詢需要從內(nèi)存獲取大量數(shù)據(jù),因此上述長處更為明顯。

Independentonboardserviceprocessor--IBMSystemGuard: 在IBMSMP機型中,有一種特別解決器SystemGuard。SystemGuard隨時監(jiān)視著系統(tǒng),當(dāng)系統(tǒng)浮現(xiàn)故障,SystemGuard可以自動重新啟動(reboot),重新配備(reconfiguration)以及恢復(fù)(recovery)系統(tǒng)運營。 SystemGuard給客戶提供下列好處:

1. 保護客戶重要資產(chǎn)2. 提供較好可靠性和可用性(ReliabilityandAvailability).3. 提供自動技術(shù)支持,較快反映時間。4.由于系統(tǒng)故障時間(DOWNTIME)減少。使用IBMSMP機型客戶可以給客戶提供較好服務(wù)。5. IBM把這種比較昂貴,使用在較為尖端電腦(如ES/9000)技術(shù)提供應(yīng)RS/6000SMP機型顧客。6. 較好Reliability,AvailabilityandServiceability.

AdvancedExpandabilityDesign對客戶好處1.客戶很容易在既有系統(tǒng)上增長I/O儲存能力,而不必此外購買一種新系統(tǒng)。2.可熱插拔硬盤提供較高可用系統(tǒng)可用性(Availability).3. 提供較好投資保障。PowerPCRoadmap,BinaryCompatibility:

IBM有完整籌劃來提高PowerPC(SMP機解決器)。由601、604604e到630PowerPC功能均有大幅度增長。給客戶提供好處:

1. 提供客戶平滑及不中斷升級。2. 提供較佳投資保護。先進硬盤技術(shù)對運用數(shù)據(jù)庫應(yīng)用而言,硬盤I/O速度相應(yīng)用功能有巨大影響,當(dāng)前各計算機廠商都仍在使用SCSI-2Fast/Wide技術(shù),IBM已于半年前推出較SCSI-2F/W新一代產(chǎn)品SSA(SerialStorageArchitecture),SSA較SCSI-2F/W有下列優(yōu)勢:第一、高性能SSA適配器通道速度可達80MB每秒雙向傳播,而SCSI-2F/W只能達到20MB每秒,同步SSA配有最迅速硬盤,其帶給顧客好處,顯示對大量數(shù)據(jù)持續(xù)輸出,SSA速度可達到65MB/S,為SCSI-2F/W五倍,對普通事務(wù)解決,SSA可達到3000ops(每秒3000次操作)為SCSI-2F/W三倍。第二、高可靠性SSA為鏈型構(gòu)造,如果盤組中有一種盤損壞,不會影響其她盤連通。第三、價格低使用SSA技術(shù)IBM7133硬盤子系統(tǒng)價格要較使用SCSI-2F/W技術(shù)硬盤子系統(tǒng)便宜許多。操作系統(tǒng)概述RS/6000采用IBMUNIX操作系統(tǒng)AIX/6000。AIX是當(dāng)前操作系統(tǒng)界最成功,應(yīng)用領(lǐng)域最廣,最開放第二代UNIX系統(tǒng),它匯集了近年來計算機界在UNIX上研究成果以及IBM在計算機體系構(gòu)造、操作系統(tǒng)方面40近年豐富經(jīng)驗。特別合用于作核心數(shù)據(jù)解決。AIX/6000,是在兩個重要UNIX版本:BSD4.3和AT&TSystemV基本上,綜合了兩者長處,同步遵循所有工業(yè)原則和開放系統(tǒng)原則,并將IBM長期積累先進技術(shù)和經(jīng)驗融入其中,擴展了UNIX在實時解決,系統(tǒng)管理,虛存管理,安全可靠性等方面能力,使之成為適應(yīng)當(dāng)代公司計算環(huán)境具備工業(yè)實力第二代UNIX操作系統(tǒng)。AIX/6000重構(gòu)了UNIX內(nèi)核,增長了邏輯卷管理(LVM)和日記文獻系統(tǒng)(JFS)等功能,使UNIX功能和性能得到了很大改進。它是一種開放、可靠、容易使用、容易管理高性能UNIX操作系統(tǒng)。1.AIX/6000對工業(yè)原則支持,對開放系統(tǒng)原則,如POSIX和X/Open支持,奠定了AIX/6000開放系統(tǒng)領(lǐng)先地位。2.動態(tài)可擴展內(nèi)核、可聯(lián)機動態(tài)配備、裝卸設(shè)備不必關(guān)機和重新啟動、邏輯卷管理LVM、支持動態(tài)文獻系統(tǒng)、可以跨越各種磁盤設(shè)備、實現(xiàn)聯(lián)機擴展文獻系統(tǒng)、以及透明磁盤鏡像、將重要數(shù)據(jù)鏡像保存、所有這些改進了操作環(huán)境可靠性和可用性。3.AIXWindows圖形顧客界面,InforExplorer聯(lián)機文本圖形文檔檢索以及桌面工具,使系統(tǒng)易于使用;SMIT(系統(tǒng)管理界面工具),通過菜單驅(qū)動方式,不必緊記復(fù)雜命令行和參數(shù),使尋常系統(tǒng)管理工作變格外輕松。4.PageableKernel(可置換內(nèi)核),可將暫不需要內(nèi)核程序,如打印驅(qū)動程序,置換出內(nèi)存(需要時可再置換內(nèi)存)變化了內(nèi)核必要常駐內(nèi)存方式,提高了內(nèi)存可用空間和系統(tǒng)性能;Pre-emptableKernel(可先占內(nèi)核)機制,使高優(yōu)先級進程能及時從低優(yōu)先級進程那里獲得所需資源,這對聯(lián)機實時事務(wù)解決任務(wù)非常重要;日記文獻系統(tǒng)JFS和內(nèi)存映象文獻系統(tǒng),保證了文獻系統(tǒng)完整性,在浮現(xiàn)死機時可以迅速重啟系統(tǒng)。這些特性,使系統(tǒng)UNIX性能和功能得到了極大改進。AIX操作系統(tǒng)上尚有許多應(yīng)用支持;軟件和工具,顧客可依照需要選用適當(dāng)軟件,也可依照自已需要進行開發(fā)移植.此外,在AIX上有一組功能強大使用以便系統(tǒng)管理工具,同步它還具備先進內(nèi)核技術(shù)和最佳開放性。因此,為了最大限度運用RISC技術(shù),就應(yīng)選取AIX這樣具備工業(yè)界實力UNIX操作系統(tǒng)。AIX操作系統(tǒng)支持中華人民共和國國標(biāo)一級和二級中文,并有顧客定義字庫功能以便于顧客增長字庫。因而,完全滿足中華人民共和國市場顧客對軟件漢化需求。在AIX每版本推出之前都通過了大量系統(tǒng)測試,這大量測試中除了某些常規(guī)工業(yè)測試以外,還涉及諸多復(fù)雜不同應(yīng)用環(huán)境下測試。這種測試保證了AIX系統(tǒng)可靠性和開放性。AIX是開放操作系統(tǒng)開放系統(tǒng),是90年代顧客強烈需求。顧客但愿能有更多選取,但愿投資得到保護,綜合反映在如下幾方面:可移植性,互操作性,系統(tǒng)獨立性和集成性。這些目的,必要通過建立一系列原則和規(guī)范來實現(xiàn)。IBM對開放承諾是:遵循已經(jīng)建立工業(yè)原則和事實工業(yè)原則;尚未建立原則,咱們積極參加研究制定,并向其他廠家和組織提供IBM技術(shù)和接口;同步IBM是各種原則組織熱心參加者和發(fā)起者,有1400多位IBM員工參加11個原則組織工作。在RS/6000系列所有型號上,都運營著同一種操作系統(tǒng)AIX/6000,保證了RS/6000全系列上二進制兼容。任一應(yīng)用軟件不必任何修改,就可在所有型號上運營,這對顧客投資,無疑是極大保護。 由于RS/6000對原則支持,使其在可移植和互操作性上都處在領(lǐng)先地位。RS/6000不但可以和其他廠商UNIX平臺互連,還可同SSA系統(tǒng)平臺,如S/370、S/390和AS/400等實現(xiàn)互操作。借助于NetWareforAIX/6000,還可將基于Intel各種平臺連在一起。AIX操作系統(tǒng)綜合了當(dāng)今各個方面最先進技術(shù),諸如BSD4.3、SVIDV.4、POSIX、TCP/IP、NFS、NCS、Motif等,遵循一系列國際開放組織定義原則,并獲得X/OPEN承認(rèn)UNIX品牌。AIX/6000提供了IBM最先進技術(shù)實時解決虛擬內(nèi)存系統(tǒng)管理網(wǎng)絡(luò)管理邏輯卷管理日記文獻系統(tǒng)圖形顧客接口安全性漢化AIX/6000提供了工業(yè)界第二代UNIX所有特性實時中斷響應(yīng)客戶機服務(wù)器構(gòu)造動態(tài)增減硬件設(shè)備和系統(tǒng)參數(shù)內(nèi)存映象文獻和虛擬內(nèi)存先進存儲管理技術(shù)動態(tài)鏈接函數(shù)庫共享庫文獻日記文獻系統(tǒng)系統(tǒng)迅速啟動系統(tǒng)管理數(shù)據(jù)庫高可靠性系統(tǒng)資源控制綜上所述,AIX是當(dāng)前最可靠、成熟、先進第二代UNIX,是最適合于核心數(shù)據(jù)解決環(huán)境操作系統(tǒng)。

第四章軟件產(chǎn)品簡介作為世界上最大軟件公司和數(shù)據(jù)庫公司,IBM最新推出DB2UniversalDatabase具備許多領(lǐng)先特性,最能滿足招商銀行數(shù)據(jù)倉庫項目需求:DB2通用數(shù)據(jù)庫是業(yè)界第一種擁有Web功能多媒體數(shù)據(jù)庫,可支持Intel和UNIX平臺、從單一解決器到SMP以及MPP計算環(huán)境,以及簡便地多廠商、多平臺連接;DB2通用數(shù)據(jù)庫體現(xiàn)了IBM網(wǎng)絡(luò)計算承諾,將公司信息鏈接至Internet,以開展業(yè)務(wù),進行合伙及管理;DB2通用數(shù)據(jù)庫支持各種應(yīng)用,如業(yè)務(wù)智能(決策支持、數(shù)據(jù)倉庫和數(shù)據(jù)采集)和事務(wù)解決。從OLAP到OLTP:可以迅速、簡便地開發(fā)迅速、可靠、安全應(yīng)用解決方案,獲得競爭優(yōu)勢,減少維護成本。DB2通用數(shù)據(jù)庫將OLTP性能、與初期DB2ParallelEditionVersion1.2對象關(guān)系型可擴展性、先進優(yōu)化器、DB2CommonServerVersion2.1豐富關(guān)系型功能、以及對大型數(shù)據(jù)庫支持緊密結(jié)合在一起。還增長了對OLAP支持以及決策支持應(yīng)用、各種易于使用改進功能,更深層次Internet集成,以及更高性能。通過顧客自定義函數(shù)和自定義數(shù)據(jù)類型,對對象關(guān)系型數(shù)據(jù)(如圖象、視頻、語音、文本和空間數(shù)據(jù))支持被緊密集成入數(shù)據(jù)庫。還涉及了強大根據(jù)內(nèi)容搜索引擎(如QBIC)。并且,有了UDF和UDT,顧客可以定義自己數(shù)據(jù)環(huán)境,簡化了應(yīng)用程序開發(fā)。作為IBM軟件服務(wù)器之一,DB2通用數(shù)據(jù)庫中直接集成了越來越多功能:一方面是性能監(jiān)視、性能調(diào)節(jié)和管理工具;Web鏈接,以及對象關(guān)系型支持;當(dāng)前有增長了雙向數(shù)據(jù)復(fù)制和先進數(shù)據(jù)庫系統(tǒng)管理。DB2還是各種大型解決方案構(gòu)成某些:1.與Datajoiner和LotusNotesPump共同實現(xiàn)多家數(shù)據(jù)庫訪問(容許應(yīng)用程序使用來自不同數(shù)據(jù)源數(shù)據(jù),就向它們是一數(shù)據(jù)庫同樣,而不考慮詳細數(shù)據(jù)庫開發(fā)廠商)。2.用VisualWarehouse實現(xiàn)數(shù)據(jù)倉庫功能。3.用IntelligentMiner實現(xiàn)數(shù)據(jù)采集功能。4.與LotusApproach和IntelligentDecisionServer共同實現(xiàn)決策支持和分析功能。DB2通用數(shù)據(jù)庫對其他DB2產(chǎn)品(DB2forOS/390、OS/400、VSE和VM)不同形式支持極大地改進了公司數(shù)據(jù)源集成功能。這些支持涉及更緊密聯(lián)接(新TCP/IP支持、DRDAAS支持以及通過DDCS桌面客戶機訪問主機數(shù)據(jù)直接),Web功能(Net.Data)和中間件(數(shù)據(jù)復(fù)制源和目的支持,以及集中化數(shù)據(jù)庫系統(tǒng)管理)。DB2支持Java預(yù)保存過程和UDF。這意味著Java程序員無需進一步培訓(xùn),就可以變成數(shù)據(jù)庫應(yīng)用程序開發(fā)人員。對其他語言支持也是如此。DB2通用數(shù)據(jù)庫支持稱為JDBCJava專用聯(lián)接,猶如支持TCP/IP。IBMNet.Data產(chǎn)品提供了Internet數(shù)據(jù)訪問功能,并為DB2和Web瀏覽器建立了穩(wěn)定連接,在任意瀏覽器、平臺和DB2之間提供了一致連接。LotusApproachWebSizingAssistant使通過Web進行決策支持變?yōu)楝F(xiàn)實。所有這些都是為了在Internet和Intranet上開展業(yè)務(wù),而不但僅是發(fā)布信息。當(dāng)前還沒有其他平臺可以象DB2通用數(shù)據(jù)庫同樣支持業(yè)務(wù)智能(決策支持、數(shù)據(jù)倉庫、數(shù)據(jù)采集、OLAP、多維分析)所規(guī)定功能。其可伸縮并行環(huán)境為實現(xiàn)這些任務(wù)提供了靈活性和強大動力。在SMP環(huán)境中查詢內(nèi)部并行解決支持就是DB2通用數(shù)據(jù)庫功能一種例子。64位存支持也使性能明顯提高。此外,諸如信圖索引、星形連接支持、ROLLUP和CUBE等功能進一步加強了DB2卓越業(yè)務(wù)智能功能。IBMIntelligentMiner,IntelligentDecisionServer以及LotusApproach正是依托這些功能提供了無可比擬業(yè)務(wù)智能功能。IBMVisualWarehouse依托這些功能提供了無可比擬業(yè)務(wù)智能功能。IBMIntelligentMiner、IntelligentDecisionServer以及LotusApproach正是依托這些功能提供了無可比擬業(yè)務(wù)智能功能。IBMVisualWarehouse依托DB2通用數(shù)據(jù)庫實現(xiàn)了經(jīng)濟有效部門級數(shù)據(jù)倉庫解決方案,并受到諸多廠商支持,如ArborSoftware、AndyneComputing、BrioTech、BusinessObjects、Cognos和CrossAccess。在原則、開放性方面,DB2支持各種原則,涉及關(guān)系型數(shù)據(jù)庫解決原則(X/OpenCLIXA、SQL92)、分布式數(shù)據(jù)庫解決原則(ODBC、DRDA、DCE)、多平臺連接原則(TCP/IP)、政府規(guī)范(FIPS127、C2安全性)以及系統(tǒng)管理原則(SNMP)。您可以選取DB2運營平臺:IBMOS/2、MicrosoftWindowsNT和Windows95、IBMAIX、Hewlett-PackardHP-UX、SunSolaris操作環(huán)境、SCOOpenServerGemini以及SiemensNixdorfSINIX。客戶機還可以是SGI、MacOS及所有通用Web瀏覽器平臺。DB2通用數(shù)據(jù)庫在預(yù)保存過程和顧客自定義函數(shù)功能還支持各種通用語言(如Java、BASIC、COBOL、C++)。諸如SAP、Baan、PeopleSoft和J.D.Edwards等廠商都推出了支持DB2應(yīng)用程序,并且有種ISV產(chǎn)品。(請參閱IBMDB2解決方案目錄)。DB2在支持各國語言方面也獨樹一幟,這使它成為許多跨國顧客唯一選取,完全支持簡體中文。DB2并行版UDBEEEDB2并行版(DB2UDBEEE)是在IBMRS/6000平臺上實現(xiàn)并行關(guān)系型數(shù)據(jù)庫.它容許跨多系統(tǒng)數(shù)據(jù)形成單一影像,并運用因此系統(tǒng)解決能力滿足顧客對數(shù)據(jù)規(guī)定.它涉及如下重要性能:Shared-Nothing架構(gòu)DB2UDBEEE是被設(shè)計為運營在Shared-Nothing硬件環(huán)境中,因而各種解決器不共享CPU、內(nèi)存或磁盤。使用Multi-PurposeParallelComputing(MPPC)技術(shù)。它比老式SymnetricMultiprocessor(SMP)減少了資源競爭,使得性能隨節(jié)點數(shù)增長而線性上升。DB2UDBEEE分別在客戶測試32個和96個節(jié)點環(huán)境,以及內(nèi)部128個節(jié)點環(huán)境中體現(xiàn)了性能可擴充性。它被設(shè)計為可擴充到超過1000個節(jié)點。并行基于成本優(yōu)化器DB2UDBEEE基于成本優(yōu)化器可以懂得它在并行環(huán)境中。IBM研究中心專門為DB2UDBEEE設(shè)計了高效并行數(shù)據(jù)訪問。所采用訪問辦法比以往辦法更為出眾。所有SQLSML都可以被并行完畢。涉及所有SQL語句(SELECT,INSERT,OPDATE和DELETE),實用工具(Backup,Restore,Reorg,Load)和數(shù)據(jù)訪問辦法(Joins,TableScan和IndexScan)。祈求是在沒有任何特殊變化下自動地并行完畢。應(yīng)用透明性對于數(shù)據(jù)倉庫程序員或商業(yè)顧客來說,DB2UDBEEE看起來與其他DB2數(shù)據(jù)庫同樣。應(yīng)用程序不需為DB2UDBEEE作變化,應(yīng)用系統(tǒng)是通過SQL,ODBC和CallLevel界面訪問DB2UDBEEE。這就較好地保護了顧客在數(shù)據(jù)庫、應(yīng)用和技能上投資。數(shù)據(jù)功能發(fā)送操作是盡量地在數(shù)據(jù)所在場合進行。DB2UDBEEE將祈求連同需要得到成果最小祈求信息(SQL)發(fā)送出去,從而減少了查詢開銷。運用POWERParellelSPDB2UDBEEE架構(gòu)可以出眾地配合IBMMassivelyParallelProcessor(MPP)即POWERParellelSP,直接子任務(wù)到子任務(wù)異步數(shù)據(jù)管道能運用SPHighPerformanceSwitch,DB2UDBEEE和SP完美結(jié)合產(chǎn)生了當(dāng)今最強有力可伸縮并行數(shù)據(jù)庫方案。減少并行任務(wù)額外開銷單個DB2UDBEEE操作員并不作為獨立子任務(wù)進行解決。在一種節(jié)點中一組操作員常被作為一種單位來解決,從而避免子任務(wù)額外開銷,使在更少資源下得到更好性能。在并發(fā)多表查詢數(shù)增長時這種資源減少更為明星。相比之下,Informix為每個操作員建立一種獨立線程,這樣就大大增長了額外開銷,減少了并發(fā)能力。靈活配備雖然DB2UDBEEE充分運用SP,但并不意味著需要它。DB2UDBEEE也可以通過LAN上獨立RS/6000SMP系統(tǒng)上多解決器。HACMP簇中多節(jié)點,甚至是單SP節(jié)點上各種邏輯節(jié)點提供并行解決,這使得從初級系統(tǒng)成長為大型并行解決成為也許。IBM優(yōu)勢不但在于只是有一種出眾數(shù)據(jù)庫,重要是,它有更為出眾專業(yè)工具,如下簡介其王牌產(chǎn)品:IntelligentMiner。DataMining是DataWarehouse應(yīng)用方式中最重要一種?;旧?,DataMining是用來將你數(shù)據(jù)中隱藏信息采掘出來,因此DataMining其實是所謂KnowledgeDiscovery一部份,DataMining使用了許多記錄分析與Modeling辦法,到數(shù)據(jù)中尋找有用特性(Patterns)以及關(guān)連性(Relationships)。KnowledgeDiscovery過程對DataMining應(yīng)用成功與否有重要影響,只有它才干保證DataMining能獲得故意義成果。IBM意識到DataMining重要性,因此開發(fā)了一套稱為IntelligentMiner產(chǎn)品。咱們對于這種DataMining產(chǎn)品應(yīng)當(dāng)有一種對的認(rèn)知,就是它不是一種無所不能魔法。它不是在那邊監(jiān)視你數(shù)據(jù)狀況,然后告訴你說你數(shù)據(jù)庫里發(fā)生了某種特別現(xiàn)象。也不是說有了DataMining工具,就連不理解業(yè)務(wù),不理解數(shù)據(jù)所代表意義,或是不理解記錄原理人也可以做DataMining。DataMining所采掘出來信息,也不是你可以不經(jīng)確認(rèn),就可以照單全收應(yīng)用到業(yè)務(wù)上。事實上,DataMining工具是用來協(xié)助業(yè)務(wù)分析策劃人員從數(shù)據(jù)中發(fā)掘出各種假設(shè)(Hypothesis),但是它并不幫你查證(Verify)這些假設(shè),也不能幫你判斷這些假設(shè)對你價值。咱們常會有一種疑問,就是DataMining與OLAP(OnlineAnalyticalProcessing)究竟有什么不同?重要差別地:OLAP是由使用者所主導(dǎo),使用者先有某些假設(shè),然后運用OLAP工具來查證這些假設(shè);而DataMining是用來幫使用者產(chǎn)生假設(shè)。在使用OLAP或其她Query工具時,使用者是自己在做摸索(Exploration),但是如果是使用DataMining工具,則是DataMining工具在協(xié)助你做摸索。舉例來說,財務(wù)分析師也許會以為一種負責(zé)多而收入少人信用風(fēng)險必然高,這是她假設(shè),她可以使用OLAP工具來查詢各種數(shù)據(jù),從各方面來確認(rèn)或是推翻這個假設(shè)。而DataMining則是可以用來幫你找到各種信用風(fēng)險高因素,例如它也許會幫分析師發(fā)現(xiàn)負債多而收入少人信用風(fēng)險較高,它也也許才分析師找到某些她從來不曉得事實,例如收入負債比以及年齡與信用風(fēng)險也關(guān)于系。因此OLAP與DataMining是可以互補,DataMining先幫咱們從數(shù)據(jù)中找到某些特性,然后運用OLAP去確認(rèn)這些特性價值,最后再依照這些信息作成決策。OLAP還可以在Knowledge-Discovery初期協(xié)助你理解你數(shù)據(jù),它讓你更注意到某些變因,找出某些例外情形,以及某些互相影響因素。這種過程非常重要,由于你越理解數(shù)據(jù),就越能從數(shù)據(jù)中找出信息,也就是Knowledge-Discovery就越有效率。由于OLAP與DataMining是可以互補,因此IBM就把IntelligentDecisionServer與IntelligentMiner整合在一起,讓使用者可以運用IDS圖形界面來驅(qū)動IntelligentMiner,并且分析它所找出成果。DataMining辦法DataMining工具是運用數(shù)據(jù)來建立某些模仿真實世界模式(Model),運用這些模式來描述數(shù)據(jù)中特性(Patterns)以及關(guān)系(Relations)。這些模式有兩種用處,第一,理解數(shù)據(jù)特性與關(guān)系可以提供你做決策所需要信息,譬如:AssociationModel可以協(xié)助超級市場或百貨店規(guī)劃如何擺設(shè)貨品。第二,數(shù)據(jù)特性可以協(xié)助你做預(yù)測,例如你可以從一份郵寄名單預(yù)測出哪些客戶最也許對你推銷做回應(yīng),因此你可以只對特定對象做郵購?fù)其N,而不必揮霍許多印刷旨費郵寄而只得到很少回應(yīng)。DataMining可以建立六種模式:Classification、Regression、TimeSeries、Clu

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論