商業(yè)銀行股份有限公司用戶投資管理分析系統(tǒng)技術(shù)規(guī)范書

1、商業(yè)銀行股份有限公司用戶投資管理分析系統(tǒng)技術(shù)規(guī)范書目錄目錄21 項(xiàng)目綜述21.1系統(tǒng)的特點(diǎn).31.2市盈利統(tǒng)計(jì)的方法.31.3項(xiàng)目背景.42數(shù)據(jù)庫(kù)產(chǎn)品功能性技術(shù)指標(biāo)52.1數(shù)據(jù)庫(kù)特點(diǎn)52.2數(shù)據(jù)庫(kù)的安全與可靠性52.3數(shù)據(jù)庫(kù)的可擴(kuò)展性82.4 數(shù)據(jù)庫(kù)安裝的人性化92.5 提供圖形化即查詢工具102.6 具備從Hadoop直接加載數(shù)據(jù)的能力123數(shù)據(jù)庫(kù)產(chǎn)品非功能性技術(shù)指標(biāo)133.1 單節(jié)點(diǎn)故障不影響系統(tǒng)基本操作，單節(jié)點(diǎn)故障下系統(tǒng)性能能夠保持正常性能的一半153.2支持在線的集群節(jié)點(diǎn)增加、刪除和置換163.4 支持并發(fā)數(shù)高174.1物理結(jié)構(gòu)184.1邏輯結(jié)構(gòu).191 項(xiàng)目綜述 投資管理與分析系統(tǒng)是

2、公司級(jí)的資產(chǎn)管理平臺(tái)，為金融機(jī)構(gòu)客戶提供跨資產(chǎn)、跨貨幣的風(fēng)險(xiǎn)管理與績(jī)效評(píng)估等領(lǐng)域的整體解決方案。而系統(tǒng)以投資數(shù)據(jù)管理平臺(tái)為基 礎(chǔ)，業(yè)務(wù)范圍覆蓋事前風(fēng)險(xiǎn)預(yù)測(cè)、事中風(fēng)險(xiǎn)監(jiān)控、事后業(yè)績(jī)?cè)u(píng)估等方面，其目的在于為客戶提供完整的定量金融解決方案。主要業(yè)務(wù)功能包括：組合管理、資產(chǎn)配 置、組合分析、風(fēng)險(xiǎn)分析、風(fēng)險(xiǎn)監(jiān)控、業(yè)績(jī)?cè)u(píng)價(jià)、業(yè)績(jī)歸因等。所以我們的數(shù)據(jù)庫(kù)收錄了自1991年中國(guó)證券市場(chǎng)成立以來(lái)所有上市交交易品種的公開數(shù)據(jù)，數(shù)據(jù)量多達(dá)上百億 。1.1系統(tǒng)的特點(diǎn)·基于高質(zhì)量的證券基本面信息數(shù)據(jù)庫(kù)之上的專業(yè)化的投資分析系統(tǒng)·重點(diǎn)關(guān)注宏觀財(cái)經(jīng)信息和上市公司基本信息·通過(guò)對(duì)證券基本數(shù)據(jù)和行

3、情數(shù)據(jù)的深入挖掘和有序組織來(lái)滿足機(jī)構(gòu)投資者和證券分析人員等市場(chǎng)高端用戶的需求。 · 通過(guò)對(duì)系統(tǒng)的學(xué)習(xí)和訓(xùn)練，可以學(xué)會(huì)如何獲取、篩選和處理數(shù)據(jù)，同時(shí)能夠鍛煉財(cái)務(wù)建模和分析的能力。1.2市盈利的統(tǒng)計(jì)方法針對(duì)三種計(jì)算方法的處理方法:（1） 簡(jiǎn)單市盈利的計(jì)算方法：使用財(cái)務(wù)數(shù)據(jù)為年報(bào)：全年稅后利潤(rùn) = 稅后利潤(rùn)使用財(cái)務(wù)數(shù)據(jù)為中報(bào)：全年稅后利潤(rùn) = 稅后利潤(rùn)*2使用財(cái)務(wù)數(shù)據(jù)為一季報(bào)：全年稅后利潤(rùn) = 稅后利潤(rùn)*4使用財(cái)務(wù)數(shù)據(jù)為三季報(bào)：全年稅后利潤(rùn) = 稅后利潤(rùn)*4÷3（2） 滾動(dòng)市盈利率的計(jì)算方法：使用財(cái)務(wù)數(shù)據(jù)為年報(bào)：全年稅后利潤(rùn) = 稅后利潤(rùn)使用財(cái)務(wù)數(shù)據(jù)為中報(bào)/季報(bào):先尋找上一年對(duì)應(yīng)

4、的中報(bào)/季報(bào)利潤(rùn)，如果沒有找到則采用簡(jiǎn)單市盈利率的計(jì)算方法；如果找到有效數(shù)據(jù)時(shí)的處理方法：全年稅后利潤(rùn) = 上一年的年報(bào)利潤(rùn)-上一年中報(bào)/季報(bào)利潤(rùn)+當(dāng)年中報(bào)/季報(bào)利潤(rùn)。（3） 同比增長(zhǎng)市盈率的計(jì)算方法：使用財(cái)務(wù)數(shù)據(jù)為年報(bào)：全年稅后利潤(rùn) = 稅后利潤(rùn)使用財(cái)務(wù)數(shù)據(jù)為中報(bào)/季報(bào):先尋找上一年對(duì)應(yīng)的中報(bào)/季報(bào)利潤(rùn)，如果沒有找到則采用簡(jiǎn)單市盈利率的計(jì)算方法；如果找到有效數(shù)據(jù)時(shí)的處理方法：全年稅后利潤(rùn) = 上一年的年報(bào)利潤(rùn)*（上一年中報(bào)/季報(bào)利潤(rùn)÷當(dāng)年中報(bào)/季報(bào)利潤(rùn)）。1.3項(xiàng)目背景中國(guó)證券市場(chǎng)自建立以來(lái)經(jīng)歷了三個(gè)階段，即初創(chuàng)階段，粗放型擴(kuò)張階段，規(guī)范型發(fā)展階段。證券市場(chǎng)發(fā)展受到重視的主要是公平

5、、公正、公開方向的制度建設(shè)。至于投資顧問業(yè)務(wù)則是剛剛開始起步。證券公司之間的競(jìng)爭(zhēng)，剛開始是大量設(shè)立營(yíng)業(yè)網(wǎng)點(diǎn)，建立新營(yíng)業(yè)部，屬于跑馬圈地階段，隨著市場(chǎng)的趨于飽和，證券公司的競(jìng)爭(zhēng)開始打價(jià)格戰(zhàn)，互相壓低傭金，甚至有零傭金的現(xiàn)象不斷出現(xiàn)，但是這種惡性競(jìng)爭(zhēng)肯定是兩敗俱傷的， 誰(shuí)也得不到好處。 而且隨著投資者日漸成熟，對(duì)傭金的高低要求已經(jīng)不是第一位了，投資者迫切需要有針對(duì)性的服務(wù)，包括宏觀經(jīng)濟(jì)發(fā)展階段的預(yù)判，上市公司發(fā)展?jié)摿Φ念A(yù)測(cè)等等，凡是對(duì)投資決策有用的數(shù)據(jù)信息分析都是投資者優(yōu)先考慮的，這個(gè)時(shí)候正是投資顧問大顯身手的時(shí)刻，公司也從硬件設(shè)施的競(jìng)爭(zhēng)過(guò)渡到增加服務(wù)的軟件方面競(jìng)爭(zhēng)。公司的服務(wù)模式也由原來(lái)的通道服

6、務(wù)模式向?qū)I(yè)化的增值服務(wù)模式轉(zhuǎn)變。 由于證券投資顧問服務(wù)模式剛剛開始起步，服務(wù)模式，收費(fèi)模式總是在不斷變化，所以相關(guān)的投資顧問服務(wù)管理軟件非常缺乏， 一些據(jù)有前瞻性的軟件公司開發(fā)的投資顧問管理軟件也是功能簡(jiǎn)單，缺乏與投資者的互動(dòng)和對(duì)投資顧問自身的管理功能，跟不是市場(chǎng)的變化。本文正是基于投資顧問業(yè)務(wù)快速發(fā)展的實(shí)際情況，根據(jù)不斷變化的投資顧問實(shí)際工作流程設(shè)計(jì)功能模塊，解決投資顧問與客戶互動(dòng)的難題，以及公司對(duì)投資顧問自身的管理問題，及時(shí)掌握投資顧問工作狀態(tài)，對(duì)投資顧問服務(wù)能力作出準(zhǔn)確的判斷以及進(jìn)行相應(yīng)的考核。數(shù)據(jù)庫(kù)設(shè)計(jì)概念2.1數(shù)據(jù)庫(kù)特點(diǎn)是一個(gè)分析型數(shù)據(jù)庫(kù)管理系統(tǒng)。主要具有可信任的、高效的、智能的特

7、點(diǎn)。其中*提供了豐富的安全特性，提供了許多旨在改善數(shù)據(jù)庫(kù)環(huán)境的總體安全性的增強(qiáng)功能和新功能。它增加了密鑰加密和身份驗(yàn)證功能，并引入了新的審核系統(tǒng)，以幫助您報(bào)告用戶行為并滿足法規(guī)要求。并且，它的安全機(jī)制可以分為5個(gè)層級(jí)：客戶機(jī)安全機(jī)制、網(wǎng)絡(luò)傳輸?shù)陌踩珯C(jī)制、實(shí)例級(jí)別安全機(jī)制、數(shù)據(jù)庫(kù)級(jí)別安全機(jī)制、對(duì)象級(jí)別安全機(jī)制。使其在安全方面表現(xiàn)的更加突出。而新的審核系統(tǒng)和* 基于策略的管理則為您提供新工具來(lái)監(jiān)控安全合規(guī)性的狀態(tài)。*是一個(gè)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)。主要具有這幾個(gè)主要特點(diǎn)：可信任的、高效的、智能的。服務(wù)器級(jí)別的安全機(jī)制、數(shù)據(jù)庫(kù)級(jí)別的安全機(jī)制、數(shù)據(jù)對(duì)象級(jí)別的安全機(jī)制一、可信任的使得公司可以以很高的安全性、可

8、靠性和可擴(kuò)展性來(lái)運(yùn)行他們最關(guān)鍵任務(wù)的應(yīng)用程序。*為關(guān)鍵任務(wù)應(yīng)用程序提供了強(qiáng)大的安全特性、可靠性和可擴(kuò)展性。2.2數(shù)據(jù)庫(kù)的安全與可靠性1、分析型數(shù)據(jù)庫(kù)中存在大量敏感數(shù)據(jù),如何防止數(shù)據(jù)被竊取和篡改是*的重中之重。加密技術(shù)是提高數(shù)據(jù)庫(kù)安全的一個(gè)重要手段,在對(duì)數(shù)據(jù)庫(kù)中存儲(chǔ)數(shù)據(jù)進(jìn)行加密時(shí),需要結(jié)合它們的特點(diǎn)，對(duì)加密算法、加密粒度以及加密方式進(jìn)行合理選擇。比如,在選擇加密算法時(shí),對(duì)加密尤其是解密速度要求比較快,不能因?yàn)榧?解密過(guò)程而導(dǎo)致系統(tǒng)性能大幅度下降。其次,應(yīng)當(dāng)支持靈活的加密粒度。根據(jù)用戶的需要,能夠選擇對(duì)數(shù)據(jù)庫(kù)、表、記錄、字段進(jìn)行加密。按照*數(shù)據(jù)庫(kù)的結(jié)構(gòu)層次,數(shù)據(jù)庫(kù)的加密粒度可以分為相應(yīng)的數(shù)據(jù)庫(kù)級(jí)、

9、表級(jí)、記錄級(jí)、字段級(jí)。根據(jù)不同的應(yīng)用需要,選擇合適的加密粒度。對(duì)整個(gè)數(shù)據(jù)庫(kù)加密整個(gè)數(shù)據(jù)庫(kù)加密,就是對(duì)數(shù)據(jù)庫(kù)中所有的系統(tǒng)表、數(shù)據(jù)表、索引、視圖和存儲(chǔ)過(guò)程等進(jìn)行加密處理。這種加密方法簡(jiǎn)單快捷,只需對(duì)相應(yīng)數(shù)據(jù)庫(kù)文件進(jìn)行加密處理即可,對(duì)于企業(yè)或者用戶簡(jiǎn)單的備份整個(gè)數(shù)據(jù)庫(kù),可以采取這種操作方便加密粒度。但是,使用中的數(shù)據(jù)庫(kù)如果采用這種方法則會(huì)非常不合適,因?yàn)閿?shù)據(jù)庫(kù)中的數(shù)據(jù)共享性高,會(huì)同時(shí)被多個(gè)用戶和應(yīng)用訪問使用,即使只需要查詢一條記錄,也需要對(duì)整個(gè)數(shù)據(jù)庫(kù)進(jìn)行解密,對(duì)系統(tǒng)性能會(huì)產(chǎn)生極大的影響。數(shù)據(jù)庫(kù)的表級(jí)加密安全數(shù)據(jù)庫(kù)將表分成兩大類,含加密字段的表和不含加密字段的表。對(duì)于加密的數(shù)據(jù)表則整個(gè)塊加密,否則不加

10、密,且每塊使用一個(gè)密鑰。安全數(shù)據(jù)庫(kù)中,如果一個(gè)表中存放敏感數(shù)據(jù),那么這個(gè)表的每一個(gè)頁(yè)面的數(shù)據(jù)域在內(nèi)存中是明文,在外存中是密文。表級(jí)加密的對(duì)象是數(shù)據(jù)庫(kù)中的表。與數(shù)據(jù)庫(kù)級(jí)加密比較,采用表級(jí)加密粒度,系統(tǒng)的查詢性能會(huì)有所改善,因?yàn)閷?duì)于未加密表的查詢,與傳統(tǒng)查詢方法一樣,系統(tǒng)性能不會(huì)受到影響,對(duì)于加密表的查詢,只需要解密對(duì)應(yīng)的加密表,而不要解密整個(gè)數(shù)據(jù)庫(kù)。在實(shí)行表級(jí)加密時(shí),可以采用對(duì)存儲(chǔ)數(shù)據(jù)的磁盤塊(頁(yè)面)進(jìn)行加密。當(dāng)*將內(nèi)存中的數(shù)據(jù)寫出到外存中時(shí),首先查詢安全字典,如果需要加密存儲(chǔ),則用安全字典中當(dāng)前密鑰加密。在將數(shù)據(jù)從外存讀入內(nèi)存后,如果頁(yè)頭標(biāo)識(shí)頁(yè)面是加密過(guò)的，則取出相應(yīng)的密鑰解密。加密時(shí),只加密

11、頁(yè)面中的數(shù)據(jù)域。解密時(shí),當(dāng)數(shù)據(jù)塊從外存讀入內(nèi)存時(shí),如果頁(yè)頭標(biāo)識(shí)頁(yè)面是加密過(guò)的,則從安全字典中取出相應(yīng)的密鑰解密數(shù)據(jù)域。和對(duì)整個(gè)數(shù)據(jù)庫(kù)加密一樣,對(duì)數(shù)據(jù)庫(kù)進(jìn)行表級(jí)加密實(shí)現(xiàn)方法簡(jiǎn)單,但是加密的粒度較粗,一張表中會(huì)含有大量不需要加密的數(shù)據(jù),把不需要加密的數(shù)據(jù)進(jìn)行加密，會(huì)導(dǎo)致不必要的性能損失。數(shù)據(jù)庫(kù)的字段級(jí)加密*以一種可插拔的方式擴(kuò)展用于支持多種加密算法（如:MD5等）的數(shù)據(jù)類型，用于實(shí)現(xiàn)對(duì)字段級(jí)的數(shù)據(jù)加密，將加密的字段從原始的數(shù)據(jù)中分離出來(lái),單獨(dú)存放。按照此種處理方案,同一個(gè)表中的明文密文存放在不同的文件或頁(yè)面中。每個(gè)被加密后的字段數(shù)據(jù)塊都作為獨(dú)立的行在數(shù)據(jù)庫(kù)加密庫(kù)表里為所屬主表存儲(chǔ)。加密庫(kù)表提供相應(yīng)

12、的索引對(duì)數(shù)值的快速檢索。通過(guò)加密算法加密過(guò)的大體積數(shù)據(jù)只是在把結(jié)果集發(fā)送給客戶端的時(shí)候才抽出來(lái)。因此,加密字段對(duì)應(yīng)的主表要小得多,并且它的大部分行都存儲(chǔ)在共享緩沖區(qū)里,因此就可以不需要任何線外存儲(chǔ)。對(duì)數(shù)據(jù)庫(kù)進(jìn)行字段加密不需要對(duì)所有的數(shù)據(jù)進(jìn)行加密,加密的粒度更小,對(duì)于不需要訪問到的記錄,完全不需要進(jìn)行任何操作,所以使用起來(lái)效率會(huì)高一些。但是由于每一個(gè)字段都必須有一個(gè)密鑰與之匹配,因此產(chǎn)生和管理記錄密鑰比較復(fù)雜。以記錄為單位的加密分析與以字段為單位的加密情況相似。其它數(shù)據(jù)加密方式*支持存儲(chǔ)口令加密，防止*用戶安全密碼被竊取。實(shí)現(xiàn)對(duì)存儲(chǔ)口令的弱密碼驗(yàn)證。通過(guò)用戶的權(quán)限來(lái)控制用戶訪問數(shù)據(jù)庫(kù)的權(quán)限。2、

13、*支持基于安全的SSL(Secure Sockets Layer 安全套接層)連接。SSL作為網(wǎng)絡(luò)通信提供安全及數(shù)據(jù)完整性的一種安全協(xié)議。SSL在傳輸層對(duì)網(wǎng)絡(luò)連接進(jìn)行加密。安全證書既包含了用于加密數(shù)據(jù)的密鑰，又包含了用于證實(shí)身份的數(shù)字簽名。安全證書采用公鑰加密技術(shù)。公鑰加密是指使用一對(duì)非對(duì)稱的密鑰進(jìn)行加密或解密。每一對(duì)密鑰由公鑰和私鑰組成。公鑰被廣泛發(fā)布。私鑰是隱秘的，不公開。用公鑰加密的數(shù)據(jù)只能夠被私鑰解密。反過(guò)來(lái)，使用私鑰加密的數(shù)據(jù)只能被公鑰解密。這個(gè)非對(duì)稱的特性使得公鑰加密很有用。在安全證書中包含著一對(duì)非對(duì)稱的密鑰。只有安全證書的所有者才知道私鑰。當(dāng)通信方A將自己的安全證書發(fā)送給通信方B

14、時(shí)，實(shí)際上發(fā)給通信方B的是公開密鑰，接著通信方B可以向通信方A發(fā)送用公鑰加密的數(shù)據(jù)，只有通信方A才能使用私鑰對(duì)數(shù)據(jù)進(jìn)行解密，從而獲得通信方B發(fā)送的原始數(shù)據(jù)。安全證書中的數(shù)字簽名部分是通信方A的電子身份證。數(shù)字簽名告訴通信方B該信息確實(shí)由通信方A發(fā)出，不是偽造的，也沒有被篡改?？蛻舳伺c*數(shù)據(jù)庫(kù)服務(wù)器通信時(shí)，首先要進(jìn)行SSL握手，SSL握手主要完成以下任務(wù)：1)協(xié)商使用的加密套件。加密套件中包括一組加密參數(shù)，這些參數(shù)指定了加密算法和密鑰的長(zhǎng)度等信息；2)驗(yàn)證對(duì)方的身份，此操作是可選的；3)確定使用的加密算法；4)SSL握手過(guò)程采用非對(duì)稱加密方法傳遞數(shù)據(jù)，由此來(lái)建立一個(gè)安全的SSL會(huì)話。SSL握手完

15、成后，通信雙方將采用對(duì)稱加密方法傳遞實(shí)際的應(yīng)用數(shù)據(jù)。2.3數(shù)據(jù)庫(kù)的可擴(kuò)展性擴(kuò)展性表現(xiàn)在：最佳的和可預(yù)測(cè)的系統(tǒng)性能。性能數(shù)據(jù)的采集：* 推出了范圍更大的數(shù)據(jù)采集，一個(gè)用于存儲(chǔ)性能數(shù)據(jù)的新的集中的數(shù)據(jù)庫(kù)，以及新的報(bào)表和監(jiān)控工具。擴(kuò)展事件：*擴(kuò)展事件是一個(gè)用于服務(wù)器系統(tǒng)的一般的事件處理系統(tǒng)。擴(kuò)展事件基礎(chǔ)設(shè)施是一個(gè)輕量級(jí)的機(jī)制，它支持對(duì)服務(wù)器運(yùn)行過(guò)程中產(chǎn)生的事件的捕獲、過(guò)濾和響應(yīng)。這個(gè)對(duì)事件進(jìn)行響應(yīng)的能力使用戶可以通過(guò)增加前后文關(guān)聯(lián)數(shù)據(jù)，以此來(lái)快速的診斷運(yùn)行時(shí)問題。事件捕獲可以按幾種不同的類型輸出，包括Windows事件跟蹤，當(dāng)擴(kuò)展事件輸出到ETW時(shí)，操作系統(tǒng)和應(yīng)用程序就可以關(guān)聯(lián)了，這使得可以作更全面

16、的系統(tǒng)跟蹤。備份壓縮：保持在線進(jìn)行基于磁盤的備份是很昂貴而且很耗時(shí)的。有了*備份壓縮，需要的磁盤I/O 減少了，在線備份所需要的存儲(chǔ)空間也減少了，而且備份的速度明顯加快了。數(shù)據(jù)壓縮：改進(jìn)的數(shù)據(jù)壓縮使數(shù)據(jù)可以更有效的存儲(chǔ)，并且降低了數(shù)據(jù)的存儲(chǔ)要求。數(shù)據(jù)壓縮還為大型的限制輸入/輸出的工作負(fù)載例如數(shù)據(jù)倉(cāng)庫(kù)提供了顯著的性能改進(jìn)。資源監(jiān)控器：資源監(jiān)控器使數(shù)據(jù)庫(kù)管理員可以為不同的工作負(fù)載定義資源限制和優(yōu)先權(quán)，這使得并發(fā)工作負(fù)載可以為終端用戶提供穩(wěn)定的性能。2.4數(shù)據(jù)庫(kù)的安裝的人性化我們對(duì)*的服務(wù)生命周期提供了顯著的改進(jìn)，它重新設(shè)計(jì)了安裝、建立的架構(gòu)。這些改進(jìn)將計(jì)算機(jī)上的各個(gè)安裝與*軟件的配置分離開來(lái),使得

17、安裝方便快捷并且自動(dòng)配置安裝環(huán)境，滿足多種安裝無(wú)論是圖形界面還是命令行界面的安裝。2.5 提供圖形化即查詢工具即席查詢是指用戶通過(guò)管理工具鍵入的SQL代碼，立刻就可以看到SQL執(zhí)行的結(jié)果。*自帶數(shù)據(jù)庫(kù)管理平臺(tái)，用戶可以通過(guò)該平臺(tái)實(shí)現(xiàn)即席查詢的操作。圖形管理工具的特點(diǎn)如下：² 全中文操作界面² Web 瀏覽器訪問方式² 支持多個(gè)節(jié)點(diǎn)的管理² 支持每個(gè)節(jié)點(diǎn)所有數(shù)據(jù)庫(kù)對(duì)象的瀏覽n 模式（Schema）n 表格n 內(nèi)存表n 表格列n 視圖n 函數(shù)² 支持SQL的輸入輸出窗口² 支持SQL高亮顯示² 支持主機(jī)性能的監(jiān)控n CPUn 內(nèi)

18、存n 磁盤n 網(wǎng)絡(luò)² 支持告警和配置管理圖：SQL窗口，數(shù)據(jù)對(duì)象管理圖：CPU監(jiān)控舉例圖：磁盤監(jiān)控舉例圖：內(nèi)存監(jiān)控舉例圖：網(wǎng)絡(luò)流量監(jiān)控舉例* 管理工具使用J2EE架構(gòu)，可以通過(guò)網(wǎng)絡(luò)連接到任何一個(gè)可用的數(shù)據(jù)節(jié)點(diǎn)上。* 管理工具在Tomcat中部署運(yùn)行，管理多個(gè)節(jié)點(diǎn)會(huì)頻繁查詢節(jié)點(diǎn)的狀態(tài)信息，造成一定資源的消耗，建議把*管理工具部署在資源比較空閑的主機(jī)上，該主機(jī)可以是任何一臺(tái)數(shù)據(jù)節(jié)點(diǎn)，這樣不會(huì)造成單部署一臺(tái)主機(jī)的資源浪費(fèi)。2.6 具備從Hadoop直接加載數(shù)據(jù)的能力*內(nèi)帶Hadoop插件接口，可以通過(guò)配置從Hadoop的HDFS文件系統(tǒng)中直接提取數(shù)據(jù)，也可從一些標(biāo)準(zhǔn)的接口連接到Hadoop

19、集群。*利用自主開發(fā)的數(shù)據(jù)計(jì)算引擎對(duì)數(shù)據(jù)進(jìn)行計(jì)算，計(jì)算引擎同時(shí)具備SQL的解析能力，能彌補(bǔ)Hadoop中Map Reduce組件的不足，同時(shí)比Spark組件更加輕量級(jí)。計(jì)算的結(jié)果可以返回給Hadoop的HDFS文件系統(tǒng)，也可以存儲(chǔ)在*中，方便高效的二次分析。*自帶Hadoop插件可以從HDFS文件系統(tǒng)中提取文件，但是有的Hadoop集群不允許直接通過(guò)HDFS方式訪問，而是通過(guò)一些標(biāo)準(zhǔn)的API。*的數(shù)據(jù)載入模塊針對(duì)不同協(xié)議已經(jīng)進(jìn)行了一定的封裝，如果遇到未知協(xié)議，我們也可以根據(jù)協(xié)議要求定制開發(fā)相關(guān)讀取模塊。對(duì)于增量數(shù)據(jù)，讀取時(shí)需要標(biāo)記讀取位置，這樣才能有效避免數(shù)據(jù)重復(fù)。3數(shù)據(jù)庫(kù)產(chǎn)品非功能性技術(shù)指標(biāo)

20、3.1 單節(jié)點(diǎn)故障不影響系統(tǒng)的操作，并且系統(tǒng)性能至少能保持正常性能的50%*有著較高的高可用性。在數(shù)據(jù)庫(kù)集群在任意節(jié)點(diǎn)網(wǎng)絡(luò)異常、主機(jī)異常、掉電情況下都體現(xiàn)較高的可用服務(wù)能力。在單節(jié)點(diǎn)故障下，對(duì)整體集群性能不會(huì)產(chǎn)生大的波動(dòng)。對(duì)于某個(gè)重要的節(jié)點(diǎn)，*提供主從災(zāi)備方案，切換時(shí)間小于1分鐘（主要是網(wǎng)絡(luò)探測(cè)不可用時(shí)間，根據(jù)路由設(shè)備的不同略有不同），只要備機(jī)和主機(jī)性能相當(dāng)，性能只會(huì)衰減50%。*主從災(zāi)備架構(gòu)圖 *的主機(jī)設(shè)計(jì)具備如下特點(diǎn)： 同步過(guò)程，備機(jī)不影響主機(jī)性能 檢測(cè)主機(jī)狀態(tài)，確保切換的正確性 支持主機(jī)備機(jī)同步讀取日志，互斥修改日志，從而保證數(shù)據(jù)的唯一完整性當(dāng)中主機(jī)不可用時(shí)，客戶端往往會(huì)訪問備機(jī)進(jìn)行容錯(cuò)

21、，客戶端在向備機(jī)調(diào)用call master_status();來(lái)獲取主機(jī)的真實(shí)可用性，如果主機(jī)心跳停止，客戶端就可以發(fā)送命令把備機(jī)提升為主機(jī)。備機(jī)會(huì)同步所有日志，然后完成自我的切換。單節(jié)點(diǎn)故障主要分三種情況：情況一，指標(biāo)分析中所主要描述的場(chǎng)景，主要用在兩份數(shù)據(jù)，主機(jī)宕機(jī)備機(jī)接管，這中情況在于增刪改差都有的情況下不會(huì)導(dǎo)致數(shù)據(jù)的丟失，增刪改平時(shí)只訪問主機(jī)，備機(jī)和主機(jī)同時(shí)可以進(jìn)行查詢，由于主機(jī)和備機(jī)的性能相當(dāng)，所以單節(jié)點(diǎn)掉電，相對(duì)于這個(gè)節(jié)點(diǎn)，主要50%的衰減，相對(duì)于整個(gè)集群衰減很小。情況二：多個(gè)數(shù)據(jù)節(jié)點(diǎn)分布管理，如10個(gè)節(jié)點(diǎn)，但是只有一份數(shù)據(jù)。某個(gè)節(jié)點(diǎn)宕機(jī)是，不會(huì)影響另外9臺(tái)主機(jī)的使用，查詢結(jié)果當(dāng)然

22、會(huì)有10%的誤差，性能衰減也只有10%情況三：協(xié)調(diào)節(jié)點(diǎn)宕機(jī)，協(xié)調(diào)節(jié)點(diǎn)不存儲(chǔ)數(shù)據(jù)，平時(shí)兩個(gè)協(xié)調(diào)節(jié)點(diǎn)互為主備，所以一臺(tái)宕機(jī)不會(huì)產(chǎn)生數(shù)據(jù)丟失，最大也只能有50%的性能衰減。3.2 支持在線的集群節(jié)點(diǎn)增加、刪除和置換，且數(shù)據(jù)庫(kù)停止運(yùn)行的時(shí)間應(yīng)不超過(guò)6個(gè)小時(shí)*有良好的數(shù)據(jù)庫(kù)集群管理平臺(tái)。通過(guò)此平臺(tái)，完成對(duì)整個(gè)集群節(jié)點(diǎn)的管理?？煞奖愕卦诰€完成集群節(jié)點(diǎn)的增加、刪除、置換。*支持通過(guò)字符窗口輸入SQL完成集群節(jié)點(diǎn)的增加、刪除和轉(zhuǎn)換；也支持通過(guò)圖形化界面完成集群節(jié)點(diǎn)的增加、刪除和轉(zhuǎn)換。在字符界面窗口輸入： sql.sh -c "select add_node('node1','

23、192.168.2.253','8881','dba','123456','*')"-添加節(jié)點(diǎn)sql.sh -c "select remove_node('node1')"-刪除節(jié)點(diǎn)sql.sh -c "select replace_node('node1','192.168.2.253','8881','dba','123456','*')"-置換節(jié)點(diǎn)每次完成節(jié)

24、點(diǎn)操作以后，調(diào)用以下命令更新集群節(jié)點(diǎn)池：sql.sh -c "select load_node()"-重新裝載節(jié)點(diǎn)池另外，*提供了良好的圖形化管理集群節(jié)點(diǎn)的工具，通過(guò)此工具，在界面完成集群節(jié)點(diǎn)的增加、刪除、置換。如下圖所示：在管理集群各節(jié)點(diǎn)過(guò)程中，無(wú)需停止各節(jié)點(diǎn)數(shù)據(jù)庫(kù)服務(wù)，以一種實(shí)時(shí)在線的方式完成集群節(jié)點(diǎn)的管理，集群內(nèi)節(jié)點(diǎn)由控制節(jié)點(diǎn)統(tǒng)一調(diào)配，管理集群節(jié)點(diǎn)，立即重新裝載集群節(jié)點(diǎn)池，新管理的集群節(jié)點(diǎn)立即生效，所以完成可以達(dá)到不超過(guò)6小時(shí)的目標(biāo)。*添加配置節(jié)點(diǎn)主要是在協(xié)調(diào)節(jié)點(diǎn)上實(shí)現(xiàn)，添加或者修改一個(gè)數(shù)據(jù)節(jié)點(diǎn)，對(duì)于其它數(shù)據(jù)節(jié)點(diǎn)沒有感知。正如指標(biāo)分析所示，用戶可以通過(guò)命令和圖形兩種方

25、式操作節(jié)點(diǎn)。節(jié)點(diǎn)在添加過(guò)程中，整個(gè)集群不需要停止，所以完全可以達(dá)到在線的要求。3.3 支持并發(fā)數(shù)高*提供良好架構(gòu)方案以支持高并發(fā)用戶訪問，通過(guò)分布式部署、緩存技術(shù)、支持快速讀寫的硬件資源實(shí)現(xiàn)高并發(fā)訪問。足以支持1000以上的并發(fā)用戶數(shù)。其總體架構(gòu)圖如下：圖：*高并發(fā)架構(gòu)除了利用不同場(chǎng)景的特殊性，高并發(fā)還可以使用三種方式獲得：1、 通過(guò)分布式部署。分布是部署可以緩解單機(jī)*數(shù)據(jù)庫(kù)服務(wù)器的壓力。*協(xié)調(diào)節(jié)點(diǎn)，根據(jù)規(guī)則對(duì)不同數(shù)據(jù)節(jié)點(diǎn)進(jìn)行訪問。*協(xié)調(diào)節(jié)點(diǎn)可以根據(jù)各分布式*數(shù)據(jù)庫(kù)服務(wù)器的當(dāng)前機(jī)器運(yùn)行狀態(tài)（CPU/IO/MEM等）以一定的負(fù)載策略去完成目標(biāo)*數(shù)據(jù)庫(kù)服務(wù)器的調(diào)度，最大限度地采用最空閑的數(shù)據(jù)庫(kù)服務(wù)

26、器完成SQL操作，以加快運(yùn)行結(jié)果響應(yīng)速度。2、 把數(shù)據(jù)加載到內(nèi)存。*數(shù)據(jù)庫(kù)服務(wù)訪問海量數(shù)據(jù)時(shí)，根據(jù)當(dāng)前機(jī)器內(nèi)存使用情況，以一定的緩存策略將數(shù)據(jù)加部分?jǐn)?shù)據(jù)裝載到內(nèi)存中，以減少訪問硬盤數(shù)據(jù)文件的次數(shù)，以一種最優(yōu)的方式利用*數(shù)據(jù)庫(kù)服務(wù)器的內(nèi)存，通過(guò)直接操作內(nèi)存中的數(shù)據(jù)，充分利用*數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)算性能，加快運(yùn)算結(jié)果的生成并返回客戶端。3、 提升硬件資源。在利用硬件資源方面,以提高服務(wù)訪問硬盤讀寫速度出發(fā)，*數(shù)據(jù)庫(kù)服務(wù)器部署安裝SSD固態(tài)硬盤，在硬盤上作設(shè)置相應(yīng)的RADI級(jí)別，提高訪問硬盤數(shù)據(jù)文件的讀寫速度，提高整個(gè)數(shù)據(jù)庫(kù)服務(wù)器的處理運(yùn)算的能力。對(duì)于分析型數(shù)據(jù)庫(kù)，增加并發(fā)的過(guò)程，其實(shí)是想辦法減小IO充分利用CPU和內(nèi)存的過(guò)程，在整個(gè)調(diào)試的過(guò)程中需要嚴(yán)密監(jiān)控?cái)?shù)據(jù)節(jié)點(diǎn)的CPU、內(nèi)存、網(wǎng)絡(luò)、IO四大資源，清晰定位到底是哪個(gè)資源出現(xiàn)瓶頸。當(dāng)4個(gè)資源有一個(gè)達(dá)到瓶頸的時(shí)候，往往可以使用其他三個(gè)資源