小機(jī)、數(shù)據(jù)庫、存儲(chǔ)選型應(yīng)該注意的幾個(gè)事項(xiàng)

1、存儲(chǔ) :存儲(chǔ) 的幾個(gè)主要指標(biāo)是 IOPS 、帶寬 與 響應(yīng)時(shí)間。IOPS:指的是系統(tǒng)在單位時(shí)間內(nèi)能處理的最大 IO 頻度,一般是指單位時(shí)間內(nèi)能完成的 隨機(jī)小 IO 個(gè)數(shù)。帶寬(throuput :有的時(shí)候也較吞吐量,指的是單位時(shí)間按內(nèi)最大的 IO 流量。往往是采用大的 IO 塊、大的帶寬獲得的最大流量。這幾個(gè)指標(biāo)即相互獨(dú)立有相互關(guān)聯(lián)。 一般來說, 當(dāng)涉及更多的頻繁讀寫時(shí) (OLTP , 更多的考慮 IOPS 與 響應(yīng)時(shí)間;而一些大量的順序文件訪問,例如數(shù)據(jù)倉庫應(yīng)用(OLAP ,流媒體,更多的考慮 帶寬指標(biāo)。響應(yīng)時(shí)間:單 IO 的響應(yīng)時(shí)間指的是一個(gè) IO 請求從開始到結(jié)束的時(shí)間, 它往往 與 c

2、ache 大小 以及命中率有很大 關(guān)系 。決定 IOPS 的因素有如下幾個(gè):磁盤個(gè)數(shù):首先看磁盤個(gè)數(shù), 這個(gè)是決定 存儲(chǔ) IOPS 的最關(guān)鍵因素, 因?yàn)槊總€(gè)磁盤的最大 IOPS 個(gè)數(shù)是有限制的。目前的情況是:FC 硬盤(光通道硬盤速率 >SATA硬盤速率15K 轉(zhuǎn)速 FC 硬盤 >10K轉(zhuǎn)速硬盤舉個(gè)例子:如果一個(gè)磁盤 陣列 有 120塊 15K rpm的光纖硬盤,他能支撐的磁盤 IOPS 為 120×150=18000,基本達(dá)到硬件限制的理論值。cache 命中率:cache 如果命中,一個(gè)查詢可能只需要 1-2ms就可以返回,而磁盤讀取,就可 能需要5-10ms ;如果

3、讀操作特別多,可能需要更高。 cache 讀操作速度是磁盤讀操作速 度的 5倍以上。一般情況下, cache 越大,命中率也越高,當(dāng)然命中率也和應(yīng)用,數(shù)據(jù)庫設(shè)計(jì) 也有關(guān)。好的應(yīng)用設(shè)計(jì)可以大大的提高 cache 命中率。因?yàn)樽x cache 采用類似 LRU的算法設(shè)計(jì), 對于比較典型的 OLTP 環(huán)境是比較合 適的,而在數(shù)據(jù)倉庫應(yīng)用 (OLAP或者類似文件流的系統(tǒng)中,因?yàn)樽x cache 很不容易命中,所以作用不是很大。 陣列 的算法:陣列 算法有 cache算法、尋道算法、預(yù)讀算法等,它們對 IOPS 與 cache 命中率 也有直接間接的影響,陣列 不一樣,算法也不一樣。cache 命中:如果數(shù)

4、據(jù)在內(nèi)存中(磁盤 陣列 的內(nèi)存,則可以直接從內(nèi)存中獲得,這個(gè)稱為 cache 命中。關(guān)于 cache ,有幾個(gè)要注意的地方:一般在生產(chǎn)系統(tǒng)中都要打開 cache mirror這個(gè)功能,如果一個(gè)節(jié)點(diǎn)失敗,另一 個(gè)節(jié)點(diǎn)的 cache mirror鏡像的存在能保證不丟失數(shù)據(jù),把 cache 數(shù)據(jù)寫回磁盤。cache 讀和 cache 寫:對于 raid 5 格式的磁盤 陣列 來說, cache尤其重要,數(shù)據(jù)可以先寫到 cache 中,再由磁盤 陣列 寫回到硬盤上去。否則,直接寫到磁盤 陣列 的硬盤上,由于 raid 5還要讀寫額外的校驗(yàn)信息,比 raid 10 需要更多的 io 。關(guān)于 RAID:建

5、議對 OLTP 數(shù)據(jù)庫,采用 RAID 10而不是 RAID5.原因前面也說了, 因?yàn)橐粋€(gè)讀寫, 同樣的情況下, RAID5 需要的 io比 RAID10 更 多 .存儲(chǔ) 的第二個(gè)重要指標(biāo) 帶寬吞吐量主要取決于硬盤的個(gè)數(shù)、光纖通道的數(shù)量和帶寬、 陣列 的構(gòu)架。與 IOPS 一樣,每個(gè)硬盤也有自己最大能支持的流量大小,硬盤類型 與 最大流量 的 關(guān)系 是15kRPM 光纖硬盤 >10KRPM光纖硬盤 >SATA光纖硬盤比如說,假設(shè)一個(gè) 陣列 有 120塊, 15K rpm 的光纖硬盤,那么硬盤上最大可以支 撐的流量是120*13=1650MB/s除了硬盤,就要考慮光纖通道了,如數(shù)據(jù)倉

6、庫環(huán)境(OLAP 中,如果 1塊 2Gb 的光纖卡,所能支持的最大流量是 2Gb/8=250MB/s的實(shí)際流量。需要 4塊才能達(dá)到 1GB/s的實(shí)際流量, 所以數(shù)據(jù)倉庫可以考慮用 4Gb的光纖卡。最后, 陣列 的構(gòu)架因每個(gè) 陣列 的不同而不同,它們也都存在內(nèi)部帶寬,(類似 PC 的總線,不過一般情況下,內(nèi)部帶寬都設(shè)計(jì)的很充足,不是瓶頸所在。存儲(chǔ) 的第三個(gè)重要指標(biāo) 響應(yīng)時(shí)間除了 IOPS 與 吞吐量,另一個(gè)重要指標(biāo)就是 單 IO 的響應(yīng)時(shí)間,單 IO 的響應(yīng)時(shí) 間 與 IOPS 的當(dāng)前值、吞吐量大小以及cache 命中率都有很大的 關(guān)系 。經(jīng)驗(yàn)值表示, 一個(gè) IO 的響應(yīng)時(shí)間在 20ms 以內(nèi),

7、 應(yīng)用基本可以正常工作, 作為一 個(gè)核心的高可用 OLTP 環(huán)境,最佳的單 IO 響應(yīng)時(shí)間建議在 10ms 以內(nèi)。總結(jié) 存儲(chǔ) 的選型:如果應(yīng)用是一個(gè)大型的交易系統(tǒng),也就是典型的 OLTP 環(huán)境,其中以事務(wù) 與 小的 查詢語句多,基本是離散讀 與離散寫,首先考慮 IOPS 因素,并配置合適的硬盤個(gè)數(shù)和 Cache 大小。如果應(yīng)用數(shù)數(shù)據(jù)倉庫環(huán)境,或者是典型的 OLAP 環(huán)境,其中主要運(yùn)行大型的 SQL 語句,需要大吞吐量,讀寫規(guī)則基本上是連續(xù)讀和連續(xù)寫,則需要考慮 存儲(chǔ) 系統(tǒng)帶寬 與 存儲(chǔ) 大的光纖通道帶寬 之和,并配置適當(dāng)?shù)挠脖P個(gè)數(shù),這 與 CACHE 大小 關(guān)系 不大。存儲(chǔ) 的測試方法 與 測

8、試軟件LOAD RUNNER:ORION :推薦使用 ORION ,可以用它來模擬 ORACLE 的運(yùn)行,并獲得極限壓力情況下的壓 力數(shù)據(jù),包括 IOPS, 帶寬 與 IO 響應(yīng)時(shí)間。個(gè)人對目前 存儲(chǔ) 主流的選型考慮:1. 成本預(yù)算問題。一般來說,級別越高,成本也越高,處于成本的考慮,采用中 低端 存儲(chǔ) 成為大多數(shù)用戶的選擇。2. 響應(yīng)速度 與 可靠性的問題, 中端 存儲(chǔ) 就可能提供高速的響應(yīng)速度, 在相同的磁 盤數(shù)量的情況下不會(huì)和高端存儲(chǔ) 相差多遠(yuǎn)(高端 存儲(chǔ) 擴(kuò)展能力更強(qiáng),但是可靠性方面確要差很多,所以, 如果可靠性要求非常高的系統(tǒng),可以考慮用高端 存儲(chǔ) 。3. 存儲(chǔ) 的評估指標(biāo)。 存儲(chǔ)

9、的主要測評指標(biāo)是 IOPS 、帶寬、 與 響應(yīng)時(shí)間。然后, 需要根據(jù)自己的業(yè)務(wù)類型,是偏重于IOPS 的 OLTP 環(huán)境,還是偏重于帶寬的 OLAP 系統(tǒng)。如果有了這些信息,就可以 根據(jù)自己的需求,多選擇幾個(gè)合適于自己的 存儲(chǔ) 產(chǎn)品,分別去做測試。測試是非常重要的, 存儲(chǔ) 廠商一般都會(huì)配合完成這些測試,而且測試的時(shí)候, 最好不要依靠 存儲(chǔ) 廠商的測試軟件,要模擬自己的真正應(yīng)用, 做最真實(shí)的模擬測試。 另外, 不同的 存儲(chǔ) 廠商之間, 硬 件環(huán)境 與 測試指標(biāo)要完全一樣,這樣才有對比。另外, 不要輕易相信廠商的數(shù)據(jù) 與 指標(biāo), 更不要相信他們廣告式的宣傳。 他們的 指標(biāo)是在適合他們的環(huán)境下測試得

10、到的,如 IOPS, 可能全部是在 存儲(chǔ) cache 命中的基礎(chǔ)上得到的,而對于用戶業(yè)務(wù)環(huán)境, 這樣的情況不可能發(fā)生。隨著小型機(jī)的飛速發(fā)展, 很多大 /中型機(jī)器上的技術(shù)已經(jīng)移植到小型機(jī)上, 所以, 大型機(jī) 與 小型機(jī)的區(qū)別已經(jīng)不像以前那么明顯,一般只是沿用以前的叫法。 在機(jī)器處理能力上, 高端的 PC SERVER 可能比低端的小型機(jī)更快, 高端的小型機(jī), 也可能比部分大 /中型機(jī)更具有快速處理能力 與 優(yōu)越的性價(jià)比?？煽啃苑矫?小 型機(jī)具有接近大 /中型機(jī)的可靠性, PC Server在這里是無法比較的。小型機(jī)不僅具有高速的事物處理能力, 也具有高效的穩(wěn)定性, 比較適合高可用的 OLTP 數(shù)

11、據(jù)庫業(yè)務(wù)。在評測機(jī)器的具體處理能力,也就是性能指標(biāo)方面,現(xiàn)在又 了很多種方法, 如 TPC-C 是一種行業(yè)標(biāo)準(zhǔn)測試項(xiàng)目, 旨在衡量聯(lián)機(jī)事物處理 (OLTP 的系統(tǒng)性能 與 可伸縮性的。 這種基準(zhǔn)測試項(xiàng)目將對包括查詢、 更新及隊(duì)列式小批 量事務(wù)在內(nèi)的數(shù)據(jù)庫功能進(jìn)行測試。許多 IT 專業(yè)人員將 TPC-C 視為衡量“真 實(shí)”O(jiān)LTP 系統(tǒng)性能的有效指示器。主流小型機(jī)對比:IBM 小型機(jī)系列:IBM 小型機(jī)系列現(xiàn)在基本是 I系列 與 P 系列,從 Power5開始, I 與 P 其實(shí)是統(tǒng) 一的硬件體系,只是OS 許可 (以及微碼 不一樣而已。 在 P 系列, 從 POWER3發(fā)展到現(xiàn)在的 Power

12、6,IBM 以強(qiáng)勁的 CPU 處理能力, 發(fā)展了眾多的型號。 如完整的 Power5系列中, 有從 P505開始到 P595結(jié)束的一系列機(jī)器,在 P595中,最多可以支持到 2TB 的內(nèi)存 與 64顆強(qiáng)勁的 64位 power5+的處理器內(nèi)核(CORE. 最近推出的 POWER6, 可以到到 4.7GHZ 的主頻 , 并支持更復(fù)雜的計(jì)算模式 , 例如十進(jìn)制運(yùn)算。另外 , 從 Power6與 AIX6開始支持更多的虛擬化功能 , 例如可以把工作負(fù)載從一個(gè)服務(wù)器轉(zhuǎn)到另一 個(gè)服務(wù)器 , 而且不會(huì)使應(yīng)用發(fā)生任何中斷 .HP 小型機(jī)系列 :由于 HP 和 COMPAQ 合并了 , 所以 HP 服務(wù)器的產(chǎn)

13、品線顯得有些復(fù)雜 , 即有 HP 本身的 服務(wù)器系列 , 也有 Compaq 服務(wù)器系列 . 另外 , 因?yàn)椴捎昧?Inter 的安騰 CPU, 小型 機(jī)方面主要分為兩個(gè)系列 , 一是采用 Inter Itanium2的 RX 系列 , 以及采用Pa-risc 的 Rp 系列 . 在 Rx 系列 , 有采用 Intel Itanium2的 RX1620到高性能的 Superdome 服務(wù)器 . 在 Rp 系列 , 也有從 Rp3410到 Superdome 的眾多服務(wù)器 . 比如 Superdome 服務(wù)器 , 就有 2TB 的內(nèi)存和 192個(gè) IO 插槽 , 可以擴(kuò)展到 64路 128顆處理

14、器內(nèi)核 (Core,也就是最多可以采用 128顆 PA-8800/8900或者是 Itanium 2的 CPU ,是 HP 的高端小型機(jī)。SUN 小型機(jī)系列:SUN 的主機(jī)的市場占有率不如 IBM 與 HP 那樣高，原來的主要型號有采用 UltraSparc 3 構(gòu)架的 V 系列到采用 UtralSPARC 4(+的 E 系列,例如 Sun Fire V100 到 E20K 與 Sun Fire E25K 服務(wù)器,E20K 最多 36 個(gè) UltralSparc 4+雙線程 處理器，而 E25K 可達(dá) 72 個(gè) UltralSparc 4 雙線程處理器。 SUN 在最新產(chǎn)品中，開發(fā)了 6 款基

15、于 SPARC 架構(gòu)、運(yùn)行 Solaris 10 開源操作 系統(tǒng)的主機(jī)。其中 SPARC Enterprise T1000 與 SPARC Enterprise T2000 兩款 服務(wù)器基于 UltralSPARC T1 處理器； 數(shù)據(jù)中心等級的 SPARC Enterprise M9000 與 SPARC Enterprise M8000，以 及中端款式的 SPARC Enterprise M5000Enterprise M4000 兩類產(chǎn)品，均采用 SPARC 64-4 處理器。例如 M9000 最多可以達(dá)到 2TB 內(nèi)存與 64 顆 CPU，128 個(gè)核 與 心（Core 注： 不同的廠

16、家，在處理器（processor，也叫 CPU）的概念上出現(xiàn)了差異，在 IBM 與 INTEL,AMD 的 CPU 中，一般一個(gè)核心（CORE對應(yīng)一個(gè)處理器，就是通常叫的 CPU，而在 SUN CMT 技術(shù)的 CPU 中，一個(gè)硬件芯片，可能存在多個(gè)（CORE，但是 它們只叫一個(gè)處理器（CPU. 小型機(jī)的技術(shù)： 幾大關(guān)鍵技術(shù) 1、多核技術(shù)與 CMT 技術(shù) 與 2、SMT 技術(shù) 3、虛擬化與分區(qū)技術(shù) 與 4、高 RAS 特性 1、多核技術(shù) 多核技術(shù)可以看成是一種 CPU 的集成技術(shù)，在一個(gè) CPU 處理模塊（芯片）上，也 就是以前的一個(gè) CPU 空間大小上，可以集成一個(gè)或多個(gè) Core。一般情況下

17、，因 為一個(gè) Core 就具有一個(gè)單獨(dú)處理能力與運(yùn)行能力，也具有單獨(dú)的 CACHE，所以， 與 在 IBMINTELAMD 等 CPU 生產(chǎn)廠家，都是把一個(gè) Core 當(dāng)成一個(gè) CPU。 而在 SUN 那里，這個(gè)技術(shù)被稱為 CMT 技術(shù)，雖然一個(gè) CPU 處理模塊（芯片）上集 成多個(gè) Core，但是，卻把每個(gè) CPU 處理模塊（芯片）才叫一個(gè) CPU。這個(gè)技術(shù)解 決了，單位單個(gè) CPU 主頻上不去，但是單位面積內(nèi)的 CPU 芯片大小不變，確具有 更強(qiáng)大處理能力的問題。（注意，ORACLE 的收費(fèi)方式不是按物理的 CPU 來購買 ORACLE LICENSE，而是按實(shí)際的 Core 來收費(fèi)） 2

18、、SMT 技術(shù) 如果說多核技術(shù)一般指 CPU 的高集成度，而并發(fā)多線程技術(shù)（SMT Symmetic Muti-Threading則是指 單一物理處理器同時(shí)分發(fā)來自多與一個(gè)硬件線程上下文的指令，在特定的 OS 與 與 特定的技術(shù)條件下，可以虛化為兩個(gè)邏輯的 CPU。 如 IBM 的很一個(gè)物理的 POWER5 CPU，也就是一個(gè) CORE，在 OS 層面（AIX 5.3 以 上），將顯示為兩顆邏輯的 CPU。 這種技術(shù)與硬件構(gòu)架以及 OS 都是有關(guān)系 與 關(guān)系的， SMT 只有 POWER5 才支持，而且也 如 關(guān)系 要特定的 OS，如 AIX5.3 才支持。也就是說，POWER5 上跑 AIX

19、5.2，都是不支持 這樣的技術(shù)的。 在這樣的技術(shù)中，每個(gè) POWER5 CPU 有兩個(gè)硬件線程，SMT 旨在利用 POWER5 處理 器的超標(biāo)量特性，以便同時(shí)執(zhí)行多個(gè)指令。 它的基本理念是：沒有一個(gè)單一應(yīng)用可使像 POWER5 這樣的超標(biāo)量處理器達(dá)到完 全飽和的狀態(tài)，因此，部署同時(shí)提供輸入的多個(gè)應(yīng)用效果更理想。 按照這樣的設(shè)想，SMT 技術(shù)將在細(xì)小的 OLTP 應(yīng)用中受益，例如高可用的 OLTP 數(shù) 據(jù)庫環(huán)境。 而大型的計(jì)算業(yè)務(wù)，例如浮點(diǎn)密集型的工作（耗費(fèi)單個(gè) CPU 很長時(shí)間，對浮點(diǎn)單 元與內(nèi)存帶寬消耗比較大），是不適合使用 SMT 技術(shù)的。 與 當(dāng)然，可以在 OS 級別決定是否打開 SMT

20、 技術(shù)，這主要取決于這個(gè)技術(shù)是否為我 們帶來好處，單 AIX 5.3 默認(rèn)就是打開 SMT 的。 3、虛擬化技術(shù)與分區(qū)技術(shù) 與 虛擬化是一個(gè)抽象層，他將物理硬件與操作系統(tǒng)分開，從而提供更高的 IT 資源 與 利用率和靈活性。分區(qū)技術(shù)是虛擬化技術(shù)的一個(gè)重要體現(xiàn)，目前常用的分區(qū)虛擬 化技術(shù)是-主機(jī)之下，硬件之上的虛擬化： 主機(jī)之下，硬件之上的虛擬化： 例如 HP 的電路板方式的硬分區(qū)，IBM 的靜態(tài)與動(dòng)態(tài)分區(qū)（LPAR.在同一個(gè)物理 與 主機(jī)上，可以把硬件 隔離成幾個(gè)部分，每個(gè)部分運(yùn)行不同的 OS 并且互相沒有影響。更高級的主機(jī)內(nèi) 部虛擬化，例如動(dòng)態(tài) 邏輯分區(qū)，可以實(shí)現(xiàn)資源在不同的分區(qū)之間的動(dòng)態(tài)遷移。 4、高 RAS 特性 小型機(jī)與普通的服務(wù)器，也就是常說的 PC-SERVER 是有很大差別的，最重要的一 與 點(diǎn)是小型機(jī)的 高 RAS（高可靠性、高可用性、高服務(wù)型）特性