開放式存儲(chǔ)系統(tǒng)

開放式存儲(chǔ)系統(tǒng)計(jì)算機(jī)系統(tǒng)01基本概念產(chǎn)品存儲(chǔ)系統(tǒng)目錄0302基本信息開放式存儲(chǔ)系統(tǒng)是采用高速絡(luò)，把多套pc服務(wù)器連接起來，構(gòu)建一個(gè)開放式系統(tǒng)，這些pc服務(wù)器稱作存儲(chǔ)節(jié)點(diǎn)。開放結(jié)構(gòu)于20世紀(jì)80年代初提出，與開放系統(tǒng)概念的提出和實(shí)現(xiàn)密切相關(guān)。它的發(fā)展是為了適應(yīng)更大規(guī)模地推廣計(jì)算機(jī)的應(yīng)用和計(jì)算機(jī)絡(luò)化的需求，現(xiàn)仍處于繼續(xù)發(fā)展和完善之中?；靖拍罨靖拍铍S著電信IT信息系統(tǒng)的發(fā)展，數(shù)據(jù)庫處理的數(shù)據(jù)量、并發(fā)請(qǐng)求事務(wù)、吞吐量要求越來越高。一直以來，數(shù)據(jù)庫的短板都在磁盤I/O這塊，傳統(tǒng)機(jī)械磁盤尋道時(shí)間長(zhǎng)，并發(fā)I/O性能差，對(duì)于高并發(fā)的事務(wù)處理系統(tǒng)，一般是靠磁盤數(shù)量的堆疊來滿足IOPS上的需求，而響應(yīng)時(shí)間上也很難再有改善。Flash技術(shù)的引入，數(shù)據(jù)庫I/O的響應(yīng)時(shí)間、IOPS和吞吐量相比較磁盤存儲(chǔ)有質(zhì)的飛躍。通過SRP協(xié)議，用infiniband絡(luò)將數(shù)據(jù)庫、主機(jī)、Flash卡、磁盤整合在一起，構(gòu)建開放式存儲(chǔ)系統(tǒng)，可以提升電信IT數(shù)據(jù)庫系統(tǒng)中存儲(chǔ)的可擴(kuò)展性、穩(wěn)定性和性能。開放結(jié)構(gòu)于20世紀(jì)80年代初提出，與開放系統(tǒng)概念的提出和實(shí)現(xiàn)密切相關(guān)。它的發(fā)展是為了適應(yīng)更大規(guī)模地推廣計(jì)算機(jī)的應(yīng)用和計(jì)算機(jī)絡(luò)化的需求，現(xiàn)仍處于繼續(xù)發(fā)展和完善之中。一些標(biāo)準(zhǔn)化組織對(duì)開放系統(tǒng)的概念是大體相同的，但具體的定義不完全一致。對(duì)于開放系統(tǒng)，美國(guó)電氣和電子工程師協(xié)會(huì)(IEEE)給出了以下定義：“開放系統(tǒng)應(yīng)提供這樣一些功能，它們使正確執(zhí)行的應(yīng)用程序能在多個(gè)廠商提供的不同平臺(tái)上運(yùn)行，和其它應(yīng)用程序互操作，并且為用戶相互作用提供一個(gè)統(tǒng)一風(fēng)格的界面。”該定義中有三個(gè)關(guān)鍵點(diǎn)：一是應(yīng)用程序能在不同平臺(tái)上運(yùn)行；二是應(yīng)用軟件能夠互操作；三是有統(tǒng)一風(fēng)格的人機(jī)界面(HCI)。開放式存儲(chǔ)系統(tǒng)是采用高速絡(luò)，把多套pc服務(wù)器連接起來，構(gòu)建一個(gè)開放式系統(tǒng)，這些pc服務(wù)器稱作存儲(chǔ)節(jié)點(diǎn)。存儲(chǔ)系統(tǒng)構(gòu)建原理特點(diǎn)構(gòu)建方法存儲(chǔ)系統(tǒng)構(gòu)建原理開放式存儲(chǔ)系統(tǒng)采用infiniband的高速絡(luò)，把多套pc服務(wù)器連接起來，構(gòu)建一個(gè)IB-SAN存儲(chǔ)系統(tǒng)，這些pc服務(wù)器稱作存儲(chǔ)節(jié)點(diǎn)，為了提高存儲(chǔ)性能，存儲(chǔ)節(jié)點(diǎn)中安裝企業(yè)級(jí)flash閃存。flash存儲(chǔ)也可稱為閃存存儲(chǔ)，是基于持久性（Non-Violable）內(nèi)存器件NAND技術(shù)的存儲(chǔ)產(chǎn)品。在企業(yè)市場(chǎng)上，包括有使用傳統(tǒng)SAS接口的SSD固態(tài)硬盤，沿用傳統(tǒng)外置FC或SAS存儲(chǔ)接口的閃存存儲(chǔ)，以及創(chuàng)新的PCIe接口的存儲(chǔ)卡兩類產(chǎn)品，與現(xiàn)有的基于磁芯磁盤技術(shù)的存儲(chǔ)設(shè)備相比，具有讀寫速度快，占用空間小，能耗大幅降低等優(yōu)勢(shì)。PCIe接口在各類服務(wù)器的硬件設(shè)計(jì)中，CPU對(duì)PCIe插槽的訪問時(shí)延小、帶寬高，理論I/O帶寬最高可到16GB/s。使用PCIe接口的flash存儲(chǔ)卡可以設(shè)置內(nèi)部的I/O處理芯片，用于實(shí)現(xiàn)廠商自有的I/O算法、電池供電緩存等，比SAS接口SSD固態(tài)硬盤可以實(shí)現(xiàn)更優(yōu)化的I/O能力。Infiniband技術(shù)原本運(yùn)用于高性能計(jì)算互聯(lián)，隨著技術(shù)發(fā)展，逐步運(yùn)用于存儲(chǔ)節(jié)點(diǎn)互聯(lián)，用infiniband互聯(lián)的存儲(chǔ)構(gòu)建一個(gè)IB-SAN存儲(chǔ)絡(luò)，絡(luò)上運(yùn)行的是SRP（ScsiRDMAProtocol）協(xié)議或者iSER（iSCSIExtensionsforRDMA）協(xié)議，SRP協(xié)議有更高的性能和更低的延時(shí)，被廣泛使用。構(gòu)建方法基于以上技術(shù)，開放式存儲(chǔ)系統(tǒng)的構(gòu)建方法如下。（1）設(shè)備搭建用3臺(tái)以上PC服務(wù)器作為存儲(chǔ)節(jié)點(diǎn)，每臺(tái)服務(wù)器的PCIe插槽安裝flash閃存卡，作為數(shù)據(jù)存儲(chǔ)，后期如果需要擴(kuò)容，只需要在服務(wù)器上繼續(xù)添加閃存卡即可。用2臺(tái)PC服務(wù)器作為數(shù)據(jù)庫計(jì)算節(jié)點(diǎn)。每臺(tái)服務(wù)器安裝infiniband的HCA卡，作為數(shù)據(jù)通道，安裝千兆卡，作為絡(luò)通信。安裝2臺(tái)infiniband交換機(jī)，通過該交換機(jī)把每臺(tái)服務(wù)器的HCA進(jìn)行互聯(lián)，形成IB-SAN絡(luò)。系統(tǒng)架構(gòu)如圖1。圖1下面是各個(gè)節(jié)點(diǎn)的功能：數(shù)據(jù)庫節(jié)點(diǎn)（數(shù)據(jù)庫服務(wù)器，計(jì)算節(jié)點(diǎn)）：PCServer，運(yùn)行Oracle11gR2，支持單實(shí)例和RAC架構(gòu)，提供數(shù)據(jù)運(yùn)算服務(wù)。數(shù)據(jù)庫節(jié)點(diǎn)通過ASM整合存儲(chǔ)節(jié)點(diǎn)資源，單機(jī)故障不會(huì)影響數(shù)據(jù)庫使用或?qū)е聰?shù)據(jù)丟失。存儲(chǔ)節(jié)點(diǎn)：PCServer，配置Flash卡和SAS磁盤，提供數(shù)據(jù)存儲(chǔ)服務(wù)。每個(gè)存儲(chǔ)節(jié)點(diǎn)配置Flash卡和SAS磁盤，成為一個(gè)獨(dú)立的存儲(chǔ)單元。多個(gè)存儲(chǔ)節(jié)點(diǎn)組合在一起，形成一個(gè)存儲(chǔ)池，性能和容量可按需線形擴(kuò)展。特點(diǎn)基于SRP的開放存儲(chǔ)系統(tǒng)，在數(shù)據(jù)庫系統(tǒng)應(yīng)用中有以下特點(diǎn)：（1）橫向擴(kuò)展：當(dāng)數(shù)據(jù)庫數(shù)據(jù)增加時(shí)，可以通過增加存儲(chǔ)節(jié)點(diǎn)的數(shù)量進(jìn)行橫向擴(kuò)展。（2）分布式存儲(chǔ)：所有的數(shù)據(jù)跨節(jié)點(diǎn)存儲(chǔ)，自動(dòng)分布在不同的存儲(chǔ)節(jié)點(diǎn)上，并且能根據(jù)需要自動(dòng)重新平衡分配數(shù)據(jù)。（3）開放架構(gòu)：用開放的x86架構(gòu)服務(wù)器替代封閉的存儲(chǔ)系統(tǒng)。（4）PCIeFlash存儲(chǔ)：使用高性能PCIeFlash高速存儲(chǔ)設(shè)備替換傳統(tǒng)的機(jī)械磁盤，隨機(jī)iops能達(dá)到10萬—80萬，實(shí)現(xiàn)了存儲(chǔ)能力的極大提升。（5）Infiniband互聯(lián)：使用Infiniband高速絡(luò)設(shè)備替換傳統(tǒng)的FC-San絡(luò)，每個(gè)端口高達(dá)40Gb帶寬，端到端200納秒延遲，實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)之間及計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)的IO低延遲高吞吐。（6）數(shù)據(jù)冗余：數(shù)據(jù)至少保存兩份，并且分布在不同的存儲(chǔ)節(jié)點(diǎn)上，保證單一存儲(chǔ)節(jié)點(diǎn)的故障不會(huì)造成數(shù)據(jù)丟失。（7）可靠性：在計(jì)算層，存儲(chǔ)層和絡(luò)互聯(lián)層均做到物理冗余。產(chǎn)品產(chǎn)品2008年，Sun發(fā)布了開放式存儲(chǔ)系統(tǒng)包中的首批3款產(chǎn)品，其中每一款產(chǎn)品都包含一個(gè)支持多種操作環(huán)境的全面集成的軟件解決方案，這是具有標(biāo)準(zhǔn)高速聯(lián)功能、磁帶互聯(lián)，以及帶有強(qiáng)大的分析工具的業(yè)界最具綜合性的管理軟件。這些新的存儲(chǔ)系統(tǒng)也是全面拓展SolarisZFS內(nèi)的閃存混合存儲(chǔ)(FlashHybridStoragePools)功能的唯一系統(tǒng)，可自動(dòng)加速和優(yōu)化性能，且可降低所需功耗和冷卻成本。SunStorage7110：超緊密型存儲(chǔ)器，存儲(chǔ)容量為2TB。SunStorage7210：中檔存儲(chǔ)器，在一個(gè)高密度的4U系統(tǒng)內(nèi)存儲(chǔ)容量可達(dá)48TB，它支持采用Sun獨(dú)特的閃存混合存儲(chǔ)技術(shù)的寫入優(yōu)化的固態(tài)硬盤(SSDs)；SunStorage7410：高配置的存儲(chǔ)系統(tǒng)，支持的存儲(chǔ)容量高達(dá)500TB，支持讀寫均優(yōu)化的固態(tài)硬盤和Sun獨(dú)特的閃存混合存儲(chǔ)技術(shù)。這些新的存儲(chǔ)系統(tǒng)還能以集群配置形式提供，以便獲得更高的可用性。所有的SunStorage7000統(tǒng)一存儲(chǔ)系統(tǒng)，都打破了那種給每一個(gè)存儲(chǔ)器功能提出苛刻要求的行業(yè)趨勢(shì)，這些功能包括無附加成本的各種綜合性的數(shù)據(jù)服務(wù)，例如快照/克隆、恢復(fù)、鏡像、RAID-5、RAID-6、復(fù)制、Active-Active集群、壓縮、自動(dòng)精簡(jiǎn)配置(ThinPro