MSE-技術(shù)類-存儲硬件架構(gòu)設(shè)計V1.1

1、MSE培訓(xùn)教材存儲硬件架構(gòu)技術(shù)學(xué)習(xí)目標(biāo)2nCISCCISC、RISCRISC、ASICASIC存儲架構(gòu)存儲架構(gòu)nMacroSAN MS5000MacroSAN MS5000硬件架構(gòu)硬件架構(gòu)名詞解釋nCISCCISC：Complex Instruction Set Computer，復(fù)雜指令集計算機，現(xiàn)在市面常見的是Intel、AMD的產(chǎn)品，比如Intel XeonnRISCRISC：reduced instruction set computer，精簡指令集計算機，現(xiàn)在市面常見的是IBM、FreeScale的產(chǎn)品，比如IBM Power6nASICASIC：Application Specif

2、ic Integrated Circuit，專用集成電路，廠家為了某種特定需求而設(shè)計的專用電路nIAIA架構(gòu)：架構(gòu)：Intel Architecture，英特爾體系架構(gòu)，主要是CISC陣營的產(chǎn)品（至強、酷睿、賽揚等），部分產(chǎn)品屬于RISC架構(gòu)（IOP），少數(shù)產(chǎn)品（安騰系列）屬于CISC和RISC的結(jié)合3CISC架構(gòu)存儲陣營nCISCCISC：復(fù)雜指令集計算機，主要是Intel、AMD的X86處理器，基于Intel架構(gòu)的又稱IA架構(gòu)n應(yīng)用：應(yīng)用：存儲中端存儲產(chǎn)品的首選，逐步應(yīng)用于高端產(chǎn)品。n陣營：陣營：EMC VNX系列/VMAX系列、IBM V7000系列、 Netapp FAS系列、華賽 S

3、5000T系列等。性能迅速增強，成本下降明顯已發(fā)布針對存儲應(yīng)用的專用芯片標(biāo)準(zhǔn)化程度高，被廣泛接收，應(yīng)用范圍廣廠家的實力強，發(fā)展迅速非針對存儲應(yīng)用，性能不強，成本較高只被少數(shù)存儲廠家采用4CISC架構(gòu)控制器設(shè)計Storage ProcessorCPUCPUCPU CPUCPUCPUCPU CPU64 bit ArchitectureMirrored Write CacheOverheadRead Cache Storage ProcessorCPUCPUCPU CPUCPUCPUCPU CPU64 bit ArchitectureMirrored Write CacheOverheadRead

4、Cache Fanx8 CMI FanFanFanPower SupplyPower SupplyI/O ComplexI/O ComplexFC ModuleiSCSI ModuleFC ModuleFC ModuleFC ModuleiSCSI ModuleFC ModuleiSCSI ModuleFC ModuleFC ModuleFC ModuleiSCSI Module2顆Xeon四核處理器(2.33GHz)16GB緩存EMC CX4-960EMC CX4-960控制器架構(gòu)控制器架構(gòu)n基于基于CISCCISC架構(gòu)架構(gòu)(Intel X86)(Intel X86)的控制器設(shè)計的控制器設(shè)計

5、包括RAID處理在內(nèi)的所有功能都由X86處理器提供(軟RAID)，對處理器性能、緩存算法的要求都較高需要更高主頻或更多數(shù)量的處理器，更大的內(nèi)存，更強調(diào)緩存調(diào)度算法PCI-E 1.0技術(shù)5RISC架構(gòu)存儲陣營6nRISCRISC：精簡指令集計算機，主要是FreeScale、ARM、IBM的產(chǎn)品，比如IBM PowerPCn應(yīng)用：應(yīng)用：常見于低端存儲產(chǎn)品，較多采用RISC+ASIC混合架構(gòu)。由于歷史原因，部分高端產(chǎn)品還在采用RISC架構(gòu)。n陣營：陣營：IBM DS3000、臺灣盤陣廠家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、銳捷等)性能不高，成本較低主要應(yīng)用于低端存儲

6、領(lǐng)域標(biāo)準(zhǔn)化程度低，接受范圍有限廠家的實力和投入有限等原因，發(fā)展比較緩慢早期產(chǎn)品速度快、設(shè)計簡單廣泛應(yīng)用于低端/高端存儲領(lǐng)域，中端存儲領(lǐng)域應(yīng)用較少RISC架構(gòu)控制器設(shè)計7采用Power PC 440 ROC 800-MHz 處理器(aka Meteor) 超標(biāo)量核芯，帶有一個1.9x MIPS 倍增器，轉(zhuǎn)換成1.5-GHZ x-scale 執(zhí)行 XOR 和P+QIBM DS3500(LSI Engino 2600)IBM DS3500(LSI Engino 2600)控制器架構(gòu)控制器架構(gòu)項目項目DS3500架構(gòu)RISC處理器Power PC 440最大緩存4GB最大磁盤數(shù)96滿配主機接口8*FC

7、+6*SAS滿配后端接口2*SAS處理器能力弱，整體規(guī)格低處理器能力弱，整體規(guī)格低ASIC架構(gòu)存儲陣營8nASICASIC：專用集成電路，廠家為了某種特定需求（通常是RAID加速）而設(shè)計的專用電路n應(yīng)用：應(yīng)用：少數(shù)上一代中端產(chǎn)品還在采用，部分中低、低端盤陣還在采用，一般采用ASIC+CISC或者ASIC+RISC架構(gòu)。n陣營：陣營：HDS AMS2000、IBM DS5000（LSI Engino 7900）、Infortrend性能不高，成本不低，無競爭優(yōu)勢，只有少數(shù)上一代產(chǎn)品還在采用實現(xiàn)復(fù)雜，架構(gòu)封閉，可移植性差存儲廠家的芯片實力遠落后于Intel等廠家，發(fā)展緩慢專為存儲的RAID處理而設(shè)

8、計，能夠顯著提高RAID處理效率需要與CISC處理器協(xié)同工作ASIC+CISC混合控制器設(shè)計9ASIC芯片， RAID處理Xeon芯片，管理功能PCI-E 1.0技術(shù)ASIC芯片， RAID處理Xeon芯片，管理功能PCI-E 1.0技術(shù)nASIC+CSICASIC+CSIC混合架構(gòu)混合架構(gòu)ASIC：主要承擔(dān)RAID處理、緩存鏡像兩部分功能CSIC：承擔(dān)系統(tǒng)管理、數(shù)據(jù)管理、數(shù)據(jù)保護等功能n應(yīng)用狀況和前景應(yīng)用狀況和前景技術(shù)更新緩慢技術(shù)更新緩慢 (1)處理能力有限; (2)支持的內(nèi)存容量??； (3)不支持PCI-E2.0可移植性差可移植性差(1)技術(shù)設(shè)計和實現(xiàn)復(fù)雜(2)通用性差，非常封閉HDS A

9、MS2500HDS AMS2500控制器架構(gòu)控制器架構(gòu)IBM DS5000(LSI Engino 7900)IBM DS5000(LSI Engino 7900)控制器架構(gòu)控制器架構(gòu)8-16GB緩存4-16GB緩存ASIC+CISC混合控制器設(shè)計10通用通用處理器處理器主機接口主機接口 磁盤控制器磁盤控制器RAID處理器處理器(ASIC)FSB北橋北橋(PCI-E Switch)物理內(nèi)存物理內(nèi)存物理內(nèi)存物理內(nèi)存.DDRII緩存鏡像緩存鏡像PCIe x820GbPCIe x1640GbPCIe x820GbPCIe x820Gb存儲控制器存儲控制器磁盤接口磁盤接口磁盤接口磁盤接口8-168-16

10、個個n總線帶寬瓶頸總線帶寬瓶頸 傳統(tǒng)存儲的RAID處理器的對外通道一般是16通道PCIe 1.0(總帶寬40Gb)，這是系統(tǒng)的帶寬瓶頸。通過北橋或PCIe Switch擴展連接后，只是增加通道數(shù)量，不提升帶寬。2-162-16個個n緩存容量小緩存容量小傳統(tǒng)存儲受限于ASIC架構(gòu)、總線帶寬、掉電保護措施等原因，緩存容量偏小。n前端帶寬遠大于后端帶寬前端帶寬遠大于后端帶寬傳統(tǒng)存儲設(shè)計，前端接口的數(shù)量及帶寬，遠大于后端接口的數(shù)量及帶寬，造成后端接口帶寬嚴(yán)重不足，導(dǎo)致主機接口的性能無法發(fā)揮。PCIe x820Gb主機接口主機接口 主機接口主機接口 主機接口主機接口 控制器架構(gòu)設(shè)計總結(jié)11CISC(X8

11、6)CISC(X86)ASICASIC應(yīng)用應(yīng)用產(chǎn)品產(chǎn)品特點特點復(fù)雜指令集計算機，主要是Intel、AMD的X86處理器基于Intel架構(gòu)的又稱IA架構(gòu)早期無存儲專用芯片，性能不強，成本較高標(biāo)準(zhǔn)化程度高，廠家的實力強，發(fā)展迅速性能迅速增強，成本下降明顯中端存儲產(chǎn)品的首選，逐步應(yīng)用于高端產(chǎn)品EMC CX4系列(Intel)、Netapp FAS系列(AMD)專用集成電路，廠家為了某種特定需求（通常是RAID加速）而設(shè)計的專用電路專為存儲的RAID處理而設(shè)計，與主處理器一起工作，早期能夠顯著提高RAID處理效率實現(xiàn)復(fù)雜，架構(gòu)封閉，可移植性差，發(fā)展緩慢常用于中端存儲產(chǎn)品，采用CISC+ASIC混合架構(gòu)

12、HDS AMS2000、LSI Engino 7900(IBM DS5000)RISCRISC精簡指令集計算機，主要是FreeScale、ARM、IBM的產(chǎn)品早期產(chǎn)品速度快、設(shè)計簡單由于標(biāo)準(zhǔn)化程度差，廠家的實力和投入有限等原因，發(fā)展比較緩慢性能不高，成本較低常見于低端存儲產(chǎn)品，如Infortrend等低端盤陣由于歷史原因，高端產(chǎn)品大多還在采用RISC架構(gòu)Intel新一代處理器：Jasper Forest12處理器集成內(nèi)存控制器，無需通過北橋連接，訪問速度更快，訪問帶寬更高(256Gb/s)9根內(nèi)存插槽，最大144GB支持DDR3，頻率800/1066/1333DDR3 1333(9*Slot)

13、XOR引擎引擎16 PCI ExpressGen 2QPIJasper Forest多核處理器多核處理器DMI南橋南橋IO模塊模塊處理器內(nèi)部集成RAID硬件加速，無需ASIC支持16個PCI-E 2.0通道，最大帶寬：單向80Gb，雙向160Gb可將8通道用于后端磁盤連接，8通道用于緩存鏡像連接QPI:QuickPath Interconnect，通常用于處理器之間的互連單向帶寬5.87 GT/s(117.4Gb)可用于連接處理器和前端IO模塊三級處理器內(nèi)部CacheL1：每核32K數(shù)據(jù)+32K指令L2：每核256K，數(shù)據(jù)、指令共用LLC：共享8MB，指令、數(shù)據(jù)共用PCI-E 2.0總線技術(shù)1

14、3PCI-X：競爭共享總線：競爭共享總線PCI Express：點對點傳輸：點對點傳輸PCI Express2.0通道通道未編碼數(shù)據(jù)速率（有未編碼數(shù)據(jù)速率（有效的數(shù)據(jù)速率）效的數(shù)據(jù)速率）編碼數(shù)據(jù)速率編碼數(shù)據(jù)速率單向單向雙向雙向單向單向雙向雙向14Gbps8Gbps5Gbps10Gbps416Gbps32Gbps20Gbps40Gbps832Gbps64Gbps40Gbps80Gbps1664Gbps128bps80Gbps160Gbpsn 串行總線結(jié)構(gòu)串行總線結(jié)構(gòu)支持點對點傳輸，每個傳輸通道獨享帶寬n 信道聚集信道聚集有效組合為x1，x2，x4，x8，x16和x32支持雙向傳輸模式，單信道帶寬

15、5Gbps，16信道帶寬達到160Gbpsn 用于控制器的前后端接口、緩存鏡像通道用于控制器的前后端接口、緩存鏡像通道的連接的連接SAS傳輸技術(shù)SASSAS技術(shù)技術(shù)3 3創(chuàng)新的寬端口技術(shù)創(chuàng)新的寬端口技術(shù)2 2交換架構(gòu)交換架構(gòu)Phy1 1繼承繼承SCSISCSI技術(shù)的穩(wěn)定和高可靠性技術(shù)的穩(wěn)定和高可靠性SCSISCSI技術(shù)技術(shù)4 4高擴展性高擴展性PhyPhyPhyPhyPhyPhyPhy四路四路SASSAS寬端口寬端口四路四路SASSAS寬端口寬端口6Gb*4 SASSASSAS技術(shù)技術(shù)并行并行串行串行SASSAS域域最多可最多可接接1612816128個設(shè)備個設(shè)備(128(128* *126)

16、126)14.Fanout ExpanderEdge ExpanderSAS磁盤磁盤SAS適配器適配器Edge ExpanderSAS磁盤技術(shù)15n 先進的磁盤先進的磁盤接口接口 繼承SCSI的穩(wěn)定可靠性 全雙工、點對點數(shù)據(jù)傳輸 3.0/6.0Gbps接口傳輸速率 雙端口冗余備份n 多種速率類型多種速率類型 支持15,000/10,000/7,200rpm三種速率n 良好的兼容性良好的兼容性 SATA磁盤兼容 SSD磁盤的主要接口方式 服務(wù)器、存儲陣列均可使用SAS線纜接口線纜接口SAS磁盤磁盤磁盤接口磁盤接口硬盤廠家的路標(biāo)16FCFC硬盤硬盤(3.5(3.5寸寸) )已經(jīng)不再有新已經(jīng)不再有新

17、的產(chǎn)品型號的產(chǎn)品型號10/15K10/15K轉(zhuǎn)硬盤轉(zhuǎn)硬盤全部都是全部都是SASSAS接接口口72007200K K轉(zhuǎn)轉(zhuǎn)的的2.52.5寸寸硬盤是硬盤是SAS/ SAS/ SATASATA接口接口72007200K K轉(zhuǎn)轉(zhuǎn)的的3.53.5寸寸硬盤是硬盤是SAS/ SAS/ SATASATA接口接口SSDSSD硬盤以硬盤以2.52.5寸寸SASSAS為主，保為主，保留留3.53.5寸寸FCFCXSAS在業(yè)界的應(yīng)用17EMCEMC： VNX系列（新產(chǎn)品，SAS2.0SAS2.0）IBMIBM：V7000（新產(chǎn)品，SAS2.0SAS2.0）HPHP： P4000、P6000（EVA下一代）HDSHDS

18、：AMS2000系列（SAS1.0）Netapp: Netapp: FAS3000/6000（混合架構(gòu)）SASSAS架構(gòu)架構(gòu)FCFC架構(gòu)架構(gòu)低端低端中端中端高端高端包括EMC、IBM、HP、HDS在內(nèi)的幾乎所有廠家的產(chǎn)品（SAS1.0）HDSHDS：VSP系列（新產(chǎn)品，SAS2.0SAS2.0）IBMIBM：DS8800（新產(chǎn)品，SAS 2.0SAS 2.0）EMCEMC：DMX系列HDSHDS：USP系列（老產(chǎn)品）IBMIBM：DS8700（老產(chǎn)品）極少數(shù)廠家極少數(shù)廠家EMCEMC： CX4系列（老產(chǎn)品）IBMIBM：DS5000HPHP： EVA系列（老產(chǎn)品）Netapp: Netapp:

19、 FAS3000/6000（混合架構(gòu)）SSD技術(shù)18SSD功耗降低近80%，隨機訪問速度提升數(shù)十倍SSD不需要電池保護，保證提供持續(xù)的高性能讀寫服務(wù)功耗比較功耗比較9W 2W 訪問時間比較訪問時間比較2-8ms0.09ms通過采用寫合并、損耗均衡算法、增強型錯誤校驗碼(ECC)等技術(shù)，MLC的可靠性已經(jīng)接近于SLCMLC、SLC將同時應(yīng)用于企業(yè)級存儲領(lǐng)域VSVSSLC每個單元承受擦寫次數(shù)是MLC單元的10倍MLC的芯片顆粒讀寫速度僅為SLC的1/2-1/3相同顆粒數(shù)量，MLC的容量是SLC的2倍成本上，MLC遠低于SLCVSVS新一代存儲硬件技術(shù)19 PCI-E 2.0最高速的總線帶寬技術(shù)，單

20、通道帶寬5Gb，16通道帶寬80GbSAS2.0單端口帶寬達到6Gb四路寬端口帶寬達到24GbIntel Jasper首次在CPU內(nèi)置RAID加速引擎支持288GB的大容量緩存SSDPhyPhyPhyPhyPhyPhyPhyPhy四路SAS寬端口四路SAS寬端口6Gb*4 SASX25-E Extreme (SLC), 32GB, SATA, Zeus IOPS, 1TB, SATA, 3.5”(MLC), 256GB, SATAII, 2.5”SSDSSD盤盤隨機訪問性能提升100倍價格大幅降低，容量接近機械硬盤PCI-E2.0通道通道編碼數(shù)據(jù)速率編碼數(shù)據(jù)速率單向單向雙向雙向15Gbps10

21、Gbps420Gbps40Gbps840Gbps80Gbps1680Gbps160GbpsDDR3 1333(9*Slot)XOR引擎引擎16 PCI-EGen 2QPIJasper Forest多核處理器多核處理器DMI南橋南橋IO模塊模塊新一代存儲新一代存儲IBM V7000架構(gòu)設(shè)計(基于Intel Jasper)20nCPUCPU的的PCIe x16PCIe x16總線成為性能瓶頸總線成為性能瓶頸控制器的核心連接設(shè)備是PCIe Switch，其連接了FC主機接口(PCIe x8) 、后端SAS接口(PCIe x8) 、緩存鏡像通道(PCIe x8)以及一個擴展槽位(PCIe x8) ，這

22、四部分的總共需要32通道的PCIe的帶寬。但是其連接CPU的PCIe總線只有16通道，無法滿足要求，這成為了系統(tǒng)的性能瓶頸。n內(nèi)存容量太小內(nèi)存容量太小控制器只有2個內(nèi)存插槽，最大只能配置8GB內(nèi)存(單根4GB)，相比接口和總線速率，明顯偏小。Intel平臺在存儲廠家的應(yīng)用21項目項目VNX7500DMX4-950架構(gòu)X86RISC處理器至強 560032*1.3GHz(共41.6GHz)最大緩存48GB128GB最大磁盤數(shù)1000360滿配主機接口32*FC+16*IP16*FC+10*IP滿配后端接口8*12Gb SAS32*4Gb FCnIBMIBM：新產(chǎn)品采用：新產(chǎn)品采用Intel Ja

23、sperIntel JasperV7000：2010年Q4發(fā)布的新一代產(chǎn)品，采用Intel Jasper平臺，定位于現(xiàn)有中端產(chǎn)品，與DS5000持平V7000將Intel Jasper的優(yōu)勢限制使用（如果將Intel Jasper平臺的優(yōu)勢完全發(fā)揮，將完全超越現(xiàn)有DS5000產(chǎn)品）項目項目V7000DS5000架構(gòu)X86ASIC+CSIC處理器JasperASIC+Xeon最大緩存16GB32GB最大磁盤數(shù)240480滿配主機接口8*FC+4*IP16*FC滿配后端接口4*SAS16*FCnEMCEMC：IntelIntel的全球頂級合作伙伴的全球頂級合作伙伴VNX7500：2011年1月發(fā)布

24、，是采用Intel Xeon Westmere平臺，其已經(jīng)接近甚至超越其高端入門級產(chǎn)品DMX4-950（VNX7500只有緩存配置偏?。￢NX7500如果采用更強的Intel Jasper平臺并將其優(yōu)勢完全發(fā)揮，將會嚴(yán)重沖擊其高端DMX產(chǎn)品Intel平臺在存儲廠家的應(yīng)用（續(xù)）22n華賽華賽S5000TS5000TS5000T：2011年Q1發(fā)布的新一代產(chǎn)品，采用Intel Nehalem平臺(Jasper前一代)，定位于現(xiàn)有中高端產(chǎn)品華賽 S5000T的其它規(guī)格與EMC VNX7500相當(dāng)，但內(nèi)存規(guī)格高出數(shù)倍。項目項目VNX7500S6800T架構(gòu)X86X86處理器至強 5600至強5540（

25、4 x 2.53 GHz）最大緩存48GB48/96/192/GB最大磁盤數(shù)10001440主機接口槽位數(shù)1012個IO模塊滿配后端接口8*12Gb SASn不足之處不足之處不足1：S5000T采用的至強5540處理器，屬于Nehalem平臺，是Jasper的前一代，無內(nèi)置RAID加速引擎。不足2：S5000T的QPI連接用于2顆CPU之間互聯(lián)，導(dǎo)致整體帶寬不夠，無法發(fā)揮所有端口的性能。宏杉MS5000架構(gòu)設(shè)計23nIntel JasperIntel Jasper多核處理器多核處理器RAID加速：內(nèi)置異或引擎，提高RAID效率QPI連接：CPU通過QPI連接IO模塊，帶寬超過100Gbn超大容量高速緩存超大容量高速緩存超大緩存容量：9根內(nèi)存插槽，最大288GB內(nèi)存訪問加速：CPU直連內(nèi)存，提升內(nèi)存訪問效率，帶寬達256GbnPCI-E 2.0PCI-E 2.0總線總線單通道帶寬5.0Gb，前/后端接口及緩存鏡