版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、Brocade(博科)SAN存儲(chǔ)培訓(xùn)和結(jié)構(gòu)Brocade智能Fabric服務(wù)體系結(jié)構(gòu)智能交換平臺(tái)SAN 管理和支持存儲(chǔ)資源管理存儲(chǔ)管理存儲(chǔ)虛擬化LAN-Free備份應(yīng)用光纖通道多協(xié)議支持FICONIPInfiniband高級(jí)網(wǎng)絡(luò)服務(wù)開(kāi)放網(wǎng)絡(luò)管理企業(yè)級(jí)安全Fabric OS 網(wǎng)絡(luò)操作系統(tǒng)Brocade SilkWorm 產(chǎn)品系列API端到端的互操作性Brocade 互操作實(shí)驗(yàn)室負(fù)責(zé)驗(yàn)證Brocade產(chǎn)品與領(lǐng)先解決方案的互操作性:存儲(chǔ)、磁帶、HBA、服務(wù)器、網(wǎng)橋SAN網(wǎng)絡(luò)互連: DWDM, IP, ATM存儲(chǔ)和SAN應(yīng)用網(wǎng)絡(luò)認(rèn)識(shí)計(jì)劃40家合作伙伴負(fù)責(zé)驗(yàn)證與Brocade產(chǎn)品的兼容性解決方案說(shuō)明庫(kù)8
2、3 份參考指南:經(jīng)過(guò)驗(yàn)證的配置可以加速SAN的實(shí)施可從免費(fèi)得到 SANEd 101 SAN Fabric基礎(chǔ)Brocade 認(rèn)證培訓(xùn)Fabric技術(shù)專家SAN設(shè)計(jì)師歡迎參加Brocade SANEdSANEd 301: DAS到SAN的遷移 SANEd 201: 災(zāi)難恢復(fù)及業(yè)務(wù)持續(xù)性 SANEd 101: SAN Fabric基礎(chǔ)SANEd 101: SAN Fabric 基礎(chǔ)內(nèi)容培訓(xùn)目標(biāo):本次技術(shù)交流將為各位介紹以下內(nèi)容:SAN技術(shù)及主要概念SAN解決方案的優(yōu)點(diǎn)了解并掌握光纖通道技術(shù)的一些基本概念基于光纖通道的服務(wù)及其工作方式從直連存儲(chǔ)遷移至基于存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)系統(tǒng)的策略SAN Fab
3、ric的結(jié)構(gòu)議程第一章:SAN概念及優(yōu)點(diǎn)簡(jiǎn)介第二章:光纖通道技術(shù)基礎(chǔ)第三章:建立SAN Fabric第一章: SAN的構(gòu)成及特點(diǎn)介紹 SAN的基本概念 SAN的硬件概覽 SAN的業(yè)務(wù)優(yōu)勢(shì)看看身邊,我需要存儲(chǔ)空間我的筆記本電腦硬盤容量高達(dá)20GB,現(xiàn)在幾乎存滿了照片需要追加外接存儲(chǔ)空間,于是我訂購(gòu)了一塊80GB的USB硬盤$我喜歡將照片組織起來(lái)并分類存放以便日后查詢我喜歡自己排的照片, 可是一旦我丟失了自己的筆記本怎么辦? 我需要一套省時(shí)的備份方案以免浪費(fèi)時(shí)間!現(xiàn)代企業(yè)歡迎進(jìn)入數(shù)字世紀(jì)!總結(jié): 數(shù)據(jù)的不斷增長(zhǎng)用戶希望數(shù)據(jù)在線使用開(kāi)始轉(zhuǎn)向外置存儲(chǔ)系統(tǒng)數(shù)據(jù)在不斷增長(zhǎng)我的筆記本電腦硬盤容量高達(dá)20GB
4、,現(xiàn)在幾乎存滿了照片需要追加外接存儲(chǔ)空間,于是我訂購(gòu)了一塊80GB的USB硬盤$我喜歡將照片組織起來(lái)并分類存放以便日后查詢我喜歡自己排的照片, 可是一旦我丟失了自己的筆記本怎么辦? 我需要一套省時(shí)的備份方案以免浪費(fèi)時(shí)間!縮短備份時(shí)間并保留多個(gè)備份版本讓我們來(lái)看看系統(tǒng)性能的發(fā)展微處理器的速度,內(nèi)存,磁盤,磁帶的容量以及網(wǎng)絡(luò)交換機(jī)的性能都以每18到24個(gè)月翻一翻的速度增長(zhǎng)系統(tǒng)吞吐能力必須與技術(shù)的不斷發(fā)展相適應(yīng) (包括性能和距離兩個(gè)方面)微處理器內(nèi)存網(wǎng)絡(luò)系統(tǒng)吞吐能力大型主機(jī)存儲(chǔ)吞吐系統(tǒng)的發(fā)展IBM 大型主機(jī) (MVS, IMS)Bus-and-TagESCONFICON性能4.5MB/秒18 MB/
5、秒100 MB/秒距離120米9-60公里20公里接口方式并行(半雙工)串行(半雙工)串行(全雙工)存儲(chǔ)吞吐接口的發(fā)展IBM 大型主機(jī) (MVS, IMS)Bus-and-TagESCONFICON開(kāi)放系統(tǒng) (NT, UNIX)IDE/ATASCSI光纖通道未來(lái):iSCSI?Infiniband?通道連接模式與網(wǎng)絡(luò)連接模式的對(duì)比直接連接存儲(chǔ)(通道技術(shù))難以實(shí)現(xiàn)系統(tǒng)優(yōu)化計(jì)算資源存儲(chǔ)資源帶寬我們需要網(wǎng)絡(luò)連接模式以提高存儲(chǔ)系統(tǒng)利用率光纖通道 = 通道和網(wǎng)絡(luò)的完美結(jié)合光纖通道網(wǎng)絡(luò)通道有限的擴(kuò)展能力短連接距離有限的管理能力高速度低延遲數(shù)據(jù)完整性大量數(shù)據(jù)傳輸超級(jí)錯(cuò)誤檢測(cè)能力脆弱非阻塞數(shù)據(jù)傳輸錯(cuò)誤檢測(cè)能力路
6、由連接能力遠(yuǎn)距離管理能力光纖通道 = 是SAN Fabric的基礎(chǔ)為存儲(chǔ)系統(tǒng)提供一個(gè)網(wǎng)絡(luò)連接模式客戶機(jī)LAN(局域網(wǎng))廣域網(wǎng)存儲(chǔ)區(qū)域網(wǎng)Fabric“Fabric”是一個(gè)由智能光纖通道交換機(jī)構(gòu)成并具有良好系統(tǒng)設(shè)計(jì)的高智能網(wǎng)絡(luò), 這一網(wǎng)絡(luò)可以提供企業(yè)級(jí)的性能, 擴(kuò)展能力, 可管理能力, 可靠性和可用能力服務(wù)器存儲(chǔ)子系統(tǒng)SAN硬件概覽服務(wù)器端的主機(jī)接口卡電纜光纖通道交換機(jī)GBIC存儲(chǔ)子系統(tǒng)光纖通道主機(jī)接口卡(HBA)為服務(wù)器或客戶機(jī)內(nèi)部總線(PCI和SBUS等)提供與光纖通道網(wǎng)絡(luò)的接口HBA軟件驅(qū)動(dòng)為操作系統(tǒng)提供所須存儲(chǔ)信息對(duì)I/O進(jìn)行操作I/O同時(shí)對(duì)正常請(qǐng)求進(jìn)行控制銅/光介質(zhì)支持 (可能是雙接口卡
7、)連接線和接口部件光纖通道并不等于只使用光纖連接線銅纜和光纖連接線介質(zhì)種類速度距離 (m=米)9m單模光纖(長(zhǎng)距離)100 MB/秒200 MB/秒2 m 10 km50m短模光纖(短距離)100 MB/秒200 MB/秒2 m 500 m電信號(hào) (銅介質(zhì))100 MB/秒0 m 24 m1Gb光纖使用SC接口, 2Gb使用LC接口 (SFP)千兆接口轉(zhuǎn)換器(Gigabit Interface Converters; GBICS)GBIC = 小型串行到串行熱交換模塊, 主要功能是提供相應(yīng)介質(zhì)接口(銅或光)2Gbit設(shè)備使用的GBIC叫做Small Form Factor Plug-able
8、(SFP)短波光GBIC或SFP 最大500米長(zhǎng)波激光GBIC或SFP 最大10公里增強(qiáng)長(zhǎng)波激光GBIC - 最大80公里 銅 GBIC光纖 SFP光纖 GBIC光纖通道交換機(jī):網(wǎng)絡(luò)智能的核心連接多個(gè)端口 (8, 16, 32, 64, 128 口)支持交換Fabric和傳統(tǒng)loop設(shè)備1Gbit/秒和2Gbit/秒傳輸速率(自適應(yīng))全雙工性能, 使用cut-through路由算法交換機(jī)間提供8Gbit/秒邏輯干線合并拓?fù)浣Y(jié)構(gòu)自動(dòng)協(xié)調(diào), 自動(dòng)配置 (自恢復(fù))端到端性能監(jiān)控存儲(chǔ)設(shè)備RAID 冗余獨(dú)立磁盤陣列系統(tǒng)JBOD 只是一組盤(磁盤組)磁帶 主要用于數(shù)據(jù)備份和恢復(fù)選件: 橋接器和光擴(kuò)展器FC
9、-SCSI 路由/橋接器將SCSI設(shè)備映射為一個(gè)單獨(dú)的AL-PA地址可配置映射表SNMP管理功能光擴(kuò)展器允許光纖通道的連接距離 10公里SAN 硬件示例SAN Fabric 案例光纖通道的優(yōu)點(diǎn)一個(gè)新的多用途網(wǎng)絡(luò)信息基礎(chǔ)結(jié)構(gòu), 用于連接開(kāi)放系統(tǒng)存儲(chǔ), 網(wǎng)絡(luò), 視頻應(yīng)用和服務(wù)器集群應(yīng)用.為上層協(xié)議(SCSI, IP等)提供一個(gè)通用硬件傳輸平臺(tái)。光纖通道不是一種新的協(xié)議高速: 現(xiàn)在可以提供2Gbit(200MB)/秒的數(shù)據(jù)傳輸速率, 全雙工專有連接,未來(lái)可升級(jí)至10Gbit/秒無(wú)阻塞數(shù)據(jù)傳輸最大10公里連接距離(通過(guò)擴(kuò)展器可連接上千公里,非常適于災(zāi)難恢復(fù)應(yīng)用)先進(jìn)的流控制系統(tǒng)保證數(shù)據(jù)按順序傳輸.多平
10、臺(tái)系統(tǒng)支持(包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等)支持傳統(tǒng)環(huán)境和應(yīng)用光纖通道網(wǎng)絡(luò) SAN魔術(shù)般的擴(kuò)展能力SAN及數(shù)據(jù)管理SAN應(yīng)用SAN網(wǎng)絡(luò)級(jí)聯(lián)SAN信息基礎(chǔ)結(jié)構(gòu)WAN問(wèn)題: SAN是否會(huì)取代傳統(tǒng)以太網(wǎng)絡(luò)? 可能性極小!SAN與NAS:區(qū)別何在?NAS (網(wǎng)絡(luò)附加存儲(chǔ))LAN存儲(chǔ)區(qū)域網(wǎng) NAS支持遠(yuǎn)程文件訪問(wèn)使用現(xiàn)有LAN資源使用傳統(tǒng)網(wǎng)絡(luò)協(xié)議注: 當(dāng)NAS擴(kuò)展時(shí)通常會(huì)選擇SAN結(jié)構(gòu)以集成其優(yōu)點(diǎn)!SAN的商業(yè)利益允許用戶獨(dú)立選擇服務(wù)器和存儲(chǔ)設(shè)備實(shí)現(xiàn)存儲(chǔ)整合(存儲(chǔ)管理集中化)為服務(wù)器提供一個(gè)集中平臺(tái),從而減少所須服務(wù)器數(shù)量更有效而可靠的
11、實(shí)現(xiàn)商業(yè)關(guān)鍵數(shù)據(jù)的備份(高可用能力)成為容災(zāi)系統(tǒng)的設(shè)計(jì)(遠(yuǎn)程數(shù)據(jù)鏡像和歸檔)提高存儲(chǔ)設(shè)備利用率直接連接存儲(chǔ)(DAS)服務(wù)器直接連接可能有超過(guò)50%的存儲(chǔ)設(shè)備閑置,以備擴(kuò)容之需(空白空間)管理成本5至6倍于購(gòu)買成本存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)僅需20%的備用空間可立即按需提供存儲(chǔ)容量SAN連接存儲(chǔ)設(shè)備可以有效減少備用空間整和UNIX與NT存儲(chǔ)增長(zhǎng)需求NTNTUNIX80%“讓我們的存儲(chǔ)設(shè)備發(fā)揮更大作用”50%50%50%NTUNIXNTNTUNIXNT提高企業(yè)信息的可用性(通過(guò)基于SAN的備份/恢復(fù)系統(tǒng)設(shè)計(jì))存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN) 與基于網(wǎng)絡(luò)或直接連接式的備份,SAN可令備份操作更快完成企業(yè)應(yīng)用程序可
12、更快速恢復(fù)服務(wù)縮短意外服務(wù)中斷時(shí)間,盡快恢復(fù)遺失或損壞的數(shù)據(jù)提高企業(yè)生產(chǎn)力直接連接存儲(chǔ) (DAS) 備份傳輸堵塞企業(yè)局域網(wǎng)備份/恢復(fù)時(shí)間冗長(zhǎng)在備份/恢復(fù)期間應(yīng)用軟件和信息需中斷服務(wù)信息的可用能力保障業(yè)務(wù)的正常運(yùn)行NTUNIXLANLANNTUNIX備份服務(wù)器備份服務(wù)器提高對(duì)應(yīng)用系統(tǒng)的保護(hù)存儲(chǔ)區(qū)域網(wǎng)絡(luò) (SAN) 基于SAN群集提供高可用解決方案,明顯降低成本一臺(tái)備用服務(wù)器可支持多臺(tái)工作服務(wù)器N:1切換減少投資/軟件開(kāi)支減少維護(hù)開(kāi)支直接連接存儲(chǔ) (DAS) 三臺(tái)重要應(yīng)用軟件服務(wù)器需要三臺(tái)備用服務(wù)器1:1故障切換,成本高昂降低高可用關(guān)鍵業(yè)務(wù)應(yīng)用的構(gòu)建成本PSPSPSPPPSSAN的利益可以衡量!讓
13、我們看一個(gè)實(shí)際案例SAN 的利益每年的回報(bào) (US$)提高信息基礎(chǔ)結(jié)構(gòu)和應(yīng)系統(tǒng)用的可用能力$200,000提高系統(tǒng)管理效率$110,000提高存儲(chǔ)系統(tǒng)利用率和可用能力$11,551減少備份窗口其他$32,032$26,334SAN的年均回報(bào):$379,917SAN成本: $250,0008 個(gè)月的SAN ROIDAS到SAN遷移的三步驟LANLAN步驟一激活SANDAS到SAN的遷移LAN主磁盤鏡像步驟二磁盤鏡像步驟三: 切換磁盤任務(wù)LAN附屬磁盤(鏡像)主磁盤第一章: 總結(jié)回顧存儲(chǔ)傳輸技術(shù)的發(fā)展回答光纖通道的意義演示SAN物理部件的不同部分闡明SAN與網(wǎng)絡(luò)附加存儲(chǔ)(NAS)之間的差異解釋SA
14、N實(shí)際的商業(yè)用途說(shuō)明從直接連接存儲(chǔ)(DAS)到SAN的簡(jiǎn)單遷移步驟第一章:復(fù)習(xí)題列出SAN中的重要組成部件SAN的商業(yè)價(jià)值何在?DAS,NAS和SAN之間的差異在哪里?第二章: 光纖通道的基本要點(diǎn)光纖通道拓?fù)浣Y(jié)構(gòu)存儲(chǔ)與網(wǎng)絡(luò)融合的力量底層智能操作控制作為開(kāi)放標(biāo)準(zhǔn)的光纖通道光纖通道標(biāo)準(zhǔn)開(kāi)發(fā)始于1988年由NCITS T11開(kāi)發(fā): I/O接口 (X3.230-1994) 國(guó)際標(biāo)準(zhǔn)完成于1994年. 參考鏈接地址: 獲得其他標(biāo)準(zhǔn)伙伴和廠商的認(rèn)可企業(yè)標(biāo)準(zhǔn)商業(yè)解決方案產(chǎn)品的互操作能力ANSI DMTF IETF FCIA SNIAFibreAlliance開(kāi)放, 多供應(yīng)商的SANFC-PHFC-GSFC-
15、SWFC-ALFC-CTFC-LSFC-FGFC-FLA FC-SB (Single Byte Mapping Protocol) FC-SB-2 (Single Byte Protocol Mapping 2) FC-LE (Link Encapsulation) FC-PH (Physical and Signaling) FC-PH (Physical and Signaling) Amendment 1 FC-PH (Physical and Signaling) Amendment 2 FC-PH-2 (Physical and Signaling 2) FC-PH-3 (Physi
16、cal and Signaling 3) FC-FG (Fabric Generic Requirements) FC-GS (Generic Services) FC-GS-3 (Generic Services 3) FC-SW (Switch Fabric) FC-SW-2 (Switch Fabric 2) FC-AL (Arbitration Loop) FC-AL-2 (Arbitration Loop 2) FC-BB (Backbone) FC-FP (Mapping to HIPPI-FC) HIPPI-FC (FC-PH Encapsulation)光纖通道的技術(shù)能力不存在
17、無(wú)線電信號(hào)散射 (RFI), 從而消除了電磁信號(hào)串行數(shù)據(jù)傳輸, 每傳輸一位需要0.94納秒(極小的時(shí)間延遲)使用8b/10b編碼方式將8位轉(zhuǎn)換為10b格式進(jìn)行串行傳輸(內(nèi)置時(shí)鐘信號(hào))2Gb/秒連接可以提供 8Gb/秒的合并帶寬最多可以連接1千6百萬(wàn)個(gè)節(jié)點(diǎn)(交換Fabric模式)幀大小可調(diào)整, 最大用戶有效載荷2,112字節(jié), 支持128MB的批量數(shù)據(jù)傳輸.強(qiáng)大的錯(cuò)誤更正能力(位錯(cuò)誤率 = 1x10-12), 比原有銅連接網(wǎng)絡(luò)強(qiáng)大1,000倍支持全雙工(同時(shí)進(jìn)行傳輸與接收同工作)配置靈活的拓?fù)浣Y(jié)構(gòu)點(diǎn)對(duì)點(diǎn)只能連接 2個(gè)設(shè)備(直接連接)交換式 Fabric最多支持1千6百萬(wàn)個(gè)設(shè)備(光纖通道交換機(jī))A
18、rbitrated Loop (仲裁環(huán))最多支持126個(gè)設(shè)備(光纖集線器)普及!可把光纖通道看做超級(jí)SCSI速度更快更好的連接線更多的連接數(shù)量較低的管理費(fèi)用可以連接更長(zhǎng)距離更強(qiáng)大的管理能力光纖通道類似于超級(jí)SCSISUPERSCSI FC FRAMESCSI FC FRAMESCSI FC FRAME光纖通道高速公路(一個(gè)新的底層數(shù)據(jù)傳輸途徑)并行與串行接口之間的比較光纖通道基于核心SCSI協(xié)議設(shè)計(jì),光纖通道通過(guò)將并行接口轉(zhuǎn)換為串行接口極大的提高了SCSI的性能Data 1Control 1Data 2Control 2Data 3Control 3SCSI的并行接口多條連接線光纖通道的串行接
19、口Data 3Control 3Data 2Control 2Data 1Control 1單連接線并行總線難以保證在遠(yuǎn)距離上數(shù)據(jù)的傳輸順序 (電磁干擾)光纖通道存儲(chǔ)特性SCSI- 命令集- 物理傳輸光纖通道第一代Arbitration Loop光纖通道第二代交換式Fabric節(jié)點(diǎn)連接能力15126 (28)(光纖通道集線器)1千6百萬(wàn)個(gè) (224)(光纖通道交換機(jī))距離限制25 米10公里10公里 (可擴(kuò)展)最大帶寬160MB/秒 (半雙工共享帶寬)100MB/秒(全雙工共享帶寬)200MB/秒(全雙工獨(dú)占帶寬)多協(xié)議支持否是是管理支持能力否(非熱插拔)是先進(jìn)(telnet, SES, SN
20、MP, GUI, API)錯(cuò)誤隔絕否最低程度是將光纖通道看做一個(gè)聰明的網(wǎng)絡(luò)先進(jìn)的分層體系結(jié)構(gòu)底層智能操作控制(基于硬件)廣泛的上層協(xié)議映射概要: 可預(yù)測(cè)的網(wǎng)絡(luò)性能以太網(wǎng)絡(luò)看看網(wǎng)絡(luò)的協(xié)議層EthernetTCPIP數(shù)據(jù)和應(yīng)用如果沒(méi)有TCP/IP, 以太網(wǎng)自身能做什么?HardwareSoftwareOSI 參考模型將傳輸?shù)男畔⑥D(zhuǎn)換為接收服務(wù)器可以識(shí)別的格式(例如 ASCII)應(yīng)用層對(duì)信息傳輸, 壓縮和加密表示層有關(guān)通信會(huì)話的詳細(xì)信息會(huì)話層數(shù)據(jù)分塊傳輸層追加地址和路由信息網(wǎng)絡(luò)層為向?qū)S猛緩交蛭锢砻浇橥ㄐ艤?zhǔn)備數(shù)據(jù)數(shù)據(jù)鏈路層從服務(wù)器向媒介進(jìn)行傳輸 (例如. 銅, 光)物理層光纖通道分層體系結(jié)構(gòu)光纖通道
21、數(shù)據(jù)和應(yīng)用FC-0: 物理界面FC-3: 通用服務(wù)FC-2: 數(shù)據(jù)分發(fā)FC-1: 字節(jié)編碼FC-4: 高層協(xié)議映射Hardware減少對(duì)處理器的中斷次數(shù),應(yīng)用可以更快運(yùn)行!OSI 參考模型將傳輸?shù)男畔⑥D(zhuǎn)換為接收服務(wù)器可以識(shí)別的格式(例如 ASCII)應(yīng)用層對(duì)信息傳輸, 壓縮和加密表示層有關(guān)通信會(huì)話的詳細(xì)信息會(huì)話層數(shù)據(jù)分塊傳輸層追加地址和路由信息網(wǎng)絡(luò)層為向?qū)S猛緩交蛭锢砻浇橥ㄐ艤?zhǔn)備數(shù)據(jù)數(shù)據(jù)鏈路層從服務(wù)器向媒介進(jìn)行傳輸 (例如. 銅, 光)物理層光纖通道協(xié)議映射ATMFC - ATMIPFC鏈路封裝FC - LE高層協(xié)議 (ULPs) 支持現(xiàn)有協(xié)議 對(duì)于操作系統(tǒng)是透明的 不做更改+ 新的能力SCS
22、I-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI-3 STD)FC-4FC - AL -2FC-3通用服務(wù)FC-0FC-1FC-2光纖物理與信號(hào)接口 ( FC- PH, FC-PH2, FC-PH3 )物理變換編碼 / 解碼結(jié)構(gòu)協(xié)議FC - AL8b/10b 編碼銅, 光連接觀察FC-2的智能底層控制端口類型邏輯結(jié)構(gòu)固定和動(dòng)態(tài)尋址Well-known地址網(wǎng)絡(luò)服務(wù)注冊(cè)過(guò)程靈活的節(jié)點(diǎn)分發(fā)服務(wù)先進(jìn)的流控制RSCN讓我們研究以下光纖通道網(wǎng)絡(luò)特性光纖通道FC-2端口類型設(shè)備 (節(jié)點(diǎn))端口N_Port = “Fabric直接連接設(shè)備”NL_Port = “Loop連接設(shè)備”交換機(jī)端口E_
23、Port = “擴(kuò)展端口” (交換機(jī)到交換機(jī))F_Port = “Fabric端口”FL_Port = “Fabric Loop端口”G_Port = “普通(Generic)端口 可以轉(zhuǎn)化為E或F”U_Port = “通用(Universal)端口” (用于描述自動(dòng)端口檢測(cè)的術(shù)語(yǔ))端口鏈接輸入輸出 點(diǎn)對(duì)點(diǎn) Arbitrated Loop FabricFabric端口清晰可見(jiàn)Fabric節(jié)點(diǎn) N_PortF_PortF_PortE_PortE_PortFL_Port節(jié)點(diǎn)N_Port交換機(jī) 2交換機(jī) 1節(jié)點(diǎn)NL_Port節(jié)點(diǎn)NL_PortU_Port光纖通道交換機(jī)端口智能初始化過(guò)程長(zhǎng)大后我要做什
24、么呢?y/n你要與Loop通訊嗎?G - Port現(xiàn)在開(kāi)始等待有人與我通話yesno你是交換機(jī)還是一個(gè)Fabric點(diǎn)對(duì)點(diǎn)設(shè)備?F - PortFabric pt-to-ptE - Port交換機(jī)y/n有什么東西插入到這一端口上來(lái)嗎?noyesU - PortFL - Port光纖通道的幀格式幀SOF4數(shù)據(jù)載荷最大 2112EOF4CRC4幀頭242148 字節(jié) 一個(gè)幀是在光纖通道連接中數(shù)據(jù)包的最小單位 (上層協(xié)議不可見(jiàn)). FibreChannelFrame SCSI Request IPRequest光纖通道FC-2邏輯結(jié)構(gòu)傳輸規(guī)則每一個(gè)幀必須是一個(gè)序列(Sequence)或交換(Excha
25、nge)的一部分序列是傳輸?shù)膯挝?最多可以包含216個(gè)幀 (批量傳輸128 MB)= 映射高層協(xié)議信息單位交換是一組非并發(fā)相關(guān)序列,同時(shí)只能有一個(gè)序列處于工作狀態(tài)智能錯(cuò)誤恢復(fù)規(guī)則8b/10b時(shí)間信號(hào)幀CRC校驗(yàn)以序列(Sequence)為恢復(fù)單位4種交換(Exchange)錯(cuò)誤策略Command 1Command 2Command 3命令 1FC-2命令 2命令 3命令 1命令 2命令 31234FC-0123高層協(xié)議信息交換多個(gè)序列幀端口信息單元信息單元信息單元FC-4 映射光纖通道FC-2地址OSI模型應(yīng)用層表示層會(huì)話層傳輸層網(wǎng)絡(luò)層數(shù)據(jù)鏈路層物理層以太網(wǎng)和TCP/IP應(yīng)用層(i.e. PO
26、P3, SMTP, DNS, DHCP,FTP, WWW 協(xié)議)TCP / UDP動(dòng)態(tài) IP 地址7固定 MAC 地址x00-00-0E-21-17-6B物理接口光纖通道高層協(xié)議 (ULP)FC-4: ULP MappingFC-3: 通用服務(wù)動(dòng)態(tài) Native 地址 (8/24-bits)固定 World-Wide Name (64-bits)FC-1: 8b/10b 編碼FC-0:物理接口光纖通道可以在沒(méi)有任何高層協(xié)議支持的條件下生成所有網(wǎng)絡(luò)地址(固定與動(dòng)態(tài)) 智能!固定與動(dòng)態(tài)地址格式固定地址 (64-位)WWN (類似于出生證明編號(hào))每個(gè)fabric設(shè)備 (HBA, 交換機(jī), 存儲(chǔ))都擁
27、有一個(gè)(或多個(gè))WWN地址使用IEEE分配的地址格式動(dòng)態(tài)地址 (8/24-位)本地生成 (類似于家庭住址)注冊(cè)到光纖通道網(wǎng)絡(luò)時(shí)動(dòng)態(tài)獲得FC-AL = 8-位 (例如xE0) = 126 AL_PA地址FC-SW = 24-位= 16,000,000 Fabric地址DomainID8 BitsAreaID8 BitsPort ID8 Bits24位地址空間 10:00:00:60:69:00:60:02 N_Port/F_Port可用范圍:x01 0000到xEF EFFFIEEE 格式節(jié)點(diǎn) WWN: 1 = b0001 000 000 000端口 WWN: 2 = b0010 000 000
28、 000廠商定義Well-known Fabric地址在交換式的Fabric之中, 某些地址已經(jīng)被一些特殊功能占用, 包括:x00 0000 未被定義的N_PortxFF FFF5 多路發(fā)送服務(wù)器xFF FFF6 時(shí)鐘同步服務(wù)器xFF FFF7 安全密匙分發(fā)服務(wù)器xFF FFF8 別名服務(wù)器xFF FFF9 服務(wù)質(zhì)量推動(dòng)者xFF FFFA 管理服務(wù)器xFF FFFB 時(shí)間服務(wù)器xFF FFFC 名稱服務(wù)器xFF FFFD Fabric控制器xFF FFFE Fabric登錄服務(wù)器xFF FFFF 廣播地址FC-2內(nèi)置以上先進(jìn)的網(wǎng)絡(luò)功能, 可以通過(guò) well-known 硬件地址簡(jiǎn)化使用工作.
29、這從另外的一個(gè)方面證明了光纖通道的確是一個(gè)智能網(wǎng)絡(luò)! FC-2內(nèi)置網(wǎng)絡(luò)服務(wù)的實(shí)例名稱服務(wù)器 (xFF FFFC), 是FC_GS規(guī)范中的組成部分負(fù)責(zé)關(guān)于Fabric連接設(shè)備的目錄信息設(shè)備連接到網(wǎng)絡(luò)必須在名稱服務(wù)器注冊(cè)名稱服務(wù)器使用FC-CT (普通傳輸)協(xié)議在 整個(gè)Fabric內(nèi)部分發(fā)信息(動(dòng)態(tài)擴(kuò)展能力)光纖通道設(shè)備可以向名稱服務(wù)器查詢網(wǎng)絡(luò)資源信息 (簡(jiǎn)單請(qǐng)求和響應(yīng)模式)光纖通道名稱服務(wù)器廣播地址名稱服務(wù)器與TCP/IP的域名服務(wù)器(Domain Name Server)服務(wù)相似智能名稱服務(wù)器與TCP/IP DNS的對(duì)比功能分布式名稱服務(wù)器(xFF FFFC)TCP/IP DNS 服務(wù)器(So
30、cket 53 UDP)服務(wù)器目標(biāo)自動(dòng)定位是(Well-Known)是 (通過(guò) DHCP)成員動(dòng)態(tài)注冊(cè)是是 (動(dòng)態(tài) DNS)支持成員特性介紹是否 (僅包含IP和名稱)支持所有或有限查詢是否(只支持部分查詢)數(shù)據(jù)庫(kù)自動(dòng)復(fù)制是否(手工分區(qū)傳送)在整個(gè)網(wǎng)絡(luò)中多點(diǎn)控制(支持讀,寫,更改全部能力)是否(主從)自動(dòng)統(tǒng)一資源信息是否(必須手工進(jìn)行)FC-2端口注冊(cè)過(guò)程設(shè)備為何要注冊(cè)到網(wǎng)絡(luò)? 為什么這是必須的?發(fā)送數(shù)據(jù)前, 一個(gè)N_Port必須執(zhí)行注冊(cè)進(jìn)程以確定一個(gè)高性能操作環(huán)境需要找出相互連接的拓?fù)浣Y(jié)構(gòu)需要知道本環(huán)境中存在其他N_PortsFabric和N_Ports支持的服務(wù)類協(xié)商高性能服務(wù)參數(shù)選擇錯(cuò)誤恢
31、復(fù)手段最終結(jié)果: 智能網(wǎng)絡(luò)和客戶端高性能網(wǎng)絡(luò)服務(wù)器注冊(cè)到服務(wù)器注冊(cè)到網(wǎng)絡(luò)以太網(wǎng)絡(luò)光纖通道Fabric FC-2注冊(cè)通訊注冊(cè)到網(wǎng)絡(luò) (Fabric Login - FLOGI) 注冊(cè)到名稱服務(wù)器 (Port Login - PLOGI)獲得會(huì)話許可(Port Login - PLOGI)Fabric名稱服務(wù)器 (xFF FFFC)注冊(cè)服務(wù)器 (xFF FFFE)發(fā)起者應(yīng)答者FLOGI接受 (地址)PLOGI (注冊(cè)) 接受PLOGI接受FC-2靈活的節(jié)點(diǎn)分發(fā)服務(wù)為滿足不同的數(shù)據(jù)傳輸需求, 光纖通道定義了多種服務(wù)等級(jí)以滿足數(shù)據(jù)傳輸和操作要求N_PortN_Port保存通道資源?面向連接Class
32、1(專線交換)Class 4(虛擬專線)exclusive usagefractional usageYes非連接Class 2(幀交換)Class 3(幀數(shù)據(jù)報(bào))acknowledgementno confirmationNo普及!FC-2 先進(jìn)的Fabric流控制為何要流控制? 確保沒(méi)有端口會(huì)因?yàn)榻邮樟顺^(guò)其極限的數(shù)據(jù)而導(dǎo)致崩潰. 光纖通道中,我們先行檢查! (在TCP/IP中, 包在發(fā)送時(shí)并不考慮接收方是否已經(jīng)準(zhǔn)備就緒)節(jié)點(diǎn) N_PortF_Port交換機(jī)基于緩沖到緩沖信用的流控制可用傳輸_端口緩沖緩沖緩沖bufferbufferbuffer智能 ASIC緩沖每端口信用數(shù)量 動(dòng)態(tài)緩沖池
33、完整和微型緩沖當(dāng)一個(gè)幀到達(dá)接收端口后, 端口會(huì)首先將其儲(chǔ)存在共享動(dòng)態(tài)緩沖池之中! 當(dāng)前網(wǎng)絡(luò)技術(shù)對(duì)比千兆以太網(wǎng)(IEEE 802.3z)ATM(ATM 論壇)光纖通道(ANSI T11)技術(shù)應(yīng)用范圍網(wǎng)絡(luò)網(wǎng)絡(luò), 視頻存儲(chǔ), 網(wǎng)絡(luò), 視頻, 機(jī)群速度擴(kuò)展能力無(wú)(1.25 Gb/秒)是(OC-x)(2.488 Gb/秒)是(2.12 Gb/秒, 8 Gb/秒trunking)拓?fù)浣Y(jié)構(gòu)點(diǎn)對(duì)點(diǎn), 集線器, 交換交換點(diǎn)對(duì)點(diǎn), Loop集線器, 交換式Fabric傳輸保障無(wú)(丟棄幀)無(wú)(拋棄信元)是 (保證不丟失阻塞數(shù)據(jù))分發(fā)選擇分組分組分組, 專線, 虛擬專線 (Class 1到4)長(zhǎng)距離連接是 (無(wú)QoS
34、)是是(使用DWDM或ATM)流控制基于速率基于速率基于信用幀大小可變 (0-1.5KB)固定, 53B可變, 0-2KB等一下!還有是Fabric內(nèi)部的強(qiáng)制服務(wù)一個(gè)Fabric應(yīng)當(dāng)擁有一個(gè)或多個(gè)Fabric控制器負(fù)責(zé)管理Fabric的運(yùn)轉(zhuǎn)Fabric初始化Fabric配置生成連接響應(yīng)啟動(dòng)/中斷連接幀路由管理Fabric控制器 (xFF FFFD) 注冊(cè)狀態(tài)變更通知(Registered State Change Notification; RSCN)注冊(cè)狀態(tài)變更通知(Registered State Change Notification)Fabric控制器發(fā)出唯一的通知到所有注冊(cè)節(jié)點(diǎn)Hi
35、Fabric, 如果有新的磁盤請(qǐng)通知我,好嗎?網(wǎng)絡(luò)自動(dòng)通知為消除不必要的循環(huán)檢查數(shù)據(jù)流, 智能的Fabric使用一種通知機(jī)制來(lái)報(bào)告Fabric內(nèi)發(fā)生的變化結(jié)論: 光纖通道與SAN光纖通道= SAN全面支持高層協(xié)議映射超級(jí) SCSI先進(jìn)的分層體系結(jié)構(gòu)智能底層操作控制 (基于硬件)第二章: 總結(jié)介紹了三種光纖通道拓?fù)浣Y(jié)構(gòu)進(jìn)行了光纖通道與SCSI之間的比較比較光纖通道與以太網(wǎng)之間的差異圖解說(shuō)明光纖通道的端口類型通過(guò)多種服務(wù)和分發(fā)機(jī)制證明光纖通道是一個(gè)智能網(wǎng)絡(luò)說(shuō)明在光纖通道網(wǎng)絡(luò)中網(wǎng)絡(luò)注冊(cè)過(guò)程是必須的同時(shí)展示了在光纖通道網(wǎng)絡(luò)中流控制的重要性第二章:復(fù)習(xí)題我們可以在一個(gè)光纖通道交換式Fabric網(wǎng)絡(luò)上連接
36、多少個(gè)設(shè)備?請(qǐng)列出光纖通道網(wǎng)絡(luò)所擁有關(guān)鍵智能.在交換機(jī)級(jí)聯(lián)時(shí)使用什么端口?第三章: 建立SAN Fabric SAN Fabric內(nèi)幕 理解交換概念 擴(kuò)展 SAN FabricSAN交換式Fabric的內(nèi)幕是什么?節(jié)點(diǎn) N_Port節(jié)點(diǎn)N_Port節(jié)點(diǎn)N_PortSAN Fabric存儲(chǔ)網(wǎng)絡(luò)后臺(tái)操作 Fabric分層結(jié)構(gòu) 邏輯管理單元 內(nèi)部交換功能 交換機(jī)之間通訊 路由選擇F_PortF_PortF_Port對(duì)于N_Ports, 內(nèi)部操作和結(jié)構(gòu)是不可見(jiàn)的N_Port并不知道路徑. 這就無(wú)須在N_Port內(nèi)部建立本地路由表. 這一轉(zhuǎn)化簡(jiǎn)化了連接與管理工作SAN Fabric 的層次Fabric是
37、描述一種交換環(huán)境的術(shù)語(yǔ). 它內(nèi)部可以包含一個(gè)或多個(gè)相互連接的交換機(jī)(域; domain) 一個(gè)光纖通道交換機(jī)= 一個(gè)Fabric域Fabric的分層基于24位地址空間的劃分一個(gè)Fabric內(nèi)最多可以包含239個(gè)域域ID8 Bits區(qū)ID8 Bits端口 ID8 Bits24 位地址空間特別代理: 主交換機(jī)特別發(fā)送: Class F服務(wù)FabricFabric主交換機(jī)在Fabric之中存在并只存在一個(gè)主交換機(jī)!Domain地址的管理者(分配唯一的Domain ID)不存在單點(diǎn)故障! 如果當(dāng)前主交換機(jī)失敗, 那么擁有最低WWN 將被選為主交換機(jī)主交換機(jī)我是新的主管, 誰(shuí)要確認(rèn)或獲取一個(gè)新的 Dom
38、ain ID? NodeN_Port我需要一個(gè)!我需要為自己所連接的節(jié)點(diǎn)分配一個(gè)動(dòng)態(tài)地址I NodeN_PortFabric Class F 管理服務(wù)在光纖通道交換機(jī)之間只使用Class F用于Fabric的內(nèi)部控制和協(xié)調(diào)交換機(jī)使用Class F幀以協(xié)調(diào)名稱服務(wù)器和確定Fabric層次等服務(wù)Class F傳輸對(duì)于N_Ports完全是透明的類似于E_Port之間的Class 2無(wú)連接服務(wù)Class F流使用點(diǎn)對(duì)點(diǎn)的方式, 單功能是基于每個(gè)幀來(lái)實(shí)現(xiàn)的.FabricF_PortF_PortE_PortE_PortFL_Port交換機(jī) 2交換機(jī) 1U_PortClass F 服務(wù)Fabric配置過(guò)程步
39、驟 1:鏈接初始化Fabric初始化步驟 2:區(qū)分端口操作類型步驟 3:選擇主交換機(jī)步驟 4:分配Domain地址步驟 5:路徑選擇 (FSPF)Fabric運(yùn)行CLASS F 通訊(交換機(jī)Fabric內(nèi)部連接服務(wù))服務(wù)類對(duì)比Class F 與 Class N (Class 1到 4)分發(fā)服務(wù)特征Class 1Class 2Class 3Class 4Class F保留帶寬?100%NoNo部分No面向連接?YesNoNoYesNo傳輸順序保證? (按順序發(fā)送)YesNoNoYesNo延遲保證?(傳輸可預(yù)測(cè))YesNoNoYes (QoS)No分發(fā)確認(rèn)?YesYesNoYesYes流控制?Ye
40、sYesNoYesYes幀通道?NoNoNoNoYes節(jié)點(diǎn)N_PortFabric邏輯管理單元Fabric節(jié)點(diǎn) N_PortF_PortF_PortE_PortE_PortU_Port節(jié)點(diǎn)N_Port交換機(jī) 2交換機(jī) 1F_PortZone 1Zone 2分區(qū)單獨(dú)的邏輯管理單元可以使用WWN和端口作為成員可以跨多個(gè)域/區(qū)/端口可以包含F(xiàn)abric內(nèi)任意數(shù)量的交換機(jī)支持相互交叉與E_Port無(wú)關(guān)分區(qū)的好處NTSolaris DisksHP-UXNTDisksHP-UXDisksSolaris分區(qū)滿足SAN Fabric任意連接的要求 真正支持異構(gòu)平臺(tái)的SAN普通交換概念交換是將兩個(gè)以上的組連接起
41、來(lái)而不在任何兩個(gè)節(jié)點(diǎn)之間建立永久的專用連接ADEBCF不使用交換技術(shù)每?jī)蓚€(gè)節(jié)點(diǎn)之間直接連接15個(gè)連接ABCDEF使用交換技術(shù)簡(jiǎn)單的將節(jié)點(diǎn)連接起來(lái)1個(gè)連接網(wǎng)絡(luò)交換的發(fā)展光纖通道OSI 參考模型應(yīng)用層表示層會(huì)話層傳輸層網(wǎng)絡(luò)層 包交換 (X.25) IP交換數(shù)據(jù)鏈路層(第二層) 以太網(wǎng)/令牌環(huán)交換 ATM/LAN交換 幀中繼物理層(第一層) 鏈路交換 (撥號(hào), ISDN) SONET交換數(shù)據(jù)和應(yīng)用FC-0: 物理接口FC-3: 普通服務(wù)FC-2: 數(shù)據(jù)分發(fā)FC-1: 數(shù)據(jù)編碼FC-4: 高層協(xié)議映射通過(guò)分析每個(gè)幀的前64字節(jié),我們可以做得更多!第五層交換交換機(jī)內(nèi)部實(shí)現(xiàn)多端口交換(基于內(nèi)存)ASIC進(jìn)
42、行交換控制(本地通信本地完成)Cut-through路由 (非存儲(chǔ)轉(zhuǎn)發(fā)模式)輸出端口可以實(shí)現(xiàn)緩沖區(qū)負(fù)載平衡支持多種速率(1/2/10 Gb/秒)串行交叉交換 (基于矩陣)在交叉點(diǎn)進(jìn)行交換(只依靠調(diào)度器進(jìn)行)串行端口到端口(等待, 直到連接成功)沒(méi)有輸出緩沖區(qū)(隊(duì)列阻塞)只支持一種速度共享內(nèi)存ASICASICASICASIC串行交叉ASICASICASICASIC調(diào)度器輸出緩沖存儲(chǔ)器輸入緩沖存儲(chǔ)器SELECTORFrame Filtering交換機(jī)級(jí)聯(lián)解決方案: 將交換機(jī)互相連接(注意: 與以太網(wǎng)集線器只能有一個(gè)級(jí)聯(lián)端口不同, 光纖通道交換機(jī)的所有端口都可以用于級(jí)聯(lián))觀察光纖通道交換機(jī)內(nèi)部的工作
43、方式相當(dāng)有趣, 可是如果交換機(jī)無(wú)法提供足夠的設(shè)備連接端口, 我們又將如何是好?將多個(gè)光纖通道交換機(jī)級(jí)聯(lián)從而獲得配置的靈活性 可以建立更大的網(wǎng)絡(luò) SAN Fabric可以在物理上分布化 可以為錯(cuò)誤事件提供額外保護(hù)交換機(jī)的互連能力跳躍數(shù)量在到達(dá)目標(biāo)前經(jīng)過(guò)的ISL數(shù)量(最多7次跳躍)交換機(jī)間鏈接 (ISL)(在兩臺(tái)交換機(jī)之間的鏈接)E_Port到E_Port節(jié)點(diǎn) N_Port 節(jié)點(diǎn)N_Port鏈接延遲(ISL每公里將產(chǎn)生5微秒的時(shí)間延遲)這比磁盤以毫秒衡量訪問(wèn)速度快1000倍單點(diǎn)與多點(diǎn)交換部分人仍然認(rèn)為單交換機(jī)更好! 大盒子, 更高的端口數(shù)量 (更多端口)及易于管理這叫做“單交換機(jī)交換”為什么? 由
44、于級(jí)聯(lián)過(guò)于復(fù)雜, 太多工作!ISL浪費(fèi)寶貴的端口資源!通過(guò)ISL進(jìn)行交換比在一個(gè)盒子內(nèi)進(jìn)行速度慢!事實(shí)上盒子的管理與網(wǎng)絡(luò)管理相比更困難不可避免的操作錯(cuò)誤沒(méi)有端口速度更快或更慢智能軟件簡(jiǎn)化管理工作, 不存在單獨(dú)的硬件解決方案可憐的ISL支持能力 (在一個(gè)Fabric內(nèi)可能最多只支持32個(gè)ISL)難以實(shí)現(xiàn)干線合并(ISL Trunking)?可級(jí)聯(lián)交換機(jī)稱為 “多交換機(jī)交換(Multi-Stage Switching)”單點(diǎn)故障高可用Fabric步驟 2: 將原有核心交換機(jī)移到邊緣多點(diǎn)交換設(shè)計(jì): 核心邊緣模型步驟 1: 在SAN Fabric的核心配置較大的交換機(jī)類似于FDDI骨干網(wǎng)大交換機(jī)可以在
45、如下多點(diǎn)交換環(huán)境之中使用:提高邊緣節(jié)點(diǎn)的連接能力替換原有核心交換機(jī)以提高核心節(jié)點(diǎn)連接能力連接各個(gè)SAN孤島設(shè)備通常不與核心節(jié)點(diǎn)直接連接! 減低邊緣節(jié)點(diǎn)擴(kuò)展能力 直接連接核心節(jié)點(diǎn)將降低系統(tǒng)的路徑冗余保護(hù)能力SAN Fabric擴(kuò)展的三塊基石概要: SAN具有與WAN相似的擴(kuò)展能力!網(wǎng)絡(luò)自愈(Self-Healing) (F.S.P.F)ISL 優(yōu)化遠(yuǎn)距離支持 10公里自恢復(fù)的SAN FabricFSPF將交換機(jī)結(jié)合在一起并建立一個(gè)受到保護(hù)的網(wǎng)絡(luò)的基礎(chǔ)自動(dòng)Fabric拓?fù)浞治龊吐窂竭x擇在SAN配置變化時(shí)動(dòng)態(tài)配置路由 (自學(xué)習(xí))可以設(shè)定靜態(tài)路由發(fā)生故障自動(dòng)選擇下一條最佳路徑FSPF只保護(hù)網(wǎng)絡(luò)本身, 節(jié)點(diǎn)需要擁有兩條路徑連接到SAN FabricFabric最短路徑優(yōu)先算法自動(dòng)故障切換在故障情況下(數(shù)據(jù)傳輸繼續(xù)進(jìn)行)當(dāng)ISL或交換機(jī)故障(或重新啟動(dòng))時(shí)SAN Fabric繼續(xù)工作Fabric最短路徑優(yōu)先 (FSPF)是指連接狀態(tài)路徑選擇協(xié)議 (源于 OSPF)使用鏈路權(quán)值/權(quán)重考慮跳躍數(shù)量確??捎脦扗omain ID分配進(jìn)程結(jié)束后立即啟動(dòng)六個(gè)簡(jiǎn)單步驟:通知相鄰的交換機(jī)與相鄰交換機(jī)相互交換全部連接狀態(tài)數(shù)據(jù)庫(kù)信息更改連接狀態(tài)記錄計(jì)算數(shù)據(jù)源與目標(biāo)之間的最短路徑建立路由運(yùn)行!最短路徑優(yōu)先Hello!Hello!Hello!Hello!Hello!每個(gè)圓代表一臺(tái)交換機(jī)連接權(quán)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- GB/T 44845-2024承壓設(shè)備低頻電磁檢測(cè)方法
- 2024年度年福建省高校教師資格證之高等教育學(xué)通關(guān)提分題庫(kù)(考點(diǎn)梳理)
- 2024年度山西省高校教師資格證之高等教育心理學(xué)題庫(kù)附答案(基礎(chǔ)題)
- 江蘇開(kāi)放大學(xué)形考任務(wù)2024年秋包裝設(shè)計(jì)060712形成性考核作業(yè)答案
- 2024年商品信用銷售協(xié)議
- 合同法總作業(yè)及參考答案
- 大理石原料買賣化協(xié)議文檔
- 2024年規(guī)范轉(zhuǎn)供電服務(wù)協(xié)議模板
- 2024年施工協(xié)議監(jiān)管要點(diǎn)明細(xì)
- 2024年木模板工程承包協(xié)議樣本
- 柴油發(fā)電機(jī)組應(yīng)急預(yù)案
- 語(yǔ)文《猜猜他是誰(shuí)》教案
- 繪本:讓誰(shuí)先吃好呢
- 寬容待人正確交往中小學(xué)生教育主題班會(huì)
- 移動(dòng)通信網(wǎng)絡(luò)運(yùn)行維護(hù)管理規(guī)程
- 龍頭股戰(zhàn)法優(yōu)質(zhì)獲獎(jiǎng)?wù)n件
- 小班幼兒語(yǔ)言活動(dòng)教案100篇
- 中國(guó)青瓷藝術(shù)鑒賞智慧樹(shù)知到答案章節(jié)測(cè)試2023年麗水學(xué)院
- 中廣國(guó)際總公司-CR2010衛(wèi)星接收解碼器
- 2023年小學(xué)數(shù)學(xué)手抄報(bào)比賽活動(dòng)總結(jié)(3篇)
- 社會(huì)保險(xiǎn)業(yè)務(wù)申報(bào)表(填表說(shuō)明)
評(píng)論
0/150
提交評(píng)論