版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
第八章網絡存儲備份技術及方案設計
8.1網絡存儲技術概述8.1.1RAID技術冗余磁盤陣列(RedundantArrayofInexpensive/IndependentDisks,RAID)是由美國加州大學伯克利分校的D.A.Patterson教授在1988年提出的,也簡稱為“磁盤陣列”。RAID的優(yōu)點是:(1)傳輸速率高。(2)容錯功能。(3)RAID比起傳統(tǒng)的大容量磁盤驅動器來,在同樣的容量下,價格要低很多。RAID的級別(1)RAID0(2)RAID1(3)RAID2(4)RAID3(5)RAID5(6)多層級別RAID2.RAID系統(tǒng)的選型(1)硬件RAID和軟件RAID(2)SCSIRAID和IDERAID(3)RAID卡和RAID控制器3.RAID系統(tǒng)的管理和維護(1)及時備份系統(tǒng)配置參數(shù)(2)及時檢查運行日志文件(3)定期檢查數(shù)據(jù)一致性8.1.2DAS、NAS、SAN技術1.直接附加存儲直接附加存儲(Direct
Attached
Storage,DAS),也可稱為服務器附加存儲(Server-AttachedStorage,SAS)。圖8.1基于DAS結構的存儲備份2.網絡附加存儲網絡附加存儲(Network
Attached
Storage,NAS)是一種專業(yè)的網絡文件存儲及文件備份設備,它通過標準的網絡拓撲結構連接到計算機網絡上,利用現(xiàn)有的網絡資源來接入專用的網絡存儲設備,因此也稱為網絡直聯(lián)存儲設備、網絡磁盤陣列系統(tǒng)。圖8.2基于NAS結構的存儲備份NAS的許多其他特性表現(xiàn)在以下幾個方面。(1)將NAS設備連接到網絡上非常方便。(2)由于NAS設備的安裝、調試、使用和管理非常簡單,因此對于選用NAS作為網絡數(shù)據(jù)存儲設備的企業(yè)用戶來說,昂貴的設備管理與維護費用將不復存在。(3)NAS設備可以完全實現(xiàn)文件在不同操作系統(tǒng)平臺下的共享,用戶通過不同的網絡協(xié)議可進入相同的文檔,因此無需改造現(xiàn)有網絡NAS設備就無縫混合應用在多種操作系統(tǒng)平臺下,用戶不必再為不同的操作系統(tǒng)購買各自的數(shù)據(jù)存儲設備,從而大大節(jié)省了成本。(4)NAS設備采用集中式存儲結構,摒棄了DAS的分散存儲方式,網絡管理員可以方便地管理數(shù)據(jù)和維護設備,同時NAS設備允許用戶在網絡上存取數(shù)據(jù),有效改善了網絡的性能。(5)NAS設備內置優(yōu)化的獨立存儲操作系統(tǒng),可以有效緊密地釋放系統(tǒng)總線資源,全力支持I/O存儲,因此NAS設備的效率較DAS設備高出60%以上。(6)NAS設備一般會提供錯誤恢復系統(tǒng),并會通過E-mail系統(tǒng)將報警信息自動發(fā)給系統(tǒng)管理員,同時NAS設備會進行動態(tài)監(jiān)測,并提供詳細的日志報告,以求全面保護數(shù)據(jù)。3.存儲區(qū)域網SAN存儲區(qū)域網(StorageAreaNetworking,SAN)以數(shù)據(jù)存儲為中心,采用可伸縮的網絡拓撲結構,通過具有高傳輸速率的光纖通道直接連接,提供SAN內部任意節(jié)點之間的多路可選擇的數(shù)據(jù)交換,并且將數(shù)據(jù)存儲管理集中在相對獨立的存儲區(qū)域網內。圖8.3基于SAN結構的存儲備份8.1.3存儲技術的選擇1.數(shù)據(jù)保護能力數(shù)據(jù)保護能力是指在存儲設備的設計方面,對各種偶然性錯誤和意外情況的預期,以及采取的預防或補救措施。2.性能存儲產品的性能評價是最容易的,因為這一指標可以被充分量化。3.容量4.連接性5.管理性管理性是任何產品的重要方面之一。6.附加功能
8.2網絡備份技術概述
備份不等于簡單的文件拷貝,也不等于文件的永久歸檔,備份有三個最主要的特點:
1.備份最大的忌諱就是在備份過程中因介質容量不足而更換介質,因為這會降低備份數(shù)據(jù)的可靠性。相對于內存和磁盤存儲介質昂貴的價格,通常配置價格相對低廉的大容量磁帶存睹介質。
2.備份的目的是為了防備萬一發(fā)生的意外事故,如自然災害、病毒侵入、人為的破壞等等。這些意外事故不可能每天都發(fā)生,因此我們使用備份數(shù)據(jù)的頻率不是很高。從這個意義上來講,對備份數(shù)據(jù)的存取速度并不是一個很重要的因素。我們沒有必要為了追求一個并不重要的高速度而成倍地增加我們對備份的投資。
3.可管理性是數(shù)據(jù)備份過程中一個很重要的因素,因為可管理性與備份的町靠性緊密相關。最佳的可管理性當然就是自動化備份方案。如果一種技術不能提供這種自動化方案,那么它就不能算是好的備份技術。選擇一個適合于企業(yè)的備份系統(tǒng)不是一件容易的事情。從規(guī)劃設計系統(tǒng)測試,直到備份計劃的實施都需要系統(tǒng)管理員付出辛苦的努力。
目前企業(yè)常用的備份方式有以下幾種: ●定期備份。即定期用磁帶備份數(shù)據(jù),界地存放,并在磁帶存放地點配置一套完整的備用計算機設備、網絡通信設備、電源設備。 ●遠程磁帶庫、光盤庫備份。
.遠程數(shù)據(jù)庫備份。在與主數(shù)據(jù)庫所在生產機相分離的備份機上建立主數(shù)據(jù)庫的一個拷貝,通過通信線路將生產機的數(shù)據(jù)庫日志傳到備份機,使備份數(shù)據(jù)庫與主數(shù)據(jù)庫保持同步。
.網絡數(shù)據(jù)鏡像。
.遠程鏡像磁盤。
一個企業(yè)究竟如何規(guī)劃自己的備份系統(tǒng),需要根據(jù)自己對系統(tǒng)的需求來考慮。一般現(xiàn)在專業(yè)的存儲廠商都能夠提供從磁帶庫備份到遠程鏡像磁盤一系列的技術和產品。比如專注于存儲管理軟件供應的Veritas公司,其不僅可以為用戶提供先進的遠程容災方案,也能夠為用戶提供永久的磁帶備份解決方案。
如何設計一個理想的網絡備份系統(tǒng)呢?
理想的網絡備份系統(tǒng)應該具備以下功能:
.集中式管理網絡。
.全自動的備份。
.數(shù)據(jù)庫備份和恢復
.歸檔管理8.3網絡存儲備份系統(tǒng)的主要技術8.3.1磁帶備份技術
無論是硬盤技術,還是光盤技術,都不適合用來進行數(shù)據(jù)存儲備份,只有磁帶機技術才真正適合數(shù)據(jù)存儲備份領域。
目前流行于IT市場的主要有4mm磁帶機、8mm磁帶機、DLT磁帶機、DAT磁帶機及LTO磁帶機等幾種。
.DLT技術
.4mm技術
.8mm技術
.
LTO技術8.3.2備份軟件技術
1、基干主機的備份軟件技術
它支持同步和異步方式兩種方式同步方式的過程如下: (1)接收寫數(shù)據(jù)請求 (2)將寫入請求寫到SRL,同時寫入數(shù)據(jù)卷 (3)發(fā)送到遠端服務器 (4)網絡確認 (5)寫入到目標卷 (6)數(shù)據(jù)寫入確認
異步方式的過程如下,(1)接收寫數(shù)據(jù)清求;(2)將寫入請求寫到SRL,(3)向主機發(fā)出寫完成信÷(4)寫入數(shù)據(jù)卷,并發(fā)送給遠端服務揣:5)網絡確認;:6)數(shù)據(jù)寫入到目標卷;:7)數(shù)據(jù)寫入確認。
由于這種軟件備份技術需要占用主機資源,因此它存在許多局限性:
.基于主機的復制操作,主機資源的占用(CPU,內存);
.基于TCP/IP的網絡連接,降低網絡的效率;
.遠程寫入主機內存,遠程的寫確認不可信;
.十分受限的“逆向”復制,應用系統(tǒng)回切困難;
.十分受限的遠程數(shù)據(jù)復用,遠端資源浪費
.基于獨立主機的復制技術,數(shù)據(jù)中心環(huán)境難于管理和擴展,
2、基于存儲的數(shù)據(jù)備份技術 由于基于主機備份技術的上述局限性,在一些關鍵業(yè)務應用環(huán)境中,為了保證數(shù)據(jù)備份(復制)的實時性和可靠性;通常采用基于存儲的數(shù)據(jù)備份(復制)技術。
SRDF軟什提供:
.運用虛擬專用網(VPN)和IP協(xié)議開展數(shù)據(jù)復制;
.針對大型機、UNIX、WindowsNT和AS/400系統(tǒng)的惟一 解決方案:
.獨立于主機進行在線、實時數(shù)據(jù)鏡像,創(chuàng)建一個或多 個本地或遠程拷貝;
.在幾分鐘之內實現(xiàn)業(yè)務數(shù)據(jù)可用,通過快速而簡單 的方式實現(xiàn)恢復:
.避免出現(xiàn)計劃內停機造成的十斷,避免出現(xiàn)“隔夜積壓”
.通過多級傳輸能力和SRDFFarPoint實現(xiàn)暈高延伸距離 性能和通信線路效率:
.支持分散在各個地域的群集。
8.4網絡存儲備份系統(tǒng)典型產品介紹
8.5網絡存儲備份系統(tǒng)方案設計8.5.1存儲系統(tǒng)方案設計原則(1)存儲系統(tǒng)解決的是信息問題。(2)廠商的幫助有限。(3)從實際情況出發(fā),明確需求,不能一味追求新技術。(4)考慮長遠,打好基礎。8.5.2存儲系統(tǒng)方案設計要點1.需求分析(1)數(shù)據(jù)保護——系統(tǒng)運行的穩(wěn)定安全性要求(2)數(shù)據(jù)管理(3)數(shù)據(jù)利用——大數(shù)據(jù)量和多用戶并發(fā)的效率要求2.確定系統(tǒng)結構(1)數(shù)據(jù)保護能力就數(shù)據(jù)保護而言,SAN和NAS結構都具有非常好的數(shù)據(jù)保護能力。二者都可以提供冗余結構,實現(xiàn)高效率的數(shù)據(jù)備份和遠程容災。圖8.4SAN中的LANFree備份方案圖8.5基于NDMP的NAS備份方案(2)數(shù)據(jù)管理能力NAS優(yōu)勢主要在于安裝配置的方便和快捷。(3)數(shù)據(jù)利用方面圖8.6LUNMasking技術實現(xiàn)基于主機的數(shù)據(jù)隔離圖8.7NAS中實現(xiàn)基于用戶的訪問管理3.產品選型確定了存儲系統(tǒng)的基本結構后,下面就可進行產品選型。存儲產品的評價基本可以集中在容錯能力、性能、容量、連接性、管理性和附加功能這幾個方面。(1)容錯能力容錯能力是指在存儲設備的設計方面,對各種偶然性錯誤和意外情況的預期,以及采取的預防或補救措施。(2)性能性能指數(shù)主要有兩個:帶寬和IOPs(每秒I/O次數(shù))。(3)容量(4)連接性(5)管理性(6)附加功能比較常見的附加功能主要有以下幾種:數(shù)據(jù)快照功能,LUNMasking功能,異地數(shù)據(jù)復制功能等。4.選擇備份管理軟件所謂數(shù)據(jù)備份,就是使用較低廉的存儲介質,定期將系統(tǒng)業(yè)務數(shù)據(jù)備份下來,以保證數(shù)據(jù)意外丟失時能盡快恢復,將用戶的損失降到最低點。5.備份策略及數(shù)據(jù)恢復選擇了存儲備份軟件、存儲備份技術(包括存儲備份硬件及存儲備份介質)后,首先需要確定數(shù)據(jù)備份的策略。備份策略指確定需備份的內容、備份時間及備份方式。(1)完全備份(FullBackup)(2)增量備份(IncrementalBackup)(3)差分備份(DifferentialBackup)6.項目實施過程應注意的問題(1)統(tǒng)計備份客戶機信息(2)做好培訓工作(3)制定備份策略(4)日常維護有關問題8.1網絡存儲技術目前的網絡存儲技術有SAN、NAS和iSCSI。SANNASiSCSISAN主要是基于光纖通道的、面向數(shù)據(jù)塊的存儲,可以看成是傳統(tǒng)總線的擴展。NAS是在TCP/IP協(xié)議基礎上提供文件的存取服務。iSCSI則是前面兩種技術在TCP/IP網絡上的融合,通過把面向數(shù)據(jù)塊的SCSI(小型計算機系統(tǒng)接口
)協(xié)議封裝在TCP/IP包中,以便在TCP/IP網絡上傳送8.1.1傳統(tǒng)存儲技術DAS(DirectAttachedStorage,譯為“直接附加存儲”或“直接連接存儲”),又稱SAS(ServerAttachedStorage,服務器附加存儲)。DAS將存儲設備直接與服務器相連,完全以服務器(或主機)為中心,作為服務器的組成部分。用于DAS的存儲設備可以是磁盤、磁帶、磁盤陣列或磁帶庫,最典型的DAS設備是各類磁盤陣列。DAS存儲模式如圖8.1所示。圖8.1DAS存儲模式
8.1.1傳統(tǒng)存儲技術DAS特別適合于對存儲容量要求不高、服務器的數(shù)量很少的中小型局域網,其主要的優(yōu)點在于存儲容量擴展的實施非常簡單,投入的成本少而見效快。具體地講,DAS問題主要有以下幾點:
(1)容易形成服務器到存儲設備的瓶頸。(2)影響數(shù)據(jù)的可用性。(3)存儲設備分散,不便于管理監(jiān)控。(4)容易造成存儲空間浪費。(5)對重要的數(shù)據(jù)進行備份時將會極大地占用網絡的帶寬。8.1.2網絡附加存儲技術1.NAS的組成
NAS(NetworkAttachedStorage,譯為“網絡附加存儲”或“網絡連接存儲”)的意思是連接在網上的存儲設備。NAS設備直接連接到TCP/IP網絡(可以是LAN或WAN)上,在功能上完全獨立于網絡服務器。如圖8.2所示。圖8.2NAS存儲模式
8.1.2網絡附加存儲技術2.NAS的特性
(1)易于安裝。(2)易于部署。(3)方便使用和管理。(4)整體性能高。(5)跨平臺使用。(6)提高數(shù)據(jù)可用性。(7)性能價格比優(yōu)異。
NAS產品是真正即插即用的產品,內置專門用于數(shù)據(jù)存儲的簡化操作系統(tǒng)和網絡協(xié)議,可以直接掛接到網絡上。用戶可根據(jù)需要來確定NAS的物理位置,一般將其放置在訪問頻率最高的地方,以進一步縮短用戶的訪問時間并提高網絡吞吐量。客戶不需安裝任何額外軟件,NAS服務器的設置、升級及管理均可通過Web瀏覽器遠程實現(xiàn)。NAS服務器與網絡直連,當增加或移去NAS設備時不會中斷網絡的運行。無需應用服務器的干預,NAS設備允許用戶在網絡上存取數(shù)據(jù);這樣既可減小CPU的開銷,也能顯著改善網絡的性能。NAS獨立于操作系統(tǒng)平臺,可以支持Windows、UNIX、Mac、Linux和Netware等不同操作系統(tǒng)。①采用磁盤陣列技術,NAS可保證硬件設備和數(shù)據(jù)的安全與完整。②通過網絡共享數(shù)據(jù),即使相應的應用服務器不再工作了,仍然可以讀取數(shù)據(jù)。③采用嵌入式操作系統(tǒng),具有很強的穩(wěn)定性和可靠性。④網絡管理員可方便地設置用戶或用戶組對NAS服務器的訪問權限。NAS是精簡型服務器,在硬件架構上只需CUP、內存、硬盤、網卡和主機板等。在軟件方面,操作系統(tǒng)也是精簡型系統(tǒng),有些甚至是免費的Linux。8.1.2網絡附加存儲技術3.NAS的應用場合
NAS主要面向高效的文件共享任務,適用于那些需要通過網絡傳送大量文件數(shù)據(jù)的場合。素材庫資源庫課件PPT課件多媒體NAS網絡存儲NAS引擎海量存儲101010101010光纖通道交換機磁帶庫8.1.3存儲區(qū)域網絡技術1.SAN的組成存儲區(qū)域網絡(SAN,StorageAreaNetwork)是一種類似于普通局域網的高速存儲網絡,SAN通過專用的集線器、交換機和網關建立起與服務器和磁盤陣列之間的直接連接。SAN存儲模式如圖8.3所示。
圖8.3SAN存儲模式
8.1.3存儲區(qū)域網絡技術2.SAN的特性SAN更適合網絡關鍵任務的數(shù)據(jù)存儲,與其他存儲技術相比,SAN具有以下特性:(1)高可用性(2)高性能(3)便于擴展(4)可實現(xiàn)高效備份(5)支持服務器的異構平臺(6)支持集中管理和遠程管理
8.1.3存儲區(qū)域網絡技術3.SAN的應用場合SAN作為網絡存儲設施,旨在提供靈活、高性能和擴展的存儲環(huán)境,擅長在服務器和存儲設備之間傳輸大塊數(shù)據(jù)。特別適于以下應用場合:(1)對響應時間、可用性和可擴展性要求高的關鍵任務數(shù)據(jù)庫應用。(2)對性能、數(shù)據(jù)完整性和可靠性要求高的集中存儲備份,以保證關鍵數(shù)據(jù)的安全,可極大地提高企業(yè)數(shù)據(jù)備份和恢復操作可靠性和可擴展性。(3)海量存儲的應用環(huán)境。例如,圖書館,企業(yè)或組織的數(shù)據(jù)中心。(4)支持服務器及其連接設備之間提供光纖通道高性能和擴展的距離。
3.SAN的應用場合一個隨需應變的存儲環(huán)境,數(shù)據(jù)是能夠被分類整理的。即除了有用的數(shù)據(jù),還會有很多垃圾數(shù)據(jù)需要清理,來騰出更多的可用存儲空間,這樣就可以減少存儲設備的購買從而降低存儲費用。Server-baseddiskstorage050100150200250Terabytes('000)磁盤存儲快速增長存儲帶來的開銷,占IT投資的百分比不斷上升剩余存儲容量有效數(shù)據(jù):包括數(shù)據(jù)庫數(shù)據(jù),應用數(shù)據(jù)等,這些數(shù)據(jù)能夠帶來revenue,需要得到很好的投資保護,放置于企業(yè)級的存儲介質中非業(yè)務數(shù)據(jù):存儲在公司儲存設備上的一些員工從網絡下載的文件或者個人文件,在某些情況下這些文件甚至會造成法律問題。復制數(shù)據(jù):多個員工或程序拷貝的文件副本,通過共享來減少文件數(shù)量和所占用的存儲空間陳舊/孤立數(shù)據(jù):還有一些數(shù)據(jù)不會再被用到,如財務年終報表,個人數(shù)據(jù)等應用冗余數(shù)據(jù),
logfiles,dumpfiles,臨時文件獲得更多刪除刪除/共享刪除–定期歸檔–定期加強投資進行保存、訪問和保護在一個隨需應變的存儲環(huán)境……數(shù)據(jù)分類3.SAN的應用場合Active文件保存在存儲池內,可以被pool和共享。在一個隨需應變的存儲環(huán)境……存儲池存儲池存儲池虛擬文件系統(tǒng)SAN存儲域網絡有效數(shù)據(jù)(能夠創(chuàng)造價值的數(shù)據(jù))能夠被pool,例如,你可以將數(shù)據(jù)庫數(shù)據(jù)存儲在左邊的pool里,把共享的工作目錄存儲在中間的pool里,而把個人的目錄存放在右邊的pool里。這么做的目的是集中投資,將數(shù)據(jù)的價值和存儲的費用相關聯(lián)。3.SAN的應用場合除了active數(shù)據(jù),大多數(shù)的IT環(huán)境還必須管理inactive數(shù)據(jù),如季度財務報告之類的文件,和為了容災而備份的active數(shù)據(jù)復本。在一個隨需應變的存儲環(huán)境……Enterprise
classMid-rangeLow-costWORMWORMWORMAutomatedManual分層管理:Inactive文件保存在成本變化的分層存儲空間
。復制管理:將文件在從有介質損壞考慮的磁盤RAID向磁帶轉移時其做一個復制,為了防止由于介質損壞而造成的數(shù)據(jù)丟失介質管理:inactive文件隨著其變得更加陳舊而向更便宜個存儲介質轉移離線管理:為了容災地考慮,也許需要把一些文件離線管理長期保存管理:一些inactive數(shù)據(jù)可能需要被保存很多年,很長時間,使用新技術來保存這些數(shù)據(jù),透明的將這些新類型的數(shù)據(jù)轉移到新的存儲介質上并自動更新目錄Compress?Encrypt?3.SAN的應用場合存儲基礎設施可以作無影響的變更,即:存儲設施的改變不能影響到服務器對存儲設施的連接、也不應該影響在其上運行的業(yè)務應用。通過文件系統(tǒng)和磁盤卷管理的虛擬化來實現(xiàn)在一個隨需應變的存儲環(huán)境……存儲池Virtual
DiskVirtual
DiskVirtual
Disk虛擬化磁盤存儲池存儲池為數(shù)據(jù)庫文件擴展可用的存儲空間共享路徑轉移到另外的存儲設備主機系統(tǒng)和應用系統(tǒng)不會感覺到存儲系統(tǒng)的變化ESSESS虛擬文件系統(tǒng)Virtual
Disk虛擬磁盤系統(tǒng)JBODFAStTFAStTnon-
IBMnon-
IBM替換舊的存儲子系統(tǒng)Load
BalanceMoveMoveSAN存儲域網絡8.1.4NAS與SAN的比較
項目NASSAN協(xié)議TCP/IP在一個IP網絡中進行訪問的基于文件的存儲設備FibreChannel(光纖通道協(xié)議)FibreChannel-to-SCSI一個專用的基于光纖通道的存儲網絡應用文件共享(NFS或CIFS)小數(shù)據(jù)塊遠程傳輸特定的只讀數(shù)據(jù)庫訪問關鍵數(shù)據(jù)庫應用處理集中數(shù)據(jù)備份災難恢復,強化存儲優(yōu)勢文件級訪問,中高性能交叉平臺文件共享易于使用、管理,成本較低快速、簡單的部署高可用性,數(shù)據(jù)傳輸可靠降低網絡流量,靈活配置高性能,伸縮性強集中管理,多廠商支持8.1.5iSCSI存儲技術iSCSI通過TCP/IP網絡傳送SCSI命令(SCSIoverIP)。如圖8.4所示。圖8.4iSCSI(IP上的SCSI)設備
iSCSI在IP網絡上傳輸iSCSI數(shù)據(jù)塊需要進過3個步驟:(1)iClient(初始化程序)代碼重新確定SCSI指令通過IP網絡的路徑;(2)iSCSI目標代碼從IP網絡接收SCSI指令;(3)隨后將SCSI指令直接發(fā)送到嵌入式存儲(iSCSI設備)或FCSAN(iSCSI網關)。8.1.5iSCSI存儲技術iSCSI協(xié)議模型如圖8.5所示8.1.5iSCSI存儲技術一個完整的iSCSI網絡存儲結構是由iSCSI服務端和客戶端兩部分組成的。iSCSI服務端包括服務器及其連接的iSCSI網絡??蛻舳艘话闶荳indows2000或Linux系統(tǒng),iSCSI客戶端必須能夠通過網絡訪問到服務端。對于客戶端的操作系統(tǒng)來說,和本地硬盤完全相同(直接訪問存儲設備)??梢詫SCSI作任何能在本地硬盤上進行的操作,徹底拋開了NFS的限制,更好地支持各種應用。iSCSI不必通過文件系統(tǒng)直接存取磁盤系統(tǒng),特別適合基于IP網絡的數(shù)據(jù)庫應用環(huán)境。8.2網絡存儲解決方案8.2.1中小型網絡存儲技術選擇1.與現(xiàn)有應用系統(tǒng)的兼容性2.存儲系統(tǒng)未來升級和擴展3.選用DAS的場合4.網絡存儲首選NAS5.慎選SAN和iSCSI8.2網絡存儲解決方案DAS、NAS、SAN與ISCSI的性能特點比較如表7.3所示。項目DAS特點NAS特點SAN特點ISCSI特點設計理念存儲設備存儲設備存儲網絡存儲網絡適配器SCSI適配器以太網適配器光纖通道適配器以太網適配器傳輸單位塊I/O文件I/O塊I/O塊I/O網絡連接協(xié)議SCSITCP/IPFC(光纖通道)TCP/IP管理方式在服務器上管理在存儲設備上管理在服務器上管理在服務器上管理性價比性能低成本低性能適中成本低性能高成本高性能高成本適中8.2.2NAS存儲案例
1.網絡存儲需求某大學網絡中心建立了多種資源服務器:Web主頁、教工和學生E-mail、FTP軟件下載,網絡課程,精品課程,電子考試和電子校務等。這些資源的操作系統(tǒng)包括UNIX、Linux和Windows2000AdvancedServer平臺,是一個異構系統(tǒng),分布在數(shù)十臺DAS上。這些服務器數(shù)據(jù)量較大,數(shù)據(jù)的安全性很重要(如郵件系統(tǒng)約有2萬用戶),因此對數(shù)據(jù)存儲的管理和備份就顯得非常重要。8.2.2NAS存儲案例
2.NAS產品選型MaxAttachNAS4100文件服務器
提供了定時的備份功能,可以為“按需存儲”的企業(yè)或組織提供了理想的解決方案。MaxAttach的互用性使Windows、UNIX、Linux、NetWare和Macintosh的等不同平臺的用戶可以簡單的分享存儲數(shù)據(jù)。MaxAttach的備份軟件具有簡單直觀的安裝設置界面,使任何一個從來沒有這方面經驗的管理員也可以輕松操作。NAS4100提供了很高的磁盤響應速度和快速的網絡接口,可以大大改善原先由磁帶機作為主要備份設備的網絡響應慢的狀況。8.2.2NAS存儲案例
3.NAS解決方案圖8.6NAS數(shù)據(jù)存儲結構
8.2.3SAN存儲案例
1.網絡存儲需求:高校應用系統(tǒng)類型一卡通服務器數(shù)據(jù)庫服務器數(shù)據(jù)庫服務器VOD服務器計費服務器計費服務器MIS服務器FTP服務器郵件服務器Web服務器數(shù)據(jù)庫服務器電子圖書服務器電子期刊服務器圖書管理服務器Web服務器素材庫資源庫課件PPT課件多媒體基礎網絡應用管理信息系統(tǒng)校園一卡通系統(tǒng)數(shù)字圖書館系統(tǒng)電子資源庫存儲設備較多,管理維護復雜。存儲空間利用率低,浪費存儲資源。速度問題、容量問題。信息資源分散,不便于共享。數(shù)據(jù)備份、遠程容災安全性問題。千兆以太網8.2.3SAN存儲案例一卡通服務器數(shù)據(jù)庫服務器SAN數(shù)據(jù)中心(中小規(guī)模)數(shù)據(jù)庫服務器VOD服務器計費服務器計費服務器MIS服務器Web服務器郵件服務器FTP服務器數(shù)據(jù)庫服務器電子圖書服務器電子期刊服務器圖書管理服務器Web服務器素材庫資源庫課件PPT課件多媒體群集熱備群集熱備群集熱備群集熱備高速存儲海量存儲NAS網絡存儲離線備份遠程災備101010101010101010FS8600光纖磁盤陣列光纖通道交換機磁帶庫NAS引擎原有磁盤陣列SCSI-FC轉換器遠程同步復制8.2.3SAN存儲案例300M~2KM1KM~幾百KM圖書館數(shù)據(jù)中心網絡中心數(shù)據(jù)中心分校區(qū)災備中心DS5600i光纖磁盤陣列FS8600i光纖磁盤陣列FS8600光纖磁盤陣列光纖通道交換機光纖通道交換機磁帶庫磁帶庫千兆以太網客戶機基礎網絡應用管理信息系統(tǒng)一卡通系統(tǒng)數(shù)字圖書館課件及資源庫千兆以太網101010101010本地同步復制101010101010101010101010遠程同步復制遠程異步復制101010磁帶庫備份本地離線備份卷復制快照本地在線備份卷復制快照本地鏡像備份遠程復制快照遠程在線備份磁帶庫備份遠程離線備份SAN數(shù)據(jù)中心(中大規(guī)模)多級數(shù)據(jù)保護。信息資源統(tǒng)一管理,使用方便。磁盤容量利用率高,保護投資。海量高性能SAN存儲系統(tǒng)。數(shù)據(jù)集中存儲,管理維護簡單。8.3數(shù)據(jù)備份和恢復
8.3.1備份與恢復的概念
1.備份與恢復
備份就是保留一套后備系統(tǒng),做到有備無患。數(shù)據(jù)備份就是保存數(shù)據(jù)的副本。數(shù)據(jù)備份的目的是為了預防事故(如自然災害、病毒破壞和人為損壞等)造成的數(shù)據(jù)損失。數(shù)據(jù)恢復就是將數(shù)據(jù)恢復到事故之前的狀態(tài)。數(shù)據(jù)恢復總是與備份相對應,實際上可以看成備份操作的逆過程。備份是恢復的前提,恢復是備份的目的,無法恢復的備份是沒有意義的。8.3數(shù)據(jù)備份和恢復
8.3.1備份與恢復的概念
1.備份與恢復
備份就是保留一套后備系統(tǒng),做到有備無患。數(shù)據(jù)備份就是保存數(shù)據(jù)的副本。數(shù)據(jù)備份的目的是為了預防事故(如自然災害、病毒破壞和人為損壞等)造成的數(shù)據(jù)損失。數(shù)據(jù)恢復就是將數(shù)據(jù)恢復到事故之前的狀態(tài)。數(shù)據(jù)恢復總是與備份相對應,實際上可以看成備份操作的逆過程。備份是恢復的前提,恢復是備份的目的,無法恢復的備份是沒有意義的。8.3.1備份與恢復的概念2.數(shù)據(jù)備份不僅僅是數(shù)據(jù)復制
數(shù)據(jù)復制是指將重要的數(shù)據(jù)復制到其他存儲介質,并保存在其他地方,當數(shù)據(jù)遭到意外損壞或者丟失時,再將保存的數(shù)據(jù)副本恢復到系統(tǒng)。
完善的備份必須在數(shù)據(jù)復制的基礎上,提供對數(shù)據(jù)復制的管理,徹底解決數(shù)據(jù)的備份與恢復問題。單純的數(shù)據(jù)復制無法提供文件的歷史記錄,也無法備份系統(tǒng)狀態(tài)等信息,不便于系統(tǒng)的完全恢復。
3.數(shù)據(jù)存儲硬件容錯
硬件容錯是指用冗余的硬件來保證系統(tǒng)的連續(xù)運行。硬件容錯的目的為了保證系統(tǒng)數(shù)據(jù)的可用性和不間斷運行,即保護系統(tǒng)的在線狀態(tài),保證數(shù)據(jù)可信且可用。數(shù)據(jù)備份則是將整個系統(tǒng)的數(shù)據(jù)或狀態(tài)保存下來,以便將來挽回因事故帶來的數(shù)據(jù)損失,保存的數(shù)據(jù)副本處于離線狀態(tài)。備份數(shù)據(jù)的恢復需要一定的時間,在此期間,系統(tǒng)往往是不可用的。
8.3.1備份與恢復的概念4.備份軟件
專業(yè)的數(shù)據(jù)備份是軟件級備份,即通過備份軟件,將系統(tǒng)數(shù)據(jù)保存到其他介質上,當系統(tǒng)出錯時可將系統(tǒng)恢復到備份時的狀態(tài)。5.數(shù)據(jù)庫備份和恢復
專業(yè)的數(shù)據(jù)備份是系統(tǒng)級的,能夠將數(shù)據(jù)從正在運行的數(shù)據(jù)庫文件中提取出來,實現(xiàn)在線備份。
8.3.1備份與恢復的概念6.專業(yè)備份系統(tǒng)的特性
(1)備份作業(yè)集中式管理。(2)跨平臺備份與恢復。(3)自動化備份與恢復。(4)大型數(shù)據(jù)庫的備份和恢復。(5)系統(tǒng)災難恢復。(6)節(jié)省系統(tǒng)資源和網絡帶寬。(7)備份設備和介質管理。(8)安全性與可靠性。
8.3.1備份與恢復的概念7.備份系統(tǒng)的邏輯結構主要用于從特定的系統(tǒng)中提取備份數(shù)據(jù)。操作系統(tǒng)、數(shù)據(jù)庫和備份任務都需要相應的備份源代理程序,獲得備份數(shù)據(jù)。
備份系統(tǒng)的邏輯結構包括以下三個部分:(1)備份源系統(tǒng)(2)備份管理器(3)備份目標系統(tǒng)用于管理和運行備份任務,提供備份用戶管理、作業(yè)調度管理、備份數(shù)據(jù)庫管理、備份跟蹤和審計及數(shù)據(jù)遷移等功能。備份管理器與備份源系統(tǒng)進行通信,并將來自源系統(tǒng)的數(shù)據(jù)傳送到目標系統(tǒng)。
主要完成把備份數(shù)據(jù)保存到不同備份介質的工作,提供備份設備管理和介質管理等功能。
8.3.1備份與恢復的概念8.3.2數(shù)據(jù)備份的類型1.數(shù)據(jù)備份分類
數(shù)據(jù)備份,一般可以劃分為以下類別:(1)根據(jù)備份設備與系統(tǒng)的相對位置可分為本地備份和遠程(異地)備份。(2)根據(jù)備份介質的不同可分為磁帶備份、磁盤備份和光盤備份等。(3)根據(jù)備份時間的不同,可分為即時備份(立刻進行備份)和定時備份。(4)根據(jù)備份的自動化程度,可分為手工備份和自動備份。自動備份包括按照備份時間計劃的定時自動備份和滿足備份條件的自動備份。(5)按照備份數(shù)據(jù)的在線狀態(tài)和備份的實時性,可分為冷備份(離線備份、非實時備份)和熱備份(在線備份、實時備份)。(6)根據(jù)備份對象,可分為文件備份和映像備份。(7)根據(jù)數(shù)據(jù)備份的網絡實現(xiàn)方式,可分為單機備份和網絡備份。
8.3.2數(shù)據(jù)備份的類型2.完全備份、增量備份和差異備份完全備份:對服務器上的所有數(shù)據(jù)進行完全備份,包括系統(tǒng)文件和數(shù)據(jù)文件。完全備份所需時間最長,但恢復時間最短,操作最方便。當系統(tǒng)中的數(shù)據(jù)量不大時,采用完全備份最可靠。增量備份:只對上一次備份后增加的和修改過的數(shù)據(jù)進行備份。其優(yōu)點很明顯,由于沒有重復的備份數(shù)據(jù),既節(jié)省磁盤空間,又縮短了備份時間。但是一旦發(fā)生災難,恢復數(shù)據(jù)則比較麻煩,因而實際應用中一般不采用這種方式。差異備份:對上一次完全備份(而不是上次備份)之后新增加的和修改過的數(shù)據(jù)進行備份。降低增量備份存儲空間不足的可能性;在恢復數(shù)據(jù)時,只需兩份數(shù)據(jù),一份是上一次完全備份,另一份是最新的差異備份8.3.2數(shù)據(jù)備份的類型3.單機備份和網絡備份(1)單機備份:備份設備(如磁盤、磁帶和光盤庫等)直接連接到網絡服務器上,形成基于主機的備份結構。這種備份系統(tǒng)較為簡單,備份系統(tǒng)直接將服務器硬盤上的數(shù)據(jù)保存到備份設備。目前流行的操作系統(tǒng)自帶的備份系統(tǒng)大多基于此種結構。如圖7.9所示,單機備份配置簡單,適合只有1~3臺服務器的網絡。(2)網絡備份。網絡備份支持基于網絡的數(shù)據(jù)備份和恢復功能。如圖7.10所示,對于有多臺服務器的網絡,部署專用的備份服務器,在其他服務器上部署備份代理軟件,使用專用的備份管理軟件將網絡上任一服務器的數(shù)據(jù)通過網絡集中備份到備份服務器上。8.3.2數(shù)據(jù)備份的類型3.單機備份和網絡備份圖8.9單機備份
圖8.10網絡備份網絡備份為整個網絡建立一套備份體系,能滿足實時備份、遠程數(shù)據(jù)保護及快速系統(tǒng)恢復等要求。網絡備份可進一步分為局域網備份和廣域網備份。局域網備份需要配置備份服務器和專業(yè)備份軟件,存儲設備和介質的管理維護負擔重,需專業(yè)技術人員,投資較大。廣域網備份提供遠程異地備份,備份數(shù)據(jù)遠離本地網絡現(xiàn)場,可降低安全風險,提高容災能力。
8.3.2數(shù)據(jù)備份的類型1.基于NDMP的NAS備份
NetworkAppliance和LegatoSystems兩個存儲廠商共同開發(fā)了NDMP(網絡數(shù)據(jù)管理協(xié)議),解決了文件服務器與備份設備的通信問題。如圖8.11所示,支持NDMP的NAS設備、NDMP磁帶機(磁帶庫)與備份服務器之間可以建立網絡連接。
圖8.11基于NDMP的NAS備份
8.3.3網絡存儲備份技術2.LAN-free備份
LAN-free備份是指釋放網絡資源的數(shù)據(jù)備份方式。在SAN架構中,LANfree備份的實現(xiàn)機制一般如圖8.12所示。備份數(shù)據(jù)只簡單地從LAN中“搬移到”SAN中,備份服務器向應用服務器發(fā)送指令和信息,指揮應用服務器將數(shù)據(jù)通過SAN直接從磁盤陣列中備份到磁帶庫中。
圖8.12基于SAN的LAN-free備份
8.3.3網絡存儲備份技術2.LAN-free備份實例8.3.3網絡存儲備份技術以太網客戶機客戶機客戶機Oracle數(shù)據(jù)庫服務器JBOSS服務器JBOSS服務器FS8600光纖磁盤陣列Web服務器BrocadeSilkworm3200Oracle數(shù)據(jù)庫服務器備份服務器客戶機SolarisSolarisLinuxLinuxSolarisWindowsMSSVCS數(shù)據(jù)庫數(shù)據(jù)庫卷復制數(shù)據(jù)庫快照DAA卷復制快照在線備份101010磁帶庫備份離線備份LanFreeBackupServer-lessBackup3.無服務器備份
無服務器備份是在LAN-free備份的基礎上的進一步改進,克服了LAN-free備份需要服務器參與的問題;從而全面釋放網絡和服務器資源,由SAN上獨立的備份管理系統(tǒng)把各個服務器的備份工作接管過來,在SAN的兩種存儲設備間(典型地是磁盤陣列與磁帶之間)實現(xiàn)數(shù)據(jù)的直接傳送。
8.3.3網絡存儲備份技術8.4網絡備份解決方案
8.4.1備份需求分析
某企業(yè)的網絡信息系統(tǒng)約有10多臺服務器,這些服務器中有一部分屬于重點保護對象。例如,郵件服務器、辦公自動化服務器、財務服務器、產品銷售服務器、生產計劃服務器等。這些重點保護服務器,一旦出現(xiàn)硬件故障、人為誤操作或軟件系統(tǒng)崩潰等導致數(shù)據(jù)丟失,將會給企業(yè)帶來不可估量的損失。因此,很有必要對服務器上的系統(tǒng)數(shù)據(jù)和數(shù)據(jù)庫進行在線備份,確保數(shù)據(jù)能在數(shù)據(jù)丟失或系統(tǒng)崩潰等情況發(fā)生后得到災難恢復。8.4網絡備份解決方案
8.4.2備份軟件選型
VERITAS公司的BackupExec軟件是一種多線程、多任務的C/S網絡備份管理解決方案。VERITAS的BackupExec備份管理軟件的特點:(1)穩(wěn)定性高。(2)高效性。(3)可擴展性。(4)易使用和維護。(5)集中式管理。(6)異構備份平臺的互操作。
8.4網絡備份解決方案
8.4.3備份方案設計1.網絡備份拓撲結構
圖8.13企業(yè)網絡備份拓撲結構
8.4網絡備份解決方案
2.備份軟件配置(1)備份主服務器①備份服務器軟件。②智能災難恢復選件IDR。③打開文件備份代理。(2)備份從服務器①打開文件備份代理。②智能災難恢復授權。③LotusDomino備份代理。④SQL數(shù)據(jù)庫代理。
BackupExec10.0NT/2000/2003ServerEdition(主模塊)1套,安裝在備份主服務器上,負責管理整個備份系統(tǒng)。BackupExec10.0NT/2000/2003IntelligentDisasterRecoveryOption1套,安裝在主服務器上,快速從備份磁帶庫恢復本地/遠程故障服務器的數(shù)據(jù)。BackupExec10.0NT/2000/2003OpenFileOptionwithClientAccessLicense1套,安裝在主服務器上,對打開的文件進行備份,無須對文件進行分組。BackupExec10.0NT/2000/2003OpenFileOptionwithClientAccessLicense5套。分別安裝在E-mail、OA、財務、銷售和生產服務器上,對這些服務器打開的文件進行備份,無須對文件進行分組。BackupExec10.0NT/2000/2003IntelligentDisasterRecoveryOption,AdditionalClientLicense5套。分別安裝在E-mail、OA、財務、銷售和生產服務器上,快速從備份磁帶庫恢復本地/遠程故障服務器的數(shù)據(jù)。BackupExec10.0NT/2000/2003LotusDominoServerAgentwithClientAccessLicense1套。安裝在基于LotusDomino的OA服務器上,在線備份LotusDomino數(shù)據(jù)庫。支持LotusDominov4.5及更高版本。BackupExec10.0SQLServer7.0/2000AgentwithClientAccessLicense4套。安裝在E-mail、財務、銷售和生產服務器上,完全保護SQLServer2000數(shù)據(jù)庫。支持單一表備份、文件組備份,可以實現(xiàn)在線備份用戶數(shù)據(jù)庫。8.4網絡備份解決方案
3.網絡備份功能在企業(yè)網絡中實施集中式管理,分布式備份,使得所有需要備份數(shù)據(jù)均能備份到磁帶自動加載機或組服務器的磁盤陣列。Archive/retrieveLANWANSANBackup/restoreMigrate/recall集中的數(shù)據(jù)存儲管理8.4網絡備份解決方案
8.4.4備份操作策略備份策略制訂,要考慮在什么備份時間(如凌晨3:00),將什么備份內容(如財務數(shù)據(jù)庫),以何種備份方式(全備份或差分備份),通過哪組備份通道(以組為單位的磁帶驅動器或磁盤塊),備份到哪一個磁帶組或磁盤陣列。備份方式可以靈活應用全備份、增量備份和差分備份3種方式。8.5使用BackupExec進行網絡備份采用BackupExec的網絡備份方案實例(1)以太網客戶機客戶機客戶機WindowsWindowsWindowsWindowsWindowsWeb服務器專利檢索服務器專利檢索服務器DS6107磁盤陣列7x73GB360GBOracle數(shù)據(jù)庫服務器RAID5+Spare200GBOracle數(shù)據(jù)庫服務器VERITASVERITAS8.5使用BackupExec進行網絡備份采用BackupExec的網絡備份方案實例(2)以太網客戶機客戶機客戶機Oracle數(shù)據(jù)庫服務器JBOSS服務器JBOSS服務器FS8600光纖磁盤陣列Web服務器BrocadeSilkworm3200Oracle數(shù)據(jù)庫服務器備份服務器客戶機SolarisSolarisLinuxLinuxSolarisWindowsMSSVCS數(shù)據(jù)庫數(shù)據(jù)庫卷復制數(shù)據(jù)庫快照DAA卷復制快照在線備份101010磁帶庫備份離線備份LanFreeBackupServer-lessBackupVERITASVERITASVERITAS8.5使用BackupExec進行網絡備份8.5.1安裝和啟動BackupExec
使用安裝向導在本地介質服務器(備份主服務器)上安裝BackupExec。具體步驟如下:(1)運行Browser.exe文件,選擇安裝VERITASBackupExec。如圖7.14所示.圖8.14服務器安裝對話框
8.5.1安裝和啟動BackupExec(2)輸入序列號操作。如果要使用評估版,就可不輸入序列號。鼠標左鍵單擊“下一步”按鈕繼續(xù)。
(3)檢查安裝特性。出現(xiàn)如圖8.15所示的對話框時,可以選擇要安裝的本地功能。鼠標左鍵單擊“下一步”按鈕繼續(xù)。
圖8.15檢查安裝特性對話框
8.5.1安裝和啟動BackupExec(4)輸入管理員賬號和密碼。出現(xiàn)如圖7.16所示的對話框時,要輸入本服務器的管理員賬號和密碼。鼠標左鍵單擊“下一步”按鈕繼續(xù)。(5)創(chuàng)建用來存儲BackupExec數(shù)據(jù)庫的實例。出現(xiàn)如圖8.17所示的對話框時,可以在本地計算機上安裝MicrosoftSQLServer2000DesktopEngine組件,也可以選擇網絡上現(xiàn)有的SQLServer2000實例存儲數(shù)據(jù)庫。鼠標左鍵單擊“下一步”按鈕繼續(xù)。8.5.1安裝和啟動BackupExec
圖8.16輸入管理員賬號和密碼對話框8.5.1安裝和啟動BackupExec
圖8.17安裝SQLServer2000實例對話框
8.5.1安裝和啟動BackupExec(6)VERITAS磁帶設備驅動程序選擇。出現(xiàn)“VERITAS磁帶設備驅動程序”對話框,如圖7.18所示,建議選擇默認“所有的磁帶設備使用VERITAS設備驅動程序”。鼠標左鍵單擊“下一步”按鈕繼續(xù)。(7)根據(jù)向導提示,選項設置完后,會出現(xiàn)BackupExec安裝回顧對話框,鼠標左鍵單擊“下一步”按鈕,開始安裝,如圖7.19所示。安裝完成后重新啟動計算機。8.5.1安裝和啟動BackupExec圖8.18VERITAS磁帶設備驅動程序對話框
8.5.1安裝和啟動BackupExec圖8.19
BackupExec安裝過程對話框
8.5.1安裝和啟動BackupExec(8)從“程序”菜單選擇“VERITASBackupExecforWindowsServers”啟動BackupExec。第一次運行BackupExec時,將出現(xiàn)“首次啟動向導”對話框,如圖7.20所示。由該向導引導管理員快速配置以下BackupExec選項。完成向導后,將出現(xiàn)如圖7.21所示的“BackupExec管理控制臺”界面。圖8.20首次啟動向導對話框圖8.21BackupExec管理控制臺界面
8.5.2安裝和啟動BackupExec服務器代理
安裝了RemoteAgent的遠程系統(tǒng)基本上可像本地系統(tǒng)一樣進行備份及恢復操作。具體的講,有兩種安裝方法:第一種是使用Windows命令行在遠程服務器上安裝RemoteAgent,步驟如下:將介質服務器上的ProgramFiles\VERITAS\BackupExec\NT\Agents\RANT32目錄共享給遠程服務器。在遠程服務器上將驅動器盤符映射到上述共享目錄。打開命令提示符,切換到上述已映射的驅動器盤符。運行命令setup.exe/RANT32:-s完成安裝。
8.5.2安裝和啟動BackupExec服務器代理
第二種將RemoteAgent安裝到遠程Windows服務器上。
(1)在圖8.14中選擇“遠程安裝”,進入遠程安裝向導。根據(jù)向導提示進入如圖8.22所示的對話框,用鼠標右鍵單擊“WindowsRemo
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年電子顯示屏廣告租賃合同樣本3篇
- 二零二五版代辦房地產前期開發(fā)手續(xù)與建筑工程質量檢測服務合同3篇
- 二零二五年采棉機駕駛員職業(yè)素養(yǎng)提升與勞動合同3篇
- 二零二五版能源行業(yè)凍庫租賃合同含能源物資儲備協(xié)議3篇
- 二零二五年酒店客房部服務員勞動合同書3篇
- 天津事業(yè)單位2025年度合同制聘用人員管理規(guī)范3篇
- 二零二五年度裝修合同范本:環(huán)保裝修保障您的生活品質6篇
- 二零二五版地產經紀居間合同糾紛處理指南3篇
- 二零二五版彩鋼室內隔斷安裝工程合同2篇
- 二零二五版二手車買賣與二手車配件銷售合同3篇
- 【公開課】同一直線上二力的合成+課件+2024-2025學年+人教版(2024)初中物理八年級下冊+
- 高職組全國職業(yè)院校技能大賽(嬰幼兒照護賽項)備賽試題庫(含答案)
- 2024年公安部直屬事業(yè)單位招聘筆試參考題庫附帶答案詳解
- 健康教育工作考核記錄表
- 裝飾工程施工技術ppt課件(完整版)
- SJG 05-2020 基坑支護技術標準-高清現(xiàn)行
- 汽車維修價格表
- 司爐崗位應急處置卡(燃氣)參考
- 10KV供配電工程施工組織設計
- 終端攔截攻略
- 藥物外滲處理及預防【病房護士安全警示教育培訓課件】--ppt課件
評論
0/150
提交評論