賽門鐵克綜合產(chǎn)品解決方案_第1頁
賽門鐵克綜合產(chǎn)品解決方案_第2頁
賽門鐵克綜合產(chǎn)品解決方案_第3頁
賽門鐵克綜合產(chǎn)品解決方案_第4頁
賽門鐵克綜合產(chǎn)品解決方案_第5頁
已閱讀5頁,還剩86頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、賽門鉄克金融行業(yè)解決方案 1 2 議程議程 2 金融行業(yè)數(shù)據(jù)中心解決方案1 Symantec業(yè)務(wù)連續(xù)性解決方案2 虛擬化環(huán)境下數(shù)據(jù)管理解決方案3 金融行業(yè)數(shù)據(jù)中心解決方案金融行業(yè)數(shù)據(jù)中心解決方案 3 新技術(shù)浪潮下數(shù)據(jù)中心的存儲發(fā)展趨勢 4 基礎(chǔ)架構(gòu)的規(guī)模擴大 存儲一直保持最高的增長率 存儲的衍生成本不斷膨脹 主機虛擬化增加了存儲壓力 大量非結(jié)構(gòu)化數(shù)據(jù)爆炸性增長 數(shù)據(jù)的冗余在增加 數(shù)據(jù)分級工具不足以支撐存儲分 級和或改善總體擁有成本 數(shù)據(jù)中心的復(fù)雜性增加 平臺種類不斷增加 資源分布缺乏可視性 建設(shè)預(yù)算不斷受到限制 Do more with less 大量部署虛擬桌面 Performance dr

2、ain Storage Foundation幫助數(shù)據(jù)中心克服存儲挑戰(zhàn) 5 控制成本 提高資源利用效率 減少設(shè)備采購成本 掌控復(fù)雜性 集中化,跨平臺, 端到端的資源視圖 和部署 消除停機 針對業(yè)務(wù)的持續(xù)性 保護 適應(yīng)私有云 利用現(xiàn)有資產(chǎn)完成 向云的變遷 Storage Foundation存儲虛擬化: 多種企業(yè)應(yīng)用, 所有主流平臺, 任何存儲硬件 6 SF 消除無效冗余 自動化業(yè)務(wù)恢復(fù) 本地,城域,異地 提升應(yīng)用恢復(fù)速度優(yōu)化數(shù)據(jù)庫存儲可用性 Cluster File System High Availability VCS SF VCS SF VCS SF SFRAC & SFSYBCE DMP

3、 減少采購成本 通過 Veritas Operations Manager集中控制 通過SF有效管理陣列設(shè)備的生命周期 7 通過在線存儲遷移 來不斷整合硬件設(shè) 備 通過DMP讓客戶以 最小成本實現(xiàn)存儲 異構(gòu) 通過存儲部署模板 實現(xiàn)自動化存儲分 配 通過壓縮和消重技 術(shù)提高“非結(jié)構(gòu)化” 數(shù)據(jù)的存儲利用率 讓存儲“精簡配置” 能夠真正為客戶所 用 Centralized Management and Reporting Native OS stack 文件系統(tǒng) 邏輯卷設(shè)備管理 集群和業(yè)務(wù)HA關(guān)系 虛擬化平臺 現(xiàn)有存儲環(huán)境的發(fā)現(xiàn),報告及有效管理 8 通過端到端的完整視圖 來加速運維操作和投資 決策

4、Site 1 Site 3 Site 2 Veritas Operations Manager Advanced Veritas Operations Manager SF / VCS / DMP / AppHA 通過自動化作業(yè)來消除 人為的操作失誤 通過實時,持續(xù)的資源 報表監(jiān)控來提高存儲資 源使用效率 一個解決方案,涵蓋從業(yè)務(wù)高可用到業(yè)務(wù)容災(zāi)一個解決方案,涵蓋從業(yè)務(wù)高可用到業(yè)務(wù)容災(zāi) 城域 HA (Stretch Cluster) 廣域DR (Global Cluster) 本地 HA SAPSAP SAP APP 4APP 3APP 2APP 1APP 4APP 3APP 2APP 1 異

5、步復(fù)制 文件級復(fù)制 同步復(fù)制 雙活鏡像 Global Clustering 9 應(yīng)用高可靠應(yīng)用高可靠 自動化實現(xiàn)應(yīng)用級的 切換,提高反應(yīng)速度, 減少人為失誤 和業(yè)界主流的數(shù)據(jù)復(fù) 制解決方案深度集成 一個解決方案,部署 一次,適應(yīng)全部場景 智能邏輯判斷,與工 作流和BCP集成 經(jīng)典意義上的存儲管理內(nèi)容經(jīng)典意義上的存儲管理內(nèi)容 1 0 物理磁盤/ LUNs Volume Application 將多個物理磁盤對象整合成一個虛擬對象 卷管理系統(tǒng)的任務(wù)是創(chuàng) 建一個數(shù)據(jù)存儲的虛擬 層 對于上層應(yīng)用而言,”卷” 就像一個物理的磁盤分 區(qū)一樣 對于系統(tǒng)而言,”卷”表現(xiàn) 為一個在/dev樹下的 “塊設(shè)備”和“

6、字符設(shè) 備” : /dev/vx/rdsk/ 我們把文件系統(tǒng)也當作 一種特殊類型的應(yīng)用 存儲的管理 創(chuàng)建卷 增加,縮小卷的空間 掛接到不同主機 卷的日常操作 為卷增加或移出磁盤 數(shù)據(jù)的復(fù)制、拷貝和遷移 鏡像/分割 物理層管理 LUN映射 冗余鏈路管理 I/O負載均衡 由簡至繁由簡至繁不斷成長的系統(tǒng)需求不斷成長的系統(tǒng)需求 Symantec Corporate Overview 1 1 U S ER APPL IC A TIO N S User Applications OS DRIVERS DMP VxFS VxVM Kernel HBAHBA SWITCHSWITCH 1 2 3 4 5 fc

7、fcfc fcfcipipip 后臺存儲資源 ipfc fcfcfcfcfcfcfc 應(yīng)用系統(tǒng) 文件系統(tǒng)/數(shù)據(jù)庫 邏輯卷管理 存儲鏈路管理 磁盤驅(qū)動管理 存儲拓撲管理 在線存儲部署變更:提高存儲使用率在線存儲部署變更:提高存儲使用率 業(yè)務(wù)系統(tǒng)的存儲資源池業(yè)務(wù)系統(tǒng)的存儲資源池 APP1APP2 EMC FS/DB LUN VOL FS/DB 600GB VOL 240GB 500GB 邏輯存儲結(jié)構(gòu)在線調(diào)整 對存儲容量再分配 推遲購買計劃 降低總擁有成本 易管理易管理-在線虛擬化管理:在線存儲空間回收在線虛擬化管理:在線存儲空間回收 最新的雙機構(gòu)架技術(shù)最新的雙機構(gòu)架技術(shù) 雙陣列,雙陣列, Stor

8、age Foundation EMC/HDS 特點:特點: 新增的陣列與原來的陣列對稱地光纖連接到SAN 交換機上。 服務(wù)器上安裝的SF軟件將兩個陣列做成鏡像卷, 應(yīng)用所有的寫I/O同時寫到兩個陣列上。 當任何陣列有問題時,SF自動將其剃掉,讓應(yīng)用 繼續(xù)運行,沒有任何業(yè)務(wù)停機。 小型機小型機/ HA軟件軟件 實連接實連接 StorageFoundation軟件軟件 快照:提快照:提高應(yīng)用系統(tǒng)快速恢復(fù)能高應(yīng)用系統(tǒng)快速恢復(fù)能力力 現(xiàn)有系統(tǒng)隱患 系統(tǒng)不斷變化可能會破壞數(shù)據(jù) 磁帶備份的恢復(fù)會帶來比較長的停機時間 優(yōu)化方案 建立數(shù)據(jù)快照,防范物理和邏輯故障 快照的數(shù)據(jù)隨時可用,縮短恢復(fù)時間 數(shù)據(jù)快照也可

9、以用來做測試、統(tǒng)計分析 快照快照 Storage Foundation EMC DMXSATA 1 5 跨陣列數(shù)據(jù)快照:直接降低存儲硬件成本跨陣列數(shù)據(jù)快照:直接降低存儲硬件成本 業(yè)務(wù)數(shù)據(jù)50TB, 3個數(shù)據(jù)快照是150TB 硬件成本: 50TB*10萬/TB+150TB*10萬/TBRMB2000萬 如果快照采用中端陣列,5萬/TB, 成本是: 50TB*10萬/TB+150TB*5萬/TBRMB1250萬 節(jié)省:RMB750萬,約37.5% 電力節(jié)省 生產(chǎn)服務(wù)器生產(chǎn)服務(wù)器 其他服務(wù)器其他服務(wù)器 卷快照卷快照 1.將快照卷加入生產(chǎn)卷同步 2.分離快照 3.快照備用于快速恢復(fù)或用于備份、分析 4

10、.周期性同步回去 生產(chǎn)生產(chǎn) 動態(tài)存儲分層技術(shù)(動態(tài)存儲分層技術(shù)(DST) 1 7 多卷文件系統(tǒng)多卷文件系統(tǒng) 卷卷1 1卷卷2 2卷卷1 1卷卷2 2卷卷3 3卷卷1 1卷卷2 2 /mount_point/mount_point Tier1Tier1Tier2Tier2 Tier3Tier3 高端存儲高端存儲中檔存儲中檔存儲入門級存儲入門級存儲 策略策略 HP-UXSolarisAIXLinux 1.Solaris: 記錄數(shù)據(jù) 2.HP-UX: 批處理數(shù)據(jù) 3.AIX: 數(shù)據(jù)倉庫裝載 4.Linux: 備份 簡單的串行處理 簡單的數(shù)據(jù)遷移 易管理易管理-異構(gòu)操作系統(tǒng)平臺的數(shù)據(jù)共享異構(gòu)操作系統(tǒng)平

11、臺的數(shù)據(jù)共享 Portable Data Containers 賽門鐵克集群文件系統(tǒng)賽門鐵克集群文件系統(tǒng)SFCFS 集群心跳網(wǎng)絡(luò)集群心跳網(wǎng)絡(luò) 1 服務(wù)器服務(wù)器 公網(wǎng)公網(wǎng) SAN 集群心跳網(wǎng)絡(luò)集群心跳網(wǎng)絡(luò) 2 Mysql 邏輯依賴關(guān)系 LVS ftp http 共享存儲 一種心跳互連,一種心跳互連, 多個心跳互連冗多個心跳互連冗 余(增加可靠性)余(增加可靠性) IO Fencing實實現(xiàn)數(shù)據(jù)可現(xiàn)數(shù)據(jù)可靠性保靠性保證證 CFS CVM 物理盤陣或物理盤陣或 邏輯盤陣邏輯盤陣 SFCFS 傳統(tǒng)的應(yīng)用架構(gòu)傳統(tǒng)的應(yīng)用架構(gòu) 4 x 500GB ISLANDS = 2TB 3412 P R O D SFC

12、FS對存儲架構(gòu)的優(yōu)化對存儲架構(gòu)的優(yōu)化 共享存儲架構(gòu)共享存儲架構(gòu) 集群文件系統(tǒng)及高可用集群文件系統(tǒng)及高可用 存儲共享存儲共享 高擴展性高擴展性Seamless scalability 集中管理集中管理 提升存儲和服務(wù)器使用效率提升存儲和服務(wù)器使用效率 500GB POOL S P A R E 傳統(tǒng)文件系統(tǒng)傳統(tǒng)文件系統(tǒng) 在整體業(yè)務(wù)流程中存在多份數(shù)據(jù)拷貝在整體業(yè)務(wù)流程中存在多份數(shù)據(jù)拷貝 導(dǎo)致存儲利用率低下導(dǎo)致存儲利用率低下 Active-Standby 的高可用保護導(dǎo)致的高可用保護導(dǎo)致 服務(wù)器使用效率低下服務(wù)器使用效率低下 P O S T P R O C P O S T P R O C P O S

13、T P R O C P R O D P O S T P R O C P O S T P R O C P O S T P R O C S P A R ES P A R ES P A R ES P A R E CFS 工作原理工作原理 OS DRIVERS VXDMP Kernel Land GLM ports f, q CVM VM/CVM OS DRIVERS VXDMP LLT GAB NETWORK INTERFACES bd bd bd bd LLT GAB lock data bb co nf ig dco nf ig dbco nf igbco nf ig dbco nf igb c

14、o nf ig dco nf ig dbco nf igbconf ig dbco nf igb co nf ig dco nf ig dbco nf igbco nf ig dbco nf igb co nf ig dco nf ig dbco nf igbconf ig dbco nf igb FS/CFS ports f, q node node PRIVATE NETWORK VM/CVM OS DRIVERS VXDMP GLM FS/CFS VM/CVM Kernel Land Switch 節(jié)點間鎖的申請和釋放通過節(jié)點間鎖的申請和釋放通過GAB 和和 LLT Group Lock

15、 Manager 實現(xiàn)鎖的全局管理實現(xiàn)鎖的全局管理 Metadata Update and Data to File System Metadata Update and Data to File System Failed Server Active Server 2 2 SFCFS 實現(xiàn)應(yīng)用快速切換:實現(xiàn)應(yīng)用快速切換: 傳統(tǒng)傳統(tǒng)HA環(huán)境下的文件系統(tǒng)環(huán)境下的文件系統(tǒng) 不采用集群文件系統(tǒng) Active Server Passive Server 1 檢測到錯誤 2 卸載文件系統(tǒng) 3 卸載磁盤組 4 加載磁盤組 5 加載文件系統(tǒng) 6. 啟動應(yīng)用 7. 客戶端重新連接 Client 恢復(fù)時間為分鐘

16、,小時級 恢復(fù)步驟恢復(fù)步驟 Failed Server 2 3 SFCFS 實現(xiàn)應(yīng)用快速切換:實現(xiàn)應(yīng)用快速切換: 普通普通Oracle數(shù)據(jù)庫在集群文件系統(tǒng)下的切換數(shù)據(jù)庫在集群文件系統(tǒng)下的切換 采用CFS HA Active Server Client Active Server Passive Server 實際效果: 恢復(fù)實際縮短90% CFS 恢復(fù)步驟恢復(fù)步驟 1 檢測到錯誤 2 卸載文件系統(tǒng) 3 卸載磁盤組 4 加載磁盤組 5 加載文件系統(tǒng) 6. 啟動應(yīng)用 7. 客戶端重新連接 Cluster Heartbeats VCS CVM Mirroring RPO=0 自動切換 節(jié)約硬件成本

17、支持容災(zāi)演習(xí) 陣列本地讀優(yōu)先 技術(shù)限制: 距離在80 公里內(nèi); 需要設(shè)定IO fencing的策略 SFCFS的擴展:城域共享文件系統(tǒng)的擴展:城域共享文件系統(tǒng) Veritas Cluster ServerStretch Cluster w CVM CVMCVM 集群文件系統(tǒng)的可靠性分析集群文件系統(tǒng)的可靠性分析 服務(wù)器損壞服務(wù)器損壞:要求其他系統(tǒng)做文件系統(tǒng) 恢復(fù),這就要求集群文件系統(tǒng)是一種基于 日志的文件系統(tǒng)。上層應(yīng)用也可以根據(jù)邏 輯進行切換。 鏈路損壞鏈路損壞:Dynamic Multi-Pathing (DMP) 實現(xiàn)多路徑負載均衡 ,路徑 故障切換 存儲損壞存儲損壞:集群文件系統(tǒng)應(yīng)可以對存

18、儲的邏 輯卷進行冗余保護 心跳互連損壞:心跳互連損壞:當互連損壞時,其他節(jié)點無 法判定是互連壞了還是服務(wù)器壞了,集群文 件系統(tǒng)必須有一種機制來區(qū)分這兩種情況, 否則就有數(shù)據(jù)損壞的危險,這種情況稱之為 腦裂。 仲裁盤:仲裁盤:Quorum的機制在于當出現(xiàn)互連損 壞,出現(xiàn)多個集群時,只有具有一半以上節(jié) 點的那個分離集群能夠存活。如果仲裁盤失 效將造成集群仲裁失敗,所有集群無法存活 多塊仲裁盤:多塊仲裁盤:仲裁盤的冗余,同時多個仲裁 盤的機制可以保證多數(shù)節(jié)點集群存活。 I/O Fencing技術(shù),磁盤仲裁技術(shù)的高級應(yīng)技術(shù),磁盤仲裁技術(shù)的高級應(yīng) 用,防止用,防止Panic集群再次造成腦裂或破壞數(shù)集群再

19、次造成腦裂或破壞數(shù) 據(jù)。(無需額外的硬件或軟件代理)據(jù)。(無需額外的硬件或軟件代理) 備用心跳:備用心跳:冗余的互連心跳可 以極大的提高集群的可靠性, 而且心跳網(wǎng)卡成本低,ROI很高! 所有心跳徹底失效所有心跳徹底失效: 需要其他方式防止腦裂發(fā)生! 2 5 Oracle Disk Manager 2 6 支持支持Oracle Disk Manager接口接口 Buffer Cache Disk I/O path ODMBuffer Cache System Global Area File System 具有裸設(shè)備I/O性能 避免重復(fù)的緩存 避免文件描述符消耗 減少系統(tǒng)調(diào)用 2 7 SFRAC

20、 對對 Oracle 數(shù)據(jù)的多種備份保護選擇數(shù)據(jù)的多種備份保護選擇 遠程復(fù)制遠程復(fù)制數(shù)據(jù)庫快照數(shù)據(jù)庫快照文件系統(tǒng)檢查點快照文件系統(tǒng)檢查點快照 NEW JERSEY SAN FRANCISCO 9am11am x Rollback 10am production test/dev 即時文件系統(tǒng)快照 用于快速恢復(fù) 無需磁帶恢復(fù) 全庫克隆 保持數(shù)據(jù)庫在線 提供OHP功能 基于IP復(fù)制 自動切換 保持數(shù)據(jù)一致性 HA 1 2 2 3 IBMHDS IPIP網(wǎng)網(wǎng) 3.保證數(shù)據(jù)有序被復(fù)制 2.無硬件鎖定 5.故障恢復(fù)增量同步 4.豐富的初始同步機制 SF VVR 數(shù)據(jù)異步復(fù)制:數(shù)據(jù)異步復(fù)制: 7.實現(xiàn)應(yīng)用

21、級數(shù)據(jù)一致 SRL 卷卷 HA 4 5 2 V V R V V R 1.基于主機的解決方案 6.提供數(shù)據(jù)驗證 同城災(zāi)備中心同城災(zāi)備中心 集成的集成的 HA/DR 方案方案 異地災(zāi)備中心異地災(zāi)備中心 異步復(fù)制異步復(fù)制 高可用高可用 VCS 生產(chǎn)中心生產(chǎn)中心 快照快照 備份備份 同城集群同城集群 RAC 復(fù)制復(fù)制 集中管理集中管理 同城鏡像同城鏡像 Bunker 復(fù)制復(fù)制 廣域集群廣域集群 3 0 Storage Foundation 整體解決方案的價值整體解決方案的價值 Concatenate Mirror ProtectionAdministration GrowMigrate Arrays

22、Copy Replicate Snapshot SliceMigrate OS UnixLinux Online Defrag Clustered File System Tier Storage $ CheckpointChange Log Performance Stripe Multi-path Quick I/OODM 全新備份架構(gòu)全新備份架構(gòu) 3 1 NetBackup Appliances備份一體機備份一體機 終端到終端的重復(fù) 數(shù)據(jù)刪除的完整備 份解決方案,從 4TB到192TB的擴 展能力; 選擇加密備份in- flight and/or at- rest SymantecTM

23、V- Ray技術(shù)提供虛擬 環(huán)境的獨特的可視 性 OST 云備份 全面全面 賽門鐵克提供的軟 件,硬件,服務(wù)和 支持 易于購買和實施預(yù) 裝軟件 單一供應(yīng)商的支持 和服務(wù) 易用易用 可以在主站點和/ 或遠端站點使用 災(zāi)備選項:云備份 或支持導(dǎo)出到磁帶 光纖通道和以太網(wǎng) 連接 重復(fù)數(shù)據(jù)刪除在源 或目標和內(nèi)聯(lián)或后 處理 靈活靈活 企業(yè)級硬件 基于磁盤的解決方 案,RAID 6配置 硬件監(jiān)控和回撥功 能 冗余風(fēng)扇,電源供 應(yīng)器 災(zāi)備準備就緒:支 持AIR功能 可靠可靠 NetBackup Appliances提供市場領(lǐng)先的數(shù)據(jù)保護解決方案, NetBackup,以一種更易于管理和使用的形態(tài),更適于于 數(shù)

24、據(jù)中心和遠程辦公室等環(huán)境 3 2 NetBackup Appliances 提供多種的聯(lián)接方式提供多種的聯(lián)接方式 Dedupe processing 1GigE Extend the life of existing infrastructure Ideal transport for source/client dedupe Grow from 1GigE using port bonding 10GigE Ready for new IP infrastructure Suitable for target deduplication of large clients Grow from

25、10GigE using port bonding 8Gb FC Extend the life of existing Infrastructure Replace physical/virtual tape libraries Minimize backup impact to SAN hosts SAN Clients LAN Clients (target) NetBackup 5220 LAN Clients (source) 3 3 Fiber Channel / SAN 1/10 GigE Dedupe over IP LAN-Free備份區(qū)域備份區(qū)域 備份服務(wù)器備份服務(wù)器 備份

26、服務(wù)器備份服務(wù)器 云備份系統(tǒng)架構(gòu)云備份系統(tǒng)架構(gòu) LAN備份區(qū)域備份區(qū)域 VTL SAN 總行總行 LAN備份區(qū)域備份區(qū)域 VTL SAN LAN-Free備份區(qū)域備份區(qū)域 災(zāi)備災(zāi)備 集中管理器集中管理器 有限帶寬廣域網(wǎng)有限帶寬廣域網(wǎng) 備份服務(wù)備份服務(wù) 器器 LAN備份區(qū)域備份區(qū)域 VTL SAN LAN-Free備份區(qū)域備份區(qū)域 分行分行N 消重服務(wù)器消重服務(wù)器 備份服務(wù)備份服務(wù) 器器 LAN備份區(qū)域備份區(qū)域 VTL SAN LAN-Free備份區(qū)域備份區(qū)域 分行分行1 消重服務(wù)器消重服務(wù)器 備份服務(wù)備份服務(wù) 器器 LAN備份區(qū)域備份區(qū)域 VTL SAN LAN-Free備份區(qū)域備份區(qū)域 分行

27、分行2 消重服務(wù)器消重服務(wù)器 消重服務(wù)器消重服務(wù)器 消重服務(wù)器消重服務(wù)器 3 4 Auto Image Replication (AIR) 原理原理 3 5 源備份域源備份域 Master Server 目標備份域目標備份域 MSDP image replication NetBackup Storage Lifecycle Polices control the replication from Domain A to Domain B and once the image is automatically imported by Policy, the Domain B copy is m

28、anaged by that domain Image Image Image 優(yōu)化復(fù)制優(yōu)化復(fù)制 Client 備份備份 MSDP Media Server MSDP Media Server 復(fù)制復(fù)制 自動導(dǎo)入自動導(dǎo)入Image Master Server SAN CLIENT第二代第二代LAN Free技術(shù)技術(shù) The SAN Client uses a normal (Initiator Mode) HBA port The Media Server must be prepared as a Fibre Transport (FT) Media Server Requires spec

29、ial driver, QLogic QLA-2340/2342/2344 HBA Only Linux and Solaris (Sparc) supported with initial release SAN Client data is transferred via FT pipe, Metadata via LAN 3 6 Target Mode Driver Initiator Mode Driver Fiber Transport Pipe Backup Storage SAN Client FT Media Server To FSM on EMM Server SAN CL

30、IENT第二代第二代LAN Free技術(shù)技術(shù) 3 7 FC DB Server SAN Client File Server SAN Client App Server SAN Client FC FC FC NBU 5220 FC Standard FT Media Server IP FC DiskOpenStorage Devices FC NBU Master Server PureDisk Storage Unit IPIP Symantec FileStore Symantec FileStore FC FC NBU MSDP 業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 3 8 面臨面臨的的挑戰(zhàn)挑戰(zhàn) 系

31、統(tǒng)故障 監(jiān)監(jiān)控手段單一控手段單一 缺少與業(yè)務(wù)關(guān)聯(lián)性缺少與業(yè)務(wù)關(guān)聯(lián)性 無法確定影響范圍無法確定影響范圍 邏輯故障 缺少監(jiān)控手段缺少監(jiān)控手段 故障定位困難故障定位困難 無法確定影響范圍無法確定影響范圍 外圍故障 備份系統(tǒng)故障影響備份系統(tǒng)故障影響 生產(chǎn)系統(tǒng)生產(chǎn)系統(tǒng) 備份系統(tǒng)與生產(chǎn)系備份系統(tǒng)與生產(chǎn)系 統(tǒng)緊耦合統(tǒng)緊耦合 很難避免很難避免 修復(fù)時間長 故障發(fā)現(xiàn)不及時故障發(fā)現(xiàn)不及時 故障點定位困難故障點定位困難 修復(fù)過程過多依賴修復(fù)過程過多依賴 手工操作手工操作 3 9 主動識別風(fēng)險主動識別風(fēng)險 以業(yè)務(wù)視角監(jiān)控系統(tǒng)運行狀態(tài) 能夠根據(jù)不同應(yīng)用定義關(guān)鍵KPI 當監(jiān)控到KPI值異常時主動預(yù)警 主動報告風(fēng)險點可能影

32、響的范圍 4 0 快速定位故障點快速定位故障點 能夠快速準確的定位故障點 對業(yè)務(wù)系統(tǒng)內(nèi)的IT元素進行監(jiān)控 當發(fā)現(xiàn)故障時能夠觸發(fā)相應(yīng)動作 確定故障對業(yè)務(wù)的影響程度 4 1 APAAPAAPAAPAAPAAPAAPA SQLSQLSAPSAPSAPIISIIS SQLSQLAPAAPAAPAIISIIS ORAORAORA SybaseSybaseSAPSAP WLSWLSWLSWLSWASWASWAS ORAORAORA SybaseSybaseSybaseSybase 確定業(yè)務(wù)影響范圍確定業(yè)務(wù)影響范圍 4 2 Trading Application 一個業(yè)務(wù)服務(wù)內(nèi)部 各個應(yīng)用系統(tǒng)之間 的相互依

33、賴關(guān)系 單一應(yīng)用系統(tǒng)中的 各子系統(tǒng)層面的依 賴關(guān)系 單個主機系統(tǒng)中各 IT元素的相互依賴 關(guān)系 實現(xiàn)不同平臺間統(tǒng) 一管理 WEBWEBWEB APPAPP DB Oracle Disk Group Log Volume Mount Netlsnr NIC IP Data Volume Mount 復(fù)制復(fù)制 快速切換快速切換 盡可能避免不需要的人為干預(yù) 以業(yè)務(wù)為單位進行切換動作 根據(jù)故障類型按照指定好的預(yù)案 進行自動切換 特殊情況根據(jù)資源使用情況給出 建議的切換路徑 4 3 Symantec 對業(yè)務(wù)連續(xù)性的支持對業(yè)務(wù)連續(xù)性的支持 4 4 容錯 高可用 容災(zāi)管理 SF 跨陣列鏡像跨陣列鏡像 資源關(guān)

34、聯(lián)資源關(guān)聯(lián) 應(yīng)用關(guān)聯(lián)應(yīng)用關(guān)聯(lián) 跨陣列快照跨陣列快照 切換模擬切換模擬 容災(zāi)檢查容災(zāi)檢查 跨陣列復(fù)制跨陣列復(fù)制 快速切換快速切換 統(tǒng)一控制統(tǒng)一控制 多路徑管理多路徑管理 SF for Oracle RAC SF for Sybase CE 策略定義策略定義 集群文件系統(tǒng)集群文件系統(tǒng) 高可用性高可用性 VCS SF VCS SF VCS SF SFRAC 和和 SFSYBCE Symantec業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 監(jiān)控監(jiān)控 4 5 SERVER Free FreeVirtual Storage Pools File System/Volume DB Tablespace ARRAY Replica

35、tionSnap 對關(guān)鍵KPI值進行監(jiān)控 詳細的IT元素監(jiān)控 建立各IT元素之間依賴 關(guān)系 快速故障發(fā)現(xiàn)與定位 根據(jù)依賴關(guān)系確定故障 影響范圍 NIC IP Process KPI Symantec業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 全局管理全局管理 4 6 Site 1 本地集群本地集群 Native OS stack w/agentless Site 3 Site 2 Veritas Operations Manager File Systems Volume Management Clustering Hypervisors 集中管理集中管理 以業(yè)務(wù)視角端到端展 示系統(tǒng)運行狀態(tài) 通過自動化作業(yè)來消 除

36、人為的操作失誤 不同平臺統(tǒng)一監(jiān)控管不同平臺統(tǒng)一監(jiān)控管 理,本地集群與容災(zāi)理,本地集群與容災(zāi) 系統(tǒng)統(tǒng)一管理系統(tǒng)統(tǒng)一管理 Symantec業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 建立業(yè)務(wù)視圖建立業(yè)務(wù)視圖 4 7 Database Application Web server Billing DB FSIP VVR Service Group appappapp App IP Service Group Web VM Service Group Web VM Service Group Database SG Application Server SG Web Server SG Billing Virtual Bu

37、siness Service Veritas Operations Manager 按照依賴關(guān)系啟動或停止 按照依賴關(guān)系確定切換策略 Symantec業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 建立業(yè)務(wù)視圖建立業(yè)務(wù)視圖 4 8 Apache1_sg Oracle_Apps_sg Oracle_sg Billing Virtual Business Service VBS VBS VBS VOM Server START START START START Simplicity Single sign-on VM start/stop Also through CLI Symantec業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 建立業(yè)務(wù)視

38、圖建立業(yè)務(wù)視圖 4 9 Apache1_sg Oracle_Apps_sg Oracle_sg Billing Production VBS VBS VBS VBS Flexibility Production and DR can have different configurations Billing DR VBS START START STARTVBS VBS VBS Apache2_sg Oracle_Apps2_sg Oracle2_sg STOP STOP VCS HA/DR DR STOP Veritas Operations Manager START No new inf

39、rastructure Leverages existing Global Cluster for DR of entire service 5 0 SymantecSymantec業(yè)務(wù)連續(xù)性業(yè)務(wù)連續(xù)性 建立業(yè)務(wù)視圖建立業(yè)務(wù)視圖 多種企業(yè)應(yīng)用多種企業(yè)應(yīng)用, 所有主流平臺所有主流平臺, 任何存儲硬件任何存儲硬件 5 1 SF 消除無效冗余消除無效冗余 自動化業(yè)務(wù)恢復(fù)自動化業(yè)務(wù)恢復(fù) 本地,城域,異地本地,城域,異地 提升應(yīng)用恢復(fù)速度提升應(yīng)用恢復(fù)速度優(yōu)化數(shù)據(jù)庫存儲可用性優(yōu)化數(shù)據(jù)庫存儲可用性 Cluster File System High Availability VCS SF VCS SF VCS

40、 SF SFRAC & SFSYBCE DMP 減少采購成本減少采購成本 集中控制集中控制 一個解決方案,涵蓋從業(yè)務(wù)高可用到業(yè)務(wù)容災(zāi)一個解決方案,涵蓋從業(yè)務(wù)高可用到業(yè)務(wù)容災(zāi) 城域 HA (Stretch Cluster) 廣域DR (Global Cluster) 本地 HA SAPSAP SAP APP 4APP 3APP 2APP 1APP 4APP 3APP 2APP 1 異步復(fù)制 文件級復(fù)制 同步復(fù)制 雙活鏡像 Global Clustering 應(yīng)用高可靠應(yīng)用高可靠 自動化實現(xiàn)應(yīng)用級的 切換,提高反應(yīng)速度, 減少人為失誤 和業(yè)界主流的數(shù)據(jù)復(fù) 制解決方案深度集成 一個解決方案,部署 一

41、次,適應(yīng)全部場景 智能邏輯判斷,與工 作流和BCP集成 5 2 集中統(tǒng)一管理集中統(tǒng)一管理 5 3 以業(yè)務(wù)為對象的容災(zāi)切換以業(yè)務(wù)為對象的容災(zāi)切換 備份中心集群環(huán)境 APAAPAAPAAPAAPAAPAAPA SQLSQLSAPSAPSAPIISIIS SQLSQLAPAAPAAPAIISIIS WLSWLSWLSWLS ORA ORA ORADB2DB2SAPSAP ORA ORA ORADB2DB2 WASWASWAS DB2DB2 APAAPAAPA WASWAS ORA 數(shù)據(jù)中心集群環(huán)境 APAAPAAPAAPAAPAAPAAPA SQLSQLSAPSAPSAPIISIIS SQLSQLA

42、PAAPAAPAIISIIS WLSWLSWLSWLS ORA ORA ORADB2DB2SAPSAP ORA ORA ORADB2DB2 WASWASWAS DB2DB2 APAAPAAPA WASWAS ORA 5 4 VBS-VBS-業(yè)務(wù)單元集群切換界面整體呈現(xiàn)業(yè)務(wù)單元集群切換界面整體呈現(xiàn) 55 55 端到端的集中化管理端到端的集中化管理 5 6 應(yīng)用、主機、存儲 運行狀態(tài) 集群、容災(zāi)系統(tǒng) 運行狀態(tài) 虛擬化保護解決方案虛擬化保護解決方案 5 7 NetBackup 7 5 8 Symantec 保護著全球一半以上的企業(yè)數(shù)據(jù)保護著全球一半以上的企業(yè)數(shù)據(jù) 前前10位全球最大的電位全球最大的電

43、 信企業(yè)信企業(yè) 99% 的財富的財富500強強90% 全球全球2000強強150萬中小企業(yè)萬中小企業(yè) 前前10位全球最大的醫(yī)位全球最大的醫(yī) 療機構(gòu)療機構(gòu) 前前10位全球最大的金位全球最大的金 融機構(gòu)融機構(gòu) 5 9 NetBackup 7針對針對Vmware的備份解決方案獲得金牌!的備份解決方案獲得金牌! Link to Symantec Press Release 6 0 真正的文件級粒度恢復(fù):真正的文件級粒度恢復(fù): 每一個文件信息都100%建立索引并且可被搜索 可以從VMware增量備份中直接恢復(fù)單個文件 不需要強迫用戶備份到磁盤 從任意備份介質(zhì)直接恢復(fù)單個文件(如磁帶、VTL、磁盤等) 不

44、需要磁盤緩沖作二級恢復(fù) 不需要為了恢復(fù)一個小文件而把整個VMDK恢復(fù)出來 最靈活的重復(fù)數(shù)據(jù)刪除方式:最靈活的重復(fù)數(shù)據(jù)刪除方式: 數(shù)據(jù)源頭的重復(fù)數(shù)據(jù)刪除(備份客戶端部署在Guest OS) 后端重復(fù)數(shù)據(jù)刪除跨越物理和虛擬環(huán)境的全局重復(fù)數(shù)據(jù)刪除,通過 一個虛擬機備份設(shè)備或一臺脫機備份服務(wù)器 通過OpenStorage API直接管理控制第三方重復(fù)數(shù)據(jù)刪除設(shè)備(如Data Domain等) 創(chuàng)新 6 1 UCS Backup Server NetBackup 7 for VMware UCS SAN ESX 1 ESX 2 ESX 3 ESX 4 Benchmark Environment - vS

45、phere 92 Virtual Machines Average Virtual Machine Size = 43 GB VM OS= Windows 4 TB of Virtual Machine Data Fibre = 4 Gb Network = 10 GbE 性能 62 NetBackup 7 for VMware 性能優(yōu)勢性能優(yōu)勢 Normal Backup NetBackup 7 for VMware 備份到基本磁盤 NetBackup 7 for VMware 配合Symantec重復(fù)數(shù)據(jù)刪除技術(shù) 備份性能 MB/sec 越長表示性能越好 Test 2: 450 MB/se

46、c Test 1: 63 MB/sec Test 3: 600 MB/sec 兩種方式所采用的兩種方式所采用的 備份硬件完全相同備份硬件完全相同 VMware Consolidated Backup 6 3 備得更快,備得更多!備得更快,備得更多! Normal Backup 第一次全備份虛擬機總數(shù) 3240 VMs 2430 VMs 340 VMs 單個單個VMware 備份主機備份主機 Backup Window= 60 hours Avg. VM size = 40GB Data Change = 5% 50010001500200025003000 Test 2: 450 MB/sec

47、 Test 1: 63 MB/sec Test 3: 600 MB/sec 6 4 直觀的界面、向?qū)降牟藛问沟脗浞莪h(huán)境搭建非常容易 幾分鐘安裝、配置和備份虛擬機 只需四個步驟完成設(shè)置 在基本的Netbackup 7安裝中就已經(jīng)包含虛擬機備份所需的一 切 在一個統(tǒng)一的圖形界面中保護所有的物理和虛擬機數(shù)據(jù) 包括關(guān)鍵的VMware組建如vCenter等 易于集成 6 5 直觀的界面直觀的界面 http:/ 6 6 簡單、向?qū)降呐渲?,不論是單個虛擬機,還是跨越多個物理主 機的多個虛擬機 通過單個NetBackup備份系統(tǒng)管理所有虛擬機,不論是本地還是任 意遠程位置 備份虛擬機,無需配置腳本或客戶端

48、 通過與vCenter集成,自動發(fā)現(xiàn)需要備份的虛擬機 一鍵式報告哪些虛擬機已被備份,哪些還沒有 通過NetBackup數(shù)據(jù)庫和應(yīng)用代理減少乃至消除備份腳本 直接備份到任意備份設(shè)備(如磁盤、磁帶或VTL),無需犧牲性能 利用全備份、差異備份或兩者的任意組合 集成VSS或其他第三方快照技術(shù) 易于使用 6 7 NetBackup天然集成天然集成vStorage API 塊級增量備份只備份有變化的數(shù)據(jù) NetBackup優(yōu)化只備份有數(shù)據(jù)的數(shù)據(jù)塊 NetBackup文件級粒度恢復(fù)(文件級粒度恢復(fù)(Symantec獨有技術(shù))獨有技術(shù)) 所有文件都可輕松快速地被搜索到文件信息在NetBackup catal

49、ogue中建立了索引 不需要專門的或額外的硬件不需要從硬盤恢復(fù) NetBackup 虛擬機優(yōu)化的重復(fù)數(shù)據(jù)刪除及容災(zāi)虛擬機優(yōu)化的重復(fù)數(shù)據(jù)刪除及容災(zāi) 在NetBackup 7管理界面中內(nèi)建 在客戶端、服務(wù)器后臺或?qū)iT硬件進行重復(fù)數(shù)據(jù)刪除,去重效率高達 98% 功能 6 8 Symantec Vision 2010 6 9 Symantec ApplicationHA 高可用性高可用性/災(zāi)難恢復(fù)災(zāi)難恢復(fù) 企業(yè)努力實現(xiàn)虛擬化企業(yè)努力實現(xiàn)虛擬化 從容實現(xiàn)關(guān)鍵業(yè)務(wù)應(yīng)用程序虛擬化從容實現(xiàn)關(guān)鍵業(yè)務(wù)應(yīng)用程序虛擬化 7 0 “我們的目標是在 2 年內(nèi) 100% 實現(xiàn)虛擬化” 國際物流公司 “我們目前正在對 20,

50、000 臺服 務(wù)器進行虛擬化” 金融服務(wù)提供商 (調(diào)查對象所占比例) 確保應(yīng)用程序 可用性 協(xié)調(diào)新的部署和 升級工作 控制意外的 成本增加 優(yōu)化現(xiàn)有的分配、采購和 預(yù)算實踐 彌補集成式管理工具的 不足 虛擬化服務(wù)器管理方面的主要挑戰(zhàn)虛擬化服務(wù)器管理方面的主要挑戰(zhàn)1 主要挑戰(zhàn)依然存在主要挑戰(zhàn)依然存在 您進行全面虛擬化時如何確??捎眯??您進行全面虛擬化時如何確??捎眯裕?現(xiàn)有的工具和流程迫使進行利弊權(quán)衡現(xiàn)有的工具和流程迫使進行利弊權(quán)衡 7 1 阻止使用 vMotion,vmwareHA 成本和復(fù)雜性增加 在在虛擬機虛擬機中實現(xiàn)基于操作系統(tǒng)的集群中實現(xiàn)基于操作系統(tǒng)的集群 放慢虛擬化計劃實施腳步 增加

51、操作復(fù)雜性 延遲虛擬化延遲虛擬化 延長了 切換 和恢復(fù)時間 增加了腳本維護負擔 監(jiān)控工具監(jiān)控工具 + 腳本編寫腳本編寫 基礎(chǔ)架構(gòu)管理員基礎(chǔ)架構(gòu)管理員 應(yīng)用程序管理員應(yīng)用程序管理員 確??捎眯源_??捎眯?全面虛擬化全面虛擬化 在以下各項之間權(quán)衡利弊在以下各項之間權(quán)衡利弊 最大程度降低復(fù)最大程度降低復(fù) 雜性雜性 利用虛擬化技術(shù)利用虛擬化技術(shù) 確保應(yīng)用程序可確保應(yīng)用程序可 用性用性 應(yīng)用程序資源應(yīng)用程序資源 操作系統(tǒng)操作系統(tǒng) VM ESX 服務(wù)器服務(wù)器 站點站點 應(yīng)用程序應(yīng)用程序 組件組件 Symantec ApplicationHA + VMware HA: :從容實現(xiàn)重要從容實現(xiàn)重要 業(yè)務(wù)應(yīng)用程

52、序虛擬化業(yè)務(wù)應(yīng)用程序虛擬化 7 2 VM1 操作操作 系統(tǒng)系統(tǒng) VM2 操作操作 系統(tǒng)系統(tǒng) VMware ESX VM2 操作操作 系統(tǒng)系統(tǒng) c3c2 c1 c2c4 c1c3 c1 c2 Symantec ApplicationHA 保護應(yīng)用 程序組件 VMware HA 保護基礎(chǔ) 架構(gòu)組件 VM1 操作系操作系 統(tǒng)統(tǒng) VM2 操作系操作系 統(tǒng)統(tǒng) VM1 操作系操作系 統(tǒng)統(tǒng) VM2 操作系操作系 統(tǒng)統(tǒng) 應(yīng)用程序監(jiān)控 顯示運行狀況 檢測應(yīng)用程序故障 協(xié)調(diào)恢復(fù) 重新啟動應(yīng)用程序 觸發(fā) VMware HA ,執(zhí)行進一步的恢復(fù) 通過應(yīng)用程序監(jiān)控 API 實現(xiàn)集成功能 可以消除各種故障 基礎(chǔ)架構(gòu)故障

53、虛擬機運行,但應(yīng)用程序中斷 VMware ESXVMware ESX Application HA Application HA SQLORA SQLORA 7 3 VMware HAVMware HA 服務(wù)器發(fā)生故障后虛擬機得到了恢復(fù),但應(yīng)用 程序沒有恢復(fù) 應(yīng)用程序雖已啟動但無法正常運行 通過通過 ApplicationHA 和和 VMware HA 實現(xiàn)協(xié)調(diào)恢復(fù)實現(xiàn)協(xié)調(diào)恢復(fù) 操作系統(tǒng)操作系統(tǒng) 通過通過 ApplicationHA 和和 VMware HA 實現(xiàn)協(xié)調(diào)恢復(fù)實現(xiàn)協(xié)調(diào)恢復(fù) 詳詳 細信息細信息 深入了解相關(guān)應(yīng)用程序 應(yīng)用程序相關(guān)模塊可啟動、停止、恢復(fù)應(yīng)用 程序 例如:SQL DB 實

54、例、 存儲安裝點、依賴項 通過 SQL 查詢語句測試功能 全面支持各種操作系統(tǒng)和應(yīng)用程序 應(yīng)用程序支持功能每季度更新一次 可定制的恢復(fù)操作 在執(zhí)行計劃內(nèi)的維護任務(wù)期間,禁用修復(fù)功 能 - 進入/退出維護模式 7 4 SQL Exchange Oracle SAP WebLogic IIS 定制應(yīng)用程序定制應(yīng)用程序 代理代理 包包 EXCH SQL WS08、 R2 W2K3、 R2 RHEL 5 VMware ESX VMware HA Application HA VM1 應(yīng)用程應(yīng)用程 序序 Application HA 在不影響應(yīng)用程序可用性的情況下使用在不影響應(yīng)用程序可用性的情況下使用

55、VMware 功功 能不斷優(yōu)化環(huán)境能不斷優(yōu)化環(huán)境 7 5 全面兼容 vMotion DRS HA DPM 快照 靈活的存儲訪問方式 FC、iSCSI、NAS RDM、VMFS 不存在仲裁磁盤/防護 方面的復(fù)雜性/風(fēng)險 VMware ESXVMware ESXVMware ESX vMotion 和和 ApplicationHA 按高可用性檢測心跳 vMotion 停止期間掛起 在 vMotion 啟動后恢復(fù) 操作 ApplicationHA 應(yīng)用程 序監(jiān)控和防護功能將 繼續(xù)通過 vMotion 運 行 7 6 VMware ESXVMware ESXVMware ESX Hv 輕松地從一臺計算

56、機部署到多臺計算機上輕松地從一臺計算機部署到多臺計算機上 7 7 vCenter 服務(wù)器服務(wù)器 ApplicationHA 控制臺控制臺 vSphere 客戶端客戶端 管理程序管理程序 ESX 服務(wù)器服務(wù)器 安裝程安裝程 序序 第第 2 步步 安裝安裝 第 1 步: 安裝 vCenter 插件 第 2 步: 安裝訪客計算機組件 訪客訪客 計算計算 機組機組 件件 訪客訪客 計算計算 機組機組 件件 訪客訪客 計算計算 機機 組件組件 Exchange 2010 SQL 2008 IIS 文件文件 打印打印 自定義自定義 自動查詢自動查詢 自動配置自動配置 應(yīng)用程序組件和應(yīng)用程序組件和 資源:資

57、源: SQL DB 實例 SQL 分析服務(wù) FileStream SQL 使用的存 儲 依賴項 選擇選擇 配置配置 第 3 步: 從 vCenter 插件中選擇 應(yīng)用程序 不存在使用傳統(tǒng)“集群” 技術(shù)所帶來的成本和復(fù) 雜性 無備用虛擬機(重復(fù)許可證和補丁 等) 部署輕松 應(yīng)用程序應(yīng)用程序 VM 操操 作作 系系 統(tǒng)統(tǒng) 第第 1 步步 插件插件 第第 3 步步 在在 vCenter 中管理中管理 ApplicationHA 7 8 ApplicationHA 可幫您從容實現(xiàn)重要業(yè)務(wù)應(yīng)用程序虛可幫您從容實現(xiàn)重要業(yè)務(wù)應(yīng)用程序虛 擬化擬化 可以應(yīng)對虛擬化“關(guān)鍵階段”的主要挑戰(zhàn) 可以通過 Applica

58、tionHA 和 VMware HA 實現(xiàn)協(xié)調(diào)恢 復(fù) 可以在不影響應(yīng)用程序可用性的情況下不斷優(yōu)化環(huán) 境 操作簡單 可以集成到 vCenter 和賽門鐵克管理工具中 基于業(yè)界領(lǐng)先的 Veritas Cluster Server 技術(shù) 7 9 Symantec Vision 2010 8 0 使用使用SF實現(xiàn)存儲虛擬化實現(xiàn)存儲虛擬化 虛擬存儲虛擬存儲 Storage Foundation在在 VMware 環(huán)境中的作用環(huán)境中的作用 8 1 Hypervisor App1 SFSFW VCS App5 CFS App3 Hypervisor App3 CFSVCS App2 Hypervisor A

59、pp8 VCS One App9 VCS One VCS One VOM Hypervisor App6App7 AppCtrlAppCtrl OS SF App1 App2 VCS OS CFS App3App4 vCenter Physical Environment VCS AppCtrl PlugInVirtualStore PlugIn VMware HA 3rd Party Storage Block VirtualStore Commodity Storage File File Symantec Storage FileStore 3rd Party Storage File

60、RDMRDMRDMRDM 像管理物理機一樣管理虛擬機像管理物理機一樣管理虛擬機? Early in virtualization cycle Focus squarely on cost savings from consolidation Extend tools and processes used in physical to virtual Server team doesnt want application team to know or care whether the machine is physical or virtual 8 2 Hypervisor VM app VM

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論