AFF8080全閃存方案-XX征信全閃存陣列采購項目 NetApp_第1頁
AFF8080全閃存方案-XX征信全閃存陣列采購項目 NetApp_第2頁
AFF8080全閃存方案-XX征信全閃存陣列采購項目 NetApp_第3頁
AFF8080全閃存方案-XX征信全閃存陣列采購項目 NetApp_第4頁
AFF8080全閃存方案-XX征信全閃存陣列采購項目 NetApp_第5頁
已閱讀5頁,還剩27頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

xx征信全閃存陣列采購項目技術方案NetAppConfidentialPAGE322015-07XXXXX征信全閃存陣列采購項目技術方案?2015?2015NetAppAllrightsreserved本文檔包含NetApp公司的商業(yè)及技術機密。未經(jīng)NetApp公司許可,不得向第三方泄漏或使用。目錄TOC\o"1-3"\h\z1. 方案配置與說明 41.1. 型號選擇 41.2. 系統(tǒng)配置 41.3. 存儲建議部署方式及收益 51.4. 硬盤柜連接 61.5. 可用容量計算 71.6. AFF8080的性能 71.7. SSD硬盤的操作優(yōu)化與服務承諾 91.8. 系統(tǒng)管理 101.9. 未來的存儲集群規(guī)劃 112. 產(chǎn)品特性 132.1. 真正的統(tǒng)一存儲架構 132.2. NetApp集群存儲架構 132.3. 硬件冗余與在線操作 152.4. 快照與克隆 162.5. 數(shù)據(jù)的快速恢復 172.6. 靈活先進的QoS功能 182.7. 自動精簡配置 182.8. 數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除與數(shù)據(jù)壓縮 192.9. SnapMirror容災復制 202.10. SnapVault備份復制 212.11. SnapManager數(shù)據(jù)管理組件 232.12. 機房和設備搬遷 273. NetApp解決方案針對本項目的優(yōu)勢 284. 產(chǎn)品規(guī)格 29

方案配置與說明根據(jù)用戶的招標要求,以及結合用戶包括應用環(huán)境、管理環(huán)境和災備環(huán)境在內(nèi)的實際現(xiàn)狀,我們建議按照下文的方案進行部署。型號選擇下表是NetApp全閃存FAS存儲的規(guī)格。基于用戶對于性能以及產(chǎn)品檔次的要求,我們選擇了NetApp最高端的AFF8080作為本次投標的產(chǎn)品型號。系統(tǒng)配置AFF8080全閃存集群存儲系統(tǒng)一套含2個FAS8080冗余控制器(分離部署);288GB讀/寫系統(tǒng)一級緩存;48塊800GBeMLCSSD硬盤;8個16Gb前端光纖口,4個萬兆端口,8個千兆端口,8個6GbSAS口;含F(xiàn)CP/iSCSI/CIFS/NFS訪問協(xié)議;快照;快速恢復;快速克??;SnapMirror容災復制;SnapVault備份復制;與應用集成的SnapManager軟件包用于數(shù)據(jù)管理和備份恢復;存儲QoS;基于數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除;數(shù)據(jù)壓縮;精簡配置等功能許可,且上述許可均無容量以及主機數(shù)量限制;含3年原廠7×24×4小時維保服務。存儲建議部署方式及收益考慮到本項目涉及到的數(shù)據(jù)存儲平臺對用戶業(yè)務的重要性,建議將本期項目配置的2個AFF8080控制器以集群模式連接并運行,將2個控制器以及2個SSD硬盤柜分離部署在相鄰的2個機柜中。其中每個AFF8080控制器占6U高度,每個DS2246硬盤柜占2U高度。按照上述方式的部署有3個顯著的優(yōu)勢:1)以集群模式運行保障了未來存儲平臺橫向擴展的可能性,以滿足快速增長的性能以及容量需求,同時允許數(shù)據(jù)在集群內(nèi)部的所有控制器節(jié)點之間根據(jù)應用的實際需求任意在線遷移,從而對不同存儲控制器的利用率進行動態(tài)調(diào)整,并實現(xiàn)存儲系統(tǒng)的利用率最大化;2)從保證業(yè)務持續(xù)性的角度,這種部署模式在確保了傳統(tǒng)的冗余雙控制器高可用模式的前提下,還能夠有效避免由于單個機柜全部斷電所造成的完全業(yè)務停頓,從而在不增加任何成本的條件下僅僅依靠物理設備的部署模式優(yōu)化就實質(zhì)上提升了核心業(yè)務的可用性;3)在將來如果用戶產(chǎn)生雙活高可用特性要求,則基于這種方式的部署可以很簡單地僅僅通過增加部分鏡像盤柜和細微的配置調(diào)整即可實現(xiàn),從而實現(xiàn)針對核心業(yè)務的本地雙活存儲架構。硬盤柜連接考慮到多個通道的負載均衡,以及基于SSD硬盤性能優(yōu)化的最佳實踐,建議將本次配置的硬盤柜分為2個Stack進行部署:Stack10包括1個DS2246盤柜,配置800GBSSD硬盤;Stack20包括1個DS2246盤柜,配置800GBSSD硬盤;因此本次部署完成后控制器和硬盤柜Stack示意圖如下:可用容量計算在AFF8080產(chǎn)品的SSD硬盤劃分和容量分配上,NetApp從用戶實際應用需求和提升性價比的角度出發(fā),將會遵循以下配置原則:基于NetApp的最佳實踐進行部署;在一個RAID組中容納較多數(shù)量的硬盤以獲得最高的并發(fā)IO性能;采用RAID-6的校驗模式以保證數(shù)據(jù)最高安全性;采用硬盤切片技術以提升硬盤容量的利用率;實際的48塊硬盤將會按照如下方式進行劃分:其中,總共保留2塊熱備盤,4塊校驗盤,以及少量空間(約350GB)用于安裝ONTAP操作系統(tǒng),因此數(shù)據(jù)盤總數(shù)為42塊。在實際部署中,一塊800GBSSD在作為數(shù)據(jù)盤的情況下,實際可用空間約為667GB,則總的可用容量約為:667×42-350≈27.6TBAFF8080的性能用戶對于本次采購的存儲系統(tǒng)在性能上有明確要求,即要求在讀寫比3:1,IO大小4K,隨機IO,延遲<=1ms的應用場景下提供超過20萬IOPS的能力。基于上述應用場景,我們針對AFF8080得出以下的評估結果:存儲基礎配置應用場景設定評估結果上述評估結果表明,包括熱備盤在內(nèi),4個AFF8080控制器配置總計44塊800GBSSD即可同時滿足用戶對于性能和容量的要求,且控制器的平均CPU利用率為28%。換句話說,如果采用2個AFF8080控制器,則平均CPU利用率約為56%,同時對硬盤數(shù)量的要求還可以進一步降低。因此,我們當前的配置完全可以滿足本次用戶的招標要求。SSD硬盤的操作優(yōu)化與服務承諾由于長期以來用戶對于SSD硬盤的磨損問題始終懷有疑慮,因此NetApp在解決該問題以及優(yōu)化SSD硬盤讀寫操作方面投入了大量的工作,同時還針對SSD硬盤提供了特別的服務與支持承諾。首先,基于NetApp的ONTAP操作系統(tǒng)和WAFL文件系統(tǒng),前端主機的寫入操作直接在內(nèi)存和NVRAM中進行處理和確認,并在隨后的寫操作時間節(jié)點進行統(tǒng)一的刷寫SSD硬盤操作。上述機制可以有效地降低對后端SSD硬盤的寫入次數(shù),通??梢?:1的比例大幅度降低寫操作請求。這也是NetApp的存儲系統(tǒng)長期被人稱為寫優(yōu)化系統(tǒng)的直接原因。第二,在刷寫SSD硬盤的過程中,NetApp存儲系統(tǒng)始終會將新寫入的數(shù)據(jù)塊寫入到下一個新的可寫位置,而不會對之前已有數(shù)據(jù)的位置進行重復擦寫,同時條帶化的寫入機制在降低SSD硬盤磨損的同時還大幅度改善了寫操作性能。第三,NetApp的ONTAP操作系統(tǒng)會執(zhí)行智能化的垃圾回收動作,并將每一塊SSD硬盤的使用狀況進行實時記錄,在其達到擦寫警告閾值的時候即可主動進行數(shù)據(jù)復制和SSD硬盤更換,從而防止了SSD實際損壞所造成的嚴重影響。實際上,NetApp所采用的SSD硬盤均為大廠產(chǎn)品,其MTBF(平均故障時間)為2百萬小時(該數(shù)值由生產(chǎn)廠家正式聲明),遠高于傳統(tǒng)的SAS或者SATA硬盤的MTBF,這也意味著NetApp采用的SSD硬盤具有比傳統(tǒng)硬盤更長的使用壽命。下圖是NetApp針對SSD硬盤進行的P/E全擦寫測試的結果曲線。該結果表明,即使針對SSD進行每個月1600次全盤寫入/擦除的操作,也要到接近第七年的時間點才會由于SSD硬盤的磨損達到90%從而觸發(fā)自動的熱備硬盤替換。事實上,幾乎沒有哪個用戶能夠達到如此之高的P/E操作頻率,因此SSD硬盤的實際使用壽命遠超用戶想象。即使在上述的安全條件之下,為完全打消用戶顧慮,NetApp還針對SSD硬盤提供最長達7年的延保,從而保證用戶在整個存儲的生命周期內(nèi)都可以高枕無憂。系統(tǒng)管理NetApp采用OnCommandSystemManager軟件對本次項目中的NetApp存儲設備進行管理。該軟件可以安裝于一臺用于管理的Windows電腦上(可以是服務器、臺式機、筆記本或者是虛擬機),或者也可以無需安裝,直接訪問NetApp存儲的管理IP地址,即可通過集成在ONTAP操作系統(tǒng)中的SystemManager模塊對存儲進行管理。通過SystemManager,管理員可以實現(xiàn)存儲集群幾乎所有的管理任務,包括管理RAID和硬盤、創(chuàng)建/刪除Vserver、創(chuàng)建/管理/刪除數(shù)據(jù)卷、數(shù)據(jù)共享設置、快照功能和時間表設置、物理端口和邏輯端口設置與管理等等,此外,從SystemManager的管理界面也能一目了然地查看當前存儲系統(tǒng)的運行狀況及性能表現(xiàn)。此外,還可以通過OnCommandUnifiedManager管理平臺和OnCommandPerformanceManager對存儲系統(tǒng)進行歷史狀態(tài)和性能監(jiān)控。OnCommandUnifiedManager和OnCommandPerformanceManager利用基于策略的配置和數(shù)據(jù)保護自動化,將共享IT基礎架構作為一個或多個存儲池進行管理;通過集中式儀表板和直觀的點擊鉆取式界面,實現(xiàn)對存儲的透明化監(jiān)控,還能夠通過監(jiān)控、警報和精細的閾值設置,對NetApp存儲進行性能監(jiān)控。上述管理功能涵蓋了硬件、系統(tǒng)、性能、告警等各方面內(nèi)容,最多可保存超過1年的歷史數(shù)據(jù),能夠讓管理員對存儲系統(tǒng)的狀況了然于胸。未來的存儲集群規(guī)劃本項目所涉及到的AFF8080產(chǎn)品本身也是集群架構,因此可以和NetApp其他型號的存儲控制器部署到同一個存儲集群中。未來在條件許可的前提下,作為選項之一,可以考慮將替換下來的原生產(chǎn)FAS3240配置為集群模式后與本項目的AFF8080構成4節(jié)點集群并用于外圍生產(chǎn),而原先的外圍生產(chǎn)FAS3240則在數(shù)據(jù)騰空后重新配置并用于異地災備?;谏鲜鲆?guī)劃,未來在外圍系統(tǒng)的集群中將包含4個存儲控制器。 由于AFF8080可對其他型號的NetApp設備進行遠程數(shù)據(jù)災備復制,因此上述方案可以充分保證各個核心應用數(shù)據(jù)的高可用性,完全實現(xiàn)投資保護,并優(yōu)化IT系統(tǒng)架構和簡化系統(tǒng)的管理和維護。

產(chǎn)品特性針對本次采購項目,我們的方案是AFF8080全閃存集群存儲系統(tǒng)。除了上文所涉及的硬件以及基本功能外,我們還為本次投標的產(chǎn)品配置了完整的訪問協(xié)議和軟件功能包,用戶可以通過這些功能許可更加充分地發(fā)揮NetApp的產(chǎn)品特性以滿足應用需求。注:下述說明中涉及的所有協(xié)議和軟件功能均已包含在本次投標報價中,且都基于存儲控制器進行授權,和存儲容量以及前端主機數(shù)量無關,因此未來不會由于擴容而產(chǎn)生任何額外的成本,用戶僅需購買所需容量的硬盤柜并接入系統(tǒng)即可完成。真正的統(tǒng)一存儲架構迄今為止,NetApp仍是在硬件平臺和軟件內(nèi)核兩者上都實現(xiàn)真正融合的唯一的統(tǒng)一存儲產(chǎn)品。通過單一的NetApp產(chǎn)品即可提供完整的各種訪問協(xié)議,并且在NetApp產(chǎn)品線中從最低端到最高端都采用相同的硬件架構和系統(tǒng)內(nèi)核,因此用戶可以毫不費力地僅僅通過更換控制器的方式就實現(xiàn)不同型號存儲系統(tǒng)之間的任意平滑升級,而數(shù)據(jù)和配置信息都無需更改直接可用,連操作和管理界面都完全相同。NetApp集群存儲架構NetAppDataONTAP8軟件提供統(tǒng)一存儲平臺來實現(xiàn)可擴展性和靈活性,并采用集群功能確保用戶的業(yè)務無中斷運營。DataONTAP為客戶部署軟件定義的數(shù)據(jù)中心鋪平了道路,可消除傳統(tǒng)硬件孤島模式在性能、可用性和效率方面的限制。與其他任何存儲操作系統(tǒng)相比,NetAppDataONTAP8操作系統(tǒng)可在不中斷運營的情況下實現(xiàn)業(yè)務靈活性。借助集群模式DataONTAP,用戶可在單個功能豐富的平臺上擴展基礎架構,而無需增加IT人員。集群模式DataONTAP優(yōu)點包括:無中斷運行?在不中斷業(yè)務的情況下,執(zhí)行存儲維護、硬件生命周期操作和軟件升級。?消除計劃內(nèi)和計劃外停機時間,確保業(yè)務持續(xù)不中斷。經(jīng)過驗證的高效率?采用業(yè)內(nèi)最全面的存儲效率技術,全面降低存儲成本。?針對具有不同性能、容量和安全要求的工作負載或租戶,整合并共享同一基礎架構,從而節(jié)省時間和資金。無縫可擴展性?無論使用什么應用程序,均可擴展容量、性能和操作,而不會造成任何負面影響。?將SAN和NAS從數(shù)TB擴展到數(shù)十PB,且無需重新配置正在運行的應用程序。統(tǒng)一存儲架構NetAppDataONTAP8存儲平臺支持多種網(wǎng)絡協(xié)議,有助于整合混合IT環(huán)境。在當今的協(xié)作業(yè)務環(huán)境中,用戶往往需要一個統(tǒng)一存儲平臺來支持組織中的各種應用程序。NetAppDataONTAP8存儲操作系統(tǒng)為SAN和NAS存儲工作負載提供本機支持,包括光纖通道、FCoE和iSCSI,以及最新版的NFS和SMB/CIFS網(wǎng)絡協(xié)議。DataONTAP8可使用相同的功能和數(shù)據(jù)管理工具進行擴展,無論協(xié)議種類或系統(tǒng)規(guī)模如何。存儲效率DataONTAP8可簡化數(shù)據(jù)管理任務,從而提高IT效率,讓工作人員可以騰出更多時間專注于業(yè)務發(fā)展。NetAppDataONTAP8存儲操作系統(tǒng)提供了可擴展的共享基礎架構,該基礎架構可令用戶使用更少的空間存儲更多的數(shù)據(jù),從而能夠延長數(shù)據(jù)在磁盤上的保留時間。DataONTAP8還提供了集群功能,可降低與電耗和散熱相關的資本成本和運營成本。極高的空間利用率?將數(shù)據(jù)卷和數(shù)據(jù)集復制為節(jié)省空間的虛擬克隆。?使用透明的實時和后處理數(shù)據(jù)壓縮技術實現(xiàn)數(shù)據(jù)精簡。?使用通用重復數(shù)據(jù)刪除技術刪除冗余數(shù)據(jù)對象。經(jīng)濟高效的存儲?利用SATA技術,將每TB成本降低多達46%。?借助“即時”存儲和內(nèi)置精簡配置功能降低購置成本。?利用專為多工作負載和租戶設計的本機多租戶和QoS功能,最大限度地提高共享存儲的投資價值。數(shù)據(jù)保護通過NetAppDataONTAP8內(nèi)置的數(shù)據(jù)保護服務功能,用戶還可以實現(xiàn)備份恢復目標并降低停機的風險。要實現(xiàn)業(yè)務連續(xù)性,數(shù)據(jù)必須保持隨時可供訪問。因此,全面數(shù)據(jù)保護是NetAppDataONTAP8存儲操作系統(tǒng)的核心組成部分。NetApp集成數(shù)據(jù)保護直接通過存儲平臺提供可用性、備份、合規(guī)性和災難恢復(DR)服務。DataONTAP8數(shù)據(jù)保護服務利用NetApp存儲效率技術,并實現(xiàn)與領先的數(shù)據(jù)保護應用程序的集成。用戶可以降低存儲成本和數(shù)據(jù)管理成本,從而降低總擁有成本。集群與資源虛擬化NetAppDataONTAP8存儲操作系統(tǒng)提供了統(tǒng)一的集群架構,可通過擴展來適應用戶不斷變化的需求,從而降低風險和成本。集群模式DataONTAP可以對存儲資源進行虛擬化,將其作為一個邏輯池進行管理,并擴展至數(shù)十PB和數(shù)千個卷。集群模式DataONTAP的設計意圖是消除停機,借助該系統(tǒng),即使是在正常工作時間內(nèi),用戶也可以在不中斷用戶數(shù)據(jù)和應用程序訪問的情況下維護基礎架構。集群模式DataONTAP提供了無中斷的橫向擴展存儲解決方案,可適應共享基礎架構上混合工作負載和多SLA的需求,支持高速應用程序,以及創(chuàng)建大型內(nèi)容存儲庫。硬件冗余與在線操作NetApp全面支持基于存儲系統(tǒng)的高可用結構,控制器的HA機制可保證在硬件故障或手動情況下的熱冗余切換,且控制器可在實現(xiàn)Active/Active模式的同時仍然允許包括SAN和NAS在內(nèi)的所有應用無中斷地在控制器之間進行故障切換。相比較之下,大部分其他產(chǎn)品由于在SAN和NAS數(shù)據(jù)管理層面存在隔斷,因此往往只能在自動切換與控制器雙活兩個選項當中選擇其一。借助于上述功能特性,NetApp還支持冗余部件在線更換或者部件在線添加/移除,并且通過依次升級與切換完成整套系統(tǒng)的無中斷升級微碼。NetApp在自己的增強性RAID4算法基礎上,還推出了RAID-6算法,即DoubleParity(雙重校驗)。該算法可以保證即使在同一RAID組里任意兩塊磁盤同時發(fā)生故障,RAID組結構依然完好無損,應用可以正常運行。更為重要的是,在兩塊硬盤同時進行數(shù)據(jù)重建的極端情況下,RAID組也幾乎沒有性能損失。RAIDDP所帶來的另一個額外優(yōu)勢在于,由于安全性得到了有效的保障,NetApp可以允許最大28塊硬盤(針對FC硬盤)或16塊硬盤(針對SATA硬盤)構成一個RAID組,而(26/28)的比例也令硬盤利用率達到了一個前所未有的高度。此一RAID算法為NetApp產(chǎn)品獨有,且遠遠領先于其他廠家。其他廠家即使可以采用RAID6技術實現(xiàn)雙硬盤校驗,由于其基于RAID5的校驗算法需要消耗大量資源進行校驗計算,RAID組寫性能將下降30%或者更多,而RAID重建時間也將更長。特別地,在NetApp集群存儲架構中,還配置了獨一無二的聚合重分配功能,該功能允許用戶在應用無中斷且數(shù)據(jù)原地不動的前提下,通過直接更換控制器實現(xiàn)整套系統(tǒng)的滾動硬件升級。借助于此類功能以及靈活的管理和控制方式,NetApp可以確保用戶在數(shù)據(jù)中心的整個生命周期內(nèi)不會因為存儲系統(tǒng)的管理維護而造成應用停機。快照與克隆Snapshot是NetApp的WAFL文件系統(tǒng)“任意位置寫入”功能帶來的一項突出優(yōu)勢。一份Snapshot是文件系統(tǒng)的在線只讀拷貝。相對于其他廠商需要很長時間才能創(chuàng)建Snapshot的copy-out模式,創(chuàng)建NetApp的一份Snapshot僅僅需要幾秒種的時間,并且除非原始文件被刪除或者更改,數(shù)據(jù)快照并不占用額外的磁盤空間。這種只有當數(shù)據(jù)塊發(fā)生改動時才進行數(shù)據(jù)塊復制的技術被稱作“copy-on-write”,只有修改活動文件系統(tǒng)中的數(shù)據(jù)塊并寫入磁盤中新的位置時,Snapshot才會占用額外的磁盤空間。在NetApp的全線產(chǎn)品平臺上都免費提供Snapshot技術作為數(shù)據(jù)備份的首要策略;對于每一個單獨的卷而言,用戶可擁有最多255個時間點數(shù)據(jù)備份,且備份空間僅存儲時間點變動塊,空間占用極少,而且在備份過程中系統(tǒng)性能絲毫不受影響。SKIPIF1<0利用Snapshot快照,系統(tǒng)可以每隔幾分鐘或幾小時進行一次全部數(shù)據(jù)的快照(快速備份),快照所需的時間僅僅是短短的幾秒鐘。這樣的快照不僅僅系統(tǒng)管理員可以使用,普通用戶也可以為此而受益。例如用戶誤刪除了文件,就可以自行在一個特殊的目錄下找回幾分鐘或幾小時前的備份。用戶可以自行定義快照所占空間的大小、頻度、數(shù)目等參數(shù)。而利用快照恢復功能,原來需要數(shù)小時的恢復時間現(xiàn)在只需要幾秒鐘就可以了。在NetApp高效率的快照基礎上,克隆技術可以創(chuàng)建真正的可讀寫克隆副本,無需增加存儲空間而瞬間完成克隆操作??寺〉腖UN副本屬于可寫的Snapshot副本,能夠提供原先數(shù)據(jù)的所有功能。數(shù)據(jù)的快速恢復結合富有特色的Snapshot技術,對于數(shù)據(jù)恢復速度有特別要求的用戶來說,NetApp還提供了專業(yè)級的SnapRestore功能,允許用戶在數(shù)秒鐘的時間內(nèi)恢復多達上TB級的數(shù)據(jù),保證生產(chǎn)應用在短時間內(nèi)的恢復運行。使用SnapRestore,可以從文件系統(tǒng)上存儲的任何快照中恢復數(shù)據(jù)。利用此功能,應用程序開發(fā)小組可以回復到各個設計階段的Snapshot,測試工程師可以快速、方便地將數(shù)據(jù)返回到基本狀態(tài)。只需幾秒鐘的時間就可以恢復到原來的環(huán)境,而且恢復的環(huán)境與創(chuàng)建快照副本時的環(huán)境完全相同。NetApp的其他功能軟件,如SnapDrive、SnapManager等等,都通過內(nèi)建的Snapshot以及SnapRestore功能實現(xiàn)應用的快速恢復。靈活先進的QoS功能在存儲資源池和云計算部署日益廣泛的今天,用戶所關心的已經(jīng)不僅僅是存儲資源的集中使用和靈活調(diào)配,更關注針對不同應用需求提供相應的服務級別,以最大化提升存儲平臺的使用效率。在其他廠家產(chǎn)品還不具備基本的QoS能力的時候,NetApp就已經(jīng)在原有的QoS特性基礎上進一步優(yōu)化了產(chǎn)品功能,可針對更加靈活多樣的存儲目標進行更加具體的性能管控。NetApp的QoS功能能夠以Verser、數(shù)據(jù)卷、LUN或者是單個文件為管理目標,并且實際管理的參數(shù)可以根據(jù)不同的應用類型設置為針對順序操作的吞吐量(MB/s)或者針對隨機操作的并發(fā)性能(IOPS),從而真正貼合存儲資源池的運行和管理模式。NetApp的QoS功能操作極為簡單,并且管控策略可即時生效,可以幫助運維人員根據(jù)復雜多變的應用狀況及時作出調(diào)整,大大提升了存儲系統(tǒng)的使用效率。自動精簡配置NetApp的自動精簡配置功能基于特有的彈性卷–FlexVol而實現(xiàn)。自動精簡配置所創(chuàng)建的卷采用的是“虛擬”大小,這些卷看起來配置的是全部容量,但實際上是以較小的容量創(chuàng)建的,僅在實際需要時才使用更多空間。其他未使用的存儲容量由所有卷共享,這些卷可根據(jù)需要增大或縮小。設置自動精簡配置的功能非常簡單,而用戶在實際使用中的顆粒度為數(shù)據(jù)塊級別。自動精簡配置技術可顯著改善存儲配置、利用率和容量調(diào)整,數(shù)據(jù)卷可根據(jù)應用程序需求的變化,快速、動態(tài)地不斷調(diào)整大小。NetApp的自動精簡配置功能可針對包括NAS和SAN在內(nèi)的所有數(shù)據(jù),在NAS模式下,NetApp設備可以實現(xiàn)自動精簡配置和持續(xù)精簡(伴隨空間使用量降低而自動釋放空間);在SAN模式下,NetApp可以實現(xiàn)自動精簡配置,針對Windows、Linux和VMware系統(tǒng)則可以實現(xiàn)手動持續(xù)精簡。數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除與數(shù)據(jù)壓縮在各種虛擬化環(huán)境中,非常流行的部署方式是從預先創(chuàng)建的虛機的模板來快速創(chuàng)建新的虛機。一個虛機的模板通常包含了虛機的配置文件以及一個或多個虛擬磁盤文件,其中包含了操作系統(tǒng)、公共應用程序、以及補丁文件或系統(tǒng)更新等數(shù)據(jù)。從模板來創(chuàng)建新的虛機,通過拷貝配置文件以及虛擬磁盤文件,并注冊成為獨立的虛機,大大減少了管理上的時間開銷。但是,在這種方式下,造成了大量的重復數(shù)據(jù),從而降低了系統(tǒng)使用效率。當意識到用戶數(shù)據(jù)在許多不同場合都會存在大量重復現(xiàn)象,NetApp專門為此開發(fā)了基于數(shù)據(jù)塊級別而非文件級別的重復數(shù)據(jù)刪除功能,并顯示出了良好的實用效果。需要強調(diào)的是,NetApp是唯一在主存儲系統(tǒng)中集成了重復數(shù)據(jù)刪除功能的存儲廠家,我們的重復數(shù)據(jù)刪除技術也是第一個可以在多個應用程序間(包括虛擬化環(huán)境、主數(shù)據(jù)、備份數(shù)據(jù)和存檔數(shù)據(jù))廣泛使用的技術。NetApp提供的重復數(shù)據(jù)刪除技術使得多個虛機可以共享在NetApp存儲上的相同物理數(shù)據(jù)塊。該功能可以無縫集成到虛擬化產(chǎn)品環(huán)境中,而不需要在虛擬化產(chǎn)品的配置和管理中進行任何的改變。實際用戶經(jīng)驗表明,對于通常的辦公文檔數(shù)據(jù),NetApp的重復數(shù)據(jù)刪除功能可達到至少30%的數(shù)據(jù)削減量;針對設計文檔等類型的數(shù)據(jù)則可以達到70%以上的數(shù)據(jù)削減量;而對于大量虛擬化的應用,由于多個虛擬化主機的操作系統(tǒng)鏡像實際上絕大部分的數(shù)據(jù)塊都完全相同,因此該功能能夠節(jié)省高達95%的硬盤空間,具有極高的實用價值。相應地,該功能為用戶帶來的直接收益就是存儲利用效率的顯著提高。此外,根據(jù)應用的需求不同,NetApp還提供基于在線數(shù)據(jù)消減的數(shù)據(jù)壓縮功能,用于對實時寫入數(shù)據(jù)中的重復數(shù)據(jù)塊進行歸并。該功能和后處理的重復數(shù)據(jù)刪除可針對特定應用選擇使用,也可以同時生效以獲得更高的存儲效率。SnapMirror容災復制NetApp產(chǎn)品已經(jīng)內(nèi)嵌了基于SnapMirror的兩點或多點災備功能,在將來用戶要求部署災備架構時,不需要對系統(tǒng)硬件架構做改動,僅僅需要在災備端部署一套基于NetApp的存儲系統(tǒng)即可實現(xiàn)。比其他產(chǎn)品具有明顯優(yōu)勢的是,NetApp的災備架構不要求兩端配置對等的設備型號,用戶完全可以在災備端配置低端產(chǎn)品來實現(xiàn)災備的目標;此外,NetApp的災備功能為全功能配置,后續(xù)不會隨著數(shù)據(jù)量的增加而不斷追加投資。NetAppSnapMirror功能易于使用和管理,允許用戶靈活地連接鏈路(可以選擇IP或者FC鏈路),選擇一對多或者多對一的傳輸模式,還可以選擇多層級聯(lián)的傳輸模式。它滿足了當前企業(yè)用戶對于數(shù)據(jù)遷移、數(shù)據(jù)分布解決方案和遠程備份以及容災的需求,通過在復制鏈路上高速傳輸變化的數(shù)據(jù)塊,SnapMirror軟件能夠為數(shù)據(jù)遷移工作帶來最大的靈活性和便捷性,為關鍵應用程序提供最高的數(shù)據(jù)可用性和最快的恢復速度。當傳輸過程中鏈路遇到意外情況導致中斷時,SnapMirror能夠保留中斷點狀態(tài),無論鏈路恢復需要多少時間,都可以在鏈路修復后自動續(xù)傳。相反,某些廠家的解決方案在鏈路中斷超過一定時間后將會斷開復制連接,這也意味著用戶需要在鏈路修復后重新執(zhí)行一遍源數(shù)據(jù)的全部復制。更為重要的是,SnapMirror本身的設計就已經(jīng)實現(xiàn)了僅針對變化數(shù)據(jù)塊的增量傳輸,同時SnapMirror還能感知源存儲端已經(jīng)經(jīng)過重復數(shù)據(jù)刪除的源數(shù)據(jù),因此可以大大降低實際所需的傳輸數(shù)據(jù)量。作為對比,其他廠商的存儲設備即使能夠支持重復數(shù)據(jù)刪除,由于其并非基于數(shù)據(jù)塊而是基于文件,而且刪除后的數(shù)據(jù)無法被復制功能所感知,因此所需要的傳輸數(shù)據(jù)量和實際數(shù)據(jù)基本沒有差別。SnapMirror技術作為和NetApp內(nèi)核緊密集成的核心功能之一,在數(shù)據(jù)復制的可靠性以及傳輸效率方面具有極高的水準。SnapMirror基于NetApp的文件系統(tǒng)實現(xiàn)數(shù)據(jù)塊的差異比對,并通過內(nèi)建的多層次校驗和寫保護機制保障復制動作的準確無誤。此外,由于SnapMirror針對已經(jīng)存在于硬盤上的數(shù)據(jù)進行對比和復制,因此該部分數(shù)據(jù)一定具有本地一致性的特征,完全可以用于恢復和容災功能。由于SnapMirror的簡單易用、靈活高效的特性,NetApp在存儲數(shù)據(jù)復制領域長期占據(jù)領先位置,并經(jīng)過了嚴格的市場考驗并獲得出色的用戶評價。SnapVault備份復制為確保重要數(shù)據(jù)始終能得到保護并且易于恢復,NetApp開發(fā)了SnapVault。通過經(jīng)常將NetApp或其他存儲平臺上所存儲的數(shù)據(jù)備份到NetApp企業(yè)存儲系系統(tǒng)上,SnapVault為異構存儲環(huán)境提供了一種基于磁盤的集中式備份解決方案。通過將多個Snapshot副本中的備份數(shù)據(jù)存儲到SnapVault輔助存儲系統(tǒng)上,企業(yè)可以聯(lián)機保留數(shù)周的備份,以便于進行快速恢復。SnapVault還允許用戶選擇備份的數(shù)據(jù)對象、備份頻率及備份副本要保留的時間。 SnapVault的主要特點:加速恢復傳統(tǒng)的磁帶備份,為了恢復全部數(shù)據(jù),需要先要恢復一個全備份,然后按順序恢復每個增量備份。如果是每周進行一次全備份,每天進行增量備份,則恢復涉及到1次全恢復和6次增量恢復。如果全備份比較少而增量備份更多,一次全面的數(shù)據(jù)會將花費無法忍受的長時間。SnapVault處理了這些問題。通過把備份存儲在WAFL文件系統(tǒng)上,加強了備份的可靠性,這些備份象在其它NetApp存儲系統(tǒng)上一樣受到RAID、塊校驗、定期磁盤清理等的保護。因為使用快照拷貝來描述增量備份,這是整個數(shù)據(jù)的一個時間點的映像,所以恢復變的很簡單,而且可以一次操作就完成全部恢復,不需要管理大數(shù)量的磁帶。簡單化了恢復從一個SnapVault備份上恢復一個文件非常簡單,只需要通過NFSmount或者CIFS共享把原始文件獲取出來,SnapVault次系統(tǒng)可以被配置為NFS輸出和CIFS共享。當用戶可以獲取目標子卷時,從次系統(tǒng)上恢復數(shù)據(jù)就像從本地快照映像中拷貝數(shù)據(jù)一樣簡單??梢圆捎猛侠姆绞交蛘呤褂煤唵蔚目截惷?,這跟具體的環(huán)境有關。如果SnapVault是在開放系統(tǒng)環(huán)境中使用,恢復過程可以通過命令行直接在主系統(tǒng)上開始。一次全部數(shù)據(jù)的恢復也可以采用同樣方法實現(xiàn),如果用戶獲取適當?shù)脑挕Mㄟ^使用snapvaultrestore命令,SnapVault提供了一個簡單的接口來從一個選定的快照拷貝恢復全部數(shù)據(jù)。一個用戶可以在主系統(tǒng)上使用Snapvaultrestore命令來從一個次系統(tǒng)上恢復整個子卷/目錄的全部數(shù)據(jù)。主數(shù)據(jù)會是只讀的,直到傳送完成才會變成可寫的?;謴椭螅脩粜枰梢赃x擇繼續(xù)備份恢復的數(shù)據(jù)到次系統(tǒng)上。增強的可靠性SnapVault的備份數(shù)據(jù)副本可以直接被讀取,因此在必要時可以用于數(shù)據(jù)驗證,從而加強了備份數(shù)據(jù)的可靠性。此外,基于硬盤的備份具有比磁帶備份更高的可靠性,也能確保在長時間的存儲之后數(shù)據(jù)一定能夠被讀出;而磁帶介質(zhì)為了能夠實現(xiàn)這一目標,往往要求每隔1~2年就將所有磁帶介質(zhì)進行翻新以避免磁粉脫落所導致的數(shù)據(jù)丟失,這也給管理員帶來了更多的管理維護負擔。減少在每次備份上花費的時間SnapVault提供了永遠進行增量備份的承諾。一個增量備份拷貝僅僅拷貝變化的數(shù)據(jù)到備份介質(zhì)上。在傳統(tǒng)備份架構中,保存的是整個文件,而SnapVault情況下保存的只是變化的塊,從而實現(xiàn)了空間的節(jié)省。因為增量備份花費更少的時間、消耗更少的網(wǎng)絡帶寬和備份介質(zhì),它也就更節(jié)省成本。節(jié)省存儲空間和介質(zhì)因為SanpVault僅僅需要存儲數(shù)據(jù)變化的塊,所以存儲容量的需求要遠遠小于存儲整個變化文件的傳統(tǒng)備份方法。假設備份需求場景為原始數(shù)據(jù)量12TB,每周全備,每天增量備份,總計保留90天,在數(shù)據(jù)變化量上存在10%的日常文件級更改,以及2%的日常塊級更改,則按照這樣的規(guī)則運行到第90天時,基于磁帶的備份需要總共250TB的存儲空間,而基于SnapVault的備份則僅需要總共34TB的存儲空間,而且這還是在沒有啟用重復數(shù)據(jù)刪除功能情況下。SnapManager數(shù)據(jù)管理組件NetAppSnapManager軟件是一個既能優(yōu)化存儲管理任務,同時又能簡化Exchange,SQLServer和oracle、SharePoint、SAP以及虛擬基礎架構VMware和Hyper-V的配置、備份和恢復操作的綜合數(shù)據(jù)管理解決方案。SnapManager與NetApp存儲系統(tǒng)一同部署,能夠提供接近即時的熱備份與快速恢復,可實現(xiàn)業(yè)界領先的可用性、可擴展性、性能和可靠性。SnapManager軟件在服務器(或虛擬機)上運行,并且與應用程序直接通信。每款SnapManager工具均具有專屬界面,支持用戶創(chuàng)建和執(zhí)行備份與復制計劃并執(zhí)行恢復。SnapManager還可以幫助用戶執(zhí)行其他依賴于應用程序的任務,具體取決于版本。例如,SnapManagerforExchange提供單個郵箱恢復功能,而SnapManagerforOracle則可以提供部分文件SnapRestore。通過命令行界面(CLI),可以編寫腳本將SnapManager操作集成到應用程序常規(guī)操作過程中。為了完成任務,SnapManager還必須與在服務器(虛擬機)上運行的操作系統(tǒng)以及NetApp存儲進行通信。為此,SnapManager通常與SnapDrive軟件配合使用。SnapDrive提供了所有SnapManager產(chǎn)品均需要的一組核心功能。新一代SnapDrive產(chǎn)品包括SnapDriveforWindows?和SnapDriveforUNIX?(支持Solaris、HP-UX、AIX、RedHat、SUSE和OracleEnterpriseLinux?)。這兩種解決方案都支持iSCSI和光纖通道傳輸。SnapDriveforUNIX也可以通過NFS運行。SnapManager操作的重要功能是在NetApp存儲上創(chuàng)建應用程序一致的SnapShot副本,且在創(chuàng)建SnapShot副本的過程中應用全程在線且對前端用戶完全透明。創(chuàng)建SnapShot副本后,副本可供備份之用,并且為其他數(shù)據(jù)保護活動奠定了基礎,而不需要與應用程序進行更多協(xié)作。例如,假定使用SnapManagerforOracle執(zhí)行完整備份,則SnapManagerforOracle將進行以下操作:? 一次性將所有表空間至于熱備份模式下? 創(chuàng)建關聯(lián)卷的SnapShot副本? 將表空間返回正常操作? 執(zhí)行日志切換? 歸檔日志? 為歸檔的日志創(chuàng)建SnapShot副本雖然上述步驟看起來是一個非常復雜的流程,但實際上整個流程非常迅速,其核心操作即創(chuàng)建快照并恢復數(shù)據(jù)庫到正常操作模式這一過程耗時僅幾秒鐘,并且用戶不必了解數(shù)據(jù)在存儲系統(tǒng)上的放置方式及其在網(wǎng)絡上的發(fā)送方式,因此通常采用SnapManager解決方案的用戶會在一天內(nèi)對整個數(shù)據(jù)庫進行3次甚至于更多次的備份操作,以保留多份數(shù)據(jù)庫副本和降低RPO。通過結合使用SnapManager和SnapDrive,應用程序管理員無需不斷地與存儲管理員交涉,便可完成備份任務。NetAppSnapManager軟件套裝是一整套數(shù)據(jù)保護工具,可以為包括Exchange、SQLServer、SharePoint、Oracle和SAP以及VMware和Hyper-V虛擬機在內(nèi)的眾多企業(yè)應用程序提供行業(yè)領先的數(shù)據(jù)保護。這些工具可以為應用程序備份帶來以下巨大優(yōu)勢:與每個應用程序獨一無二的特性和功能實現(xiàn)緊密集成。充分利用NetApp數(shù)據(jù)保護功能,包括Snapshot、SnapMirror、SnapVault、SnapRestore和FlexClone技術,可提供快速高效的備份和恢復、災難恢復復制以及克隆。在遠遠少于以往的時間內(nèi)便可更加快速地完成備份(一般是幾分鐘內(nèi),而以往是數(shù)小時),因此可以更加頻繁地完成備份,并且不會造成應用程序中斷。減輕服務器上的大部分數(shù)據(jù)保護工作負載。提供應用程序集中化界面,支持應用程序管理員執(zhí)行備份,而無需了解存儲詳細信息并將存儲管理員從日?;顒又薪饷摮鰜?。基于控制器的SnapManager授權不限容量、前端應用主機類型以及應用主機數(shù)量,換句話說,即使應用數(shù)量和規(guī)模都大幅度增長,用戶也無需為應用備份投入后續(xù)的資金。SnapManagerforSQLServer的管理界面SnapManagerforOracle的管理界面SnapManagerforVMware的管理界面機房和設備搬遷對于任何用戶而言,必要情況下的機房搬遷都是難以避免而又艱巨復雜的任務。特別是對于存儲系統(tǒng)而言,沉重的機柜包含大量硬盤,難以移動且無法保證數(shù)據(jù)安全,因此通常都是將所有硬盤從盤柜中卸下獨立進行包裝和運輸。然而幾乎所有存儲廠家的RAID機制都要求硬盤拆卸和安裝順序不能有任何差錯,否則將會導致數(shù)據(jù)全部丟失的災難性后果,因此對硬盤的編號、包裝、運輸、管理和上架又帶來額外的負擔,且包含潛在的巨大風險。對比明顯,NetApp的RAID機制可以實現(xiàn)完全的硬盤漫游功能,對硬盤的拆卸和安裝順序沒有要求,在我們之前為其他用戶提供的多次搬遷服務中,操作人員只需要將硬盤全部卸下,運輸?shù)叫碌攸c,無需考慮硬盤順序即可進行安裝,系統(tǒng)運行不會出現(xiàn)任何問題,大大減輕了存儲搬遷的工作量和操作成本。

NetApp解決方案針對本項目的優(yōu)勢這里我們簡單地列出NetApp解決方案針對本項目的主要優(yōu)勢。功能和特性NetApp其他廠家高性能全閃存陣列針對閃存進行專門優(yōu)化和改進的產(chǎn)品傳統(tǒng)混合陣列配置閃存介質(zhì)真正的統(tǒng)一存儲架構支持,在一套硬件和軟件核心上實現(xiàn)需要多臺設備如網(wǎng)關等搭配實現(xiàn)訪問協(xié)議包含SAN/NAS在內(nèi)的全部訪問協(xié)議僅SAN協(xié)議橫向擴展支持,且可擴展不同型號的設備,從而實現(xiàn)存儲分級和投資保護多數(shù)不支持,其他的則要求擴展完全相同的型號,后續(xù)投資極大可與現(xiàn)有設備融合可與現(xiàn)有的FAS3240等設備統(tǒng)一規(guī)劃,并創(chuàng)建集群不支持在線更新硬件支持,可在線依次更新控制器硬件型號,且數(shù)據(jù)原地不動不支持,需要升級時需停機,且需要將所有控制器硬件一次性全部更新雙活架構將來可直接轉化為雙活架構,僅需要購買用于數(shù)據(jù)鏡像的硬盤柜至少需要額外購買一套完全相同的設備,以及其他周邊附加設施異地容災復制已經(jīng)包含全容量許可通?;谌萘渴召M異地備份復制已經(jīng)包含全容量許可不支持應用集成的數(shù)據(jù)管理方案包含,針對幾乎所有主流數(shù)據(jù)庫應用和虛擬化環(huán)境不支持

產(chǎn)品規(guī)格隨著技術的價值愈發(fā)凸顯,開始在關鍵業(yè)務運營以及后臺職能方面扮演重要作用,IT主管必須重新審視存儲的構建模式。存儲正常運行時間、可擴展性和成本效益等傳統(tǒng)要求仍然非常重要,但是云集成、針對SAN和NAS的統(tǒng)一支持以及簡化的數(shù)據(jù)挖掘等因素對于贏得競爭優(yōu)勢同樣具有重大意義。傳統(tǒng)存儲和數(shù)據(jù)架構的諸多結構性限制,導致許多企業(yè)裹足不前。傳統(tǒng)存儲陣列或許可以滿足基本需求,但是無法滿足更嚴格的服務要求,也無法支持云計算等全新IT模式。數(shù)據(jù)驅動型企業(yè)需要一種全新的存儲方式,通過集成高性能硬件和可擴展的自適應存儲軟件,在支持現(xiàn)有工作負載的同時,以快速的調(diào)整和擴展來支持新應用程序和不斷發(fā)展的IT模式。AFF8000企業(yè)存儲系統(tǒng)專為滿足這些需求而設計。由NetAppDataONTAP提供支持并針對橫向擴展進行了優(yōu)化,AFF8000系列可以整合SAN和NAS存儲基礎架構。憑借成熟可靠的數(shù)據(jù)管理功能,AFF8000可以靈活地適應不斷變化的業(yè)務需求,同時滿足核心IT要求。AFF8000具有多處理器Intel芯片組,而且采用了可加速和優(yōu)化寫入操作的高性能內(nèi)存模塊NVRAM以及支持I/O調(diào)整的PCIeGen3架構,后者可最大限度地提高應用程序吞吐量。依托十多年的多核心優(yōu)化經(jīng)驗,DataONTAP采用最新核心并可以通過不斷增加核心數(shù)量滿足持續(xù)增長的存儲需求。在此基礎上打造的靈活高效的I/O設計,可以支持大量高速網(wǎng)絡連接以及大規(guī)模容量擴展。AFF8000橫向擴展存儲系統(tǒng)在極其密集的架構中提供無與倫比的靈活性和可擴展性。集成的統(tǒng)一目標適配器(UTA2)端口支持16Gb光纖通道、10GbE或FCoE,因此無論未來將要面對何種選擇,存儲從第一天起就已經(jīng)做好萬全準備。NetAppAFF8000系列存儲系統(tǒng)集統(tǒng)一橫向擴展架構與領先的數(shù)據(jù)管理功能于一體,該系列系統(tǒng)能夠更快地適應不斷變化的業(yè)務需求,同時滿足正常運行時間、可擴展性和成本效益等核心IT要求。加快業(yè)務運營。AFF8000統(tǒng)一橫向擴展系統(tǒng)利用全新的高性能多核架構和自我管理閃存加速功能,可提高吞吐量并降低延遲,從而為各種類型的SAN和NAS工作負載提供穩(wěn)定如一的應用程序性能。簡化IT運營。簡化的管理以及與云提供商的成熟集成功能,可以幫助您在數(shù)據(jù)中心和混合云中放心無憂地部署AFF8000。借助無中斷運行,無需安排計劃內(nèi)停機便可加快硬件維修、技術更新及其他更新,從而簡化長期擴展并延長正常運行時間。利用業(yè)內(nèi)唯一一款統(tǒng)一存儲虛擬化平臺,提高現(xiàn)有陣列的靈活性和ROI?;?0余年的V系列存儲虛擬化經(jīng)驗,NetApp?FlexArray虛擬化軟件支持AFF8000系統(tǒng)為主流第三方系列陣列提供全面的存儲虛擬化。通過虛擬化當前陣列擴展對SAN和NAS工作負載的支持,利用一款通用管理結構簡化并加快數(shù)據(jù)配置和保護等關鍵任務,保證業(yè)務平穩(wěn)運營。利用NetApp存儲效率技術,F(xiàn)lexArray可將現(xiàn)有陣列的容量要求減少35%甚至更多,并提高當前存儲的效用,從而實現(xiàn)更高的資產(chǎn)回報。經(jīng)過虛擬化后,現(xiàn)有陣列可以獲得全球第一品牌存儲操作系統(tǒng)NetAppDataONTAP的優(yōu)勢。在正常

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論