




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、Good is good, but better carries it.精益求精,善益求善。NETAPP介紹-NetApp公司介紹NetworkAppliance是提供網(wǎng)絡(luò)數(shù)據(jù)存儲和高速緩存設(shè)備的專業(yè)公司,其業(yè)績高速發(fā)展。公司是網(wǎng)絡(luò)數(shù)據(jù)存儲解決方案的市場領(lǐng)導者,其網(wǎng)絡(luò)存儲服務(wù)器(FILER)及網(wǎng)絡(luò)緩存解決方案(NetCache)提供高效、簡捷、可靠的數(shù)據(jù)存取。自1992年成立至今,全球已安裝了超過30000臺,連續(xù)9年以每年營業(yè)額和利潤翻番的速度高速增長。其銷售和利潤增長率均位居全美高科技企業(yè)前列;為NASDAQ上市公司,其股票列為NASDAQ100和華爾街標準普爾500成分指標股(NTAP)
2、;1999,2000連續(xù)兩年被財富雜志評為全美最快成長公司第四位;被商業(yè)周刊雜志評為99年全美最佳業(yè)績公司第19位,1999,2000年連續(xù)兩年名列高速增長公司前100位(20th/00)HYPERLINK/2000/00_13/bw50.htm/2000/00_13/bw50.htmHYPERLINK/2000/00_22/b3683022.htm/2000/00_22/b3683022.htm2002年,NetApp公司在美國經(jīng)濟調(diào)整期,通過優(yōu)異的性價比,不斷奪取市場份額。其數(shù)據(jù)高端存儲設(shè)備FILER占據(jù)網(wǎng)絡(luò)存儲市場的51%,處于絕對優(yōu)勢地位;其高速緩存設(shè)備NETCACHE占2000年CA
3、CHE市場的41%,全球最大的10家國家級電信,有九家用其加速用戶訪問,處于市場領(lǐng)先位置;NetworkApplianceInc公司美國SantaClara,加州1992年成立,NASDAQ100指標股SP500指標股年增長幅度100%公司產(chǎn)品網(wǎng)絡(luò)數(shù)據(jù)存儲設(shè)備Filer網(wǎng)絡(luò)緩沖存儲器NetCache核心到邊緣的數(shù)據(jù)管理發(fā)布解決方案特點設(shè)備專門化以達到高性能、高效、易用、可擴展、安全、利于業(yè)務(wù)增值市場地位Storage、WEBCACHE、CDN市場領(lǐng)導者用戶Intel、Oracle、Siemens、AOL、Yahoo、HongKongTelecom、BT、UUNET、TelstraInterne
4、t等NetApp的哲學是Simpleisbest,通過Appliance方式為用戶提供快速、簡單、可靠的數(shù)據(jù)服務(wù)。以網(wǎng)絡(luò)為核心的革新設(shè)計獲得業(yè)界迅速認同,是美國最成功的企業(yè)之一,經(jīng)過5年發(fā)展進入世界500強,其成功的數(shù)據(jù)管理和部署方案,通過消除管理復雜度,為用戶帶來價值。以系統(tǒng)的方式設(shè)計:使應(yīng)用服務(wù)與數(shù)據(jù)管理分離,解決數(shù)據(jù)存儲、移動、部署的問題。Appliance的設(shè)計原則:軟件優(yōu)化導致性能的提高遠遠超出硬件的提高,專門的目的導致管理的簡單和系統(tǒng)可用性的提高。開放的標準:業(yè)界創(chuàng)新和技術(shù)的領(lǐng)導,集成SAN和NAS的優(yōu)點。支持SAN方式的數(shù)據(jù)備份,NAS的數(shù)據(jù)共享。先進的服務(wù):產(chǎn)品的簡單使得先進的
5、服務(wù)體系,極大降低用戶的維護成本,極高的服務(wù)效率。NetworkAppliance公司所提供的完善的解決方案:提供從核心層到邊緣層的數(shù)據(jù)存儲和內(nèi)容發(fā)布的統(tǒng)一平臺,在此平臺上,數(shù)據(jù)在核心層的存儲與在邊緣層的內(nèi)容發(fā)布應(yīng)用不再處于類似孤島的信息隔離狀態(tài),而是在一系列應(yīng)用方案的配合之下形成有機的,一體化和緊密聯(lián)系的無縫連接的應(yīng)用平臺,為用戶在此平臺上進行各種增殖服務(wù)和拓展業(yè)務(wù)提供了功能強大,管理簡易等優(yōu)點,在橫向和縱向的系統(tǒng)擴展中顯示了高可用性和高擴展性。并且在業(yè)界系統(tǒng)實施中取得最佳的性價比。其特點詳述如下:功能多樣,集成式的內(nèi)容管理多協(xié)議文件存儲平臺-在當今不斷增加和擴充的異構(gòu)企業(yè)環(huán)境下,Netwo
6、rkAppliance已經(jīng)意識到在多平臺上存儲和共享數(shù)據(jù)的需要。NetworkAppliance可以方便地在您的應(yīng)用環(huán)境中支持Windows,UNIX和Web平臺。共享數(shù)據(jù)和存儲設(shè)備。NetAppFiler可以配置來處理CIFS和NFS協(xié)議,它為異構(gòu)的客戶端操作系統(tǒng)提供強健的網(wǎng)絡(luò)文件共享解決方案。通過在一個文件系統(tǒng)中支持多網(wǎng)絡(luò)文件讀取協(xié)議,提供用以發(fā)布所有類型內(nèi)容(流、web頁面、其他文件)的統(tǒng)一平臺。橫向和縱向的系統(tǒng)高擴展性;NetAppFilers可以在工作組與企業(yè)級環(huán)境下實現(xiàn)高速、可靠的傳輸與數(shù)據(jù)訪問。它們使得組織可以方便的添加和管理數(shù)據(jù)存儲設(shè)備,同時對系統(tǒng)中斷所冒風險降至最低。NetA
7、ppFilers的構(gòu)建體系使得它們可以最小的代價方便地、快速的存儲和訪問大容量的數(shù)據(jù)。原因是NetworkApplication獨特的設(shè)計方案:存儲在其中的數(shù)據(jù)從應(yīng)用程序中分離出來,并被放置到一個專用的經(jīng)過優(yōu)化的設(shè)備里以實現(xiàn)數(shù)據(jù)服務(wù)。同樣這個方法可以利用動態(tài)的、聯(lián)機硬盤擴展和熱插拔驅(qū)動器來方便地擴充系統(tǒng),這確保了在文件增長和硬盤替換過程中系統(tǒng)不停機。文件讀寫的高性能;DataONTAP操作系統(tǒng)融合了一種獨特的專利文件系統(tǒng)技術(shù)和一種強大的基于微內(nèi)核(microkernel)的設(shè)計,以使其專門用于網(wǎng)絡(luò)數(shù)據(jù)存取。其構(gòu)建體系通過減少與文件服務(wù)無關(guān)的功能,如圖形窗口系統(tǒng)或運行本地應(yīng)用程序的能力,從而增強
8、系統(tǒng)總體的性能。DataONTAP操作系統(tǒng)有一種簡單的微內(nèi)核設(shè)計,其結(jié)果是具有更短的代碼路徑。該設(shè)計方案無須復雜的硬件配置或手工調(diào)節(jié)性能,就可以產(chǎn)生快速響應(yīng)時間和高數(shù)據(jù)吞吐量。通過其獨特的多平臺特性,操作系統(tǒng)無須降低其兼容性和性能,就可以同時向UNIX,Windows和Web客戶端提供文件服務(wù)。通過支持開放標準,運行DataONTAP軟件的NetAppFiler可以很方便地集成到現(xiàn)存的系統(tǒng)環(huán)境中而無需額外的客戶端軟件。為不斷增強的系統(tǒng)性能優(yōu)化文件服務(wù)。DataONTAP軟件可以調(diào)整它的WriteAnywhereFileLayout(WALF)一種具有專利技術(shù)的日志結(jié)構(gòu),可以進行動態(tài)的信息節(jié)點(
9、inode)分配以加快對硬盤的寫操作。在帶寬數(shù)據(jù)處理高吞吐設(shè)計上,由于NetApp的Filer文件服務(wù)器主機與后端存儲可采用多端口(最多為4個端口)的光纖通道連接方式,滿足系統(tǒng)密集并發(fā)的高吞吐要求。數(shù)據(jù)傳輸,存儲和用戶管理的高度安全性NETAPP實施的方案便是在保證數(shù)據(jù)和安全管理的前提下,應(yīng)用網(wǎng)絡(luò)結(jié)構(gòu)配置的靈活性,盡可能地與用戶的網(wǎng)絡(luò)和IT架構(gòu)進行無縫連接。另一方面在安全管理上,配合用戶現(xiàn)有平臺上的管理機制,實現(xiàn)對系統(tǒng)用戶的訪問鑒別和數(shù)據(jù)共享的屬性控制并實現(xiàn)在網(wǎng)絡(luò)層實施對一般用戶對存儲設(shè)施管理權(quán)的高度隔離,將用戶關(guān)鍵系統(tǒng)的安全級別提升到B2級,從而達到安全的高可靠性。其安全管理特性如下所述:W
10、AFL專利內(nèi)核結(jié)構(gòu)使之免受黑客攻擊FILER所采用的文件系統(tǒng)-WAFL為我公司擁有專利版權(quán)的集成式文件系統(tǒng),其特點是:WAFL為文件讀寫服務(wù)專門設(shè)計的微內(nèi)核實時操作系統(tǒng),與通用文件系統(tǒng)相比,代碼精簡,僅50萬行,且在內(nèi)核的網(wǎng)絡(luò)堆棧和文件系統(tǒng)調(diào)用等經(jīng)過專門改寫,使黑客在攻擊時無后門可鉆。經(jīng)過專業(yè)的安全公司測試其用戶關(guān)鍵系統(tǒng)的安全級別達到B2級。而且,FILER內(nèi)核中不包含遠程登陸工具如:TELNET,FTP,RCP,RLOGIN等因此黑客無法以FILER作為攻擊的跳板。讀寫高性能,抵抗惡意攻擊能力極強WAFL為文件讀寫服務(wù)專門設(shè)計的微內(nèi)核實時操作系統(tǒng),與通用文件系統(tǒng)相比,代碼精簡,但實現(xiàn)功能專一
11、且強大,這使設(shè)備在核心層便減少了在傳統(tǒng)格局中由于中間函數(shù)的頻繁產(chǎn)生,處理復雜而對系統(tǒng)性能穩(wěn)定性的降低,它的出錯率遠少于用途多而復雜的操作系統(tǒng)。這一切使整個系統(tǒng)的讀寫性能和系統(tǒng)的可用性指標達到業(yè)界的領(lǐng)先水平,同時在與其他NAS廠商的功能與性能對比中優(yōu)勢明顯。其典型案例便是全部采用NETAPP存儲的YAHOO和新浪在前兩年分別遭受黑客全球范圍的拒絕訪問攻擊(denyofservice),FILER群集峰值讀寫處理請求遠超過13800/S,且持續(xù)時間長達30小時,但FILER性能表現(xiàn)出色,是所有系統(tǒng)中唯一不發(fā)生宕機的硬件設(shè)備,其抵抗惡意攻擊能力深受客戶好評。系統(tǒng)具備自動恢復功能,能進行災難恢復數(shù)據(jù)丟
12、失將會給企業(yè)帶來巨大的損失,因此數(shù)據(jù)安全永遠是系統(tǒng)管理員的首要考慮。Filer的備份和恢復方案是多層次、全方位的。在線快速備份和恢復是指系統(tǒng)利用現(xiàn)有的磁盤空間來進行備份,由于使用的是處于工作狀態(tài)的磁盤,而不是速度較慢的磁帶,故備份和恢復地速度非???,并且方便靈活。利用存儲設(shè)備的SnapShot功能,用戶可以在低磁盤耗費的情況下對全盤數(shù)據(jù)進行快速地照相。用戶可以自己恢復誤刪除的文件,大大減輕了系統(tǒng)管理員的工作強度。利用SnapShot進行時間點備份,保護數(shù)據(jù)免于誤操作,例如,意外修改、刪除、病毒等,可以迅速地備份、恢復數(shù)據(jù)。并且由于SnapShot內(nèi)時間點備份數(shù)據(jù)均為只讀形式,因此惡意破壞也無法
13、實施。網(wǎng)絡(luò)存儲結(jié)構(gòu)使系統(tǒng)配置伸縮自如并保證網(wǎng)絡(luò)傳輸安全由于采用基于網(wǎng)絡(luò)層之上的網(wǎng)絡(luò)文件協(xié)議,連接為邏輯方式,而無須物理的,固定的光纖通道實現(xiàn),且對于邏輯連接方式,其同時的連接通道近乎無限,因此前端應(yīng)用服務(wù)器的擴展性能獲得極大增強,并為將來的應(yīng)用擴展提供了廣闊的空間;另一方面,通過與交換機的配合,網(wǎng)絡(luò)通道可實現(xiàn)VALN配置,其傳輸?shù)莫毩⑿院桶踩远嫉玫奖WC。(FILER的每一網(wǎng)口可支持最多20個VALN配置).另外,通過對網(wǎng)絡(luò)接口的靈活配置,F(xiàn)ILER文件服務(wù)器可實現(xiàn)在網(wǎng)絡(luò)通道的冗余備份(Trunking技術(shù))避免系統(tǒng)單點失誤,其安全性能更勝一籌。用戶訪問管理控制嚴密安全管理上,配合用戶現(xiàn)有平臺
14、上的管理機制,實現(xiàn)對系統(tǒng)用戶的訪問鑒別和數(shù)據(jù)共享的屬性控制。其操作系統(tǒng)的一致性,導致在介質(zhì)共享的基礎(chǔ)上,其在異構(gòu)平臺環(huán)境之下,先天上實現(xiàn)真正的文件級數(shù)據(jù)共享。而其他存儲系統(tǒng)僅在應(yīng)用層對共享屬性進行模擬,其性能和安全性均大打折扣。網(wǎng)絡(luò)管理的安全性得以充分保證實現(xiàn)在網(wǎng)絡(luò)層實施對一般用戶對存儲設(shè)施管理權(quán)的高度隔離,另外使用128位SSL/SSH加密保護基礎(chǔ)上的網(wǎng)絡(luò)管理的安全性得以充分保證。Filer的卷可以互換,DB服務(wù)器不再綁定一個DBinstance,由于DB服務(wù)器和Filer之間的LINK是獨享的,可以提供安全性,另外只有指定的服務(wù)器可以mount某個Filer上的目錄。在Filer上利用簡單
15、的命令可以控制、改變權(quán)限。如在FILER上可對于不同的主機的訪問要求分別授予root,access,read/write,readonly和拒絕訪問等不同權(quán)限。Filer管理安全設(shè)置運用AutoSupport和SecureAdmin軟件,SNMP工具集,資源監(jiān)控工具。通過配置用于存儲訪問的網(wǎng)絡(luò),使得所有服務(wù)器可以按照不同得性能、安全、可用性要求,獲得合適的訪問路徑。在FILER上可對管理主機進行訪問控制,如可根據(jù)主機名,IP地址或子網(wǎng)劃分的方式來實現(xiàn),從而極大地保證了FILER管理的安全性。Filer對病毒防治的支持通過ICAP,英特網(wǎng)內(nèi)容適應(yīng)協(xié)議,流媒體平臺可以提供多種增值服務(wù),其優(yōu)點是開放
16、性、擴充能力。當用戶訪問的內(nèi)容到達Filer,Filer會將需要進行修改、定制的數(shù)據(jù)對象,通過ICAP轉(zhuǎn)發(fā)到相應(yīng)的應(yīng)用服務(wù)器,服務(wù)器處理后交還Filer,再返回給用戶,以后的請求,F(xiàn)iler將直接把處理過的內(nèi)容交回用戶,無需再次處理。利用這一技術(shù),可以在通用平臺上開發(fā)分布的增值業(yè)務(wù),其實質(zhì)相當于遠程過程調(diào)用,將原來需要在Server上進行的處理工作轉(zhuǎn)移到靠近用戶的Filer上進行。NetApp和Akamai是這一協(xié)議的創(chuàng)始人,獲得業(yè)界廣泛的支持,如NAI、TRENDMICRO和Symantec公司的反病毒支持.DataONTAP操作系統(tǒng)內(nèi)置對反病毒服務(wù)器的支持,這個設(shè)計可以保護存儲在NetAp
17、pfiler上的數(shù)據(jù)不被病毒感染。反病毒掃描軟件運行在另外的WindowsNT或Windows2000服務(wù)器上,該服務(wù)器通過網(wǎng)絡(luò)和Filer通訊。DataONTAP操作系統(tǒng)的反病毒支持保護Windows用戶通過CommonInternetFileSystem(CIFS)協(xié)議訪問Filer上的數(shù)據(jù)。文件在訪問時被掃描,on-access,例如open,create或change一個文件時。Windows用戶在訪問Filer時不會發(fā)現(xiàn)病毒掃描行為,病毒掃描對用戶透明,在后臺進行。AV(Anti-Virus)server利用RemoteProcedureCalls(RPCs)和經(jīng)過認證的CIFS連接
18、和Filer交互。當文件被打開或修改時,F(xiàn)iler將發(fā)起對這些文件的掃描,當該文件的后綴包含在需掃描的文件類型列表中而且該文件未被標明“已掃描”,F(xiàn)iler才會發(fā)起掃描。當一個用戶試圖open,create,或change一個需要掃描的文件,例如,一個.exe文件。Filer會通知一個注冊的AVserver并且提供文件的路徑供其掃描。AVserver打開一條到該文件的連接檢查文件有無病毒特征或行為。掃描服務(wù)器接著通知filer檢查結(jié)果。如果沒有病毒,文件請求就會被Filoer許可,否則反病毒軟件進行相應(yīng)的操作。當文件被安全地掃描,F(xiàn)iler在內(nèi)存里面紀錄最近掃描的結(jié)果。減少了重復掃描,提高了性
19、能。掃描過程需要幾個毫秒,對于一些復雜的文件需要幾秒種,例如.zip和.cab等文件。任何情況下,用戶/應(yīng)用程序不會不經(jīng)過反病毒掃描就訪問數(shù)據(jù)。多級的數(shù)據(jù)備份和恢復機制;FILER文件服務(wù)器根據(jù)災難的不同級別,在軟硬件的各個層次上對恢復功能作出不同的策略,詳述如下:斷電后快速重啟恢復有別于傳統(tǒng)的文件系統(tǒng)在掉電后實施的類似SCANDISK或FSCK等耗時且效率低下的文件系統(tǒng)一致性檢測過程,NETAPP的WAFL內(nèi)核由于內(nèi)核精簡,在其正常運行時便將其文件系統(tǒng)前一時刻的映像保留在系統(tǒng)的引導區(qū)之內(nèi),稱為文件系統(tǒng)的一致點,其一致點每隔10秒作出更新,但在任何時刻都保持一份完整映像,在突遇掉電等故障時,系
20、統(tǒng)在重啟過程中,只需恢復至一致點時刻,即使在TB級的存儲環(huán)境下,整個恢復只需不到兩分鐘即可完成。而在掉電時尚未作出提交的讀寫請求會保存在有后備電源支持的NVRAM(不掉電內(nèi)存)之中,不會隨重啟而刷新,在系統(tǒng)正常工作之后,其保留請求會實施提交或回滾的動作,全部恢復工作全部自動進行;Snapshot(快照)是一種基于時間點之間變動塊拷貝的聯(lián)機備份機制??煺占夹g(shù)為高可用性應(yīng)用提供了一種高效,快速的在線聯(lián)機備份和恢復方式。其主要應(yīng)用場合為:用戶自行恢復因失誤而被刪除的文件用于替換夜間操作的磁帶增量備份存儲數(shù)據(jù)比磁帶增量備份更頻繁的能力用于當使用dump和NDMP創(chuàng)建磁帶備份時,與該磁帶備份一致的拷貝C
21、luster(本地雙機集群)文件系統(tǒng)專用設(shè)備Filer除了軟硬件本身具有99.99%的高可靠性以外在以低成本、低性能開銷、不增加系統(tǒng)復雜度的前提下,將兩臺獨立的Filer耦合起來(參閱系統(tǒng)結(jié)構(gòu)圖),實現(xiàn)一旦一臺Filer因故障而停止運行并且不能重新啟動,另一臺Filer立即就可接管這一臺Filer的全部工作,保證系統(tǒng)正常運行。SnapMirror-(遠程鏡像技術(shù))提供了一個快速的、可伸縮的企業(yè)級的解決方案,通過本地或遠程網(wǎng)絡(luò)將RAID4中的卷作鏡像或復制。強大的SnapMirror可用于:災難恢復從鏡像到磁帶的企業(yè)級備份對本地只讀存取在遠地數(shù)據(jù)復制在一個專用的只讀鏡像上應(yīng)用測試Filer之間的
22、數(shù)據(jù)遷移SnapMirror技術(shù)是企業(yè)數(shù)據(jù)保護策略的一個關(guān)鍵的成分。如果一個災難發(fā)生在一個源Filer上,其業(yè)務(wù)通過一個鏡像的目的Filer仍然可以存取任務(wù)關(guān)鍵的數(shù)據(jù),從而保證業(yè)務(wù)不間斷地運轉(zhuǎn)。企業(yè)的磁帶備份是從一個鏡像產(chǎn)生而不是從一個實際卷產(chǎn)生,減少了CPU在實際卷上的負擔。由此,可將幾個Filer的實際卷鏡像到一個專用的高容量的備份Filer,在從這備份Filer創(chuàng)建磁帶備份。也可將地理上分散的,即在不同地方的磁帶備份通過鏡像卷到一個集中地而集中,然后從那個集中地進行磁帶備份。目標Filer可以事實上位于離開源Filer的任何地方。它可在同一棟大樓里或在世界的另一端,只要互聯(lián)網(wǎng)有足夠的帶寬
23、能夠承載文件系統(tǒng)復制的流量即可。SnapMirror技術(shù)提升了WAFLSnapshot的能力,這體現(xiàn)在一個目標Filer上創(chuàng)建和更新源Filer卷的拷貝的能力。用戶可以在只讀模式下存取目標Filer上的鏡像拷貝。SnapMirror制作一個基準的卷遷移(可與磁帶備份的Level0相比較),然后更新隨時間而發(fā)生增量變化的拷貝。它通過復制僅僅更新那些新的或發(fā)生變化的數(shù)據(jù)塊。由于SnapMirror在一致性的Snapshot拷貝上操作,因此鏡像拷貝也是一致的。通過以上FILER文件服務(wù)器的各種自動恢復功能,可以看到,在軟硬件的各個層次上對數(shù)據(jù)作出不同恢復策略,能盡可能地進行快速,高效的數(shù)據(jù)恢復,因此
24、可將關(guān)鍵應(yīng)用系統(tǒng)因災難所造成的損失降低至最低限度。最佳的性價比和最低的實施成本(TCO);NetApp的網(wǎng)絡(luò)存儲方案極大地降低了整個內(nèi)容分布平臺的實施成本,其優(yōu)越之處表現(xiàn)在以下方面:數(shù)據(jù)集中管理Filer為簡化數(shù)據(jù)管理而專門設(shè)計從而避免了傳統(tǒng)低效的數(shù)據(jù)分散管理的弊??;數(shù)據(jù)共享-NetAppFilers提供對UNIX和Windows完全的支持能力,系統(tǒng)無需安裝配置在UNIX和Windows系統(tǒng)之間進行轉(zhuǎn)換的軟件。這允許一個數(shù)據(jù)拷貝被共享,大大減少了對不同環(huán)境下相同的數(shù)據(jù)的多種形式的管理費用;減少DOWN機時間-減少了40%用于設(shè)備維護而產(chǎn)生的DOWN機時間;設(shè)備易于管理-由于NetAppFile
25、rs的高可用性和易于管理,使用戶在設(shè)備的維護和人員,培訓支出上的費用大大減少;綜合以上幾點,可以看到正由于產(chǎn)品的可靠,易于使用,易于管理等多種優(yōu)勢,使NetApp的存儲方案在業(yè)界擁有最佳的性價比和最低的實施成本(TCO)聲譽。簡單的管理和維護一個有效的設(shè)備只專注于一個功能。這能使系統(tǒng)的操作和管理變的很簡便。今天的數(shù)據(jù)存儲和訪問,需要進行管理、備份、定期擴充文件系統(tǒng)、排除故障及維護。這些任務(wù)隨著用戶數(shù)目的急劇增加,而變得越來越復雜。簡便是Filer的核心。它的專利軟件結(jié)構(gòu),圍繞著優(yōu)化文件服務(wù)這個任務(wù)。該結(jié)構(gòu)出奇的小,整個軟件系統(tǒng)可以放在一片軟盤上。它總共只有大約41個系統(tǒng)命令,而其它公司的產(chǎn)品有
26、上百個命令。在網(wǎng)絡(luò)上增加一個Filer,就象其它系統(tǒng)增加一個硬盤那樣簡單,而響應(yīng)時間保持不變。即使數(shù)據(jù)量增加到TB(兆兆)也是如此。DataONTAP支持流行的遠程管理和監(jiān)視標準,如SNMP、Telnet、和rsh,并可采用NetApp開發(fā)的DFM(DataFabricManager)和Appliancewatch等界面化管理工具與用戶已有的網(wǎng)絡(luò)管理工具協(xié)同工作。文件服務(wù)器除了命令行、網(wǎng)管和圖形界面等管理界面外,同時提供在線服務(wù)自動支持的功能,可以在系統(tǒng)故障時,以電子郵件的方式通知系統(tǒng)管理人員。Filer可以在30分鐘內(nèi)完成安裝,而且一開始就是有RAID支持,避免系統(tǒng)管理員花費幾個小時建立RA
27、IDgroup和volume。通過一條命令就可以把磁盤添加到任何文件系統(tǒng)中,增加存儲無需停機,而且對正常作業(yè)和性能沒有任何影響,可以動態(tài)增加服務(wù)器空間。產(chǎn)品功能介紹Snapshot-快照備份技術(shù)WAFL,Filer的文件系統(tǒng),是專門為通過網(wǎng)絡(luò)提供文件服務(wù)而設(shè)計的,而且與Filer的RAID配合設(shè)計,解決常規(guī)操作系統(tǒng)由于RAID而引起的性能問題。Snapshot功能是WAFL的隨意寫帶來的另一個功能。Snapshot,也叫“快照”,是文件系統(tǒng)在線的(隨時可以訪問),只讀的“拷貝”,Snapshot只需幾秒鐘就可以生成,如果文件未被改變或刪除就不占額外空間,或者說只有當文件系統(tǒng)的變化,變化部分會寫
28、入新的磁盤空間,這時,快照消費額外空間??煺湛梢杂糜谠诰€備份,并且使用戶可以自己進行文件恢復操作。簡化了備份到磁帶或其他陣列的作業(yè)。由于快照是整個文件系統(tǒng)的只讀的拷貝,是當前文件系統(tǒng)的具備自身一致性的備份,所以無需關(guān)機或使當前文件系統(tǒng)離線,系統(tǒng)管理員可以將快照備份到磁帶機或其他陣列上。Snapshots用于文件的即時備份SnapRestore用于整個文件系統(tǒng)的即時恢復SnapMirror用于數(shù)據(jù)復制和容災Filer可以為每個文件系統(tǒng)在線保留31個版本的快照。可以手動生成或刪除快照,也可以根據(jù)用戶定義的日程自動生成和刪除。Snapshot占用的空間取決于用戶數(shù)據(jù)變化的頻率,可以通過指定快照占用空
29、間的大小。一般20%的額外空間就可以保留整個文件系統(tǒng)的多個版本的快照。SnapMirror-遠程容災技術(shù)Filer中的Snapmirror的技術(shù),可以完成Filer中以卷為單位的異地磁盤鏡像功能。適合于遠程進行數(shù)據(jù)、應(yīng)用和數(shù)據(jù)庫的災難備份與恢復。Snapmirror的過程大致如下圖所示:具體特點是:遠程用戶以只讀方式訪問鏡像點上的數(shù)據(jù)。鏡像點上的數(shù)據(jù)訪問,起到了均衡負載的作用。保留了被鏡像點Filer上的所有信息資源。在不中斷網(wǎng)絡(luò)服務(wù)的情況下,可以用一臺Filer做另一臺Filer的數(shù)據(jù)遷移。當嚴重性災難發(fā)生導致Filer上一個卷或整個Filer不能工作時,可以立即進行恢復。Filer的源于鏡
30、像點,不僅僅是一對一的關(guān)系,還可以是一對多的關(guān)系。鏡像是異步、自動完成的。對鏡像可以進行實時監(jiān)控。CNETAPP產(chǎn)品特點通過數(shù)據(jù)的存儲整合和智能的數(shù)據(jù)管理,用戶得以從以往繁重的數(shù)據(jù)管理負擔中解脫出來,可以專注于其核心業(yè)務(wù)的發(fā)展。此方案的優(yōu)勢具體體現(xiàn)為:將數(shù)據(jù)的集中管理要求和實際的數(shù)據(jù)分散存放的現(xiàn)狀相結(jié)合,使用NetApp的軟硬件一體化解決方案,建設(shè)綜合管理平臺,減少維護管理的復雜度及難度;真正的數(shù)據(jù)共享的存儲平臺,對前端主機真正透明支持;實現(xiàn)了集中式的統(tǒng)一管理:可以通過統(tǒng)一的Web管理軟件從一個中心控制平臺對存儲進行管理,從根本上改變了各分數(shù)據(jù)中心在業(yè)務(wù)處理上數(shù)據(jù)分散存放和自行管理的局面;多級
31、的數(shù)據(jù)備份和恢復機制保證了數(shù)據(jù)和應(yīng)用的高可用性并提高了備份和容災的整體性能;最優(yōu)的整體擁有成本(TCO)。FILER產(chǎn)品線容量及性能指標NetApp的Filer從小到大,容量和性能不同,而使用方式卻完全一致。型號容量使用環(huán)境F2501TB部門級F810F810c1.5TB3TB企業(yè)入門級F825F825C3TB6TB企業(yè)級F940F940C9TB18TB企業(yè)級數(shù)據(jù)中心F960F960C12TB48TB企業(yè)級數(shù)據(jù)中心注:產(chǎn)品末尾加C代表雙機群集,其存儲量為單機2倍.FILER系列性能指標:產(chǎn)品系列ProtocolOPS/secondORT(ms)讀吞吐(MB/S)寫吞吐(MB/S)F960TCP
32、251350.99231130F940TCP174191.45187102F825TCP80621.1813558F810TCP49741.6410852F250TCP36502.18734注:評測標準:SPECsfs97_R1.v3(NFSversion3);評測標準來源HYPERLINK/osg/sfs97r1/results/sfs97r1.html/osg/sfs97r1/results/sfs97r1.html;OPS/sec:每秒網(wǎng)絡(luò)IO并發(fā)處理數(shù)ORT:overallresponsetime簡稱每一IO處理響應(yīng)時間NetApp整體管理平臺獨特優(yōu)勢NetworkAppliance公
33、司所提供的完善的解決方案:提供從核心層到邊緣層的數(shù)據(jù)存儲和內(nèi)容發(fā)布的統(tǒng)一平臺,在此平臺上,數(shù)據(jù)在核心層的存儲與在邊緣層的內(nèi)容發(fā)布應(yīng)用不再處于類似孤島的信息隔離狀態(tài),而是在一系列應(yīng)用方案的配合之下形成有機的,一體化和緊密聯(lián)系的無縫連接的應(yīng)用平臺,為用戶在此平臺上進行各種增殖服務(wù)和拓展業(yè)務(wù)提供了功能強大,管理簡易等優(yōu)點,在橫向和縱向的系統(tǒng)擴展中顯示了高可用性和高擴展性。并且在業(yè)界系統(tǒng)實施中取得最佳的性價比。其特點詳述如下:功能多樣,集成式的內(nèi)容管理多協(xié)議文件存儲平臺-在當今不斷增加和擴充的異構(gòu)企業(yè)環(huán)境下,NetworkAppliance已經(jīng)意識到在多平臺上存儲和共享數(shù)據(jù)的需要。NetworkApp
34、liance可以方便地在您的應(yīng)用環(huán)境中支持Windows,UNIX和Web平臺。共享數(shù)據(jù)和存儲設(shè)備。NetAppFiler可以配置來處理CIFS和NFS協(xié)議,它為異構(gòu)的客戶端操作系統(tǒng)提供強健的網(wǎng)絡(luò)文件共享解決方案。通過在一個文件系統(tǒng)中支持多網(wǎng)絡(luò)文件讀取協(xié)議,提供用以發(fā)布所有類型內(nèi)容(流、web頁面、其他文件)的統(tǒng)一平臺。橫向和縱向的系統(tǒng)高擴展性;NetAppFilers可以在工作組與企業(yè)級環(huán)境下實現(xiàn)高速、可靠的傳輸與數(shù)據(jù)訪問。它們使得組織可以方便的添加和管理數(shù)據(jù)存儲設(shè)備,同時對系統(tǒng)中斷所冒風險降至最低。NetAppFilers的構(gòu)建體系使得它們可以最小的代價方便地、快速的存儲和訪問大容量的數(shù)據(jù)
35、。原因是NetworkApplication獨特的設(shè)計方案:存儲在其中的數(shù)據(jù)從應(yīng)用程序中分離出來,并被放置到一個專用的經(jīng)過優(yōu)化的設(shè)備里以實現(xiàn)數(shù)據(jù)服務(wù)。同樣這個方法可以利用動態(tài)的、聯(lián)機硬盤擴展和熱插拔驅(qū)動器來方便地擴充系統(tǒng),這確保了在文件增長和硬盤替換過程中系統(tǒng)不停機。文件讀寫的高性能;DataONTAP操作系統(tǒng)融合了一種獨特的專利文件系統(tǒng)技術(shù)和一種強大的基于微內(nèi)核(microkernel)的設(shè)計,以使其專門用于網(wǎng)絡(luò)數(shù)據(jù)存取。其構(gòu)建體系通過減少與文件服務(wù)無關(guān)的功能,如圖形窗口系統(tǒng)或運行本地應(yīng)用程序的能力,從而增強系統(tǒng)總體的性能。DataONTAP操作系統(tǒng)有一種簡單的微內(nèi)核設(shè)計,其結(jié)果是具有更短的
36、代碼路徑。該設(shè)計方案無須復雜的硬件配置或手工調(diào)節(jié)性能,就可以產(chǎn)生快速響應(yīng)時間和高數(shù)據(jù)吞吐量。通過其獨特的多平臺特性,操作系統(tǒng)無須降低其兼容性和性能,就可以同時向UNIX,Windows和Web客戶端提供文件服務(wù)。通過支持開放標準,運行DataONTAP軟件的NetAppFiler可以很方便地集成到現(xiàn)存的系統(tǒng)環(huán)境中而無需額外的客戶端軟件。為不斷增強的系統(tǒng)性能優(yōu)化文件服務(wù)。DataONTAP軟件可以調(diào)整它的WriteAnywhereFileLayout(WALF)一種具有專利技術(shù)的日志結(jié)構(gòu),可以進行動態(tài)的信息節(jié)點(inode)分配以加快對硬盤的寫操作。在帶寬數(shù)據(jù)處理高吞吐設(shè)計上,由于NetApp的
37、Filer文件服務(wù)器主機與后端存儲可采用多端口(最多為4個端口)的光纖通道連接方式,滿足系統(tǒng)密集并發(fā)的高吞吐要求。數(shù)據(jù)傳輸,存儲和用戶管理的高度安全性NETAPP實施的方案便是在保證數(shù)據(jù)和安全管理的前提下,應(yīng)用網(wǎng)絡(luò)結(jié)構(gòu)配置的靈活性,盡可能地與用戶的網(wǎng)絡(luò)和IT架構(gòu)進行無縫連接。另一方面在安全管理上,配合用戶現(xiàn)有平臺上的管理機制,實現(xiàn)對系統(tǒng)用戶的訪問鑒別和數(shù)據(jù)共享的屬性控制并實現(xiàn)在網(wǎng)絡(luò)層實施對一般用戶對存儲設(shè)施管理權(quán)的高度隔離,將用戶關(guān)鍵系統(tǒng)的安全級別提升到B2級,從而達到安全的高可靠性。其安全管理特性如下所述:WAFL專利內(nèi)核結(jié)構(gòu)使之免受黑客攻擊FILER所采用的文件系統(tǒng)-WAFL為我公司擁有專
38、利版權(quán)的集成式文件系統(tǒng),其特點是:WAFL為文件讀寫服務(wù)專門設(shè)計的微內(nèi)核實時操作系統(tǒng),與通用文件系統(tǒng)相比,代碼精簡,僅50萬行,且在內(nèi)核的網(wǎng)絡(luò)堆棧和文件系統(tǒng)調(diào)用等經(jīng)過專門改寫,使黑客在攻擊時無后門可鉆。經(jīng)過專業(yè)的安全公司測試其用戶關(guān)鍵系統(tǒng)的安全級別達到B2級。而且,FILER內(nèi)核中不包含遠程登陸工具如:TELNET,FTP,RCP,RLOGIN等因此黑客無法以FILER作為攻擊的跳板。讀寫高性能,抵抗惡意攻擊能力極強WAFL為文件讀寫服務(wù)專門設(shè)計的微內(nèi)核實時操作系統(tǒng),與通用文件系統(tǒng)相比,代碼精簡,但實現(xiàn)功能專一且強大,這使設(shè)備在核心層便減少了在傳統(tǒng)格局中由于中間函數(shù)的頻繁產(chǎn)生,處理復雜而對系統(tǒng)
39、性能穩(wěn)定性的降低,它的出錯率遠少于用途多而復雜的操作系統(tǒng)。這一切使整個系統(tǒng)的讀寫性能和系統(tǒng)的可用性指標達到業(yè)界的領(lǐng)先水平,同時在與其他NAS廠商的功能與性能對比中優(yōu)勢明顯。其典型案例便是全部采用NETAPP存儲的YAHOO和新浪在前兩年分別遭受黑客全球范圍的拒絕訪問攻擊(denyofservice),FILER群集峰值讀寫處理請求遠超過13800/S,且持續(xù)時間長達30小時,但FILER性能表現(xiàn)出色,是所有系統(tǒng)中唯一不發(fā)生宕機的硬件設(shè)備,其抵抗惡意攻擊能力深受客戶好評。系統(tǒng)具備自動恢復功能,能進行災難恢復數(shù)據(jù)丟失將會給企業(yè)帶來巨大的損失,因此數(shù)據(jù)安全永遠是系統(tǒng)管理員的首要考慮。Filer的備份
40、和恢復方案是多層次、全方位的。在線快速備份和恢復是指系統(tǒng)利用現(xiàn)有的磁盤空間來進行備份,由于使用的是處于工作狀態(tài)的磁盤,而不是速度較慢的磁帶,故備份和恢復地速度非???,并且方便靈活。利用存儲設(shè)備的SnapShot功能,用戶可以在低磁盤耗費的情況下對全盤數(shù)據(jù)進行快速地照相。用戶可以自己恢復誤刪除的文件,大大減輕了系統(tǒng)管理員的工作強度。利用SnapShot進行時間點備份,保護數(shù)據(jù)免于誤操作,例如,意外修改、刪除、病毒等,可以迅速地備份、恢復數(shù)據(jù)。并且由于SnapShot內(nèi)時間點備份數(shù)據(jù)均為只讀形式,因此惡意破壞也無法實施。網(wǎng)絡(luò)存儲結(jié)構(gòu)使系統(tǒng)配置伸縮自如并保證網(wǎng)絡(luò)傳輸安全由于采用基于網(wǎng)絡(luò)層之上的網(wǎng)絡(luò)文
41、件協(xié)議,連接為邏輯方式,而無須物理的,固定的光纖通道實現(xiàn),且對于邏輯連接方式,其同時的連接通道近乎無限,因此前端應(yīng)用服務(wù)器的擴展性能獲得極大增強,并為將來的應(yīng)用擴展提供了廣闊的空間;另一方面,通過與交換機的配合,網(wǎng)絡(luò)通道可實現(xiàn)VALN配置,其傳輸?shù)莫毩⑿院桶踩远嫉玫奖WC。(FILER的每一網(wǎng)口可支持最多20個VALN配置).另外,通過對網(wǎng)絡(luò)接口的靈活配置,F(xiàn)ILER文件服務(wù)器可實現(xiàn)在網(wǎng)絡(luò)通道的冗余備份(Trunking技術(shù))避免系統(tǒng)單點失誤,其安全性能更勝一籌。用戶訪問管理控制嚴密安全管理上,配合用戶現(xiàn)有平臺上的管理機制,實現(xiàn)對系統(tǒng)用戶的訪問鑒別和數(shù)據(jù)共享的屬性控制。其操作系統(tǒng)的一致性,導致
42、在介質(zhì)共享的基礎(chǔ)上,其在異構(gòu)平臺環(huán)境之下,先天上實現(xiàn)真正的文件級數(shù)據(jù)共享。而其他存儲系統(tǒng)僅在應(yīng)用層對共享屬性進行模擬,其性能和安全性均大打折扣。網(wǎng)絡(luò)管理的安全性得以充分保證實現(xiàn)在網(wǎng)絡(luò)層實施對一般用戶對存儲設(shè)施管理權(quán)的高度隔離,另外使用128位SSL/SSH加密保護基礎(chǔ)上的網(wǎng)絡(luò)管理的安全性得以充分保證。Filer的卷可以互換,DB服務(wù)器不再綁定一個DBinstance,由于DB服務(wù)器和Filer之間的LINK是獨享的,可以提供安全性,另外只有指定的服務(wù)器可以mount某個Filer上的目錄。在Filer上利用簡單的命令可以控制、改變權(quán)限。如在FILER上可對于不同的主機的訪問要求分別授予root
43、,access,read/write,readonly和拒絕訪問等不同權(quán)限。Filer管理安全設(shè)置運用AutoSupport和SecureAdmin軟件,SNMP工具集,資源監(jiān)控工具。通過配置用于存儲訪問的網(wǎng)絡(luò),使得所有服務(wù)器可以按照不同得性能、安全、可用性要求,獲得合適的訪問路徑。在FILER上可對管理主機進行訪問控制,如可根據(jù)主機名,IP地址或子網(wǎng)劃分的方式來實現(xiàn),從而極大地保證了FILER管理的安全性。Filer對病毒防治的支持通過ICAP,英特網(wǎng)內(nèi)容適應(yīng)協(xié)議,流媒體平臺可以提供多種增值服務(wù),其優(yōu)點是開放性、擴充能力。當用戶訪問的內(nèi)容到達Filer,Filer會將需要進行修改、定制的數(shù)據(jù)
44、對象,通過ICAP轉(zhuǎn)發(fā)到相應(yīng)的應(yīng)用服務(wù)器,服務(wù)器處理后交還Filer,再返回給用戶,以后的請求,F(xiàn)iler將直接把處理過的內(nèi)容交回用戶,無需再次處理。利用這一技術(shù),可以在通用平臺上開發(fā)分布的增值業(yè)務(wù),其實質(zhì)相當于遠程過程調(diào)用,將原來需要在Server上進行的處理工作轉(zhuǎn)移到靠近用戶的Filer上進行。NetApp和Akamai是這一協(xié)議的創(chuàng)始人,獲得業(yè)界廣泛的支持,如NAI、TRENDMICRO和Symantec公司的反病毒支持.DataONTAP操作系統(tǒng)內(nèi)置對反病毒服務(wù)器的支持,這個設(shè)計可以保護存儲在NetAppfiler上的數(shù)據(jù)不被病毒感染。反病毒掃描軟件運行在另外的WindowsNT或Wi
45、ndows2000服務(wù)器上,該服務(wù)器通過網(wǎng)絡(luò)和Filer通訊。DataONTAP操作系統(tǒng)的反病毒支持保護Windows用戶通過CommonInternetFileSystem(CIFS)協(xié)議訪問Filer上的數(shù)據(jù)。文件在訪問時被掃描,on-access,例如open,create或change一個文件時。Windows用戶在訪問Filer時不會發(fā)現(xiàn)病毒掃描行為,病毒掃描對用戶透明,在后臺進行。AV(Anti-Virus)server利用RemoteProcedureCalls(RPCs)和經(jīng)過認證的CIFS連接和Filer交互。當文件被打開或修改時,F(xiàn)iler將發(fā)起對這些文件的掃描,當該文件的
46、后綴包含在需掃描的文件類型列表中而且該文件未被標明“已掃描”,F(xiàn)iler才會發(fā)起掃描。當一個用戶試圖open,create,或change一個需要掃描的文件,例如,一個.exe文件。Filer會通知一個注冊的AVserver并且提供文件的路徑供其掃描。AVserver打開一條到該文件的連接檢查文件有無病毒特征或行為。掃描服務(wù)器接著通知filer檢查結(jié)果。如果沒有病毒,文件請求就會被Filoer許可,否則反病毒軟件進行相應(yīng)的操作。當文件被安全地掃描,F(xiàn)iler在內(nèi)存里面紀錄最近掃描的結(jié)果。減少了重復掃描,提高了性能。掃描過程需要幾個毫秒,對于一些復雜的文件需要幾秒種,例如.zip和.cab等文件
47、。任何情況下,用戶/應(yīng)用程序不會不經(jīng)過反病毒掃描就訪問數(shù)據(jù)。多級的數(shù)據(jù)備份和恢復機制;FILER文件服務(wù)器根據(jù)災難的不同級別,在軟硬件的各個層次上對恢復功能作出不同的策略,詳述如下:斷電后快速重啟恢復有別于傳統(tǒng)的文件系統(tǒng)在掉電后實施的類似SCANDISK或FSCK等耗時且效率低下的文件系統(tǒng)一致性檢測過程,NETAPP的WAFL內(nèi)核由于內(nèi)核精簡,在其正常運行時便將其文件系統(tǒng)前一時刻的映像保留在系統(tǒng)的引導區(qū)之內(nèi),稱為文件系統(tǒng)的一致點,其一致點每隔10秒作出更新,但在任何時刻都保持一份完整映像,在突遇掉電等故障時,系統(tǒng)在重啟過程中,只需恢復至一致點時刻,即使在TB級的存儲環(huán)境下,整個恢復只需不到兩分
48、鐘即可完成。而在掉電時尚未作出提交的讀寫請求會保存在有后備電源支持的NVRAM(不掉電內(nèi)存)之中,不會隨重啟而刷新,在系統(tǒng)正常工作之后,其保留請求會實施提交或回滾的動作,全部恢復工作全部自動進行;Snapshot(快照)是一種基于時間點之間變動塊拷貝的聯(lián)機備份機制??煺占夹g(shù)為高可用性應(yīng)用提供了一種高效,快速的在線聯(lián)機備份和恢復方式。其主要應(yīng)用場合為:用戶自行恢復因失誤而被刪除的文件用于替換夜間操作的磁帶增量備份存儲數(shù)據(jù)比磁帶增量備份更頻繁的能力用于當使用dump和NDMP創(chuàng)建磁帶備份時,與該磁帶備份一致的拷貝Cluster(本地雙機集群)文件系統(tǒng)專用設(shè)備Filer除了軟硬件本身具有99.99%的高可靠性以外在以低成本、低性能開銷、不增加系統(tǒng)復雜度的前提下,將兩臺獨立的Filer耦合起來(參閱系統(tǒng)結(jié)構(gòu)圖),實現(xiàn)一旦一臺Filer因故障而停止運行并且不能重新啟動,另一臺Filer立即就可接管這一臺Filer的全部工作,保證系統(tǒng)正常運行。SnapMirror-(遠程鏡像技術(shù))提供了一個快速的、可伸縮的企業(yè)級的解決方案,通過本地或遠程網(wǎng)絡(luò)將RAID4中的卷作鏡像或復制。強大的SnapMirror可用于:災難恢復從鏡像到磁帶的企業(yè)級備份
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 四川民族學院《中國水墨畫技法》2023-2024學年第二學期期末試卷
- 清遠市清新縣2025屆三年級數(shù)學第二學期期末綜合測試試題含解析
- 培黎職業(yè)學院《企業(yè)管理案例分析》2023-2024學年第二學期期末試卷
- 沈陽師范大學《醫(yī)學與法學》2023-2024學年第二學期期末試卷
- 江蘇省南京市棲霞區(qū)、雨花區(qū)、江寧區(qū)重點中學2024-2025學年初三第一次測試英語試題含答案
- 衢州市開化縣2025年數(shù)學四年級第二學期期末考試模擬試題含解析
- 江蘇睢寧市2024-2025學年第二學期期末教學質(zhì)量檢測試題考試高三數(shù)學試題含解析
- 濟南歷下區(qū)2025屆第二學期質(zhì)量抽測(5月)初三語文試題試卷(照片版)含解析
- 山西省大同市煤礦第二學校2024-2025學年高三第四次統(tǒng)考英語試題試卷含解析
- 江西機電職業(yè)技術(shù)學院《數(shù)字娛樂產(chǎn)品設(shè)計》2023-2024學年第二學期期末試卷
- 公共關(guān)系學電子教案
- 王者榮耀考試試題及答案
- 杭州市市級機關(guān)事業(yè)單位招聘真題2024
- 高速公路消防知識
- 地下混凝土水池蓄水試驗方案20240401
- 頭暈、抑郁與焦慮關(guān)系解析與應(yīng)對策略
- 初中入團考試題型及答案
- 2025年北京衛(wèi)生職業(yè)學院高職單招高職單招英語2016-2024歷年頻考點試題含答案解析
- 2025年河南推拿職業(yè)學院單招職業(yè)技能考試題庫含答案
- 居室空間設(shè)計 課件 項目九 衛(wèi)生間空間設(shè)計
- 2024年內(nèi)蒙古對口高考中職英語試卷
評論
0/150
提交評論