




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、使用 Microsoft Windows DNA 平臺(tái)構(gòu)建 Web 站點(diǎn)的藍(lán)圖草圖,.9 版Microsoft Corporation2000 年 1 月目錄 TOC t 標(biāo)題 4,1,標(biāo)題 5,2 HYPERLINK l _Toc477851376 執(zhí)行摘要 PAGEREF _Toc477851376 h 2 HYPERLINK l _Toc477851377 體系結(jié)構(gòu)概述 PAGEREF _Toc477851377 h 2 HYPERLINK l _Toc477851378 簡(jiǎn)介 PAGEREF _Toc477851378 h 2 HYPERLINK l _Toc477851379 體系結(jié)
2、構(gòu)目標(biāo) PAGEREF _Toc477851379 h 2 HYPERLINK l _Toc477851380 體系結(jié)構(gòu)元素 PAGEREF _Toc477851380 h 3 HYPERLINK l _Toc477851381 示例站點(diǎn) PAGEREF _Toc477851381 h 7 HYPERLINK l _Toc477851382 簡(jiǎn)介 PAGEREF _Toc477851382 h 7 HYPERLINK l _Toc477851383 Internet PAGEREF _Toc477851383 h 9 HYPERLINK l _Toc477851384 DMZ PAGEREF
3、_Toc477851384 h 9 HYPERLINK l _Toc477851385 安全網(wǎng)絡(luò) PAGEREF _Toc477851385 h 10 HYPERLINK l _Toc477851386 摘要 PAGEREF _Toc477851386 h 11 HYPERLINK l _Toc477851387 可伸縮性 PAGEREF _Toc477851387 h 12 HYPERLINK l _Toc477851388 簡(jiǎn)介 PAGEREF _Toc477851388 h 12 HYPERLINK l _Toc477851389 擴(kuò)展客戶和內(nèi)容 PAGEREF _Toc47785138
4、9 h 12 HYPERLINK l _Toc477851390 擴(kuò)展業(yè)務(wù)復(fù)雜性 PAGEREF _Toc477851390 h 15 HYPERLINK l _Toc477851391 可用性 PAGEREF _Toc477851391 h 18 HYPERLINK l _Toc477851392 簡(jiǎn)介 PAGEREF _Toc477851392 h 18 HYPERLINK l _Toc477851393 前端系統(tǒng)的可用性 PAGEREF _Toc477851393 h 19 HYPERLINK l _Toc477851394 網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)的可用性 PAGEREF _Toc47785139
5、4 h 19 HYPERLINK l _Toc477851395 后端系統(tǒng)的可用性 PAGEREF _Toc477851395 h 20 HYPERLINK l _Toc477851396 安全性 PAGEREF _Toc477851396 h 20 HYPERLINK l _Toc477851397 簡(jiǎn)介 PAGEREF _Toc477851397 h 20 HYPERLINK l _Toc477851398 網(wǎng)絡(luò)保護(hù) PAGEREF _Toc477851398 h 21 HYPERLINK l _Toc477851399 平臺(tái)保護(hù) PAGEREF _Toc477851399 h 23 HY
6、PERLINK l _Toc477851400 客戶(成員)訪問控制 PAGEREF _Toc477851400 h 24 HYPERLINK l _Toc477851401 要點(diǎn) PAGEREF _Toc477851401 h 25 HYPERLINK l _Toc477851402 管理與運(yùn)作 PAGEREF _Toc477851402 h 25 HYPERLINK l _Toc477851403 簡(jiǎn)介 PAGEREF _Toc477851403 h 25 HYPERLINK l _Toc477851404 管理基礎(chǔ)結(jié)構(gòu) PAGEREF _Toc477851404 h 26 HYPERLI
7、NK l _Toc477851405 管理系統(tǒng)需求 PAGEREF _Toc477851405 h 29 HYPERLINK l _Toc477851406 摘要 PAGEREF _Toc477851406 h 32執(zhí)行摘要商務(wù)正迅速發(fā)展為標(biāo)準(zhǔn)的、基于 Web 的計(jì)算模型,其特征為重復(fù)且針對(duì)任務(wù)的系統(tǒng)的松散連接層。很大比例的商務(wù) Web 站點(diǎn) 提供聯(lián)機(jī)服務(wù)的服務(wù)器、應(yīng)用程序和數(shù)據(jù)的集合 都是用當(dāng)今的 Microsoft Windows DNA 平臺(tái)構(gòu)建的,成為該計(jì)算模型的基礎(chǔ)。本文檔定義了構(gòu)建 Windows DNA 站點(diǎn)的體系結(jié)構(gòu)。讀者可以借用這些信息,設(shè)計(jì)和構(gòu)建當(dāng)今基于 Windows D
8、NA 的站點(diǎn)。本文檔集中討論如何使用 Microsoft 技術(shù),特別是 Windows DNA 平臺(tái),以盡可能有效利用財(cái)力和時(shí)間的方法,構(gòu)建可伸縮、可用、安全和可管理的站點(diǎn)的基礎(chǔ)結(jié)構(gòu)。強(qiáng)調(diào)保持 Web 站點(diǎn)簡(jiǎn)便靈活的運(yùn)作和應(yīng)用程序設(shè)計(jì),以及“.com”如何能夠成功地以必要而有效的可伸縮性、可用性、安全性和可管理性來(lái)部署和運(yùn)作站點(diǎn)。其次強(qiáng)調(diào)當(dāng)前文檔齊全的工具和構(gòu)建 Web 應(yīng)用程序組件的方法。另外還從宏觀層次檢查 Microsoft Windows DNA 解決方案(使用 Microsoft Windows NT 4.0 和/或 Windows 2000)的優(yōu)點(diǎn),并逐級(jí)進(jìn)入,以定義如何使用 Mi
9、crosoft 產(chǎn)品建立站點(diǎn)體系結(jié)構(gòu)中的每一層次。最后,將討論使用 Microsoft 工具和技術(shù)管理 Web 站點(diǎn)。盡管只是個(gè)概述,本文檔還是檢查了一個(gè)成功使用部署的體系結(jié)構(gòu)的示例 Web 站點(diǎn),它可作為使用 Windows DNA 平臺(tái)構(gòu)建的站點(diǎn)的模型。本文檔不涉及(除了與可伸縮性、可用性、安全性和可管理性相關(guān)時(shí))諸如應(yīng)用程序設(shè)計(jì)、開發(fā)工具或數(shù)據(jù)庫(kù)設(shè)計(jì)等主題;但是提供涵蓋這些領(lǐng)域的相應(yīng)文檔的指針?!绑w系結(jié)構(gòu)概述”介紹一些對(duì)于大型 Web 站點(diǎn)很重要的體系結(jié)構(gòu)概念。在“示例站點(diǎn)”描述了一個(gè)具有代表性的站點(diǎn)并解釋了它使用的基礎(chǔ)結(jié)構(gòu)和各層。其余章節(jié)討論了站點(diǎn)的四個(gè)關(guān)鍵屬性 “可伸縮性”、“可用性
10、”、“安全性”和“可管理性” 并使用示例站點(diǎn)來(lái)說(shuō)明這些問題。對(duì)相關(guān)文檔的引用貫穿整個(gè)文檔。體系結(jié)構(gòu)概述簡(jiǎn)介大型商務(wù)站點(diǎn)為動(dòng)態(tài)變化的模型:它們通常一開始很小,但隨著需求的增長(zhǎng)而指數(shù)增長(zhǎng)。不僅在支持的獨(dú)特用戶的數(shù)量上不斷增加,這種增長(zhǎng)非常迅速,而且在提供的用戶服務(wù)的復(fù)雜性和集成性方面也不斷增長(zhǎng)。經(jīng)投資者的檢查,許多站點(diǎn)啟動(dòng)的商務(wù)計(jì)劃的可伸縮性為 10-100 倍,這個(gè)數(shù)據(jù)是可信的。成功的商務(wù)站點(diǎn),通過(guò)不斷增加向客戶機(jī)提供邏輯服務(wù)的服務(wù)器數(shù)量(即通過(guò)服務(wù)器提供其自身的多個(gè)實(shí)例(克隆)或通過(guò)在自身之間均衡工作負(fù)荷),以及創(chuàng)建與已有計(jì)算機(jī)系統(tǒng)相集成的服務(wù)來(lái)管理這種增長(zhǎng)和變化。這種增長(zhǎng)的基礎(chǔ)為支持高度可用
11、性的堅(jiān)實(shí)的體系結(jié)構(gòu)、安全基礎(chǔ)結(jié)構(gòu)和管理基礎(chǔ)結(jié)構(gòu)。體系結(jié)構(gòu)目標(biāo)本文檔描述的體系結(jié)構(gòu)力圖達(dá)到四個(gè)目標(biāo):線性可伸縮性 可持續(xù)增長(zhǎng)以滿足用戶需求和業(yè)務(wù)復(fù)雜性。持續(xù)的服務(wù)可用性 使用冗余和功能專業(yè)化來(lái)提高容錯(cuò)能力。數(shù)據(jù)和基礎(chǔ)結(jié)構(gòu)的安全性 保護(hù)數(shù)據(jù)和基礎(chǔ)結(jié)構(gòu)免受惡意攻擊或盜用。管理的簡(jiǎn)便性和完整性 確保運(yùn)作能夠滿足增長(zhǎng)的需求??缮炜s性為了可以擴(kuò)展,商務(wù) Web 站點(diǎn)將其體系結(jié)構(gòu)分為兩部分:前端(客戶機(jī)可訪問的)系統(tǒng)和存儲(chǔ)長(zhǎng)期永久數(shù)據(jù)的或商務(wù)處理系統(tǒng)所在的后端系統(tǒng)。負(fù)荷平衡系統(tǒng)用于將工作分配到每一層的系統(tǒng)中。前端系統(tǒng)通常不保留長(zhǎng)期狀態(tài)。也就是說(shuō),前端系統(tǒng)中每次請(qǐng)求的環(huán)境通常是暫時(shí)的。這種體系結(jié)構(gòu),通過(guò)克隆或
12、復(fù)制與無(wú)狀態(tài)負(fù)荷平衡系統(tǒng)(使負(fù)荷在可用的克隆體之間分配)相耦合的前端系統(tǒng),擴(kuò)展其支持的獨(dú)特用戶的數(shù)量。我們將克隆體集合中的 IIS 服務(wù)器集合稱為 Web 群集。在多個(gè)后端系統(tǒng)之間分區(qū)聯(lián)機(jī)內(nèi)容同樣可以擴(kuò)展。帶狀態(tài)的或內(nèi)容敏感的負(fù)荷平衡系統(tǒng)則將請(qǐng)求路由到正確的后端系統(tǒng)。通過(guò)功能專業(yè)化,業(yè)務(wù)邏輯復(fù)雜性以可管理的方式增長(zhǎng)。專用的服務(wù)器負(fù)責(zé)專門的服務(wù),包括與遺留或脫機(jī)系統(tǒng)的集成??寺∨c分區(qū),和功能專業(yè)化服務(wù)一起,通過(guò)單獨(dú)增長(zhǎng)每個(gè)服務(wù)而使得這些系統(tǒng)具有極大的可伸縮性??捎眯酝ㄟ^(guò)使用多個(gè)克隆服務(wù)器(所有服務(wù)器均為其客戶機(jī)提供唯一的地址)使得前端系統(tǒng)具有高度可用性和可伸縮性。負(fù)荷平衡用于在克隆體之間分配負(fù)荷
13、。將故障檢測(cè)功能置入負(fù)荷平衡系統(tǒng)提高了服務(wù)的可用性。不再提供服務(wù)的克隆體將自動(dòng)從負(fù)荷平衡集合中刪除,而剩下的克隆體將繼續(xù)提供服務(wù)。使后端系統(tǒng)具有高度可用性更具挑戰(zhàn)性,主要是因?yàn)樗鼈兙S護(hù)著數(shù)據(jù)或狀態(tài)。它們通過(guò)對(duì)每個(gè)分區(qū)使用故障轉(zhuǎn)移群集 (failover clustering) 來(lái)實(shí)現(xiàn)高度可用。故障轉(zhuǎn)移群集假定應(yīng)用程序能夠在可以訪問故障系統(tǒng)的磁盤子系統(tǒng)的其他計(jì)算機(jī)上繼續(xù)運(yùn)行。分割故障轉(zhuǎn)移發(fā)生在支持分區(qū)請(qǐng)求的主節(jié)點(diǎn)故障時(shí),此時(shí)分區(qū)請(qǐng)求自動(dòng)切換到二級(jí)節(jié)點(diǎn)。二級(jí)節(jié)點(diǎn)必須有權(quán)訪問與故障節(jié)點(diǎn)同樣的數(shù)據(jù)存儲(chǔ),該數(shù)據(jù)存儲(chǔ)也應(yīng)該是復(fù)制的。復(fù)制品還可通過(guò)在遠(yuǎn)程位置上成為可用,來(lái)提高站點(diǎn)的可用性。可用性在很大程度上
14、還取決于企業(yè)級(jí) IT 規(guī)則,包括更改控制、嚴(yán)格測(cè)試和快速升級(jí)以及反饋機(jī)制。安全性安全性 通過(guò)為信息的機(jī)密性、保密性、完整性和可用性提供充分的保護(hù)來(lái)管理風(fēng)險(xiǎn) 是任何商務(wù)站點(diǎn)成功的基本要素。商務(wù)站點(diǎn)使用多個(gè)安全域,其中包括具有不同安全性需求的系統(tǒng),每個(gè)域均受到網(wǎng)絡(luò)過(guò)濾器或防火墻保護(hù)。有三種主要的域,互相用防火墻隔離,它們是:公共網(wǎng)絡(luò);DMZ(由軍事術(shù)語(yǔ)“非軍事區(qū)域”派生而來(lái)),是前端和內(nèi)容服務(wù)器所在之處;以及安全網(wǎng)絡(luò),是創(chuàng)建或使用內(nèi)容的地方,也是管理和存儲(chǔ)安全數(shù)據(jù)的地方。管理管理和運(yùn)作廣泛涉及維護(hù)商務(wù)站點(diǎn)及其服務(wù)正常工作所需的基礎(chǔ)結(jié)構(gòu)、工具以及管理員和技術(shù)人員。許多站點(diǎn)均位于常稱作宿主環(huán)境的地方。
15、也就是說(shuō),這些系統(tǒng)配置有“Internet 服務(wù)提供商 (ISP)”或?qū)<宜拗鞣?wù),這里可提供豐富的 Internet 連通性。因此,系統(tǒng)的管理和監(jiān)控必須遠(yuǎn)程完成。在這種體系結(jié)構(gòu)中,我們將描述這種管理網(wǎng)絡(luò)和網(wǎng)絡(luò)必須支持的管理功能類型。體系結(jié)構(gòu)元素本節(jié)要突出的商務(wù) Web 站點(diǎn)的關(guān)鍵體系結(jié)構(gòu)元素包括:客戶機(jī)系統(tǒng);負(fù)荷平衡的、克隆的前端系統(tǒng)(客戶機(jī)系統(tǒng)可用訪問的);負(fù)荷平衡的、分區(qū)的后端系統(tǒng)(前端系統(tǒng)可用訪問這里的永久存儲(chǔ));以及三種拱形體系結(jié)構(gòu)考慮:災(zāi)難承受能力、安全域及管理和運(yùn)作。大型商務(wù) Web 站點(diǎn)的原理圖 1 展示了商務(wù) Web 站點(diǎn)的概念和基本原理,這些內(nèi)容將在本節(jié)的以下部分詳細(xì)說(shuō)明。
16、 圖 1. 體系結(jié)構(gòu)的原理圖 1 顯示了前端、后端和負(fù)荷平衡層的劃分,正如本文檔所述。防火墻和網(wǎng)段分區(qū)為安全原理的關(guān)鍵??蛻魴C(jī)在這種站點(diǎn)體系結(jié)構(gòu)中,客戶機(jī)向某服務(wù)名稱發(fā)送請(qǐng)求,該服務(wù)名稱代表提供給客戶機(jī)的應(yīng)用程序。最終用戶和客戶機(jī)軟件不知道提供服務(wù)的系統(tǒng)的內(nèi)部運(yùn)作方式。通常,最終用戶鍵入第一個(gè) URL,例如,/,然后單擊超級(jí)鏈接或完成 Web 頁(yè)上的表單以便向站點(diǎn)深處導(dǎo)航。對(duì)于范圍廣泛的 Web 站點(diǎn),一個(gè)重要的決定就是是否在瀏覽器中支持功能的最低公共集,或是否為不同的瀏覽器版本提供不同的內(nèi)容。目前,盡管還有更舊的瀏覽器在使用,但 HTML 3.2 通常為所支持的最低版本。例如,瀏覽器可如此分
17、類:支持 HTML 3.2 的,如 Microsoft Internet Explorer 3.0;支持動(dòng)態(tài) HTML (DHTML) 的,如 Internet Explorer 4.0;以及支持 Extensible Markup Language (XML) 的,如 Internet Explorer 5.0。然后為每個(gè)類提供不同的內(nèi)容。IIS 和工具,能夠創(chuàng)建可動(dòng)態(tài)呈現(xiàn)給不同瀏覽器的頁(yè)面。前端系統(tǒng)前端系統(tǒng)由向 Web 客戶機(jī)提供核心 Web 服務(wù)(如 HTTP/HTTPS、LDAP 和 FTP)的服務(wù)器組成。開發(fā)人員通常將這些前端系統(tǒng)分為一系列稱作克隆體的相同系統(tǒng)的集。它們運(yùn)行相同的軟件
18、,并通過(guò)內(nèi)容復(fù)制或高度可用的文件共享訪問相同的 Web 內(nèi)容、HTML 文件、ASP、腳本等。通過(guò)克隆體之間的負(fù)荷平衡請(qǐng)求,以及通過(guò)檢測(cè)故障克隆體并將其從工作的克隆體中刪除,可實(shí)現(xiàn)高度可伸縮性和可用性。 克隆體(無(wú)狀態(tài)前端)克隆是為 Web 站點(diǎn)增加處理能力、網(wǎng)絡(luò)帶寬和存儲(chǔ)帶寬的良好手段。由于每個(gè)克隆體在本地復(fù)制存儲(chǔ),因此,所有更新必須應(yīng)用到所有克隆體上。但是,由于與負(fù)荷平衡、故障檢測(cè)和消除客戶機(jī)狀態(tài)的耦合,克隆的確是擴(kuò)展站點(diǎn)和提高可用性的良好方法。無(wú)狀態(tài)負(fù)荷平衡負(fù)荷平衡層向用戶提供一個(gè)服務(wù)名稱并將客戶機(jī)負(fù)荷分配給多個(gè) Web 服務(wù)器。這將為服務(wù)器集提供可用性、可伸縮性和某種程度的可管理性。負(fù)
19、荷平衡手段有多種,包括“Round Robin 域名服務(wù)器 (RRDNS)”及各種基于網(wǎng)絡(luò)的和基于主機(jī)的負(fù)荷平衡技術(shù)。維護(hù)客戶機(jī)狀態(tài)我們不希望在克隆前端系統(tǒng)中維護(hù)客戶機(jī)狀態(tài),因?yàn)檫@與透明客戶機(jī)故障轉(zhuǎn)移和負(fù)荷平衡相抵觸。在會(huì)話間維護(hù)客戶機(jī)狀態(tài)的基本方法有兩種。一種是將客戶機(jī)狀態(tài)存儲(chǔ)在分區(qū)的后端服務(wù)器中。(由于客戶機(jī)狀態(tài)可以完全分區(qū),因此也易于擴(kuò)展。但是,需要對(duì)每個(gè)客戶機(jī)請(qǐng)求檢索該狀態(tài))。在會(huì)話間維護(hù)客戶機(jī)狀態(tài)的另一種方法是使用 cookie 和/或 URL。Cookie 是由客戶機(jī) Web 瀏覽器管理的小文件。它們無(wú)益于減小帶狀態(tài)服務(wù)器的負(fù)荷和增加無(wú)狀態(tài)前端系統(tǒng)的實(shí)用性。數(shù)據(jù)還可以存儲(chǔ)在 URL
20、 中,并在用戶單擊顯示的 Web 頁(yè)上的鏈接時(shí)返回。前端可用性當(dāng)在這些前端服務(wù)器上運(yùn)行應(yīng)用程序代碼時(shí),無(wú)論是用 Microsoft Visual Basic(R) 或 C+ 等高級(jí)語(yǔ)言還是用腳本編寫,從不同的 Web 應(yīng)用程序隔離編程錯(cuò)誤是非常重要的。使應(yīng)用程序代碼在 Web 服務(wù)器的進(jìn)程外運(yùn)行,是相互隔離編程錯(cuò)誤和避免 Web 服務(wù)器故障的最佳方法。后端系統(tǒng)后端系統(tǒng)是維護(hù)應(yīng)用程序數(shù)據(jù)的數(shù)據(jù)存儲(chǔ),也是啟用與其他維護(hù)數(shù)據(jù)資源的系統(tǒng)的連通性的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)可以存儲(chǔ)在普通文件、數(shù)據(jù)庫(kù)系統(tǒng)(如 Microsoft SQL Server(TM))或其他應(yīng)用程序中,如下表所示。表 1. 數(shù)據(jù)存儲(chǔ)的不同類型
21、文件系統(tǒng)數(shù)據(jù)庫(kù)其他應(yīng)用程序示例文件共享SQLAd insertion、SAP、Siebel數(shù)據(jù)HTML、圖像、可執(zhí)行文件、腳本、COM 對(duì)象類別、用戶信息、日志、帳單信息、價(jià)格表庫(kù)存目錄/庫(kù)存、標(biāo)語(yǔ)廣告、帳目信息使后端系統(tǒng)擴(kuò)展和具有高度可用性更具挑戰(zhàn)性,主要因?yàn)樗鼈儽仨毦S護(hù)數(shù)據(jù)和狀態(tài)。一旦單一系統(tǒng)的可伸縮性已經(jīng)達(dá)到,就必須分區(qū)數(shù)據(jù)并使用多臺(tái)服務(wù)器。因此,持續(xù)的可伸縮性是通過(guò)數(shù)據(jù)分區(qū)和將邏輯數(shù)據(jù)映射到正確的物理分區(qū)的數(shù)據(jù)相關(guān)路由層或帶狀態(tài)負(fù)荷平衡系統(tǒng)來(lái)實(shí)現(xiàn)的。對(duì)于提高的可用性,群集 通常由兩個(gè)訪問公共的、復(fù)制的或 RAID (獨(dú)立盤的冗余數(shù)組)保護(hù)的存儲(chǔ)器的節(jié)點(diǎn)組成 將支持每個(gè)分區(qū)。當(dāng)一個(gè)節(jié)點(diǎn)上
22、的服務(wù)失敗時(shí),另一個(gè)節(jié)點(diǎn)將接管分區(qū)并提供服務(wù)。分區(qū)(帶狀態(tài)的后端系統(tǒng))通過(guò)復(fù)制硬件和軟件及在各節(jié)點(diǎn)之間劃分?jǐn)?shù)據(jù),分區(qū)增強(qiáng)了服務(wù)能力。通常,數(shù)據(jù)是按對(duì)象分區(qū)的,如郵箱、用戶帳戶或生產(chǎn)線等。在某些應(yīng)用程序中分區(qū)是按時(shí)間進(jìn)行的,例如按天或按季度。也可能用隨機(jī)分區(qū)的方法分布對(duì)象。拆分和合并分區(qū)需要工具,最好是聯(lián)機(jī)的(不用中斷服務(wù)),符合系統(tǒng)變化的需要。增加宿主分區(qū)的服務(wù)器數(shù)量,提高了服務(wù)的可伸縮性。不過(guò),分區(qū)的選擇將決定訪問模式及其產(chǎn)生的負(fù)荷。甚至在分布請(qǐng)求時(shí)也要避免出現(xiàn)熱點(diǎn)(一個(gè)分區(qū)接收的請(qǐng)求數(shù)量不成比例),這對(duì)設(shè)計(jì)數(shù)據(jù)分區(qū)也很重要。有時(shí)這很難避免,而且必須有大型多處理器系統(tǒng)宿主分區(qū)。分區(qū)故障轉(zhuǎn)移,
23、即服務(wù)自動(dòng)切換到二級(jí)節(jié)點(diǎn)(退回未完成的事務(wù)),可提供持續(xù)的分區(qū)可用性。帶狀態(tài)負(fù)荷平衡如果數(shù)據(jù)按多個(gè)數(shù)據(jù)服務(wù)器分區(qū),或開發(fā)提供專用功能的服務(wù)器來(lái)處理特定類型的 Web 請(qǐng)求,必須編寫相應(yīng)的軟件將請(qǐng)求路由到相應(yīng)的數(shù)據(jù)分區(qū)或?qū)S梅?wù)器。通常,該應(yīng)用程序邏輯是由 Web 服務(wù)器運(yùn)行的。其編制目的是確定相關(guān)數(shù)據(jù)的位置,并且根據(jù)客戶機(jī)請(qǐng)求的內(nèi)容、客戶機(jī) ID 或客戶機(jī)提供的 cookie 將請(qǐng)求路由到數(shù)據(jù)分區(qū)所在的相應(yīng)服務(wù)器。它還知道提供專用功能的服務(wù)器位置并將請(qǐng)求發(fā)送到那里進(jìn)行處理。該應(yīng)用程序軟件完成帶狀態(tài)負(fù)荷平衡。稱其為帶狀態(tài)的原因是,根據(jù)客戶機(jī)狀態(tài)或請(qǐng)求中的狀態(tài)才能決定將請(qǐng)求路由至何方。后端服務(wù)的可
24、用性除了使用故障轉(zhuǎn)移和群集提高可用性外,整個(gè)系統(tǒng)體系結(jié)構(gòu)的一個(gè)重要因素,就是站點(diǎn)提供某些有限程度服務(wù)的能力,甚至在多種服務(wù)失效的情況下。例如,用戶應(yīng)該總能通過(guò)用戶憑據(jù)的復(fù)制登錄至聯(lián)機(jī)郵件服務(wù),然后使用克隆的“簡(jiǎn)單郵件傳輸協(xié)議 (SMTP)”路由器發(fā)送郵件,即使用戶的郵件文件是無(wú)效的。相類似,在商務(wù)站點(diǎn)中用戶應(yīng)該可以瀏覽目錄,即使暫時(shí)不能處理事務(wù)。這要求系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)者要設(shè)計(jì)出“當(dāng)個(gè)別部件發(fā)生故障時(shí)工作可靠但性能下降”的服務(wù),以避免由于局部故障而使終端用戶感覺為整個(gè)站點(diǎn)故障。災(zāi)難承受能力某些商務(wù) Web 站點(diǎn)需要持續(xù)的服務(wù)可用性,即使在災(zāi)難發(fā)生時(shí):他們的全球商務(wù)活動(dòng)依賴于可用的服務(wù)。災(zāi)難可能是
25、自然災(zāi)害(地震、火災(zāi)或洪水),也可能是惡意操作(如恐怖活動(dòng)或心懷不滿的員工)的結(jié)果。災(zāi)難承受系統(tǒng)要求將站點(diǎn)的副本或部分副本放在離主站點(diǎn)足夠遠(yuǎn)的地方,這樣,在整個(gè)災(zāi)難中失去多個(gè)站點(diǎn)的概率會(huì)小到可承受的程度。在最高級(jí)別有兩種復(fù)制的站點(diǎn)類型。主動(dòng)站點(diǎn)分擔(dān)部分負(fù)荷。被動(dòng)站點(diǎn)在發(fā)生災(zāi)難后才提供服務(wù)。在需要快速故障轉(zhuǎn)移的場(chǎng)合通常使用主動(dòng)站點(diǎn)。被動(dòng)站點(diǎn)可能只是由租用服務(wù)器和遠(yuǎn)程的、位于備份磁帶所在地的連接組成,這些連接可在需要時(shí)應(yīng)用于上述服務(wù)器。像這種最小限度的規(guī)劃應(yīng)該為任何商務(wù)考慮之列。更新復(fù)制的站點(diǎn),使它們的內(nèi)容保持一致是很具挑戰(zhàn)性的。此處的基本方法是:將內(nèi)容從中央升級(jí)服務(wù)器復(fù)制到遠(yuǎn)程站點(diǎn)的升級(jí)服務(wù)器,
26、更新每個(gè)站點(diǎn)的內(nèi)容。對(duì)于只讀內(nèi)容該方法已足夠。但是,對(duì)于更多的執(zhí)行事務(wù)的高級(jí)站點(diǎn),還需要保持?jǐn)?shù)據(jù)庫(kù)為最新。數(shù)據(jù)庫(kù)復(fù)制和日志轉(zhuǎn)移通常用于將對(duì)數(shù)據(jù)庫(kù)的事務(wù)性更新轉(zhuǎn)移到遠(yuǎn)程站點(diǎn)的地方。典型情況下,數(shù)據(jù)庫(kù)將出現(xiàn)幾分鐘不同步。但是,這比站點(diǎn)完全失效要好。安全域安全性機(jī)制用于保護(hù)敏感信息的保密性和機(jī)密性,使其免受未經(jīng)許可的訪問;通過(guò)防止未經(jīng)許可的修改或破壞,保護(hù)系統(tǒng)和數(shù)據(jù)的完整性;并通過(guò)防止拒絕服務(wù)攻擊和提供意外或?yàn)?zāi)難計(jì)劃,來(lái)幫助確保可用性。安全域是一致的安全性區(qū)域,區(qū)域之間有定義明確的保護(hù)接口。這一概念的應(yīng)用程序有助于確保在正確的場(chǎng)合應(yīng)用正確的保護(hù)級(jí)別。復(fù)雜系統(tǒng)(如大型商務(wù)站點(diǎn)及其環(huán)境)可劃分為多個(gè)安全
27、域。區(qū)域表示任何所希望的劃分 例如,按地域、按組織、按物理網(wǎng)絡(luò)或者服務(wù)器或按數(shù)據(jù)類型。對(duì)于商務(wù)站點(diǎn),主要的劃分方式可適當(dāng)按照 Internet、站點(diǎn)的 DMZ、安全性、企業(yè)和管理網(wǎng)絡(luò)。域還可能相互交叉或重疊。例如數(shù)據(jù)庫(kù)中的信用卡號(hào)碼可能需要附加保護(hù)。附加的安全性控制,如卡號(hào)的加密,可提供這種保護(hù)。下面的比喻有助于形象說(shuō)明安全域。Internet 好象中世紀(jì)的城堡及其周邊環(huán)境:在其城墻之外,很少有法律約束并有各種不拘一格的個(gè)性。根據(jù)這個(gè)城堡模型,用于保護(hù) Web 站點(diǎn)的關(guān)鍵結(jié)構(gòu)元素是在其周圍構(gòu)筑城墻,有重兵把守的主城門禁止閑雜的人進(jìn)入。需要構(gòu)建的城墻及城門等效于維護(hù)給定安全級(jí)的標(biāo)準(zhǔn)。當(dāng)然,不會(huì)有
28、沒有保護(hù)的后門!對(duì)于大型商務(wù)站點(diǎn),城墻稱為站點(diǎn)的邊界。在網(wǎng)絡(luò)術(shù)語(yǔ)中,表示站點(diǎn)的內(nèi)部通信設(shè)備是專用的并與 Internet 隔離,指定的入口除外。站點(diǎn)的主城門稱作防火墻。防火墻將檢測(cè)每一通信包,確保只允許希望的信息進(jìn)入。繼續(xù)這個(gè)比喻,城堡中的要塞保護(hù)著皇冠寶石。附加的圍墻和加鎖的門或墻中墻,提供了附加保護(hù)。與此類似,商務(wù)站點(diǎn)通過(guò)提供附加的防火墻和內(nèi)部網(wǎng)絡(luò),保護(hù)著非常敏感的數(shù)據(jù)。圖 2. 防火墻/DMZ防火墻是一種控制網(wǎng)絡(luò)中處于不同可信級(jí)別的兩部分之間的數(shù)據(jù)流的機(jī)制。防火墻的范圍可以從數(shù)據(jù)包過(guò)濾器(只允許指定 IP 端口和/或一系列 IP 地址之間的數(shù)據(jù)通信)到應(yīng)用程序級(jí)防火墻(實(shí)際檢查數(shù)據(jù)的內(nèi)容
29、并決定是否讓其通過(guò))。站點(diǎn)通常將過(guò)濾數(shù)據(jù)包的外向防火墻和過(guò)濾協(xié)議和端口層數(shù)據(jù)的內(nèi)向防火墻結(jié)合使用。 保護(hù)站點(diǎn)的安全性很復(fù)雜,但防火墻/DMZ 是關(guān)鍵結(jié)構(gòu)組件(實(shí)際上是網(wǎng)段中的子網(wǎng))。對(duì)于保證期望的站點(diǎn)保護(hù)級(jí)別,它是必要但絕不充分的安全性機(jī)制。本文檔的“安全性”章節(jié)專門敘述如何保護(hù)站點(diǎn)的安全。管理基礎(chǔ)結(jié)構(gòu)站點(diǎn)管理系統(tǒng)通常構(gòu)建在單獨(dú)的網(wǎng)絡(luò)上,以確保高度可用。管理系統(tǒng)使用單獨(dú)網(wǎng)絡(luò),還可以減輕管理通信量的后端網(wǎng)絡(luò)的負(fù)荷,從而提高整體性能和響應(yīng)時(shí)間。管理和運(yùn)作有時(shí)也使用后端網(wǎng)絡(luò),但對(duì)于大型的、高可用度的站點(diǎn),不建議這樣做。 管理系統(tǒng)的核心結(jié)構(gòu)組件為管理控制臺(tái)、管理服務(wù)器和管理代理。所有核心組件均可獨(dú)立擴(kuò)
30、展。管理控制臺(tái)是管理員訪問和操縱被管理系統(tǒng)的入口。管理服務(wù)器時(shí)刻監(jiān)控著所管理的系統(tǒng)、接收?qǐng)?bào)警和通知、記錄事件和性能數(shù)據(jù),并作為響應(yīng)預(yù)定事件的第一防線。管理代理為在其駐留的設(shè)備內(nèi)部執(zhí)行主要管理功能的程序。管理代理與管理服務(wù)器使用標(biāo)準(zhǔn)的或?qū)S玫膮f(xié)議相互通信。當(dāng)系統(tǒng)達(dá)到一定的規(guī)模和變化率時(shí),Web 站點(diǎn)的管理和運(yùn)作成為關(guān)鍵因素。管理的簡(jiǎn)便性、易于配置、持續(xù)的健康監(jiān)控和故障檢測(cè)可能比添加應(yīng)用程序功能或新服務(wù)更為重要。因此,應(yīng)用程序工程師必須十分熟悉部署和運(yùn)行應(yīng)用程序的操作環(huán)境。另外,操作人員還必須十分熟悉克隆和分區(qū)方案、管理工具和安全機(jī)制,以維持持續(xù)可用的、基于 Internet 的服務(wù)。示例站點(diǎn)簡(jiǎn)介
31、本示例站點(diǎn)力求通用,以說(shuō)明核心結(jié)構(gòu)組件和基礎(chǔ)結(jié)構(gòu)。但是,它是我們?cè)懻撨^(guò)的許多運(yùn)行站點(diǎn)的關(guān)鍵結(jié)構(gòu)特性的代表。出于競(jìng)爭(zhēng)和安全原因,站點(diǎn)所有者通常不愿展示其站點(diǎn)的實(shí)際詳細(xì)內(nèi)幕。我們的示例以一個(gè)大型站點(diǎn)為例,并展示了拓?fù)浣Y(jié)構(gòu)和組件冗余。它是一個(gè)高度可用系統(tǒng):緊急服務(wù)可拯救大部分故障模式,減輕重大災(zāi)難。從 ISP 1 到 ISP N 的每個(gè)分組中的服務(wù)器均支持所有站點(diǎn)緊急處理功能,因此,即使失去一個(gè) ISP 也不會(huì)使站點(diǎn)癱瘓。在大部分災(zāi)難情況下,提供不間斷的服務(wù)需要在多個(gè)地理位置 (geoplex) 上復(fù)制整個(gè)站點(diǎn)。Cisco 的“分布式控制器”通常用于支持 geoplex。遺憾的是,站點(diǎn)復(fù)制的成本將
32、超出構(gòu)建站點(diǎn)的兩倍,并且可能導(dǎo)致 Web 應(yīng)用程序的數(shù)據(jù)一致性問題。從該示例可派生出較小的和大得多的站點(diǎn)。較小站點(diǎn)可能不需要在每個(gè)群集中有如此多的服務(wù)器。不需要很高可用性的站點(diǎn)只要?jiǎng)h除冗余的元素,特別是圖中從 Internet ISP 1 開始的整個(gè)上半部分。沒有很高數(shù)據(jù)庫(kù)安全性的站點(diǎn)可以在安全網(wǎng)絡(luò)中刪除安全 SQL 群集。另一方面,非常大的站點(diǎn)可以添加下列內(nèi)容充分地?cái)U(kuò)展: 每個(gè) IIS Web 群集的克隆體。Web 群集數(shù)量。Internet 連接訪問點(diǎn)。前端組件,如防火墻。更進(jìn)一步,隨著網(wǎng)絡(luò)通信量和要管理的設(shè)備數(shù)量的增加,管理網(wǎng)絡(luò)也必須增加規(guī)模和復(fù)雜性。圖 3 展示了示例站點(diǎn)的體系結(jié)構(gòu)。圖
33、 3. 大型 Web 站點(diǎn)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)示例在圖 3 中,不同的線形、粗細(xì)和注釋顯示了網(wǎng)絡(luò)不同部分的 IP 地址和連接。特別是:外部(面向 Internet)網(wǎng)絡(luò)(細(xì))。DMZ 網(wǎng)絡(luò)(中)。安全(內(nèi)部)網(wǎng)絡(luò)(粗)。管理網(wǎng)絡(luò)(細(xì)虛線)。群集核心專用網(wǎng)絡(luò)(細(xì) 每個(gè)群集本地專用)。與企業(yè)網(wǎng)的連接(閃電狀)。本節(jié)的其他內(nèi)容將提供示例站點(diǎn)的教程,從 Internet 開始經(jīng) DMZ 直到安全網(wǎng)絡(luò),包括企業(yè)網(wǎng)和管理網(wǎng)絡(luò)。Internet教程從連接一個(gè)或多個(gè)“Internet 服務(wù)提供商 (ISP)”開始。我們的示例列舉了多個(gè)標(biāo)記為 ISP 1 - ISP N 的冗余連接。這些連接應(yīng)該來(lái)自不同(物理上獨(dú)立)的
34、網(wǎng)絡(luò)。域名服務(wù)器(DNS,圖 3 中沒有展示)提供了域名與一個(gè)或多個(gè) TCP/IP 地址之間的正向和反向映射。例如,/ 當(dāng)前映射下列地址,每組地址均為一個(gè)群集。4 849 050 37如果有多個(gè) IP 地址,DNS 將瀏覽地址列表來(lái)處理對(duì) IP 地址的不斷查詢 因此,得名為“Round Robin DNS (RRDNS)”。RRDNS 的缺點(diǎn)是不能檢測(cè)出 ISP 連接的消失而繼續(xù)為不再工作的 IP 地址提供服務(wù)。但是這并不非常嚴(yán)重,因?yàn)橛脩糁恍枵?qǐng)求重載 Web 頁(yè)。第三方解決方案,如 Cisco 的 Local Director或 F5 Networks 的 BigIP 提供了動(dòng)態(tài)路由連接的更
35、好解決方案。DMZ前端網(wǎng)絡(luò)上的服務(wù)器是面向 Internet 的。防火墻是基本的安全性組件,通過(guò)按數(shù)據(jù)包類型、源和目的地址過(guò)濾數(shù)據(jù)通信量,來(lái)提供網(wǎng)絡(luò)隔離。它們形成了由雙向箭頭描述的 DMZ(非軍事區(qū))邊界。防火墻路徑中的第一個(gè)組件就是路由器/防火墻,它們的功能是截然不同的或組合在一個(gè)設(shè)備中。面向 Internet 的路由器支持“邊界網(wǎng)關(guān)協(xié)議”(/rfc/rfc1654.txt)。高速前端交換機(jī)支持到前端 Web 群集中的每臺(tái)服務(wù)器的連接。與路由器/防火墻的交叉連接為在 ISP 連接失效時(shí),或路徑上任何組件失效時(shí),提供了另一條路徑。前端網(wǎng)絡(luò)前端提供核心 Web 服務(wù),如 HTTP/HTTPS,使
36、用 Microsoft Internet Information Server (IIS) 提供 HTML 和 ASP 頁(yè)面服務(wù),使用 LDAP(Lightweight Directory Access Protocol)進(jìn)行用戶身份驗(yàn)證。還可以將“站點(diǎn)服務(wù)器商業(yè)版”裝載到前端服務(wù)器上,以提供附加的數(shù)據(jù)庫(kù)驅(qū)動(dòng)的服務(wù)。前端服務(wù)器按服務(wù)和功能分組 例如 /、/、SMTP(電子郵件)或 FTP(下載)。SSL 服務(wù) (HTTPS) 同樣是從普通 HTTP 通信中隔離出來(lái)的。這使得經(jīng)過(guò)特殊配置的、帶有高成本的硬件安全加速器模塊的服務(wù)器,可支持高速加密功能。更進(jìn)一步,SSL 會(huì)話繼承了帶狀態(tài)性,并可能需
37、要特殊的故障轉(zhuǎn)移處理。在示例站點(diǎn)中運(yùn)行 Windows 2000 的每個(gè) Web 群集均使用 NLBS(網(wǎng)絡(luò)負(fù)荷平衡服務(wù) 在 Windows NT 中也稱為 Windows 負(fù)荷平衡服務(wù))。每個(gè)克隆體在每個(gè)發(fā)布相同內(nèi)容的 NLBS Web 群集中有相同的配置。這將為無(wú)狀態(tài) Web 應(yīng)用程序提供透明的故障轉(zhuǎn)移,與單個(gè)服務(wù)器相比從根本上提高了服務(wù)能力。Web 群集通過(guò)添加克隆體分擔(dān)群集的負(fù)荷來(lái)支持廣闊的可伸縮性??蛻魴C(jī)向使用虛擬 IP 地址的每個(gè) Web 群集提出請(qǐng)求,該虛擬 IP 地址是 NLBS 群集中的所有前端服務(wù)器均可以響應(yīng)的。前端服務(wù)器則訪問位于后端群集文件共享服務(wù)器和后端群集 SQL
38、服務(wù)器上的站點(diǎn)內(nèi)容。提供 Web 服務(wù)所需的所有 COM 對(duì)象,包括從 ASP 頁(yè)調(diào)用的對(duì)象,均安裝并注冊(cè)在每個(gè)前端服務(wù)器上。該站點(diǎn)的 ASP 頁(yè)可以裝載在前端服務(wù)器的本地磁盤上,也可以保持在后端群集文件共享服務(wù)器上。每個(gè)前端服務(wù)器均特殊加強(qiáng)了安全性并連接到三個(gè)網(wǎng)絡(luò):前端網(wǎng)絡(luò) Internet 訪問。后端網(wǎng)絡(luò) 訪問 DMZ 服務(wù)器,并通過(guò)內(nèi)部防火墻訪問安全網(wǎng)絡(luò)。管理網(wǎng)絡(luò) 支持管理和運(yùn)作功能。這種網(wǎng)絡(luò)隔離,在提高總體可用帶寬和冗余的同時(shí)提高了安全性。注意該站點(diǎn)中任何服務(wù)器上唯一可公共訪問的 IP 地址為 NLBS 虛擬 IP 地址,只有前端服務(wù)器才可以響應(yīng)的這個(gè)地址。用于面向 Internet
39、的 NIC(網(wǎng)絡(luò)接口卡)的 IP 過(guò)濾,可確保只有被支持的功能的正確通信類型和源,才能進(jìn)入前端服務(wù)器。這些網(wǎng)絡(luò)之間的 IP 轉(zhuǎn)發(fā)也已禁用。 后端網(wǎng)絡(luò)后端網(wǎng)絡(luò)通過(guò)使用高速、私用的 10.10.1.x LAN 支持所有 DMZ 服務(wù)器。這種體系結(jié)構(gòu)可防止從 Internet 直接訪問 DMZ 服務(wù)器,即使防火墻被突破,因?yàn)椴辉试S Internet 路由器轉(zhuǎn)發(fā)指定的 IP 地址范圍(請(qǐng)參閱 /rfc/rfc1918.txt 上的 Address Allocation for Private Internets(專用 Internet 的地址分配),包括范圍 10.x.x.x。當(dāng)使用前端網(wǎng)絡(luò)時(shí),冗余交
40、換機(jī)可提供對(duì)所有前端和后端服務(wù)器的訪問。所有后端交換機(jī)共享公共網(wǎng)絡(luò),因此后端通信量負(fù)荷將成為主動(dòng)站點(diǎn)的問題,特別是單獨(dú)的管理網(wǎng)絡(luò)不能進(jìn)行記錄并且其他前端管理網(wǎng)絡(luò)還在通信。后端網(wǎng)絡(luò)的主要組件為加強(qiáng)了安全性的服務(wù)器群集,它們提供對(duì) Web 內(nèi)容和臨時(shí)永久狀態(tài),如會(huì)話內(nèi)事務(wù)性數(shù)據(jù)(例如購(gòu)物推車內(nèi)容),的存儲(chǔ)服務(wù)。由于所有永久數(shù)據(jù)隨處可得,因此沒有必要提供備份工具。通過(guò)添加群集和分區(qū)數(shù)據(jù)庫(kù)可實(shí)現(xiàn)可伸縮性。這些服務(wù)器使用了 Windows 2000 上的“Microsoft 群集服務(wù)”,實(shí)現(xiàn)了帶故障轉(zhuǎn)移能力的高度可用性。一個(gè)服務(wù)器失效不會(huì)導(dǎo)致數(shù)據(jù)服務(wù)的失效甚至服務(wù)的中斷。當(dāng)失效的服務(wù)器恢復(fù)聯(lián)機(jī)時(shí),可以繼
41、續(xù)數(shù)據(jù)服務(wù)。由于硬盤的確會(huì)失效,因此使用 RAID 驅(qū)動(dòng)器陣列可提供必要的數(shù)據(jù)冗余保護(hù)。群集內(nèi)的文件共享支持文件存儲(chǔ)服務(wù)。群集上運(yùn)行的 Microsoft SQL Server 提供數(shù)據(jù)庫(kù)服務(wù)。每個(gè)群集服務(wù)器至少使用了四個(gè) NIC:一個(gè)用于每個(gè)交換機(jī)、一個(gè)用于專用核心 LAN(應(yīng)該使用其他專用網(wǎng)絡(luò)地址,如 192.168.10.x)、一個(gè)用于管理 LAN。除服務(wù)器物理地址外,群集還具有多個(gè)虛擬 IP 地址,以支持群集本身和每個(gè)群集服務(wù)地址對(duì)(用于冗余)。加強(qiáng) DMZ 實(shí)用程序 DC 的服務(wù)器支持所有 DMZ 服務(wù)器的本地域帳戶、本地 DHCP 和名稱服務(wù)(WINS,或最好為 DNS)以及本地實(shí)
42、用程序文件服務(wù)。對(duì)內(nèi)部企業(yè)域的單向信任關(guān)系,提供了對(duì)安全的內(nèi)部系統(tǒng)的身份驗(yàn)證式訪問。安全網(wǎng)絡(luò)另一道防火墻形成了 DMZ 的內(nèi)部邊界,并將所謂的安全網(wǎng)絡(luò)與后端網(wǎng)絡(luò)隔離開。防火墻配置成只允許端口與源/目的對(duì)之間所要求的通信。安全網(wǎng)絡(luò)又由一個(gè)專用網(wǎng)絡(luò)(本例中為 )、一對(duì)耦合的交換機(jī)、各種服務(wù)器和標(biāo)記為 VPN/路由器的設(shè)備組成,這個(gè)標(biāo)記為 VPN/路由器的設(shè)備提供了與內(nèi)部企業(yè)網(wǎng)的連接。安全網(wǎng)絡(luò)在邏輯上為企業(yè)網(wǎng)的一部分。安全網(wǎng)絡(luò)上的服務(wù)器通常也是內(nèi)部企業(yè)域的成員,因此域控制器和地址及名稱服務(wù)器也假定是內(nèi)部的。為了支持其他功能,在本節(jié)中可能還需要其他服務(wù)器。有多種可能的處理方法,然后在安全性數(shù)據(jù)存儲(chǔ)與內(nèi)
43、部系統(tǒng)之間傳輸事務(wù)性數(shù)據(jù)。事務(wù)的范圍是從傳統(tǒng)的同步 (MTS Microsoft Transaction Service) 到異步 (MSMQ - Microsoft Message Queue) 乃至基于批處理或基于電子郵件的存儲(chǔ)和轉(zhuǎn)寄。這些內(nèi)容已超出本文檔的范圍。但請(qǐng)注意,對(duì)于許多組織來(lái)說(shuō),Internet 是許多通道中唯一提供用戶服務(wù)的傳送通道,這很重要。以書店或銀行為例。大部分業(yè)務(wù)邏輯和處理發(fā)生在內(nèi)部的現(xiàn)有系統(tǒng)內(nèi)。Internet 解決方案必須與這些現(xiàn)有系統(tǒng)協(xié)作并為其提供服務(wù)。安全數(shù)據(jù)存儲(chǔ)安全 SQL 群集是可選的,并只為更復(fù)雜的事務(wù)性站點(diǎn)中所需。它們提供了高度可用性、身份驗(yàn)證數(shù)據(jù)庫(kù)的
44、永久存儲(chǔ)、長(zhǎng)期事務(wù)存儲(chǔ),并保證客戶信息和帳戶數(shù)據(jù)的機(jī)密性。與 DMZ 中的服務(wù)器群集不同,這些服務(wù)器必須備份,既可以使用直接連接的可移動(dòng)存儲(chǔ)設(shè)備,也可以通過(guò)企業(yè)網(wǎng)進(jìn)行備份。其他功能與 DMZ 群集類似。為了冗余,每個(gè)服務(wù)器將重復(fù)連接到安全網(wǎng)絡(luò)的兩個(gè)交換機(jī)上。同樣又是通過(guò)分區(qū)數(shù)據(jù)庫(kù)和添加群集,來(lái)實(shí)現(xiàn)可伸縮性。升級(jí)服務(wù)器升級(jí)服務(wù)器出現(xiàn)在安全網(wǎng)絡(luò)部分,盡管它們可能位于企業(yè)網(wǎng)或甚至位于 DMZ 中。它們接受和升級(jí)來(lái)自企業(yè)網(wǎng)或外部?jī)?nèi)容提供商的內(nèi)容,然后將內(nèi)容部署到 Web 服務(wù)器,以使站點(diǎn)保持一致狀態(tài)。通常有很多機(jī)制可用,包括 Microsoft Content Replication(Microsof
45、t 內(nèi)容復(fù)制系統(tǒng))和諸如 RoboCopy 等工具。企業(yè)網(wǎng)連通性示為 VPN/路由器的、將站點(diǎn)與企業(yè)網(wǎng)相連的設(shè)備實(shí)際上是個(gè)路由器,如果需要,它可以和 VPN 安全性功能結(jié)合,來(lái)簽署和加密通信。另外,使用 Windows 2000 內(nèi)置 IPSec 特性也可添加 VPN 功能。這將在根據(jù)需求的基礎(chǔ)上支持端對(duì)端的安全性,這樣可以節(jié)約 VPN 硬件支持的成本。 就企業(yè)數(shù)據(jù)中心中宿主的站點(diǎn)而言,連接企業(yè)網(wǎng)易如反掌。在這種情況下,VPN/路由器直接與企業(yè)網(wǎng)相連。大型商務(wù)站點(diǎn)經(jīng)常由遠(yuǎn)程的企業(yè)數(shù)據(jù)中心宿主。專用熱線經(jīng)常用來(lái)連接站點(diǎn)與企業(yè)網(wǎng),特別是在需要高性能、低響應(yīng)時(shí)間的情況。另外,Internet 本身也
46、可能用于傳輸,這種情況下使用 VPN 技術(shù)確保所有通信的安全非常重要。管理網(wǎng)絡(luò)連通性我們以管理網(wǎng)絡(luò)的討論來(lái)結(jié)束我們的教程,管理網(wǎng)絡(luò)提供了監(jiān)控和管理站點(diǎn)的基本功能。為簡(jiǎn)單起見,我們只演示用 LAN 連接單獨(dú)管理網(wǎng)絡(luò)的計(jì)算機(jī)。這些是用單獨(dú)的 NIC 實(shí)現(xiàn)的。某些站點(diǎn)沒有使用單獨(dú)的管理網(wǎng)絡(luò)。相反,它們瓦解后端網(wǎng)絡(luò)上的管理通信。為安全性、網(wǎng)絡(luò)負(fù)荷和管理起見,我們不建議這樣做。與路由器、交換機(jī)和防火墻的管理連接沒有顯示。用于緊急帶外 (OOB) 訪問的串口撥號(hào)連接也沒有顯示。這并不表示不需要它們。當(dāng)管理網(wǎng)絡(luò)(或用于管理的后端網(wǎng)絡(luò))不可用時(shí),仍然可以通過(guò)這種設(shè)置訪問每個(gè)主機(jī)。摘要下面章節(jié)使用前例的模型,詳
47、細(xì)討論本文檔所描述的體系結(jié)構(gòu)如何滿足這四個(gè)目標(biāo):線性可伸縮性 可持續(xù)增長(zhǎng)以滿足用戶需求和業(yè)務(wù)復(fù)雜性。持續(xù)服務(wù)可用性 使用冗余和功能專業(yè)化來(lái)提高容錯(cuò)能力。數(shù)據(jù)和基礎(chǔ)結(jié)構(gòu)的安全性 保護(hù)數(shù)據(jù)和基礎(chǔ)結(jié)構(gòu)免受惡意攻擊或盜用。管理的簡(jiǎn)便性和完整性 確保運(yùn)作能夠滿足增長(zhǎng)的需求??缮炜s性簡(jiǎn)介圖 4 例舉了站點(diǎn)可伸縮性的兩個(gè)不同維度。第一個(gè)維度,即水平軸,表示在有代表性的一天,訪問站點(diǎn)的獨(dú)特客戶機(jī)的數(shù)量。隨著獨(dú)特客戶數(shù)量的增加,配置用于支持增加的客戶庫(kù)的系統(tǒng)數(shù)量也將增加。典型情況下,支持客戶庫(kù)所需的站點(diǎn)上的內(nèi)容也必須增加。第二個(gè)維度,即垂直軸,表示站點(diǎn)的業(yè)務(wù)復(fù)雜性程度。我們已經(jīng)標(biāo)識(shí)了三個(gè)主要類別。當(dāng)然,在它們之
48、間還有許多變種。類別之間通常通過(guò)包含下級(jí)分類的功能而互為基礎(chǔ)。最底層分類,和在業(yè)務(wù)邏輯復(fù)雜方面最簡(jiǎn)單的,是內(nèi)容提供商類。上一層的分類,除來(lái)內(nèi)容外還有事務(wù)處理,但許多業(yè)務(wù)處理是脫機(jī)完成的。而最上層的分類既有內(nèi)容還有事務(wù),而且許多業(yè)務(wù)處理邏輯完全集成在聯(lián)機(jī)處理中。隨著站點(diǎn)在圖中從左到右、從下向上移動(dòng),站點(diǎn)的運(yùn)行和應(yīng)用程序部署的難度明顯增加。圖 4. 擴(kuò)展維度在本節(jié)的其余部分,我們考慮圖 4 環(huán)境中的可伸縮性。首先,我們關(guān)注擴(kuò)展獨(dú)特客戶和內(nèi)容,然后再看業(yè)務(wù)復(fù)雜性的增加。擴(kuò)展客戶和內(nèi)容接下來(lái)的圖 5 和圖 6 兩個(gè)圖例,說(shuō)明了前端系統(tǒng)的數(shù)量如何變化,以滿足客戶不斷增長(zhǎng)的需求,以及如何增加分區(qū)的數(shù)據(jù)存儲(chǔ)
49、的數(shù)量來(lái)擴(kuò)展聯(lián)機(jī)內(nèi)容。圖 5. 小型站點(diǎn)上圖表示了具有一個(gè) IIS Web 服務(wù)器,一個(gè)文件或 SQL Server 和一個(gè)在 DMZ 內(nèi)的實(shí)用程序服務(wù)器的基本站點(diǎn),它連接安全 SQL Server 或文件服務(wù)器和安全升級(jí)服務(wù)器。下圖表示,如圖 5 所示的小型站點(diǎn),應(yīng)如何擴(kuò)大才能支持更多客戶和更多內(nèi)容。圖 6. 擴(kuò)大的站點(diǎn)在前端,IIS Web 服務(wù)器的數(shù)量和這些服務(wù)器的 Web 群集的數(shù)量有所增加,并使用 NLBS 在它們之間平衡了負(fù)荷。在后端,文件服務(wù)器和 SQL Server 群集的數(shù)量有所增加,因此,邏輯需要包括在前端 Web 服務(wù)器中,才能將數(shù)據(jù)請(qǐng)求路由到正確的后端數(shù)據(jù)分區(qū)。我們下一
50、步再說(shuō)明這兩種技術(shù)。. 擴(kuò)展前端系統(tǒng)增加克隆的 IIS Web 服務(wù)器的數(shù)量、將其分組為 Web 群集和使用負(fù)荷平衡系統(tǒng),是增加支持的獨(dú)特客戶數(shù)量的主要技術(shù)。但請(qǐng)注意,這涉及重要的應(yīng)用程序狀態(tài)考慮,我們將在后面討論。除增加 IIS Web 服務(wù)器的數(shù)量外,優(yōu)化 Web 服務(wù)器執(zhí)行的 Web 應(yīng)用程序代碼也很重要(這超出了本文檔的范圍)。針對(duì)可伸縮性的 Web 前端負(fù)荷平衡負(fù)荷平衡以虛擬 IP 地址的形式,向客戶機(jī)提供了單一的服務(wù)名稱,然后將客戶機(jī)分布于提供該服務(wù)的服務(wù)器集上。進(jìn)行負(fù)荷平衡有三種主要技術(shù):Round Robin DNS (RRDNS)。帶有專用的第三方外掛盒的智能 IP 負(fù)荷平衡
51、。服務(wù)器內(nèi)部使用 Windows 2000 的 NLBS 的智能 IP 負(fù)荷平衡。RRDNS 是配置“域名服務(wù)器 (DNS)”的一種方法,以使 DNS 對(duì)主機(jī)名的查詢?cè)谝幌盗刑峁┫嗤?wù)的 IP 地址中順序分布。這是負(fù)荷平衡的基本形式。該方法的優(yōu)點(diǎn)是:無(wú)成本、易于實(shí)現(xiàn),并且不需要變動(dòng)服務(wù)器。缺點(diǎn)是:沒有關(guān)于單個(gè)服務(wù)器負(fù)荷或可用性的反饋機(jī)制,并且由于 DNS 更改的傳播延遲導(dǎo)致將請(qǐng)求繼續(xù)發(fā)往故障的服務(wù)器,從而沒有辦法從可用的服務(wù)器集中快速刪除故障的服務(wù)器?;诜?wù)器的負(fù)荷平衡將一組服務(wù)器組成 NLBS 群集,然后令群集中的每個(gè)服務(wù)器根據(jù)源的 IP 地址決定是否處理該請(qǐng)求,來(lái)完成負(fù)荷平衡。如果群集
52、中的一個(gè)服務(wù)器故障,則群集中的其他成員重新分組并調(diào)整源 IP 地址范圍的分區(qū)。NLBS 的優(yōu)點(diǎn)是低成本(NLBS 是 Windows 2000 操作系統(tǒng)的一部分),不需要特殊硬件或更改網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu),而且沒有單個(gè)故障點(diǎn)。目前的限制是服務(wù)器不能動(dòng)態(tài)調(diào)整負(fù)荷,重組是根據(jù)服務(wù)器故障進(jìn)行的而不是根據(jù)應(yīng)用程序失效進(jìn)行的(盡管第三方工具,如 NetIQ 和 Microsoft 的 HTTPMon,可用于削弱這些限制)。將 RRDNS 與 NLBS 組合可產(chǎn)生更好的擴(kuò)展和可用的配置。NLBS 群集中的所有節(jié)點(diǎn)必須在同一 LAN 子網(wǎng)上,并響應(yīng)同一 IP 地址。配置不同子網(wǎng)上的多個(gè) NLBS 群集,并將 DNS
53、 配置為在多個(gè) NBLS 群集順序分布請(qǐng)求,是可能的。這增強(qiáng)了 NLBS 的可伸縮性并避免了 RRDNS 的缺點(diǎn),因?yàn)橛卸嗯_(tái)計(jì)算機(jī)可用于響應(yīng)發(fā)往每個(gè) NLBS 群集的每個(gè)請(qǐng)求。M 便以這種方式工作。圖 7. RRDNS & NLBS:三個(gè)獨(dú)立 LAN 網(wǎng)段,一個(gè)域名應(yīng)用程序狀態(tài)考慮T為了向客戶機(jī)屏蔽服務(wù)器故障,請(qǐng)不要將應(yīng)用程序客戶機(jī)狀態(tài)存儲(chǔ)在 IIS Web 服務(wù)器上。不能動(dòng)態(tài)平衡客戶機(jī)請(qǐng)求的負(fù)荷。最好是將客戶機(jī)狀態(tài)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中,并在需要時(shí),根據(jù) URL 編碼數(shù)據(jù)或客戶機(jī) cookie,對(duì)每個(gè)客戶機(jī)請(qǐng)求檢索客戶機(jī)狀態(tài)。帶客戶機(jī)高速緩存的 cookie 也是一種很有效的擴(kuò)展方法,該方法在每
54、個(gè)客戶機(jī)系統(tǒng)中存儲(chǔ)各自客戶機(jī)的信息,在每個(gè)客戶機(jī)請(qǐng)求中向 Web 服務(wù)器發(fā)送該信息,并使用該數(shù)據(jù)將內(nèi)容專用化或采用其他客戶機(jī)指定的操作。RFC 2109(“HTTP State Management Mechanism”(HTTP 狀態(tài)管理機(jī)制),可從 /rfc/rfc2109.txt 中找到)描述了 HTTP cookie 協(xié)議。 但是,某些應(yīng)用程序和協(xié)議要求長(zhǎng)期的從客戶機(jī)到服務(wù)器的連接。使用“Secure Sockets Layer (SSL)”發(fā)送加密數(shù)據(jù)并驗(yàn)證服務(wù)器身份,就是一個(gè)主要示例。大部分 IP 負(fù)荷平衡產(chǎn)品支持允許應(yīng)用程序或協(xié)議維持與同一服務(wù)器的連接機(jī)制,以便它們正常工作,盡管
55、沒有故障透明性擴(kuò)展后端系統(tǒng)增加多處理器系統(tǒng)的內(nèi)存和處理器可擴(kuò)展后端系統(tǒng)。Windows 2000 Advanced Server 操作系統(tǒng)支持多達(dá) 8 CPU 和 8 GB 內(nèi)存。但是,在某些情況這不再可能,或不希望對(duì)單個(gè)系統(tǒng)的可用性有如此大的數(shù)據(jù)依賴性?;谶@一點(diǎn),通過(guò)對(duì)其服務(wù)的數(shù)據(jù)或提供的邏輯服務(wù)進(jìn)行分區(qū),來(lái)擴(kuò)展后端系統(tǒng),是十分必要的。我們將此稱為分區(qū)。與用于擴(kuò)展前端系統(tǒng)的克?。◤?fù)制硬件、軟件和數(shù)據(jù))不同,分區(qū)只復(fù)制硬件和軟件,而將數(shù)據(jù)分布在各個(gè)節(jié)點(diǎn)。對(duì)特定數(shù)據(jù)對(duì)象的請(qǐng)求則需要路由到存儲(chǔ)相應(yīng)數(shù)據(jù)的正確分區(qū)。這種由數(shù)據(jù)決定的路由,需要運(yùn)行在 Web 服務(wù)器上的應(yīng)用程序軟件來(lái)完成??蓪⒂蓴?shù)據(jù)決
56、定的路由層視為:與無(wú)狀態(tài)負(fù)荷平衡相對(duì)的帶狀態(tài)負(fù)荷平衡,前者用于克隆前端系統(tǒng)的擴(kuò)展。還需要開發(fā)管理分區(qū)的拆分和合并的軟件,以使負(fù)荷均勻分散在所有分區(qū)之上,這樣可避免任何單個(gè)分區(qū)成為熱點(diǎn)。但是,這種責(zé)任通常落在應(yīng)用程序工程師頭上,他們將數(shù)據(jù)分散在業(yè)務(wù)對(duì)象上,而隨著數(shù)據(jù)大小和工作量的不斷增長(zhǎng),業(yè)務(wù)對(duì)象也將均勻分布在數(shù)量不斷增加的服務(wù)器上。幸運(yùn)的是,如前所述,許多站點(diǎn)服務(wù)按對(duì)象分區(qū)相對(duì)簡(jiǎn)單。但是,分區(qū)對(duì)象尺度選擇在站點(diǎn)部署完成后很難更改,這使得升級(jí)設(shè)計(jì)決斷尤為重要。擴(kuò)展的另一個(gè)方法是將后端系統(tǒng)提供的服務(wù),分區(qū)為向客戶機(jī)提供服務(wù)的功能專業(yè)化系統(tǒng)。這通常稱為 n 層模型。我們將在下面有關(guān)擴(kuò)展業(yè)務(wù)復(fù)雜性的章
57、節(jié)里詳細(xì)討論它。擴(kuò)展網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)隨著站點(diǎn)通信量(包括從 Internet 和 DMZ 內(nèi)的內(nèi)部通信,到企業(yè)網(wǎng)絡(luò)的)的增加,網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)也必須改進(jìn)。為了支持這種增長(zhǎng)的需求,必須增加鏈接帶寬、將集線器升級(jí)為交換機(jī)以及安裝附加網(wǎng)絡(luò)(例如,增設(shè)專用的管理網(wǎng)絡(luò),以減輕后端網(wǎng)絡(luò)的負(fù)荷)。擴(kuò)展業(yè)務(wù)復(fù)雜性下圖說(shuō)明了隨著集成到系統(tǒng)的業(yè)務(wù)過(guò)程數(shù)量的增長(zhǎng)和業(yè)務(wù)過(guò)程聯(lián)機(jī)性的增長(zhǎng),對(duì)系統(tǒng)安全性和數(shù)量的需求也隨之增長(zhǎng)。最大系統(tǒng)容量 系統(tǒng)設(shè)計(jì)能否隨著業(yè)務(wù)增長(zhǎng)而平穩(wěn)迅速增長(zhǎng) 通常是任何站點(diǎn)最為關(guān)注的。站點(diǎn)復(fù)雜性的三種模型是:“內(nèi)容提供商”、“脫機(jī)事務(wù)處理”和“聯(lián)機(jī)事務(wù)處理”。內(nèi)容提供商。在這個(gè)模型中,不需要訪問內(nèi)部網(wǎng)絡(luò)的事務(wù)
58、處理。所有 Web 服務(wù)和內(nèi)容服務(wù)器都來(lái)自 DMZ 內(nèi)部。所有內(nèi)容先裝配在升級(jí)服務(wù)器上,然后再通過(guò)復(fù)制推入 DMZ 服務(wù)器。如前一節(jié)所述,通過(guò)增加 Web 群集、增加 Web 群集的克隆、增加后端群集服務(wù)器,可擴(kuò)展該模型。圖 8. “內(nèi)容提供商”模型脫機(jī)事務(wù)處理。本模型同“內(nèi)容提供商”模型類似,但附加了對(duì)內(nèi)部網(wǎng)絡(luò)上已有業(yè)務(wù)應(yīng)用程序的脫機(jī)事務(wù)處理訪問。在“內(nèi)容提供商”模型中,復(fù)制用于從升級(jí)服務(wù)器更新 DMZ 服務(wù)器內(nèi)容。為了支持脫機(jī)(非實(shí)時(shí))事務(wù)處理,需要將事務(wù)數(shù)據(jù)從 DMZ 異步傳輸?shù)絻?nèi)部網(wǎng)絡(luò)?!癕icrosoft 消息隊(duì)列 (MSMQ)”服務(wù)可用于可靠傳輸這些脫機(jī)事務(wù)。為了支持傳統(tǒng)的交付通道
59、,應(yīng)用程序系統(tǒng)和數(shù)據(jù)庫(kù)都要在內(nèi)部網(wǎng)絡(luò)上實(shí)現(xiàn)。標(biāo)記為“其他交付通道”的設(shè)備代表傳統(tǒng)的表達(dá)設(shè)備,如客戶工作站、交互式語(yǔ)音應(yīng)答單元 (IVRU) 或?qū)S幂斎朐O(shè)備,如銷售點(diǎn)終端或 ATM。該模型的復(fù)雜性,隨著與內(nèi)部防火墻后面的內(nèi)部網(wǎng)絡(luò)中后端服務(wù)器交互數(shù)量的增加而增加。MSMQ 既能支持異步通訊又能保證消息可靠傳遞,所以對(duì)這種類型的交互很有用。批量處理請(qǐng)求也是分?jǐn)偨o內(nèi)部網(wǎng)絡(luò)發(fā)送消息的成本的另一個(gè)成功技術(shù)。圖 9. “脫機(jī)事務(wù)處理”模型聯(lián)機(jī)事務(wù)處理。在此模型中,Web 瀏覽器真正聯(lián)機(jī)訪問駐留在內(nèi)部網(wǎng)絡(luò)上的傳統(tǒng)應(yīng)用程序。業(yè)務(wù)應(yīng)用程序的功能是在內(nèi)部網(wǎng)絡(luò)上實(shí)現(xiàn)的,它通常支持多個(gè)交付通道。從 DMZ 到內(nèi)部網(wǎng)絡(luò)的
60、事務(wù)通訊是用標(biāo)準(zhǔn)同步通訊機(jī)制實(shí)現(xiàn)的。在連接客戶機(jī)時(shí),與聯(lián)機(jī)業(yè)務(wù)應(yīng)用程序集成的需求,大大增加了該模型的復(fù)雜性。本模型最為復(fù)雜并且難于擴(kuò)展,因?yàn)榕c內(nèi)部系統(tǒng)的交互必須同步操作,或至少在客戶正與聯(lián)機(jī)服務(wù)交互時(shí)。這些交互類型需要認(rèn)真設(shè)計(jì),并且盡量減少其數(shù)量。例如,購(gòu)物籃只能用 DMZ 內(nèi)部的交互來(lái)擴(kuò)大,而且只能在客戶請(qǐng)求之后;實(shí)際的購(gòu)買應(yīng)當(dāng)使用內(nèi)部系統(tǒng)。圖 10. “聯(lián)機(jī)事務(wù)處理”模型可用性簡(jiǎn)介增加站點(diǎn)可用性的主要技術(shù)是增加冗余組件。這些冗余組件可用于創(chuàng)建多個(gè)通信路徑、多個(gè)提供相同服務(wù)的服務(wù)器、以及在事件中替代故障服務(wù)器的備用服務(wù)器??紤]下面兩圖。第一幅在前端系統(tǒng)和后端系統(tǒng)中具有某種高度的可用性。而第二
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 《釣魚的啟示》讀后感15篇
- 藍(lán)蓮花設(shè)計(jì)工作室創(chuàng)業(yè)計(jì)劃
- 新疆烏魯木齊市實(shí)驗(yàn)學(xué)校2023-2024學(xué)年高三上學(xué)期1月月考?xì)v史含解析
- 重慶市黔江中學(xué)2021-2022學(xué)年高三上學(xué)期10月月考政治題 含解析
- 武漢城市職業(yè)學(xué)院《體育政策與法規(guī)》2023-2024學(xué)年第二學(xué)期期末試卷
- 開展2025年《安全生產(chǎn)月》活動(dòng)方案 (3份)
- 遼寧理工職業(yè)大學(xué)《環(huán)境科學(xué)實(shí)驗(yàn)Ⅳ(環(huán)境生物學(xué))》2023-2024學(xué)年第二學(xué)期期末試卷
- 成都農(nóng)業(yè)科技職業(yè)學(xué)院《資源與環(huán)境(環(huán)境工程)領(lǐng)域論文寫作指導(dǎo)》2023-2024學(xué)年第二學(xué)期期末試卷
- 新疆第二醫(yī)學(xué)院《高級(jí)人工智能》2023-2024學(xué)年第二學(xué)期期末試卷
- 廣州軟件學(xué)院《模擬系統(tǒng)集成一》2023-2024學(xué)年第二學(xué)期期末試卷
- 化學(xué)發(fā)光免疫檢驗(yàn)技術(shù)(免疫學(xué)檢驗(yàn)課件)
- 醫(yī)學(xué)美容技術(shù)期末考試(試題與答案)
- 0LB2000瀝青攪拌機(jī)設(shè)計(jì)-畢業(yè)論文
- 區(qū)塊鏈技術(shù)及應(yīng)用PPT完整全套教學(xué)課件
- 小學(xué)語(yǔ)文雙減政策及其落實(shí)措施效果研究
- 新版GSP零售藥店質(zhì)量管理體系文件-最終版
- API520-安全閥計(jì)算PART1(中文版)
- 服裝廠管理流程
- 國(guó)際金融(南開大學(xué))智慧樹知到答案章節(jié)測(cè)試2023年
- 建筑工程概預(yù)算智慧樹知到答案章節(jié)測(cè)試2023年浙江廣廈建設(shè)職業(yè)技術(shù)大學(xué)
- 應(yīng)急救援小組名單
評(píng)論
0/150
提交評(píng)論