第4章擴展寬帶網(wǎng)絡及其應用新技術

第4章擴展的寬帶網(wǎng)絡及其應用新技術 4 1網(wǎng)格計算 4 1 1網(wǎng)格與網(wǎng)格計算4 1 2網(wǎng)格系統(tǒng)的主要功能4 1 3網(wǎng)格計算的關鍵技術4 1 4網(wǎng)格計算的應用4 1 5網(wǎng)格體系結構4 1 6網(wǎng)格計算的發(fā)展現(xiàn)狀與趨勢 4 1 1網(wǎng)格的概念 網(wǎng)格 Grid 一詞來源于人們熟悉的電力網(wǎng) 希望用戶在使用網(wǎng)格解決問題時像使用電力網(wǎng)一樣方便 網(wǎng)格是一個集成的計算與資源環(huán)境和基礎設施 它把地理上廣泛分布的計算資源 存儲資源 網(wǎng)絡資源 軟件資源 信息資源等連成一個邏輯整體 然后像一臺超級計算機一樣為用戶提供一體化的信息應用服務 網(wǎng)格又是構筑在因特網(wǎng)上的一組新興技術 它將高速互聯(lián)網(wǎng)絡 計算機 大型數(shù)據(jù)庫 傳感器 遠程設備等融為一體 為用戶提供更多的資源 功能和服務 網(wǎng)格實現(xiàn)互聯(lián)網(wǎng)絡上所有資源的全面貫通 網(wǎng)格形式多種多樣 如計算網(wǎng)格 數(shù)據(jù)網(wǎng)格 科學網(wǎng)格 存取網(wǎng)格 服務網(wǎng)格 知識網(wǎng)格 語義網(wǎng)格 地理網(wǎng)格 傳感器網(wǎng)格 集群網(wǎng)格 校園網(wǎng)格 億萬量級網(wǎng)格和商品網(wǎng)格等 網(wǎng)格是一個開放 標準的系統(tǒng) 只要遵守網(wǎng)格規(guī)則 任何設備都可以加入網(wǎng)格 網(wǎng)格主要有以下特點 虛擬性 資源對外提供的只是一個虛擬化的接口 集成性 網(wǎng)格可以集成來自不同管理域 不同管理平臺 具有不同能力的資源 協(xié)商性 可以通過協(xié)商獲取不同質量的服務和需求 分布性 這是指網(wǎng)格的資源是分布的 共享性 各方面的資源都可以進行共享 自相似性 網(wǎng)格的局部和整體之間存在著一定的相似性 動態(tài)性 資源動態(tài)增加和網(wǎng)格資源動態(tài)減少 多樣性 網(wǎng)格資源是異構和多樣的 自治性 擁有者對他的資源有自主的管理能力 管理的多重性 對資源具有自主性的管理 所謂網(wǎng)格計算就是第三代因特網(wǎng)計算 是高性能的協(xié)同計算 是利用網(wǎng)絡中一些閑置的處理能力來解決復雜科學計算的新型計算模式 其內(nèi)容涉及資源的網(wǎng)格化 協(xié)調性以及融合性 可以根據(jù)需要重新分配計算機資源 使用高層計算能力 網(wǎng)格計算又是以元數(shù)據(jù) 構件框架 智能體 網(wǎng)格公共信息協(xié)議和網(wǎng)格計算協(xié)議為主要突破點對網(wǎng)格計算進行的研究 網(wǎng)格計算是一種分布式計算 4 1 2網(wǎng)格系統(tǒng)的主要功能 管理等級結構 定義網(wǎng)格系統(tǒng)組織方式 通信服務 網(wǎng)格支持多種通信方式 信息服務 需要提供一種能迅速 可靠地獲取網(wǎng)格結構 資源 服務和狀態(tài)的機制 名稱服務 網(wǎng)格系統(tǒng)使用名字引用各種資源 分布式文件系統(tǒng) 該系統(tǒng)能提供一致的全局名字空間 安全及授權 系統(tǒng)狀態(tài)和容錯 資源管理和調度 計算付費和資源交易 編程工具 網(wǎng)格應提供多種工具 用戶圖形界面和管理圖形界面 圖4 1網(wǎng)格系統(tǒng)的基本功能模塊示意圖 4 1 3網(wǎng)格計算的關鍵技術 1 網(wǎng)格節(jié)點網(wǎng)格節(jié)點就是網(wǎng)格計算資源的提供者 2 寬帶網(wǎng)絡系統(tǒng) 3 資源管理和任務調度工具 4 監(jiān)測工具 5 應用層的可視化工具 6 分布對象技術 7 互操作技術 8 地理標記語言共享技術 4 1 4網(wǎng)格計算的應用 1 在科學計算方面的應用 1 分布式超級計算 2 密集型計算 3 高吞吐率計算 4 更廣泛的資源貿(mào)易 1 在資源共享方面 2 在協(xié)作學習環(huán)境的構建方面 3 教育科學研究方面 2 網(wǎng)格計算在教育中的應用 包括研究與開發(fā) 商業(yè)智能和分析 工程和產(chǎn)品設計 企業(yè)優(yōu)化 IT資源有可能訪問以前不能訪問的特殊設備 可以簡化運行環(huán)境及其管理并提高工作效率 建立 重建和改變一個安全資源共享域的各種參數(shù) 3 網(wǎng)格計算在當今業(yè)務中的應用 提供遠程訪問儀器設備的手段 4 分布式儀器系統(tǒng) 遠程沉浸是一種特殊的網(wǎng)絡化虛擬現(xiàn)實環(huán)境 這個環(huán)境可以是對現(xiàn)實或歷史的逼真反映 可以是對高性能計算結果或數(shù)據(jù)庫的可視化 也可以是純粹虛構的空間 沉浸 的意思是人可以完全融入其中 各地的參與者通過網(wǎng)絡聚在同一個虛擬空間里 既可以隨意漫游 又可以相互溝通 還可以與虛擬環(huán)境交互 使之發(fā)生改變 5 遠程沉浸 網(wǎng)格將使分布在世界各地的應用程序和各種信息 能夠進行無縫融合和溝通 6 信息集成 網(wǎng)格技術可以整合和管理分散在各部門的信息化資源 7 電子政務 8 個人娛樂 4 1 5網(wǎng)格體系結構 1 網(wǎng)格的三層結構 網(wǎng)格可以簡單劃分為分布式資源 網(wǎng)格系統(tǒng) 網(wǎng)格用戶三個層次 圖4 2網(wǎng)格的三層結構 圖4 3五層沙漏結構及其與TCP IP網(wǎng)絡協(xié)議的對比 2 層次化的網(wǎng)格體系結構 構造層的基本功能就是控制局部的資源 包括查詢機制 資源的結構和狀態(tài)等信息 控制服務質量的資源管理能力等 并向上提供訪問這些資源的接口 1 構造層 連接層的基本功能就是實現(xiàn)相互的通信 它定義了核心的通信和認證協(xié)議 2 連接層 資源層的主要功能就是實現(xiàn)對單個資源的共享 3 資源層 匯聚層的主要功能是協(xié)調多種資源的共享 4 匯聚層 網(wǎng)格層次結構又分為面向協(xié)議的層次結構和面向服務的層次結構兩種 5 應用層 4 1 6網(wǎng)格計算的發(fā)展現(xiàn)狀與趨勢 1 標準化現(xiàn)狀與趨勢 網(wǎng)格的全球標準化組織有GlobalGridForum 研究模型驅動體系結構的OMG 致力于網(wǎng)絡服務與語義WWW研究的W3C以及Globus org等標準化團體 大多數(shù)網(wǎng)格項目都是基于GlobusTookit所提供的協(xié)議及服務建設的 Globus項目組和IBM共同倡議了一個全新的網(wǎng)格標準 開放式網(wǎng)格服務體系結構 OGSA OpenGridServicesArchitecture 2003年1月 符合OGSA規(guī)范的GlobusToolkit3 0 Alpha版 已經(jīng)在第一屆Globusworld會議上發(fā)布 國外對網(wǎng)格的研究始于20世紀90年代中期 美國是網(wǎng)格研究起步最早的國家 多家研究機構制定了很多網(wǎng)格研究計劃 如美國國家科學基金會資助的TeraGrid NCSA NPACI 美國國防部的HPCMP網(wǎng)格 全球信息網(wǎng)格 GIG 美國宇航管理局的IPG 美國政府資助的大型物理實驗網(wǎng)格 GriPhyN 及美國能源部的ASCIGrid 國家技術網(wǎng)格 NTG 等計劃 2 國外網(wǎng)格計算的發(fā)展現(xiàn)狀 TeraGrid將連接位于5個不同地方的超級計算機 達到每秒20萬億次的計算能力 并能存儲和處理近1千萬億字節(jié)的數(shù)據(jù) 連接網(wǎng)格的專用網(wǎng)絡帶寬將達到40Gbit s GriPhyN計劃建立每秒千萬億次級別的計算平臺 用于數(shù)據(jù)密集型計算 英國政府宣布投資1億英鎊 用以研發(fā)英國國家網(wǎng)格 歐洲啟動了一系列網(wǎng)格開發(fā)計劃 日本主要在進行國家研究網(wǎng)格計劃 生物網(wǎng)格計劃 聯(lián)想計算機公司研制的峰值運算速度每秒5 324萬億次的國家網(wǎng)格主節(jié)點 深騰6800 超級計算機于2003年11月研制成功 采用網(wǎng)格技術實現(xiàn)230萬億次計算速度的曙光5000A于2008年11月落戶上海超級計算中心 3 中國網(wǎng)格計算的發(fā)展現(xiàn)狀 據(jù)美國預測 網(wǎng)格技術在2020年將產(chǎn)生一個年產(chǎn)值為20萬億美元的大工業(yè) 未來的網(wǎng)格計算主要有三大發(fā)展趨勢 即標準化 大型化和技術融合化 網(wǎng)格計算將從標準化向更廣域 多學科滲透 技術將進一步融合 從前沿技術逐步走向實用化 大眾化 4 網(wǎng)格計算的前景 4 2網(wǎng)絡存儲 4 2 1服務器附加存儲結構4 2 2網(wǎng)絡附加存儲結構4 2 3存儲區(qū)域網(wǎng)絡存儲結構4 2 4基于IP的存儲網(wǎng)絡4 2 5網(wǎng)絡存儲的新技術4 2 6網(wǎng)絡存儲的發(fā)展與展望 最早是 網(wǎng)絡硬盤 網(wǎng)絡存儲實現(xiàn)的功能是把用戶的文件存儲在通過因特網(wǎng)可以訪問到的網(wǎng)絡服務器上或者與服務器相連的專門設備上 用戶只需要連接到因特網(wǎng)上就可以自由存取自己賬號中或者其他用戶共享出來的文件 而存儲網(wǎng)絡是一種全新的存儲體系結構 它支持網(wǎng)絡協(xié)議和存儲設備協(xié)議 采用面向網(wǎng)絡的存儲體系結構 使數(shù)據(jù)處理和數(shù)據(jù)存儲分離 把信息智能從服務器遷移到網(wǎng)絡中的各個設備上 網(wǎng)絡存儲系統(tǒng)的特點如下 設計貼近用戶 操作簡單 網(wǎng)絡存儲實現(xiàn)了與電子郵件系統(tǒng)的結合 網(wǎng)絡存儲服務支持用戶級的共享 目前有以下4種網(wǎng)絡存儲共享技術 服務器附加存儲 網(wǎng)絡附加存儲 存儲區(qū)域網(wǎng)絡 基于IP的存儲網(wǎng)絡 4 2 1服務器附加存儲結構 SAS也稱為直接附加存儲系統(tǒng)被定義為直接連接在各種服務器或客戶端擴展接口下的數(shù)據(jù)存儲設備 I O請求直接發(fā)送到存儲設備 這種存儲結構是將數(shù)據(jù)存儲在各服務器的磁盤族或磁盤陣列等存儲設備中 圖4 6SAS的存儲結構 4 2 2網(wǎng)絡附加存儲結構 NAS是直接掛網(wǎng)的存儲器 即是一個網(wǎng)絡的附加存儲設備 允許客戶機與存儲設備之間進行直接的數(shù)據(jù)訪問 通過TCP IP進行通信 以文件I O方式進行數(shù)據(jù)傳輸 圖4 7NAS的存儲結構 NAS存儲系統(tǒng)的設計和實現(xiàn)具有以下 實現(xiàn)簡單 由于數(shù)據(jù)的存儲與處理相分離 部件擁有一個在整個網(wǎng)絡中的惟一的地址 NAS設備不依賴通用的操作系統(tǒng) 而是采用了瘦服務器技術 NAS是一種成本較低 易于安裝 易于管理 易于擴展 使用性能和可靠性均較高的資源存儲和共享解決方案 4 2 3存儲區(qū)域網(wǎng)絡存儲結構 SAN是一種通過光纖集線器 光纖路由器 光纖交換機等連接設備將磁盤陣列 磁帶等存儲設備與相關服務器連接起來的一個集中式管理的高速存儲專用子網(wǎng) SAN由3個基本的組件構成 接口 連接設備 這3個組件再加上附加的存儲設備 存儲管理軟件和獨立的SAN服務器就構成一個SAN系統(tǒng) 1 問題的提出2 SAN的結構 圖4 8SAN的結構 SAN使用FC調節(jié)技術來優(yōu)化服務器和存儲器之間的數(shù)據(jù)塊傳輸 實現(xiàn)了數(shù)據(jù)塊的高密度傳輸 節(jié)省了帶寬 在SAN中 確保了設備連接的可靠和高效 提高了容錯度 既具有SCSI高速的優(yōu)勢 又具有以太網(wǎng)網(wǎng)絡構筑的靈活性 既允許更多連接 又使服務器與存儲器之間的距離可以延伸得很長 最長達150km 3 SAN的特點 SAN的管理是集中而且高效的 將存儲與主機的聯(lián)系斷開 可以動態(tài)地從集中存儲器分配存儲量 高可用性和應用軟件故障恢復環(huán)境可以確保以較少的開銷 FC SAN即光纖通路存儲區(qū)域網(wǎng)絡是一個由FC協(xié)議組成的存儲區(qū)域網(wǎng)絡 FC可實現(xiàn)處理器與多個海量存儲設備間的并行通信 允許的傳輸速度的理論值達到4000Mbit s 服務器系統(tǒng)可以通過電纜遠程連接 最大可跨越10km的距離 FC存儲區(qū)域網(wǎng)絡的帶寬可達到100Mbit s FC允許鏡像配置 4 FC SAN FC本身具有的高傳輸速率使得SAN網(wǎng)絡的傳輸速率可以達到200Mbit s或者更高 SAN的設備僅能做到與連接在SAN上的服務器間的直接訪問 而在LAN上的客戶端是無法直接訪問SAN的設備的 必須通過服務器間接訪問 FC的硬件設備價格昂貴 表4 1DAS NAS和SAN之間的比較 5 DAS NAS SAN比較 4 2 4基于IP的存儲網(wǎng)絡 IP存儲網(wǎng)絡可以說是結合了NAS和SAN兩者的優(yōu)點 一方面它采用TCP IP作為網(wǎng)絡協(xié)議 使得它具有NAS易于訪問的特點 另一方面它又有獨立專用的存儲網(wǎng)絡結構 IP網(wǎng)絡存儲是指在IP網(wǎng)絡中實現(xiàn)類似SANFC的 塊級 數(shù)據(jù)處理 通過用GbE 10吉比特以太網(wǎng)等網(wǎng)絡技術構建網(wǎng)絡存儲 對于基于IPSAN的計算機 數(shù)據(jù)均可集中存儲于網(wǎng)絡存儲設備上 目前主流的3種IP存儲方案包括因特網(wǎng)小型計算機系統(tǒng)接口 因特網(wǎng)光纖通路協(xié)議和基于IP的光纖通路方案 它是一種在因特網(wǎng)協(xié)議上進行數(shù)據(jù)塊傳輸?shù)臉藴?是一個供硬件設備使用的可在IP上層運行的SCSI指令集 該技術重要的貢獻體現(xiàn)在 第一 SCSI技術是被磁盤 磁帶等設備廣泛采用的存儲標準 第二 沿用TCP IP TCP IP在網(wǎng)絡方面是最通用 最成熟的協(xié)議 它解決了開放性 容量 傳輸速度 兼容性 安全性等問題 工作流程如圖4 9所示 1 iSCSI標準 圖4 9iSCSI工作流程圖 它是基于TCP IP網(wǎng)絡運行FC通信的標準 具備網(wǎng)關功能 它能將FC獨立磁盤冗余陣列 交換機以及服務器連接到IP存儲網(wǎng) 而不需要額外的基礎架構投資 它將FC數(shù)據(jù)以IP包形式封裝 并將IP地址映射到分離FC通信設備上 FC信號在iFCP網(wǎng)關處終止 信號轉換后存儲通信在IP網(wǎng)中進行 這樣iFCP就打破了傳統(tǒng)FC網(wǎng)的距離 約10km 限制 2 iFCP標準 當位于iFCP網(wǎng)關的兩節(jié)點間進行存儲數(shù)據(jù)通信時 首先運用內(nèi)部FC協(xié)議 遍歷多iFCP網(wǎng)關的通信隨后被封裝進iFCP 然后映射到不同IP地址 數(shù)據(jù)即可通過IP網(wǎng)進行交換或路由傳輸了 它是一種IP的存儲聯(lián)網(wǎng)技術 利用IP網(wǎng)絡通過數(shù)據(jù)通道在SAN設備之間實現(xiàn)FC協(xié)議的數(shù)據(jù)傳輸 把成本節(jié)省和數(shù)據(jù)保護都提升到了一個新的高度 在同一個SAN范圍內(nèi) TCP IP數(shù)據(jù)包再封裝FC通信命令和數(shù)據(jù) 從而在IP網(wǎng)絡上傳輸FC通信命令和數(shù)據(jù) 3 FCIP標準 IP存儲的優(yōu)勢如下 利用無所不在的IP網(wǎng)絡 保護了現(xiàn)有投資 IP存儲超越了地理距離的限制 IP能延伸到多遠 存儲就能延伸到多遠 十分適合于對數(shù)據(jù)的遠程備份 IP網(wǎng)絡技術成熟 4 IP存儲的優(yōu)勢及存在的問題 IP存儲減少了配置 維護 管理的復雜度 存在的問題如下 IP存儲的產(chǎn)品總體上還不十分成熟 用戶可選擇的余地較小 IP存儲并不是像在IP網(wǎng)絡上連接一個帶網(wǎng)卡的存儲設備那樣簡單 需要一些專門的驅動和設備 IP存儲特別的消耗資源 對QoS要求較高的場合是一個挑戰(zhàn) 4 2 5網(wǎng)絡存儲的新技術 1 基于InfiniBand的存儲系統(tǒng) InfiniBand把網(wǎng)絡技術引入I O體系中 形成一個I O交換網(wǎng)絡結構 主機系統(tǒng)通過一個或多個主機通路適配器 HCA HostChannelAdapter 連接到I O交換網(wǎng)上 存儲器 網(wǎng)絡通信設備通過目標通路適配器 TCA TargetChannelAdapter 連接到該I O交換網(wǎng)上 InfiniBand體系結構把IP網(wǎng)絡和存儲網(wǎng)絡合二為一 以交換機互連和路由器互連的方式支持系統(tǒng)的可擴展性 服務器端通過HCA連接到主機內(nèi)存總線上 存儲設備端通過TCA連接到物理設備上 兩種實現(xiàn)途徑 一是SAN存儲設備內(nèi)部通過InfiniBandI O路徑進行數(shù)據(jù)通信 二是SAN存儲設備和主機系統(tǒng)利用InfiniBandI O路徑取代FCI O路徑 直接訪問文件系統(tǒng) DAFS DirectAccessFileSystem 是一種文件訪問協(xié)議 可以在大量甚至過量負載時有效地減輕存儲服務器的計算壓力 提高存儲系統(tǒng)的性能 DAFS把遠程直接內(nèi)存存取 RDMA RemoteDirectMemoryAccess 的優(yōu)點和NAS的存儲能力集成在一起 全部讀寫操作都直接通過DAFS的用戶層 RDMA驅動器執(zhí)行 2 直接訪問文件系統(tǒng) DAFS的基本原理是通過縮短服務器讀寫文件時的數(shù)據(jù)路徑來減少和重新分配CPU的計算任務 它提供內(nèi)存到內(nèi)存的直接傳輸途徑 直接由應用服務器內(nèi)存?zhèn)鬏數(shù)酱鎯Ψ掌鲀?nèi)存 DAFS可以直接集成到NAS存儲服務器中 虛擬存儲是一種具有智能結構的系統(tǒng) 它允許客戶以透明有效的方式在磁盤和磁帶上存儲數(shù)據(jù) 統(tǒng)一管理磁盤空間 所謂存儲虛擬化就是新存儲實體對原存儲實體的存儲資源和存儲管理進行變化和轉換的過程 存儲虛擬化是物理存儲的邏輯表示方法 是在服務器與存儲之間設置的一個抽象層 服務器被綁定到邏輯抽象層上 3 虛擬存儲 存儲虛擬化有3個層次 基于服務器的虛擬存儲 基于存儲設備的虛擬存儲 基于網(wǎng)絡的虛擬存儲 虛擬存儲被認為是可以簡化管理大型 復雜 異構的存儲環(huán)境的技術 它使主機操作系統(tǒng)看到的存儲與實際物理存儲分開 管理員可以通過圖形用戶界面或類似界面讓很多服務器共享后端的存儲池 對應用系統(tǒng)和用戶透明 這是智能存儲的核心理念 即存儲系統(tǒng)自身應具備智能 智能存儲必須由不同存儲產(chǎn)品組合才能實現(xiàn) 包括智能化的存儲設備 智能化的存儲網(wǎng)絡設施和智能化的存儲管理軟件等 智能存儲需要存儲產(chǎn)品在不同層次實現(xiàn)多種數(shù)據(jù)安全保障措施 形成多層次的安全保障 4 智能存儲 在智能存儲方案中 選擇的磁帶庫產(chǎn)品要具備大型磁盤陣列的動態(tài)擴展能力 高可用