管理信息系統(tǒng) 課件 第5章 管理信息系統(tǒng)技術(shù)基礎(chǔ)_第1頁
管理信息系統(tǒng) 課件 第5章 管理信息系統(tǒng)技術(shù)基礎(chǔ)_第2頁
管理信息系統(tǒng) 課件 第5章 管理信息系統(tǒng)技術(shù)基礎(chǔ)_第3頁
管理信息系統(tǒng) 課件 第5章 管理信息系統(tǒng)技術(shù)基礎(chǔ)_第4頁
管理信息系統(tǒng) 課件 第5章 管理信息系統(tǒng)技術(shù)基礎(chǔ)_第5頁
已閱讀5頁,還剩37頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

5.1數(shù)據(jù)庫與數(shù)據(jù)倉庫

5.2

通信與網(wǎng)絡(luò)

5.3

大數(shù)據(jù)和云計算5.1數(shù)據(jù)庫與數(shù)據(jù)倉庫5.1.1數(shù)據(jù)庫管理系統(tǒng)1.?數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)是位于用戶與操作系統(tǒng)之間的一種數(shù)據(jù)管理軟件。數(shù)據(jù)庫管理系統(tǒng)使用戶能夠方便地定義數(shù)據(jù)和操縱數(shù)據(jù),并能夠保證數(shù)據(jù)的安全性、完整性,多用戶對數(shù)據(jù)的并發(fā)使用以及發(fā)生故障后的系統(tǒng)恢復。數(shù)據(jù)庫管理系統(tǒng)具備數(shù)據(jù)庫定義、數(shù)據(jù)庫操縱、數(shù)據(jù)庫保護和數(shù)據(jù)庫建立和維護等功能,它們實際上是由一組不同的程序模塊來完成的。不同的數(shù)據(jù)庫管理系統(tǒng),其功能不完全相同,因此它包含的程序模塊也不完全一致。例如,關(guān)系型數(shù)據(jù)庫管理系統(tǒng)沒有數(shù)據(jù)的物理描述語言,一些層次數(shù)據(jù)庫管理系統(tǒng)和網(wǎng)狀數(shù)據(jù)庫管理系統(tǒng)沒有查詢語言。2.?數(shù)據(jù)庫管理系統(tǒng)的分類數(shù)據(jù)庫管理系統(tǒng)的分類如表5.1所示。3.?數(shù)據(jù)庫管理系統(tǒng)的組成一般來說,數(shù)據(jù)庫管理系統(tǒng)由3部分組成:數(shù)據(jù)定義語言及其翻譯程序、數(shù)據(jù)操縱(或查詢)語言及其編譯(或解釋)程序、數(shù)據(jù)庫管理例行程序。其中,數(shù)據(jù)定義語言和數(shù)據(jù)操縱語言稱為數(shù)據(jù)庫語言。數(shù)據(jù)庫語言是用戶使用數(shù)據(jù)庫的接口,數(shù)據(jù)庫管理系統(tǒng)支持用戶通過數(shù)據(jù)庫語言進行數(shù)據(jù)存取。1)?數(shù)據(jù)定義語言數(shù)據(jù)定義語言(DataDefinitionLanguage,DDL)通常被數(shù)據(jù)庫管理員或數(shù)據(jù)庫設(shè)計人員用來定義數(shù)據(jù)庫模式,如數(shù)據(jù)元素的名稱、特征、字域?qū)挾群拖嗷リP(guān)系,以及數(shù)據(jù)的密碼、完整性限定等。數(shù)據(jù)庫管理系統(tǒng)負責對數(shù)據(jù)定義語言進行編譯,生成一系列元數(shù)據(jù),并將其存儲到數(shù)據(jù)字典或系統(tǒng)目錄中。2)?數(shù)據(jù)操縱語言數(shù)據(jù)操縱語言(DataManipulationLanguage,DML)通常用來對數(shù)據(jù)庫中的數(shù)據(jù)進行增加、刪除、修改、查詢。數(shù)據(jù)操縱語言有兩種類型:第一種是非過程化的數(shù)據(jù)操縱語言,用戶只需以交互方式指定“需要什么數(shù)據(jù)”,不必給出“如何獲得這些數(shù)據(jù)”,一個數(shù)據(jù)操縱語言語句可以檢索和處理一組記錄,因此是基于集合的。第二種是過程化的數(shù)據(jù)操縱語言語句,這種語言只能檢索和處理一組記錄,因此是基于記錄的;過程化的數(shù)據(jù)操縱語言必須嵌入某種程序設(shè)計語言中使用,被嵌入的程序設(shè)計語言稱為宿主語言(HostLanguage),如C、Java語言,嵌入的數(shù)據(jù)操縱語言稱為數(shù)據(jù)子語言(DataSub-Language)。3)?數(shù)據(jù)庫管理例行程序數(shù)據(jù)庫管理例行程序也隨著系統(tǒng)的不同而不同,通常由系統(tǒng)運行控制程序、語言翻譯處理程序和數(shù)據(jù)庫管理系統(tǒng)的公共程序3部分組成。5.1.2數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)數(shù)據(jù)庫系統(tǒng)是一個完整的、復雜的系統(tǒng)。它不僅指數(shù)據(jù)庫和數(shù)據(jù)庫管理系統(tǒng)本身,還指引進數(shù)據(jù)庫技術(shù)后的整個計算機系統(tǒng)。一般來說,數(shù)據(jù)庫系統(tǒng)由硬件、軟件、人員組成。數(shù)據(jù)庫系統(tǒng)的層次結(jié)構(gòu)如圖5.1所示。1.?硬件數(shù)據(jù)庫管理系統(tǒng)的硬件部分包括中央處理器、內(nèi)存、磁盤、磁帶以及其他外部設(shè)備。隨著數(shù)據(jù)庫中數(shù)據(jù)量的增大,以及數(shù)據(jù)庫管理系統(tǒng)規(guī)模的擴大,除了要求重要處理器的運算速度足夠快外,數(shù)據(jù)庫系統(tǒng)還要求硬件有足夠大的內(nèi)存、大容量的直接存取設(shè)備和高性能的數(shù)據(jù)通道傳輸能力。2.?軟件數(shù)據(jù)庫系統(tǒng)的軟件部分包括操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、用于開發(fā)應(yīng)用程序的具有數(shù)據(jù)庫接口的高級語言及其編譯系統(tǒng)、以數(shù)據(jù)庫管理系統(tǒng)為核心的應(yīng)用開發(fā)工具、為某應(yīng)用環(huán)境開發(fā)的應(yīng)用系統(tǒng)。3.?人員管理、使用和開發(fā)數(shù)據(jù)庫的人員主要有數(shù)據(jù)庫管理員(DataBaseAdministrator,DBA)、系統(tǒng)分析員、數(shù)據(jù)庫設(shè)計人員、應(yīng)用程序員和最終用戶。他們不但熟悉操作系統(tǒng)、高級語言和數(shù)據(jù)庫管理系統(tǒng)等,而且對應(yīng)用系統(tǒng)的業(yè)務(wù)處理工作也很理解。1)?數(shù)據(jù)庫管理員數(shù)據(jù)庫管理員是專門監(jiān)督和管理數(shù)據(jù)庫系統(tǒng)的一個或一組人員,全面負責數(shù)據(jù)庫的管理和控制。其主要職責包括:定義數(shù)據(jù)庫的結(jié)構(gòu)和內(nèi)容;決定數(shù)據(jù)庫的存儲結(jié)構(gòu)和存儲策略;定義數(shù)據(jù)的安全性要求和完整性約束條件;監(jiān)控數(shù)據(jù)庫的運行和使用;負責數(shù)據(jù)庫的改進和重構(gòu);規(guī)劃和實現(xiàn)數(shù)據(jù)庫信息的備份和恢復;等等。2)?系統(tǒng)分析員系統(tǒng)分析員負責應(yīng)用系統(tǒng)的需求分析和規(guī)范說明,與數(shù)據(jù)庫管理員和用戶一起確定系統(tǒng)的硬件和軟件配置,并參與數(shù)據(jù)庫系統(tǒng)的概念設(shè)計。3)?數(shù)據(jù)庫設(shè)計人員數(shù)據(jù)庫設(shè)計人員一般由數(shù)據(jù)庫管理員兼任,負責數(shù)據(jù)庫中數(shù)據(jù)的確定與數(shù)據(jù)庫的存儲結(jié)構(gòu)、全局和局部邏輯結(jié)構(gòu)的設(shè)計。4)?應(yīng)用程序員應(yīng)用程序員負責設(shè)計、編寫、調(diào)試和安裝應(yīng)用系統(tǒng)程序模塊。5)?最終用戶最終用戶通過應(yīng)用程序的用戶接口,如瀏覽器、菜單、表格、圖形或報表等直觀的數(shù)據(jù)表示方式使用數(shù)據(jù)庫。5.1.3數(shù)據(jù)庫設(shè)計1.?數(shù)據(jù)庫設(shè)計的含義數(shù)據(jù)庫是管理信息系統(tǒng)開發(fā)和建設(shè)的核心技術(shù)。因此,數(shù)據(jù)庫設(shè)計在管理信息系統(tǒng)的開發(fā)中占有重要的位置,數(shù)據(jù)庫設(shè)計的好壞將直接影響整個系統(tǒng)的效率。數(shù)據(jù)庫設(shè)計是利用現(xiàn)有的數(shù)據(jù)庫管理系統(tǒng)來建立數(shù)據(jù)庫的,需要將數(shù)據(jù)庫管理系統(tǒng)與現(xiàn)實世界有機結(jié)合起來。數(shù)據(jù)庫設(shè)計,尤其是大型數(shù)據(jù)庫的設(shè)計和開發(fā),是涉及多學科的綜合性技術(shù),因此數(shù)據(jù)庫設(shè)計人員需要同時具備數(shù)據(jù)庫系統(tǒng)及其實際應(yīng)用等方面的知識。他們不但要熟悉以數(shù)據(jù)庫管理系統(tǒng)為基礎(chǔ)的計算機系統(tǒng)、軟件工程的原理和方法,還要熟悉現(xiàn)實世界中處理的內(nèi)容??梢哉f,設(shè)計一個性能良好的數(shù)據(jù)庫并不是一項簡單的工作。由于到目前為止還沒有一個完善的數(shù)據(jù)庫設(shè)計方法和工具,因此在數(shù)據(jù)庫設(shè)計中,數(shù)據(jù)庫設(shè)計人員的知識和經(jīng)驗是首要的。對于同一個應(yīng)用對象,同一個數(shù)據(jù)庫管理系統(tǒng),不同數(shù)據(jù)庫設(shè)計人員設(shè)計的數(shù)據(jù)庫其性能可能會有較大的差異。這就要求一方面用戶要盡可能地對數(shù)據(jù)庫系統(tǒng)的應(yīng)用提出明確的需求,另一方面數(shù)據(jù)庫設(shè)計人員要使用規(guī)范的數(shù)據(jù)庫設(shè)計方法和工具。2.?數(shù)據(jù)庫設(shè)計的方法和工具由于信息結(jié)構(gòu)的復雜性和應(yīng)用對象的多樣性,傳統(tǒng)的數(shù)據(jù)庫設(shè)計主要采用手工試湊法。隨著研究人員的不斷探索,軟件工程技術(shù)被用于進行數(shù)據(jù)庫設(shè)計,因此數(shù)據(jù)庫設(shè)計更加規(guī)范,逐漸從一種技能向一個工程技術(shù)方向轉(zhuǎn)變。由于采用了規(guī)范化設(shè)計方法設(shè)計數(shù)據(jù)庫,因此數(shù)據(jù)庫的運行更加穩(wěn)定,同時降低了信息系統(tǒng)的維護成本。典型的數(shù)據(jù)庫設(shè)計方法如下:(1)?新奧爾良(NewOrleans)的4個階段方法。這種方法將數(shù)據(jù)庫設(shè)計分為需求分析(用戶要求分析)、概念設(shè)計(信息分析和定義)、邏輯設(shè)計(設(shè)計實現(xiàn))和物理設(shè)計(物理數(shù)據(jù)庫設(shè)計)4個階段。(2)?S.B.Yao方法。S.B.Yao等人將數(shù)據(jù)庫設(shè)計分為需求分析、模式構(gòu)成、模式匯總、模式重構(gòu)、模式分析和物理數(shù)據(jù)庫設(shè)計6個步驟。(3)?L.R.Palmer方法。L.R.Palmer等人認為數(shù)據(jù)庫設(shè)計應(yīng)該為一步接一步的過程,并采用一些輔助手段來實現(xiàn)。E-R圖、第三范式、抽象語言規(guī)范等數(shù)據(jù)庫設(shè)計方法是用于數(shù)據(jù)庫設(shè)計不同階段的具體技術(shù)和方法。數(shù)據(jù)庫設(shè)計方法的基本思想是過程迭代和逐步求精。目前,數(shù)據(jù)庫設(shè)計工具已經(jīng)有一批實用化產(chǎn)品。例如,OracleDesigner和PowerDesigner分別是Oracle公司和Sybase公司推出的數(shù)據(jù)庫設(shè)計工具。這些工具可以自動或輔助數(shù)據(jù)庫設(shè)計人員完成數(shù)據(jù)庫設(shè)計過程中的許多任務(wù)。目前,許多計算機輔助軟件工程(ComputerAidedSoftwareEngineering,CASE)工具使得數(shù)據(jù)庫設(shè)計和應(yīng)用可以同時進行,被廣泛應(yīng)用于大型數(shù)據(jù)庫的設(shè)計。3.?數(shù)據(jù)庫設(shè)計的過程數(shù)據(jù)庫系統(tǒng)的開發(fā)過程包括數(shù)據(jù)庫系統(tǒng)設(shè)計階段、數(shù)據(jù)庫系統(tǒng)實施階段、數(shù)據(jù)庫系統(tǒng)使用階段。其中,數(shù)據(jù)庫系統(tǒng)設(shè)計階段的主要步驟包括需求分析、概念結(jié)構(gòu)設(shè)計、邏輯結(jié)構(gòu)設(shè)計和物理結(jié)構(gòu)設(shè)計。數(shù)據(jù)庫系統(tǒng)實施階段的主要步驟包括應(yīng)用程序設(shè)計與調(diào)試、系統(tǒng)性能測試與試運行。數(shù)據(jù)庫系統(tǒng)使用階段的主要步驟包括數(shù)據(jù)庫系統(tǒng)運行與維護、數(shù)據(jù)庫系統(tǒng)重構(gòu)。5.1.4數(shù)據(jù)倉庫在數(shù)據(jù)倉庫出現(xiàn)以前(1965—1990年),企業(yè)主要使用事務(wù)處理系統(tǒng),這個狀況持續(xù)了25年,人們將其稱為“遺留系統(tǒng)”環(huán)境。事務(wù)處理系統(tǒng)主要實現(xiàn)了數(shù)據(jù)的收集、數(shù)據(jù)的存儲、數(shù)據(jù)的在線存取。隨著時間的推移,企業(yè)數(shù)據(jù)庫中存儲了大量數(shù)據(jù),但是由于缺乏從海量數(shù)據(jù)中提取有價值知識的工具,因此管理者往往無法及時獲得重要的決策信息,數(shù)據(jù)庫變成了“數(shù)據(jù)豐富,信息貧乏”的“數(shù)據(jù)墳?zāi)埂?,于是產(chǎn)生了現(xiàn)在的數(shù)據(jù)倉庫技術(shù)。1.數(shù)據(jù)倉庫和數(shù)據(jù)倉庫系統(tǒng)的定義著名的數(shù)據(jù)倉庫專家W.H.Inmon在其著作《建立數(shù)據(jù)倉庫》(BuildingtheDataWarehouse)中對數(shù)據(jù)倉庫做了如下描述:“數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、相對穩(wěn)定的數(shù)據(jù)集合,用于支持管理決策?!痹摱x將數(shù)據(jù)倉庫與其他數(shù)據(jù)存儲系統(tǒng)(如關(guān)系數(shù)據(jù)庫系統(tǒng)和文件系統(tǒng))相區(qū)別。對于數(shù)據(jù)倉庫的概念,可以從兩個層次予以理解。首先,數(shù)據(jù)倉庫用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫;其次,數(shù)據(jù)倉庫是多個異構(gòu)的數(shù)據(jù)源的有效集成,集成后按照主題對其進行了重組,并包含歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再進行修改。根據(jù)Inmon提出的數(shù)據(jù)倉庫的概念,數(shù)據(jù)倉庫具有以下特性:(1)?面向主題:數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題進行組織的。主題是一個抽象的概念,是指用戶使用數(shù)據(jù)倉庫進行決策時所關(guān)心的重點方面,一個主題通常與多個事務(wù)型信息系統(tǒng)相關(guān)。企業(yè)數(shù)據(jù)倉庫常見的主題包括客戶、供應(yīng)商、產(chǎn)品和銷售等。(2)?集成:數(shù)據(jù)倉庫中的數(shù)據(jù)是對來自多個分散的、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)進行抽取、清理,并對其進行加工、匯總和整理而得到的。在這一過程中,必須消除源數(shù)據(jù)中的不一致性,以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。(3)?隨時間變化:數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息,系統(tǒng)地記錄了企業(yè)從過去某一時刻(如開始應(yīng)用數(shù)據(jù)倉庫的時刻)到目前各個階段的信息,通過這些信息,可以對企業(yè)的發(fā)展歷程和未來發(fā)展趨勢做出定量分析和預測。(4)?不可更新:數(shù)據(jù)倉庫中的數(shù)據(jù)主要供企業(yè)進行決策分析使用,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,某個數(shù)據(jù)一旦進入數(shù)據(jù)倉庫,一般情況下將長期保留。也就是說,數(shù)據(jù)倉庫中有大量的查詢操作,但修改和刪除操作較少,一般只進行定期的加載和刷新。一個完整的數(shù)據(jù)倉庫系統(tǒng)的定義是:數(shù)據(jù)倉庫系統(tǒng)=抽取/轉(zhuǎn)換/加載+數(shù)據(jù)倉庫+聯(lián)機分析處理+數(shù)據(jù)挖掘+決策支持。由該定義可以看出,數(shù)據(jù)倉庫系統(tǒng)涉及眾多關(guān)鍵技術(shù),包括數(shù)據(jù)預處理技術(shù)、數(shù)據(jù)倉庫建模技術(shù)、數(shù)據(jù)立方體技術(shù)、聯(lián)機分析處理技術(shù)、數(shù)據(jù)挖掘技術(shù)、決策支持技術(shù)等,合理使用這些關(guān)鍵技術(shù)是數(shù)據(jù)倉庫系統(tǒng)構(gòu)建成功的關(guān)鍵。2.數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫的建立可以看作構(gòu)造和使用數(shù)據(jù)倉庫的過程。構(gòu)造數(shù)據(jù)倉庫需要進行數(shù)據(jù)集成、數(shù)據(jù)清理和數(shù)據(jù)統(tǒng)一。數(shù)據(jù)倉庫不是靜態(tài)的,它的任務(wù)是以企業(yè)現(xiàn)行業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ),將這些業(yè)務(wù)數(shù)據(jù)和信息加以整理、歸納和重組,并及時提供給相應(yīng)的管理者。因此,從企業(yè)角度看,建立數(shù)據(jù)倉庫既是一個過程,也是一項工程。數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)包含4個層次,如圖5.4所示。5.1.5聯(lián)機分析處理和數(shù)據(jù)挖掘1.聯(lián)機分析處理技術(shù)的基本概念在線分析處理或聯(lián)機分析處理(OLAP)是一項廣泛應(yīng)用的數(shù)據(jù)倉庫應(yīng)用技術(shù)。數(shù)據(jù)倉庫中的信息資源要想被有效利用,就必須使用分析工具。聯(lián)機分析處理就是專門用于復雜決策分析的一種決策分析工具。它根據(jù)分析人員的要求,迅速、靈活地對大量數(shù)據(jù)進行復雜的查詢處理,并且以直觀的、容易理解的形式呈現(xiàn)查詢結(jié)果,將其提供給決策人員,使其能夠迅速、準確地掌握企業(yè)的運營情況和市場的需求。聯(lián)機分析處理技術(shù)有兩個特點:一是在線性(On-Line),表現(xiàn)為對用戶請求的快速響應(yīng)和交互式操作,它的實現(xiàn)是由客戶-服務(wù)器結(jié)構(gòu)完成的;二是采用多維數(shù)據(jù)庫進行多維分析(MultidimensionalAnalysis),它是聯(lián)機分析處理技術(shù)的核心。聯(lián)機分析處理主要針對特定問題的聯(lián)機數(shù)據(jù)進行查詢和分析。在查詢和分析匯總時,系統(tǒng)首先要對原始數(shù)據(jù)按照用戶的要求進行轉(zhuǎn)換處理,使這些數(shù)據(jù)真正反映用戶眼中問題的某個真實方面(“維”);然后以各種可能的方式對這些數(shù)據(jù)進行快速、穩(wěn)定、一致和交互式的存取操作,并允許用戶按照需要對數(shù)據(jù)進行深入的觀察。2.數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘又稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn),它是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中,提取隱含在其中的人們事先不知道、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘已被數(shù)據(jù)庫界廣泛研究,其中關(guān)聯(lián)規(guī)則的挖掘是一個重要的問題。數(shù)據(jù)挖掘使用了人工智能和傳統(tǒng)的統(tǒng)計學方法。它與傳統(tǒng)的數(shù)據(jù)分析(如查詢、報表、聯(lián)機分析處理等)的本質(zhì)區(qū)別在于:數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識的。因此,數(shù)據(jù)挖掘得到的信息具有預先未知的、有效的和實用的3個特征。企業(yè)進行數(shù)據(jù)挖掘,就是企業(yè)按照既定的業(yè)務(wù)目標對大量的企業(yè)數(shù)據(jù)進行探索和分析,揭示隱藏的、未知的或驗證已知的規(guī)律性,并進一步將其模型化的過程。其中,未知的規(guī)律是指未曾被預料到的規(guī)律,數(shù)據(jù)挖掘就是要發(fā)現(xiàn)那些不能靠直覺發(fā)現(xiàn)的信息或知識,有時可能是違背直覺的,甚至是出人意料的信息或知識。3.數(shù)據(jù)挖掘和數(shù)據(jù)倉庫大部分情況下,進行數(shù)據(jù)挖掘前都要先把數(shù)據(jù)從數(shù)據(jù)倉庫中拿到數(shù)據(jù)挖掘庫或數(shù)據(jù)集市中。由于數(shù)據(jù)倉庫中的數(shù)據(jù)已被清理過,而且所有數(shù)據(jù)不一致的問題都已被解決了,因此對數(shù)據(jù)倉庫中的數(shù)據(jù)進行挖掘比較合適。但是,如果數(shù)據(jù)倉庫的計算資源很緊張,那么最好建立一個單獨的數(shù)據(jù)挖掘庫。數(shù)據(jù)挖掘庫可以是數(shù)據(jù)倉庫的一個邏輯上的子集,而不一定是物理上單獨的數(shù)據(jù)庫。4.數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘過程必須在一定的環(huán)境中進行。數(shù)據(jù)挖掘環(huán)境如圖5.6所示。整個數(shù)據(jù)挖掘過程是交互的、與領(lǐng)域相關(guān)的,需要設(shè)計人員,特別是具有領(lǐng)域知識、經(jīng)驗的專家參與,它并不是一個全自動化的過程。數(shù)據(jù)挖掘的基本過程如圖5.7所示。5.2通?信?與?網(wǎng)?絡(luò)5.2.1計算機網(wǎng)絡(luò)1.計算機網(wǎng)絡(luò)的概念計算機網(wǎng)絡(luò)是利用通信設(shè)備和通信介質(zhì)將地理位置分散的、具有獨立功能的多臺計算機連接起來,按照協(xié)議進行數(shù)據(jù)通信,以實現(xiàn)信息傳遞和資源共享的系統(tǒng)。網(wǎng)絡(luò)按照其物理范圍可以分為局域網(wǎng)、城域網(wǎng)和廣域網(wǎng)。局域網(wǎng)的范圍在幾公里以內(nèi),一般企業(yè)的內(nèi)部網(wǎng)、校園網(wǎng)等都是典型的局域網(wǎng)。城域網(wǎng)是指一座城市的主干網(wǎng),范圍可達幾十公里,用于連接政府機構(gòu)、教育科研單位、企事業(yè)等單位內(nèi)部的局域網(wǎng),實現(xiàn)網(wǎng)絡(luò)間的通信。廣域網(wǎng)所覆蓋的范圍從幾十公里到幾千公里,用來實現(xiàn)不同地區(qū)的局域網(wǎng)或城域網(wǎng)的互聯(lián),可以提供不同地區(qū)、城市和國家計算機之間的通信。要實現(xiàn)通信,離不開通信介質(zhì)。通信介質(zhì)可以分為有線和無線兩大類。有線介質(zhì)包括雙絞線、同軸電纜和光纖。其中,雙絞線和同軸電纜為金屬導體,利用導線電流傳輸數(shù)據(jù);光纖則通過光波實現(xiàn)數(shù)據(jù)傳送。衛(wèi)星通信、紅外通信、激光通信以及微波通信屬于無線通信范疇,它們利用電磁波傳輸數(shù)據(jù)。2.計算機網(wǎng)絡(luò)的功能計算機網(wǎng)絡(luò)的功能包括支持數(shù)據(jù)通信、實現(xiàn)資源共享、增加可靠性、提高系統(tǒng)處理能力等。1)?支持數(shù)據(jù)通信現(xiàn)代社會信息量激增,信息交互也日益增多,早期每年有幾萬噸郵政信件要傳遞,利用計算機網(wǎng)絡(luò)傳遞信件是當前流行的傳遞方式。電子郵件比傳統(tǒng)的通信工具有更多的優(yōu)點,它不像電話需要通話者同時在場,也不像廣播系統(tǒng)只是單方向傳遞信息,在速度上比傳統(tǒng)郵件快得多。另外,電子郵件還可以攜帶聲音、圖像和視頻,實現(xiàn)多媒體通信。即時通信也越來越受到人們,特別是年輕人的喜愛。QQ和微信是目前較流行的聊天工具,可以實時地在通信雙方之間傳遞文字、聲音甚至視頻信息。2)?實現(xiàn)資源共享在計算機網(wǎng)絡(luò)中,有許多重要的資源,如大型數(shù)據(jù)庫、巨型計算機等,為了充分利用這些資源,應(yīng)該進行資源共享。資源共享包括硬件資源的共享,也包括軟件資源的共享。資源共享的結(jié)果是避免重復投資和勞動,從而提高資源的利用率,使系統(tǒng)的整體性能價格比得到改善?,F(xiàn)代管理信息系統(tǒng)以數(shù)據(jù)庫為核心,數(shù)據(jù)庫中存放了企業(yè)的各種數(shù)據(jù),這些數(shù)據(jù)是企業(yè)的寶貴資源。利用計算機網(wǎng)絡(luò),這些數(shù)據(jù)資源可以很方便地傳遞到需要它的用戶手里。3)?增加可靠性在一個系統(tǒng)內(nèi),單個部件或單臺計算機的暫時失效必須通過替換資源的辦法來維持系統(tǒng)的繼續(xù)運行。在計算機網(wǎng)絡(luò)中,各種資源(尤其是程序和數(shù)據(jù))可以存放在多臺計算機中,一旦一臺計算機出現(xiàn)故障,就可以將任務(wù)交由網(wǎng)絡(luò)中的其他計算機完成,不會出現(xiàn)單機在無后備的情況下產(chǎn)生故障使全系統(tǒng)癱瘓的現(xiàn)象,從而提高了全系統(tǒng)提供服務(wù)的可靠性。4)?提高系統(tǒng)處理能力單機的處理能力是有限的,而且由于種種原因(如時差),計算機之間的忙閑程度是不均勻的。當一臺機器不能完成處理任務(wù)時,可以按照一定的算法將任務(wù)交給不同的計算機分工協(xié)作完成,達到均衡地使用網(wǎng)絡(luò)資源進行分布式處理的目的。利用網(wǎng)絡(luò)技術(shù),能夠?qū)⒍嗯_計算機聯(lián)成高性能的計算機系統(tǒng),使用這種系統(tǒng)解決大型復雜的問題,其費用比采用高性能的大中型計算機低得多,甚至能夠解決連超級計算機也解決不了的問題。目前,即時通信和電子郵件已成為人們重要的通信手段。視頻點播、網(wǎng)絡(luò)游戲、博客、微博、微信、社交網(wǎng)絡(luò)、網(wǎng)絡(luò)社區(qū)以及電子商務(wù)正逐漸走入普通百姓的生活、學習和工作當中。在未來,誰擁有“信息資源”,誰能有效使用“信息資源”,誰就能在各種競爭中占據(jù)主導地位。計算機網(wǎng)絡(luò)作為信息收集、存儲、傳輸、處理和利用的整體系統(tǒng),將在信息社會中得到更加廣泛的應(yīng)用。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,各種網(wǎng)絡(luò)應(yīng)用層出不窮,并將逐漸深入社會的各個領(lǐng)域及人們的日常生活,改變著人們的工作、學習和生活乃至思維方式。3.網(wǎng)絡(luò)體系結(jié)構(gòu)由于計算機網(wǎng)絡(luò)很復雜,設(shè)計的軟件和硬件技術(shù)很多,由此應(yīng)該將其分層設(shè)計實現(xiàn)。計算機網(wǎng)絡(luò)各層及其協(xié)議的集合稱為網(wǎng)絡(luò)體系結(jié)構(gòu)。網(wǎng)絡(luò)體系結(jié)構(gòu)一般用模型來表達。1)?OSI模型在20世紀80年代早期,國際標準化組織(ISO)即開始致力于制定一套普遍適用的規(guī)范集合,以使得全球范圍的計算機平臺可以進行開放式通信。國際標準化組織創(chuàng)建了一個有助于開發(fā)和理解計算機的通信模型,即開放系統(tǒng)互聯(lián)(OpenSystemsInterconnection,OSI)模型。OSI模型將網(wǎng)絡(luò)體系結(jié)構(gòu)劃分為七層:物理層、數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層、會話層、表示層和應(yīng)用層,如圖5.8所示。OSI模型各層的主要功能如表5.2所示。2)?TCP/IP模型TCP/IP模型是由傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TransmissionControlProtocol/InternetProtocol,TCP/IP)及各協(xié)議之間的關(guān)系來描述的。通過TCP/IP,不同操作系統(tǒng)、不同架構(gòu)的多種物理網(wǎng)絡(luò)之間均可進行通信。TCP/IP協(xié)議族的層次與OSI模型的層次并不大嚴格對應(yīng)。TCP/IP模型是四層結(jié)構(gòu),圖5.9描述了TCP/IP模型和OSI模型之間大體上的對應(yīng)關(guān)系。TCP/IP在網(wǎng)絡(luò)接口層并沒有定義具體的協(xié)議,它可以利用其他網(wǎng)絡(luò)所定義的底層協(xié)議。網(wǎng)際層對應(yīng)OSI模型的網(wǎng)絡(luò)層,主要通過IP來處理數(shù)據(jù)分組。傳輸層與OSI模型的傳輸層功能相同,提供了兩個傳輸層協(xié)議:可靠的面向連接的傳輸控制協(xié)議(TCP)和無線連接的用戶數(shù)據(jù)報協(xié)議(UDP)。應(yīng)用層包括所有高層協(xié)議。在TCP/IP模型中,IP是其核心,所有的數(shù)據(jù)傳輸都是通過IP完成的。IP是一個分組交換協(xié)議。IP只負責將數(shù)據(jù)分組傳送到目的主機,無論傳輸正確與否,不做驗證,不發(fā)確認,也不保證數(shù)據(jù)分組的到達順序,而這些問題是由傳輸層的TCP來解決的。TCP為應(yīng)用層提供了可靠的、無差錯的通信服務(wù)。在數(shù)據(jù)分組到達目的地址后,TCP檢查數(shù)據(jù)分組在傳輸過程中是否有錯誤,如果接收端發(fā)現(xiàn)有損壞的數(shù)據(jù)分組,就要求發(fā)送端重新發(fā)送被損壞的數(shù)據(jù)分組,確認無誤后再將數(shù)據(jù)分組重新組合成完整的報文。5.2.2計算機網(wǎng)絡(luò)技術(shù)1.?InternetInternet即在TCP/IP協(xié)議下實現(xiàn)的全球性的互聯(lián)網(wǎng)絡(luò)。Internet可以連接各種各樣的計算機系統(tǒng)和計算機網(wǎng)絡(luò),不論是微型的計算機還是大/中型計算機,不論是局域網(wǎng)還是廣域網(wǎng),不管它們在世界上任何地方,只要遵循TCP/IP協(xié)議,就可以連入Internet。Internet提供了豐富的、瞬息萬變的信息資源,成為人們獲取信息的一種方便、快捷、有效的手段,可是說是信息社會的重要支柱。2.?IntranetIntranet(企業(yè)內(nèi)聯(lián)網(wǎng))是把Internet技術(shù)應(yīng)用到企業(yè)內(nèi)部建立的基于開放技術(shù)的新型網(wǎng)絡(luò)體系結(jié)構(gòu),可以說是組織內(nèi)部的Internet。Intranet采用瀏覽器/服務(wù)器(Browser/Server,B/S)系統(tǒng)結(jié)構(gòu)。這種結(jié)構(gòu)實質(zhì)上是C/S結(jié)構(gòu)在新的技術(shù)條件下的延伸。在傳統(tǒng)的C/S結(jié)構(gòu)中,Server僅作為數(shù)據(jù)庫服務(wù)器,進行數(shù)據(jù)的管理,大量的應(yīng)用程序都在客戶端進行。這樣,每個客戶都必須安裝應(yīng)用程序和工具,因而,客戶端很復雜,系統(tǒng)的靈活性、可擴展性都受到很大的影響。在Intranet結(jié)構(gòu)下,C/S結(jié)構(gòu)自然延伸為三層或多層結(jié)構(gòu),形成B/S應(yīng)用模式。在這種方式下,Web服務(wù)器既是瀏覽服務(wù)器,又是應(yīng)用服務(wù)器,可以運行大量的應(yīng)用程序,從而使客戶端變得很簡單。3.?虛擬專網(wǎng)(VirtualPrivateNetworks,VPN)如果一家企業(yè)是分布式的,外地員工需要像通過局域網(wǎng)一樣訪問企業(yè)內(nèi)部數(shù)據(jù),在過去,只能通過調(diào)制解調(diào)器或遠程訪問服務(wù)器訪問局域網(wǎng)內(nèi)部數(shù)據(jù)。這種方式不僅價格昂貴,而且傳輸速度慢。虛擬專網(wǎng)采用加密、認證和通道技術(shù),提供了Internet上兩點間的安全通信。這樣,對采用Internet技術(shù)的企業(yè)而言,好像有了一個專用的廣域網(wǎng)一樣。由于虛擬專網(wǎng)是在Internet的點對點通信,不僅適合于移動或者遠程用戶,而且適用于分公司和總公司之間以及企業(yè)與供應(yīng)商、分銷商之間的通信等,從而構(gòu)成了安全的Extranet。在虛擬專網(wǎng)中,采用了協(xié)議通道技術(shù),數(shù)據(jù)包首先被加密,然后封裝到IP包中并通過Internet傳輸,在目的端由特定的主機或路由器解密。4.?ExtranetExtranet即擴展的Intranet(ExtendedIntranet),它通過Internet把分散在不同地理位置的Intranet聯(lián)系起來。Internet不能提供數(shù)據(jù)傳輸過程的安全性,而采用Extranet進行遠程系統(tǒng)通信時,可利用通道技術(shù)提高通信兩端的安全性級別。Extranet通過虛擬專用網(wǎng)絡(luò)方式使企業(yè)與其他企業(yè)或客戶聯(lián)系起來,完成共同目標的合作網(wǎng)絡(luò)。Extranet既不像Internet那樣提供公共服務(wù),也不像Intranet那樣僅僅提供對內(nèi)服務(wù),它可以有選擇地向公眾開放其服務(wù)或向有選擇的合作者開發(fā)其服務(wù),為電子商務(wù)或其他商業(yè)應(yīng)用提供安全廣域網(wǎng)平臺。通常情況下,Extranet只是Intranet和Internet基礎(chǔ)設(shè)施上的邏輯覆蓋,而不是物理網(wǎng)絡(luò)的重構(gòu)。5.3大數(shù)據(jù)和云計算5.3.1大數(shù)據(jù)1.?大數(shù)據(jù)的概念大數(shù)據(jù)不是一個確切的概念,根據(jù)維基百科的定義,大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)的產(chǎn)生是計算機和網(wǎng)絡(luò)通信技術(shù)廣泛應(yīng)用的結(jié)果,而互聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新一代信息技術(shù)的發(fā)展,對大數(shù)據(jù)的產(chǎn)生起到了催化劑的作用,由此帶來了四大變化:一是數(shù)據(jù)由企業(yè)內(nèi)部向企業(yè)外部擴展;二是數(shù)據(jù)由Web1.0向Web2.0擴展;三是數(shù)據(jù)由互聯(lián)網(wǎng)向移動互聯(lián)網(wǎng)擴展;四是數(shù)據(jù)由計算機/互聯(lián)網(wǎng)向物聯(lián)網(wǎng)擴展。這四個變化,讓數(shù)據(jù)產(chǎn)生的源頭數(shù)量成倍地增加,數(shù)據(jù)量也大幅度地增長。大數(shù)據(jù)不只是數(shù)據(jù)規(guī)模大,更由于其多樣性、非結(jié)構(gòu)化特征明顯導致數(shù)據(jù)存儲、處理和挖掘異常困難。業(yè)界通常用4個V,即數(shù)據(jù)體量巨大(Volume)、數(shù)據(jù)類型繁多(Variety)、數(shù)據(jù)流動快(Velocity)、價值密度低(Value)來概括大數(shù)據(jù)的特征。2.?大數(shù)據(jù)分析的特征與傳統(tǒng)的數(shù)據(jù)分析方法相比,大數(shù)據(jù)時代數(shù)據(jù)分析的轉(zhuǎn)變可以用更多、更雜、更好三個特征來描述。(1)?更多:不是隨機樣本,而是全體數(shù)據(jù)。(2)?更雜:不是精確性,而是混雜性。(3)?更好:不是因果關(guān)系,而是相關(guān)關(guān)系。3.?大數(shù)據(jù)處理的總體架構(gòu)與關(guān)鍵技術(shù)大數(shù)據(jù)應(yīng)用需要一個統(tǒng)一的平臺,使得用戶能夠在統(tǒng)一的平臺上對不同類型的數(shù)據(jù)進行處理和存儲,集成各種工具和服務(wù)來管理異構(gòu)存儲環(huán)境下的各類數(shù)據(jù),并建立一個實時預測分析解決方案,整合結(jié)構(gòu)化的數(shù)據(jù)倉庫和非結(jié)構(gòu)化的分析工具。在這個大數(shù)據(jù)平臺上,用戶可以在任何時間、任何地點通過任何設(shè)備進行大數(shù)據(jù)的集中共享和協(xié)同訪問。1)?大數(shù)據(jù)平臺Hadoop的總體架構(gòu)大數(shù)據(jù)的產(chǎn)生、組織和處理主要通過分布式文件處理系統(tǒng)來實現(xiàn),其主流的技術(shù)是Hadoop+MapReduce。Apache基金會發(fā)布了基于開源技術(shù)的大數(shù)據(jù)平臺Hadoop的總體架構(gòu),如圖5.11所示。2)?大數(shù)據(jù)存儲結(jié)構(gòu)HDFS即Hadoop分布式文件系統(tǒng)(HadoopDistributedSystem),前身為Google文件系統(tǒng)(GoogleFileSystem,GFS),運行于大規(guī)模集群之上,集群由廉價的普通計算機構(gòu)成。整個文件系統(tǒng)采用的是元數(shù)據(jù)集中管理與數(shù)據(jù)塊分散存儲相結(jié)合的模式,并通過數(shù)據(jù)復制來實現(xiàn)高度容錯。HBase即Hadoop數(shù)據(jù)庫,是GoogleBigtable的開源實現(xiàn)。HBase建立在HDFS之上,提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的分布式非關(guān)系型(NotOnlySQL,NoSQL)數(shù)據(jù)庫系統(tǒng)。3)?大數(shù)據(jù)處理框架MapReduce是一個分布式計算軟件框架。基于MapReduce編寫的應(yīng)用程序能夠運行在由普通計算機組成的大規(guī)模集群之上,并以一種可靠、容錯的方式并行處理TB級以上的數(shù)據(jù)集,特別適合用于海量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的混合處理。MapReduce采用先分后合的數(shù)據(jù)處理方式。Map即“分解”,把海量數(shù)據(jù)分割成了若干部分,分給多臺處理器并行處理;Reduce即“合并”,對各臺處理器處理后的結(jié)果進行匯總操作以得到最終結(jié)果。4)?大數(shù)據(jù)訪問框架大數(shù)據(jù)訪問框架實現(xiàn)了對傳統(tǒng)關(guān)系數(shù)據(jù)庫和Hadoop的訪問,其主流技術(shù)包括Mahout、Pig、Hive、Sqoop等。Mahout:一個很強大的數(shù)據(jù)挖掘工具,是一個分布式機器學習算法的集合。Mahout最大的優(yōu)點就是基于Hadoop實現(xiàn),把很多以前運行于單機上的算法,轉(zhuǎn)化為了MapReduce模式,這樣大大提升了算法可處理的數(shù)據(jù)量和處理性能。Pig:基于Hadoop的數(shù)據(jù)流處理語言,可以將類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運算。Hive:一個數(shù)據(jù)倉庫工具,是MapReduce實現(xiàn)的用來查詢和分析結(jié)構(gòu)化數(shù)據(jù)的中間件。Hive的類SQL查詢語言可以查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)。Sqoop:用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞,它可以將一個關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)導入Hadoop的HDFS,也可以將HDFS的數(shù)據(jù)導入關(guān)系數(shù)據(jù)庫。5)?大數(shù)據(jù)服務(wù)框架大數(shù)據(jù)訪問框架之上是大數(shù)據(jù)服務(wù)框架,用于實現(xiàn)對大數(shù)據(jù)的組織和調(diào)度,為大數(shù)據(jù)分析做準備,其主流技術(shù)包括Zookeeper、Flume等。Zookeeper:主要用來解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問題,如統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項的管理等。Flume:一個分布式、高可靠、高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng),支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);對數(shù)據(jù)可進行簡單處理,并寫到各種數(shù)據(jù)接收方。5.3.2網(wǎng)絡(luò)計算隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展以及全球經(jīng)濟模式的變化,網(wǎng)絡(luò)計算模型也在不斷發(fā)展。所謂網(wǎng)絡(luò)計算,是指網(wǎng)絡(luò)上的多臺計算機協(xié)同處理一個復雜的計算任務(wù),每臺計算機負責一部分,這樣可以大大提高運算效率。從集中式計算到分布式計算,再到移動計算和普適計算,每種計算模型都各有特點。企業(yè)信息系統(tǒng)的應(yīng)用結(jié)構(gòu)也隨著計算模型的變化而變化。1.?集中式計算集中式計算誕生于早期的大型機時代,當時計算機龐大而昂貴,一個組織機構(gòu)不可能為每個用戶單獨提供整臺計算機,主機必然是共享的,所有用戶都是通過系統(tǒng)的終端設(shè)備(啞終端)使用主機的資源。終端設(shè)備僅僅是一個輸入輸出接口設(shè)備,沒有任何處理和存儲能力。主機應(yīng)用程序既負責與用戶的交互,又負責對數(shù)據(jù)的管理。這種計算機模式又稱為主機/終端模式。由于物流設(shè)備的限制,采用這種計算模式的所有計算數(shù)據(jù)和程序都只能位于主機系統(tǒng)上,從而形成典型的“集中存儲、集中計算”模式。集中式系統(tǒng)是以主機為中心的計算環(huán)境,數(shù)據(jù)管理、事務(wù)處理高度集中,初始成本高。這種模式下的信息系統(tǒng)維護與升級只涉及主機,管理成本低。一般來說,集中式計算可靠、高效、安全,管理也方便。但隨著用戶的增多,對主機處理能力的要求越來越高,一旦原有主機不能滿足需要,企業(yè)要投入高昂的成本進行主機的升級或替換。同時各主機平臺之間的差異越大,不同主機之間的資源共享和互操越困難。該模型適用于大規(guī)模集中式應(yīng)用,如科學與工程計算和集中式事務(wù)數(shù)據(jù)處理。2.?分布式計算20世紀80年代以后,隨著微型計算機技術(shù)和局域網(wǎng)的興起,計算機應(yīng)用領(lǐng)域被大大拓寬。桌面辦公應(yīng)用和數(shù)據(jù)庫技術(shù)的大力發(fā)展,使協(xié)同計算和分布式計算的理念得以迅速推廣。分布式計算又可以分為幾種不同的計算模型。1)?客戶-服務(wù)器模型隨著客戶-服務(wù)器計算模型的出現(xiàn),人們找到了解決異構(gòu)平臺之間資源共享的最佳方法,用戶可以選擇適合自己需要的客戶端、操作系統(tǒng)和應(yīng)用程序?;诳蛻?服務(wù)器結(jié)構(gòu)的分布式計算逐漸成為企業(yè)應(yīng)用平臺的主流計算模型,其結(jié)構(gòu)如圖5.12所示。2)?瀏覽器-服務(wù)器模型為了解決傳統(tǒng)兩層結(jié)構(gòu)客戶-服務(wù)器模型中的固有問題,出現(xiàn)了三層客戶-服務(wù)器模型,即客戶-應(yīng)用服務(wù)器-數(shù)據(jù)庫服務(wù)器模型。在這種三層結(jié)構(gòu)中,客戶端應(yīng)用程序只完成基本的顯示、輸入和輸出;應(yīng)用邏輯在中間的應(yīng)用服務(wù)器上進行處理,應(yīng)用服務(wù)器接收客戶端的請求,根據(jù)應(yīng)用邏輯將該請求轉(zhuǎn)化為數(shù)據(jù)庫請求與數(shù)據(jù)庫服務(wù)器進行交互,并將交互結(jié)果返回給客戶端;而數(shù)據(jù)則放在后端的數(shù)據(jù)庫服務(wù)器上。其模型如圖5.13所示。3)?P2P計算模型P2P是在Internet上實施網(wǎng)絡(luò)計算的新模型。在這種模型下,服務(wù)器與客戶端的界限消失了,網(wǎng)絡(luò)上所有的節(jié)點都可以“平等”共享其他節(jié)點的計算資源。系統(tǒng)中的成員同時扮演服務(wù)器與客戶端的角色,網(wǎng)絡(luò)應(yīng)用的核心從中央服務(wù)器向網(wǎng)絡(luò)邊緣的終端設(shè)備擴散。在這個分布式系統(tǒng)中,各個節(jié)點是邏輯對等的,節(jié)點之間可以直接進行數(shù)據(jù)通信而不必通過中間的服務(wù)器,每個節(jié)點都可以請求服務(wù)(客戶端的特性),也可以提供服務(wù)(服務(wù)器的特性)。在P2P網(wǎng)絡(luò)中,每個節(jié)點都為網(wǎng)絡(luò)提供了一些資源,當越來越多的節(jié)點加入網(wǎng)絡(luò)時,網(wǎng)絡(luò)的性能就會增強。因此,當網(wǎng)絡(luò)增大時,它的性能也會增強,這是與客戶-服務(wù)器計算模型的不同之處。在客戶-服務(wù)器網(wǎng)絡(luò)中,當網(wǎng)絡(luò)增大(即越來越多的客戶端加入)時,中央服務(wù)器的壓力就會增大,最后有可能會導致服務(wù)器癱瘓。P2P計算模型帶來的一個重要變化是改變了“內(nèi)容”所在的位置,內(nèi)容從“中心”走向“邊緣”。也就是說,內(nèi)容將不是存放在幾個主要的服務(wù)器上,而是存放在所有用戶的個人計算機上。除了幫助優(yōu)化網(wǎng)絡(luò)性能之外,P2P計算模型還可以用來消除由于單點故障而影響全局的危險。在企業(yè)應(yīng)用方面,可以利用客戶端之間的分布式服務(wù)代替一些費用高昂的數(shù)據(jù)中心功能,在客戶端上實現(xiàn)數(shù)據(jù)的備份和存儲。3.?移動計算移動計算是隨著移動通信、互聯(lián)網(wǎng)、數(shù)據(jù)庫、分布式計算等技術(shù)的發(fā)展而興起的新技術(shù)。移動計算是移動終端和無線網(wǎng)絡(luò)的結(jié)合。移動終端具有多樣性,如筆記本電腦、平板電腦、智能手機,以及可穿戴式設(shè)備,如智能手表、手環(huán)、眼鏡等。大部分移動計算是通過移動網(wǎng)絡(luò)進行的。除了消除時間和空間的限制,實現(xiàn)隨時隨地的通信之外,移動計算還可以實現(xiàn)產(chǎn)品和服務(wù)的可定位性。了解用戶在任何時刻的位置是為其提供相關(guān)產(chǎn)品和服務(wù)的關(guān)鍵。基于產(chǎn)品及服務(wù)的位置而實現(xiàn)的電子商務(wù)應(yīng)用,被稱為定位電子商務(wù)。全球定位系統(tǒng)(GlobalPositioningSystem,GPS)可以將各種精確的定位信息傳遞到用戶持有的無線設(shè)備上。例如,可以利用移動設(shè)備來尋找距離最近的電影院、餐館或停車場。同時GPS還能夠?qū)⒂脩舻奈恢酶嬷恕6ㄎ环?wù)可以針對全體人員,如購物中心內(nèi)所有的顧客;也可以針對特定的目標,如依據(jù)用戶所處的不同位置及不同喜好提供不同的信息,將定位服務(wù)和個性化服務(wù)結(jié)合起來。4.?普適計算普適計算,又稱普存計算、普及計算、遍布式計算、泛在計算,是一個強調(diào)和環(huán)境融為一體的計算概念,而計算機本身則從人們的視線里消失。在普適計算的模式下,人們能夠在任何時間、任何地點、以任何方式進行信息的獲取與處理。普適計算的含義十分廣泛,所涉及的技術(shù)包括移動通信技術(shù)、小型計算設(shè)備制造技術(shù)、小型計算設(shè)備上的操作系統(tǒng)技術(shù)及軟件技術(shù)等。在信息時代,普適計算可以降低設(shè)備使用的復雜程度,使人們的生活更輕松、更有效率。實際上,普適計算是網(wǎng)絡(luò)計算的自然延伸,它使得不僅個人電腦,而且其他小巧的智能設(shè)備也可以連接到網(wǎng)絡(luò)中,從而方便人們即時地獲得信息并采取行動??茖W家認為,普適計算是一種狀態(tài),在這種狀態(tài)下,iPad等移動設(shè)備、谷歌文檔或遠程游戲技術(shù)Online等云計算應(yīng)用程序、4G或廣域Wi-Fi等高速無線網(wǎng)絡(luò)將整合在一起,清除“計算機”作為獲取數(shù)字服務(wù)的中央媒介的地位。隨著每輛汽車、每臺照相機、每臺電腦、每塊手表以及每個電視屏幕都擁有幾乎無限的計算能力,計算機將徹底退居到“幕后”以至于用戶感覺不到它們的存在。5.3.3云計算1.?云計算的概念云計算的定義有很多種,被業(yè)界廣泛接受的是美國國家標準與技術(shù)研究院(NIST)所給出的定義:“云計算是一種模型,它可以隨時隨地、便捷地、隨需應(yīng)變地訪問可配置計算資源共享池中的資源(如網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù)),只需與最小的資源管理工作或服務(wù)提供商進行交互,這些資源就能夠被迅速供應(yīng)和釋放。”在當今充滿競爭的環(huán)境中,組織在提高效率和轉(zhuǎn)變IT流程以達到事半功倍的效果方面的壓力越來越大。企業(yè)需要縮短產(chǎn)品上市時間,需要更大的靈活性、更高的可用性,并降低成本來滿足不斷變化的業(yè)務(wù)需求以及加快創(chuàng)新的步伐。這些業(yè)務(wù)需求使IT團隊面臨許多挑戰(zhàn)。一些主要挑戰(zhàn)是連續(xù)向世界各地的客戶提供服務(wù),快速更新技術(shù)和更快地調(diào)配IT資源,并在實現(xiàn)所有這一切的同時降低成本。隨著云計算這種新計算模式的出現(xiàn),這些長期挑戰(zhàn)得到了解決,通過云計算,組織和個人能夠以服務(wù)的形式獲取和調(diào)配IT資源。云計算的優(yōu)點主要有:(1)?降低了IT成本:用戶可根據(jù)按使用付費或按訂閱價格購買云服務(wù),從而減少或消除了用戶的IT資金開支。(2)?業(yè)務(wù)靈活性:云計算可提供快速分配和擴展計算容量的能力。云計算可將調(diào)配和部署新應(yīng)用程序和服務(wù)所需的時間從數(shù)月減少到數(shù)分鐘,使得企業(yè)能夠更快地對市場變化做出響應(yīng),并縮短產(chǎn)品上市時間。(3)?靈活擴展:云計算使用戶能夠輕松增加、減少計算資源需求。用戶可單向和自動地擴展計算資源,而無須與云服務(wù)提供商進行交互。云計算靈活的服務(wù)調(diào)配功能通常可向云服務(wù)用戶提供一種無限可擴展的體驗。(4)?高可用性:云計算能夠確保不同級別的資源都具有可用性,具體取決于用戶的策略和優(yōu)先級。冗余基礎(chǔ)架構(gòu)組件(服務(wù)器、網(wǎng)絡(luò)路徑和存儲設(shè)備以及群集軟件)支持云部署的容錯功能。這些技術(shù)可覆蓋位于不同地理區(qū)域的多個數(shù)據(jù)中心,從而避免由于區(qū)域故障而引起的數(shù)據(jù)不可用情況。因此,對于企業(yè)用戶而言,云計算幫助他們降低了初始投資,需要時購買,不需要時就退購。云計算幫助企業(yè)解決了信息化基礎(chǔ)設(shè)施構(gòu)建問題,因此對于許多對成本比較敏感的中小企業(yè)而言具有極大的價值。云計算模型由三種交付模式、四種部署模型、五個基本特性構(gòu)成。2.?云交付模式云交付模式是云計算服務(wù)提供者提供的事先打包好的信息技術(shù)資源組合。三種常見的交付模式是:基礎(chǔ)設(shè)施作為服務(wù)(IaaS)、平臺作為服務(wù)(PaaS)和軟件作為服務(wù)(SaaS)。這三種模式是互相關(guān)聯(lián)的,并且可以組合起來使用。1)?基礎(chǔ)設(shè)施作為服務(wù)(IaaS)IaaS是指向用戶提供的功能用于調(diào)配處理、存儲網(wǎng)絡(luò)和其他基礎(chǔ)計算資源,用戶能夠在其中部署和運行任意軟件(包括操作系統(tǒng)和應(yīng)用程序)。用戶不管理或控制基礎(chǔ)云基礎(chǔ)架構(gòu),但可控制操作系統(tǒng)和部署的應(yīng)用程序;可以有限制地控制選擇的網(wǎng)絡(luò)組件(例如主機防火墻)。IaaS是云服務(wù)堆棧的基本層,它是SaaS和PaaS的基礎(chǔ)。2)?平臺作為服務(wù)(PaaS)PaaS是指向用戶提供的功能將部署到云基礎(chǔ)架構(gòu)用戶創(chuàng)建的或獲得的應(yīng)用程序上,這些應(yīng)用程序是使用提供商支持的編程語言、庫、服務(wù)和工具創(chuàng)建的。用戶不管理或控制基礎(chǔ)云基礎(chǔ)架構(gòu)(包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)或存儲),但可控制已部署的應(yīng)用程序,并可以控制應(yīng)用程序宿主環(huán)境的配置設(shè)置。PaaS還用作應(yīng)用程序開發(fā)環(huán)境,由云服務(wù)提供商提供相關(guān)服務(wù)。用戶可使用這些平臺對其應(yīng)用程序編碼,然后在云架構(gòu)上部署這些應(yīng)用程序。由于已部署應(yīng)用程序的工作負載各不相同,因此計算資源的可擴展性通常由計算平臺以透明方式進行保證。3)?軟件作為服務(wù)(SaaS)SaaS是指用戶可以使用云平臺上提供的應(yīng)用??蓮母鞣N客戶端設(shè)備通過瘦客戶端接口(例如Web瀏覽器(如基于Web的電子郵件))或程序接口訪問這些應(yīng)用程序。用戶不管理或控制基礎(chǔ)云基礎(chǔ)架構(gòu)(包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲甚至單個應(yīng)用程序功能),但可控制應(yīng)用中的用戶特定設(shè)置。在SaaS模式中,應(yīng)用程序(如客戶關(guān)系管理(CRM)、電子郵件和即時消息(IM))作為云服務(wù)提供商的服務(wù)來提供。云服務(wù)提供商以獨占方式管理所需的計算基礎(chǔ)架構(gòu)和軟件來支持這些服務(wù)。SaaS模式允許用戶更改一些應(yīng)用程序配置,以自定義應(yīng)用程序。3.?云部署模型1)?公有云在公有云模式中,云基礎(chǔ)架構(gòu)被調(diào)配為由公眾公開使用,它可由企業(yè)、學院或政府組織或這些組織的組合擁有、管理和操作。它的存在以云提供商為前提。用戶使用提供商通過Internet提供的云服務(wù),并支付定量使用費用或訂閱費用。公有云的優(yōu)勢在于其低資金成本和良好的可擴展性。但是,對于用戶來說,這些優(yōu)勢會帶來一些風險:無法控制云中的資源,涉及機密數(shù)據(jù)的安全性,存在網(wǎng)絡(luò)性能和互操作性問題。常見的公有云服務(wù)提供商包括Amazon、Google和S。

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論