網(wǎng)絡(luò)存儲系統(tǒng)的設(shè)計與實現(xiàn)hadoop接口實現(xiàn)及系統(tǒng)測試

1、網(wǎng)絡(luò)存儲系統(tǒng)的設(shè)計與實現(xiàn) hadoop 接口實現(xiàn)及系統(tǒng)測試摘 要： 隨著計算機網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，各種網(wǎng)絡(luò)服務(wù)器對存儲的需求隨之發(fā)展。但由于商業(yè)規(guī)模的不同，對網(wǎng)絡(luò)存儲的需求也不同。因此，要選擇適合的網(wǎng)絡(luò)存儲技術(shù)進行網(wǎng)絡(luò)存儲。傳統(tǒng)的網(wǎng)絡(luò)存儲技術(shù)只是解決了數(shù)據(jù)的存儲問題，對于如何確保存儲數(shù)據(jù)的安全可靠性卻沒有提供有效方案。本文研究了分布式網(wǎng)絡(luò)存儲系統(tǒng)的設(shè)計與實現(xiàn)，對其設(shè)計思想，體系架構(gòu)及存儲數(shù)據(jù)文件進行了分析與設(shè)計。關(guān)鍵詞： 網(wǎng)絡(luò)技術(shù)；網(wǎng)絡(luò)存儲；數(shù)據(jù)；分布式Abstract ：With the rapid development of computer network technology, th

2、e demand for storagewith the development of various networkserver. But because of the different business scale, thedemand fornetworkstorage is also different.Therefore, to choose suitable networkstoragetechnology for network storage. The traditional network storage technology can solve the problem o

3、fdata storage, only about how to ensure the safety and reliability of the data is stored but not provideeffective solution. This paper studies the design and implementation of a distributed network storagesystem, the design thought, system architecture and data storage file has carried on the analys

4、is anddesign.Keywords: network;storage;data;distribute1 引言1.1研究背景數(shù)據(jù)的保存，從古至今都是在跟隨著時代發(fā)展的。古代，沒有硬盤技術(shù)，也沒有先進的網(wǎng)絡(luò)技術(shù)，于是，我們聰明的祖先就將數(shù)據(jù)刻在龜甲、獸骨上，再后來，寫在竹簡上、紙上，以及現(xiàn)代的磁帶、磁盤、光盤。從體積大容量小，一直發(fā)展到如今的體積小容量大的 U 盤、移動硬盤。但這些從古到今的存儲介質(zhì)對于數(shù)據(jù)的保存不能解決數(shù)據(jù)的安全長久的問題。所以，我們要在這些脆弱的數(shù)據(jù)基第 1頁(共 1頁)礎(chǔ)上建立有效的、能夠長期安全保存數(shù)據(jù)的方法。在飛速發(fā)展的今天，無論是公司還是個人，隨著時間的累積，數(shù)

5、據(jù)都是呈增長趨勢的，勢必，我們需要一個有效的存儲數(shù)據(jù)的方法，來保證數(shù)據(jù)的長久存儲、安全存儲、可靠存儲。對于數(shù)據(jù)的安全存儲，個人的解決辦法通常是多處保存，磁盤，硬盤，優(yōu)盤等。但是對于一個小型企業(yè)甚至是更大型一點的企業(yè)來說，這樣的方法幾乎是不可行的。一般企業(yè)采用集中式存儲，利用磁盤鏡像來提高有限的數(shù)據(jù)可靠性，但能提供的容量有限。分布式存儲思想的出現(xiàn)，使得解決這些問題變得越來越現(xiàn)實，可實行?；谶@些實際情況，分布式存儲系統(tǒng)的研究，與我們而言就有了很深的意義。1.2目的和意義本文的目的就是利用分布式思想建立一個廉價，部署簡單，穩(wěn)定，可靠，易擴展，自由組織的分布式存儲系統(tǒng)，使得數(shù)據(jù)的存儲高效、安全、長久

6、。1.3名詞解釋1）分布式存儲：與目前常見的集中式存儲技術(shù)不同，分布式存儲技術(shù)并不是將數(shù)據(jù)存儲在某個或多個特定的節(jié)點上，而是通過網(wǎng)絡(luò)使用企業(yè)中的每臺機器上的磁盤空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散的存儲在企業(yè)的各個角落。2） Hadoop：一個由 Apache 基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu), 用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。3） HDFS：Hadoop Distributed File System的簡稱，是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上。 HDFS 能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模

7、數(shù)據(jù)集上的應(yīng)用。4） SSH（安全外殼協(xié)議）：為Secure Shell的縮寫，由 IETF 的網(wǎng)絡(luò)工作小組第 2頁(共 2頁)（ Network Working Group ）所制定； SSH 為建立在應(yīng)用層和傳輸層基礎(chǔ)上的安全協(xié)議。SSH 是目前較可靠， 專為遠程登錄會話和其他網(wǎng)絡(luò)服務(wù)提供安全性的協(xié)議。2 系統(tǒng)開發(fā)關(guān)鍵技術(shù)分析2.1分布式存儲技術(shù)2.1.1分布式存儲概念與目前常見的集中式存儲技術(shù)不同，分布式存儲技術(shù)并不是將數(shù)據(jù)存儲在某個或多個特定的節(jié)點上，而是通過網(wǎng)絡(luò)使用企業(yè)中的每臺機器上的磁盤空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散的存儲在企業(yè)的各個角落。2.1.2具

8、體技術(shù)海量的數(shù)據(jù)按照結(jié)構(gòu)化程度來分，可以大致分為結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)。1）結(jié)構(gòu)化數(shù)據(jù)所謂結(jié)構(gòu)化數(shù)據(jù)是一種用戶定義的數(shù)據(jù)類型， 它包含了一系列的屬性， 每一個屬性都有一個數(shù)據(jù)類型，存儲在關(guān)系數(shù)據(jù)庫里 , 可以用二維表結(jié)構(gòu)來表達實現(xiàn)的數(shù)據(jù)。大多數(shù)系統(tǒng)都有大量的結(jié)構(gòu)化數(shù)據(jù)，一般存儲在 Oracle 或 MySQL 的等的關(guān)系型數(shù)據(jù)庫中。2）非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言, 不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù) , 包括所有格式的辦公文檔、文本、圖片、XML 、HTML 、各類報表、圖像和音頻 / 視頻信息等等。3）半結(jié)構(gòu)化數(shù)據(jù)介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫、

9、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)）和完全無結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)模型具有一定第 3頁(共 3頁)的結(jié)構(gòu)性，但較之傳統(tǒng)的關(guān)系和面向?qū)ο蟮哪Ｐ透鼮殪`活。半結(jié)構(gòu)數(shù)據(jù)模型完全不基于傳統(tǒng)數(shù)據(jù)庫模式的嚴格概念，這些模型中的數(shù)據(jù)都是自描述的。2.2HDFSHadoop 分布式文件系統(tǒng)（ Hadoop Distributed File System）：每個文件就是一個數(shù)據(jù)集，也就是說數(shù)據(jù)的存儲最終以文件的形式，存儲在文件系統(tǒng)中。文件系統(tǒng)是 OS系統(tǒng)一個重要的部分。文件系統(tǒng)通過設(shè)備驅(qū)動來訪問設(shè)備（如磁盤）。各種不同的文件系統(tǒng)其方式也不同，本系統(tǒng)采用的是分布式文件系統(tǒng)。分布式文件系統(tǒng)是用多

10、臺主機群集在一起構(gòu)建一個文件系統(tǒng)，剝離文件元數(shù)據(jù)和數(shù)據(jù)來用一個專門的集中式（也有非集中式）服務(wù)器維護文件系統(tǒng)的元信息，多臺專門存儲的服務(wù)器，對元數(shù)據(jù)的操作和數(shù)據(jù)讀取也分開。這是目前分布式文件系統(tǒng)采用的主要模式。本論文闡述的hdfs( Hadoop 分布式系統(tǒng) ) 也不例外，主要采用這個思想來構(gòu)建系統(tǒng)。3 系統(tǒng)需求分析3.1系統(tǒng)定義3.1.1項目要達到的目標本項目設(shè)定的目標如下：1）系統(tǒng)能夠提供友好的用戶界面，使操作人員的工作量最大限度的減少2）系統(tǒng)具有良好的運行效率，有良好的可擴充性，可以容易的加入其它系統(tǒng)的應(yīng)用。3）平臺的設(shè)計具有一定的超前性，靈活性，能夠適應(yīng)企業(yè)生產(chǎn)配置的變化。4）數(shù)據(jù)中心

11、要建設(shè)一個設(shè)備集中、集中管理、滿足應(yīng)用、方便擴展、安全穩(wěn)定、共享同一的存儲系統(tǒng)。5）通過這個項目可以鍛煉隊伍，提高團隊的開發(fā)能力和項目管理能力6）用戶注冊后能夠在上面保存刪除自己的文件。3.1.2系統(tǒng)整體結(jié)構(gòu)第 4頁(共 4頁)圖 3-1系統(tǒng)整體結(jié)構(gòu)圖3.2應(yīng)用環(huán)境3.2.1系統(tǒng)運行網(wǎng)絡(luò)環(huán)境本系統(tǒng)的網(wǎng)絡(luò)運行圖如圖3-2，無論是客戶端的網(wǎng)絡(luò)存儲使用者還是管理端的管理者等都可以通過網(wǎng)絡(luò)登錄到本系統(tǒng)中。網(wǎng)絡(luò)存儲將想要進行存儲的東西存放在系統(tǒng)中，管理員可進行管理。第 5頁(共 5頁)圖 3-2網(wǎng)絡(luò)運行圖3.2.2系統(tǒng)運行硬件環(huán)境1）硬件環(huán)境客戶機：普通PCCPU： P4 1.8GHz內(nèi)存： 256MB

12、 以上分辨率：推薦使用1024*768 像素2） WEB 服務(wù)器CPU： P4 1.8GHz內(nèi)存： 2048MB 以上3） hadoop 從服務(wù)器CPU： P4 1.8GHz內(nèi)存： 1024MB 以上3.2.3系統(tǒng)運行軟件環(huán)境1）操作系統(tǒng)： Linux2）數(shù)據(jù)庫： mysql3）開發(fā)工具包：Myeclipse第 6頁(共 6頁)4）JSP 服務(wù)器： Tomcat5）瀏覽器： IE8.0/Firefox3.3功能規(guī)格我們采用面向?qū)ο蠓治鲎鳛橹饕南到y(tǒng)建模方法，使用UML(Unified ModelingLanguage) 作為建模語言。UML 為建?；顒犹峁┝藦牟煌嵌扔^察和展示系統(tǒng)的各種特征的

13、方法。 在 UML 中，從任何一個角度對系統(tǒng)所作的抽象都可能需要幾種模型來描述，而這些來自不同角度的模型圖最終組成了系統(tǒng)的映像。Use Case 描述的是“ actor”( 用戶、外部系統(tǒng)以及系統(tǒng)處理) 是如何與系統(tǒng)交互來完成工作的。 Use Case 模型提供了一個非常重要的方式來界定系統(tǒng)邊界以及定義系統(tǒng)功能，同時，該模型將來可以派生出動態(tài)對象模型。設(shè)計 Use-case 時，我們遵循下列步驟：第一步，識別出系統(tǒng)的“actor”。Actor 可以是用戶、外部系統(tǒng)，甚至是外部處理，通過某種途徑與系統(tǒng)交互。重要的是著重從系統(tǒng)外部執(zhí)行者的角度來描述系統(tǒng)需要提供哪些功能，并指明這些功能的執(zhí)行者( A

14、ctor) 是誰。盡可能地確保所有 Actor 都被完全識別出來。第二步，描述主要的Use Case?？梢圆扇〔粩嗟貑栕约骸斑@個Actor 究竟想通過系統(tǒng)做什么？”來準確地描述Use Case。第三步，重新審視每個Use Case，為它們下個詳盡的定義。3.3.1角色（ Actor ）定義1）使用者使用者是指在這個網(wǎng)絡(luò)存儲系統(tǒng)中通過客戶端存儲資料的人員，這個 Actor 主要參與客戶端的注冊登陸賬號、搜索資料、下載、快速上傳等功能。2）管理者管理用戶是指管理端的用戶，即系統(tǒng)管理員。系統(tǒng)管理員是指對網(wǎng)絡(luò)存儲系統(tǒng)進行相關(guān)設(shè)置、維護的人員，它也是通過管理端登錄對管理端的用戶進行設(shè)置，分配權(quán)限等，它們

15、的關(guān)系如圖：第 7頁(共 7頁)圖 3-3管理者與使用者關(guān)系3.3.2系統(tǒng)主用例圖圖 3-4系統(tǒng)主用例圖3.3.3客戶端子系統(tǒng)1）上傳文件：用戶登陸后可以上傳文件，從而存儲文件。2）下載文件：用戶登陸后可以從系統(tǒng)下載所需文件。3）修改密碼：用戶登陸后可以對本用戶密碼進行修改。第 8頁(共 8頁)3.3.4管理端子系統(tǒng)1）用戶管理：管理員登陸后，可以用用戶操作，刪除用戶。2）空間管理：管理員登陸后，可以對用戶的空間大小進行管理，更改用戶空間大小。3）文件管理：管理員登陸后，可以對用戶的文件進行管理，清空用戶文件。4）密碼管理：管理員登陸后，可以對用戶的密碼進行重置。3.4性能需求3.4.1界面需

16、求系統(tǒng)的界面要求如下：1）頁面內(nèi)容：主題突出，站點定義、術(shù)語和行文格式統(tǒng)一、規(guī)范、明確，欄目、菜單設(shè)置和布局合理，傳遞的信息準確、及時。內(nèi)容豐富，文字準確，語句通順；專用術(shù)語規(guī)范，行文格式統(tǒng)一規(guī)范。2）導(dǎo)航結(jié)構(gòu)：頁面具有明確的導(dǎo)航指示，且便于理解，方便用戶使用。3）技術(shù)環(huán)境：頁面大小適當，能用各種常用瀏覽器以不同分辨率瀏覽；無錯誤鏈接和空鏈接；采用CSS處理，控制字體大小和版面布局。4）藝術(shù)風格：界面、版面形象清新悅目、布局合理, 字號大小適宜、字體選擇合理，前后一致，美觀大方；動與靜搭配恰當, 動靜效果好；色彩和諧自然, 與主題內(nèi)容相協(xié)調(diào)。3.4.2響應(yīng)時間需求無論是客戶端和管理端，當用戶登

17、錄，進行任何操作的時候，系統(tǒng)應(yīng)該及時的進行反應(yīng)，反應(yīng)的時間在5 秒以內(nèi)。系統(tǒng)應(yīng)能監(jiān)測出各種非正常情況，如與設(shè)備的通信中斷，無法連接數(shù)據(jù)庫服務(wù)器等，避免出現(xiàn)長時間等待甚至無響應(yīng)。3.4.3可靠性需求系統(tǒng)應(yīng)保證 7X24 內(nèi)不當機，保證20 人可以同時在客戶端登錄，系統(tǒng)正常運行，正確提示相關(guān)內(nèi)容。3.4.4開放性需求第 9頁(共 9頁)系統(tǒng)應(yīng)具有十分的靈活性，以適應(yīng)將來功能擴展的需求。3.4.5可擴展性需求系統(tǒng)設(shè)計要求能夠體現(xiàn)擴展性要求，以適應(yīng)將來功能擴展的需求。3.4.6系統(tǒng)安全性需求系統(tǒng)有嚴格的權(quán)限管理功能， 各功能模塊需有相應(yīng)的權(quán)限方能進入。系統(tǒng)需能夠防止各類誤操作可能造成的數(shù)據(jù)丟失，破壞。

18、防止用戶非法獲取網(wǎng)頁以及內(nèi)容。4 系統(tǒng)概要設(shè)計4.1功能需求與程序的關(guān)系本條用一張如下的矩陣圖說明各項功能需求的實現(xiàn)同各塊程序的分配關(guān)系：表 4-1 功能需求與程序關(guān)系表功能和需求描述模塊功能描述注冊用戶通過注冊賬號以便登錄登錄用戶和管理員通過登錄進入界面下載文件用戶在搜索到相關(guān)資料后，可以對其進行下載。上傳文件用戶可以把自己的資料上傳到網(wǎng)絡(luò)存儲系統(tǒng)的存儲空間中。登錄管理登錄管理是負責所有的管理端的登錄，管理端的人員要登錄到管理端必須經(jīng)過登錄界面，輸入自己的用戶名和密碼，通過判斷這個用戶的權(quán)限信息，不同的登錄人可能具有不同的權(quán)限，根據(jù)不同的權(quán)限現(xiàn)實不同的功能。上傳管理對使用者上傳的文件，管理者

19、可以進行查看，可以及時更新并顯示上傳的文件，及提供上傳文件的詳細信息。下載管理對使用者下載文件的大小進行管理，下載權(quán)限進行管理?？臻g管理管理者具有分配空間給使用者的權(quán)限，可以查看使用者存儲空間剩余，可以增加、刪除、修改操作。文件管理對使用者上傳的文件，管理者可以進行查看，可以及時更新并顯示上傳的文件，及提供上傳文件的詳細信息?？梢詫ξ募M行增加、刪除、修改等操作。密碼管理管理者對密碼可以進行查看， 修改等操作。 當使用者登陸時，要將其輸入的密碼與數(shù)據(jù)庫中對應(yīng)的密碼進行匹配。用戶管理當進入用戶管理模塊時， 在用戶管理中可以增加或刪除用戶，編輯用戶名，用戶密碼，修改用戶權(quán)限，具有不同權(quán)限的用戶進入

20、系統(tǒng)主界面。第 10頁(共 10頁)4.2接口設(shè)計4.2.1用戶接口1）普通用戶可以上傳文件、下載文件、修改本用戶密碼。2）管理員可以對用戶、空間、文件、密碼進行管理。4.2.2外部接口本系統(tǒng)暫未設(shè)計外部接口。4.2.3內(nèi)部接口軟件需要通過配置數(shù)據(jù)通服務(wù)器進行連接。4.3運行設(shè)計4.3.1運行模塊組合1）用戶傳下載文件、查看文件夾、修改密碼模塊2）系統(tǒng)設(shè)定、管理員管理空間、用戶模塊4.3.2運行控制用戶登錄進入自己的空間界面，點擊上傳來進行上傳文件， 點擊下載來進行下載文件，點擊修改密碼對密碼進行修改。4.3.3運行時間1）用戶修改密碼模塊運行時間少，用戶上傳下載文件運行時間多。2）管理員管理

21、用戶，修改空間大小，修改用戶密碼時間少。4.4系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計4.4.1邏輯結(jié)構(gòu)設(shè)計要點表 4-2管理員信息數(shù)據(jù)字典表（manager）數(shù)據(jù)項名稱數(shù)據(jù)項類型數(shù)據(jù)項長度是否主鍵是否為空數(shù)據(jù)項含義數(shù)據(jù)項說明IDchar36是否管理員編號Uuidnamevarchar50否用戶名pwdChar32否密碼表 4-3用戶信息數(shù)據(jù)字典表（user ）第 11頁(共 11頁)數(shù)據(jù)項名稱數(shù)據(jù)項類型數(shù)據(jù)項長度是否主鍵是否為空數(shù)據(jù)項含義數(shù)據(jù)項說明IDchar36是否管理員編號Uuidnamevarchar50否用戶名pwdChar32否密碼VolumeInt用戶最大存null 表示不儲量限容量PathVarcha

22、r45否用戶存儲路徑EmailVarchar30否用戶驗證郵注冊時用于箱驗證AreaVarchar10否注冊地區(qū)SexVarchar5否用戶性別UploadtimeVarchar20否用戶上傳文件時間4.4.2物理結(jié)構(gòu)設(shè)計要點由客戶端獲得數(shù)據(jù)存入服務(wù)器，不同權(quán)限的操作人員有不同的方式。4.4.3數(shù)據(jù)結(jié)構(gòu)與程序的關(guān)系表 4-4數(shù)據(jù)結(jié)構(gòu)與程序關(guān)系表用戶上傳下載用戶修改密碼管理員管理空間管理員管理用戶用戶管理員4.5系統(tǒng)出錯處理設(shè)計4.5.1出錯信息表 4-5出錯信息表錯誤描述輸出形式含義處理方法未能鏈接數(shù)據(jù)庫找不到數(shù)據(jù)庫服務(wù)器不連通檢查防火墻不能上傳下載文件上傳下載失敗Hadoop 服務(wù)關(guān)閉開啟

23、Hadoop 服務(wù)4.5.2補救措施1）每天進行數(shù)據(jù)備份，保證備份即時更新。第 12頁(共 12頁)2）系統(tǒng)崩潰時重啟系統(tǒng)，可繼續(xù)工作。3）數(shù)據(jù)丟失，回復(fù)已備份的最新數(shù)據(jù)。5 Hadoop 接口實現(xiàn)詳細設(shè)計5.1hdfs 文件系統(tǒng)的詳細結(jié)構(gòu)圖 5-1hdfs 文件系統(tǒng)詳細結(jié)構(gòu)圖5.2Linux 網(wǎng)絡(luò)配置設(shè)計5.2.1程序描述在 Linux 上設(shè)置網(wǎng)絡(luò)，使 master 主機和 slave 從機能夠相互連通。5.2.2功能主機和從機之間通過命令： pingip 能夠互相連通， 從而為之后的數(shù)據(jù)存儲做鋪墊。5.2.3性能要求做到瞬時響應(yīng)，在命令輸完，鍵入回車后，能立即給出ping 的結(jié)果。第 13

24、頁(共 13頁)5.2.4輸入項1）在 master（主機）輸入： pingslave （從機） ip2）在 slave1（從機）輸入： pingmaster（主機） ip3）在 slave2（從機）輸入： pingmaster（主機） ip4）在 slave3（從機）輸入： pingmaster（主機） ip5）在 slave4（從機）輸入： pingmaster（主機） ip5.2.5輸出項1）輸出 master 與每一個 slave 的連通結(jié)果。2）輸出 slave1 與 master 的連通結(jié)果。3）輸出 slave2 與 master 的連通結(jié)果。4）輸出 slave3 與 mast

25、er 的連通結(jié)果。5）輸出 slave4 與 master 的連通結(jié)果。5.2.6測試計劃針對網(wǎng)絡(luò)配置的文件做測試，查看配置文件的完整性是否達到要求。5.3Linux Java 環(huán)境安裝5.3.1程序描述在 Linux 上配置 Java 環(huán)境變量。5.3.2功能安裝和配置 Java環(huán)境變量，為后期安裝配置Hadoop，正常啟動 / 停止 Hadoop服務(wù)做準備。5.3.3性能此處設(shè)計無性能要求。5.3.4輸入項1）在 master（主機）輸入： java-version2）在 slave1（從機）輸入： java-version3）在 slave2（從機）輸入： java-version第 1

26、4頁(共 14頁)4）在 slave3（從機）輸入： java-version5）在 slave4（從機）輸入： java-version5.3.5輸出項在 master 和 slave 上都會輸出相應(yīng)配置好的JDK版本號。5.3.6測試計劃針對 java 配置文件做測試，查看配置文件的完整性是否達到要求；并且在master 和所有 slave 都鍵入命令 java-version，檢查是否會輸出JDK版本號。5.4Linux SSH 無密碼驗證設(shè)計5.4.1程序描述在 Linux 上配置 SSH 無密碼驗證。5.4.2功能配置 SSH 無密碼驗證，在主機和從機之間傳輸數(shù)據(jù)時不需要輸入密碼，使

27、得 master 和所有 slave 之間以及 slave 相互之間可以直接訪問。5.4.3性能此處設(shè)計無性能要求。5.4.4輸入項1）在 master（主機）輸入： sshslave1/ slave2/ slave3/ slave4_ip2）在 slave1（從機）輸入： sshmaster_ip3）在 slave2（從機）輸入： sshmaster_ip4）在 slave3（從機）輸入： sshmaster_ip5）在 slave4（從機）輸入： sshmaster_ip5.4.5輸出項在當前狀態(tài)下進入相應(yīng) ip 的其他 master/slaves5.4.6測試計劃針對 SSH 無密碼驗證

28、配置文件做測試，查看配置文件的完整性是否達到要求；并且在 master 和所有 slave 都鍵入命令sship ，檢查是否會進入相應(yīng)IP 的其他第 15頁(共 15頁)master/slaves。5.5Linux Hadoop 安裝配置5.5.1程序描述在 Linux master 和 slaves上安裝配置 Hadoop 5.5.2 功能配置 Hadoop 服務(wù)，使用 hdfs 分布式文件系統(tǒng)，實現(xiàn)分布式網(wǎng)絡(luò)存儲。5.5.3性能能夠快速啟動 Hadoop 服務(wù)。5.5.4輸入項1）在 master（主機）輸入： start-all.sh2）在 master（主機）輸入： jsp3）在 sl

29、ave1（從機）輸入： jsp4）在 slave2（從機）輸入： jsp5）在 slave3（從機）輸入： jsp6）在 slave4（從機）輸入： j sp5.5.5輸出項1） Master 輸出：圖 5-2 master 輸出圖2） Slave 輸出：第 16頁(共 16頁)圖 5-3 slave 輸出圖5.5.6測試計劃針對 Hadoop 配置文件做測試，查看配置文件的完整性是否達到要求；并且在master 和所有 slave 都鍵入命令 jsp 命令，在 windows7 瀏覽器輸入網(wǎng)址， 檢查是否出現(xiàn)正確的節(jié)點信息。5.6Linux mysql 安裝配置5.6.1程序描述在 Linu

30、x master 上安裝配置 mysql 5.6.2 功能數(shù)據(jù)庫，實現(xiàn)用戶信息及管理員信息的存儲。用戶登陸、注冊時調(diào)用數(shù)據(jù)庫，讀取信息，進行判斷和存儲信息。5.6.3性能能夠自啟 mysql 數(shù)據(jù)庫。5.5.4輸入項在 master（主機）輸入： ps -aux|grep mysql 5.5.5 輸出項關(guān)于 Mysql 信息5.5.6測試計劃針對 mysql 配置文件做測試，查看配置文件的完整性是否達到要求；并且在master 鍵入命令 ps -aux|grep mysql命令，查看 mysql 信息是否出現(xiàn)。5.7Hadoop hdfs 文件操作接口及實現(xiàn)5.7.1程序描述Hadoop hd

31、fs 文件操作接口及其實現(xiàn)第 17頁(共 17頁)5.7.2功能用戶上傳下載時，通過該接口實現(xiàn)向hdfs 存儲文件。5.7.3性能系統(tǒng)能夠做出快速反應(yīng)，響應(yīng)快，響應(yīng)時間短。5.7.4流程邏輯圖 5-2流程邏輯圖5.7.5存儲分配管理員并沒有存儲空間，每一個用戶初始有150MB 的儲存空間，管理員可以對每個用戶的空間進行管理。5.7.6注釋設(shè)計1）加在模塊首部的注釋2）加在各分枝點處的注釋3）對各變量的功能、范圍、缺省條件等所加的注釋4）對使用的邏輯所加的注釋5.7.7測試計劃針對實現(xiàn)的接口作測試，寫一個測試方法，對上傳文件、下載文件逐個功能，挨個進行測試，看是否能將數(shù)據(jù)在本地和hdfs 傳輸。

32、6 系統(tǒng)接口實現(xiàn)第 18頁(共 18頁)6.1上傳接口實現(xiàn)如圖 6-1 ：（ 1）（ 2）圖 6-1上傳接口實現(xiàn)截圖6.2下載接口實現(xiàn)如圖 6-2 ：第 19頁(共 19頁)圖 6-2下載接口實現(xiàn)截圖6.3創(chuàng)建目錄接口實現(xiàn)如圖 6-3 ：圖 6-3創(chuàng)建目錄接口實現(xiàn)截圖6.4刪除目錄接口實現(xiàn)如圖 6-4 ：第 20頁(共 20頁)圖 6-4刪除目錄接口實現(xiàn)截圖6.5獲取空間大小接口實現(xiàn)如圖 6-5 ：圖 6-5獲取空間大小接口實現(xiàn)截圖6.6列出文件列表接口實現(xiàn)如圖 6-6 ：第 21頁(共 21頁)圖 6-6獲取列表接口實現(xiàn)截圖7 系統(tǒng)測試7.1測試概要表 7-1 測試概要表編號測試類型測試內(nèi)容

33、測試人數(shù)工作時間（人）（天）1功能測試根據(jù)系統(tǒng)需求文檔和設(shè)11計文檔，檢查產(chǎn)品是否正確實現(xiàn)了功能。2性能測試提取系統(tǒng)性能數(shù)據(jù)，檢11查系統(tǒng)是否滿足在需求中所規(guī)定達到的性能。3界面測試檢查界面是否美觀合理114文擋測試檢查文檔是否足夠、描11述是否合理5兼容性測試對于 B/S 架構(gòu)的系統(tǒng)11來說需要考慮用戶端瀏覽器的版本。6容錯性測試檢查系統(tǒng)的容錯能力，11第 22頁(共 22頁)錯誤的數(shù)據(jù)輸入不會對功能和系統(tǒng)產(chǎn)生非正常的影響，且程序?qū)﹀e誤的輸入有正確的提示信息7易用性測試檢查系統(tǒng)是否易用友好118流程測試按操作流程進行的測11試，主要有業(yè)務(wù)流程、數(shù)據(jù)流程、邏輯流程、正反流程，檢查軟件在按流程操

34、作時是否能夠正確處理9安裝測試檢查系統(tǒng)能否正確安11裝、配置10配置測試檢查配置是否合理、配11置是否正常11異常測試檢查系統(tǒng)能否處理異常117.2功能測試7.2.1功能測試計劃表 7-2 功能測試計劃表序號測試階段測試內(nèi)容人數(shù)（人）工作時間（天）準備 mysql 數(shù)據(jù)庫和 tomcat1環(huán)境準備應(yīng)用服務(wù)器、 Hadoop服務(wù)11及測試工具 loadrunner2整理測試點根據(jù)客戶操作制定功能測11試方案3編寫測試用例根據(jù)測試方案完成功能測11試用例文檔4準備測試數(shù)據(jù)根據(jù)測試用例準備測試數(shù)11據(jù)根據(jù)測試用例執(zhí)行功能測5執(zhí)行測試試，記錄測試數(shù)據(jù)和測試結(jié)11果6完成測試報告根據(jù)測試執(zhí)行情況完成測1

35、1試報告7.2.2功能測試用例概要表 7-3功能測試用例概要表序號測試模塊測試內(nèi)容第 23頁(共 23頁)1登錄模塊普通用戶登錄、管理員登錄2注冊模塊測試當正確 / 錯誤填寫信息是是否注冊成功3用戶模塊測試用戶能否成功上傳、下載文件，成功修改本用戶密碼4管理員模塊測試管理員是否能成功的對用戶、文件、空間、密碼進行管理5退出模塊測試管理員和普通用戶是否能正常退出用戶界面7.2.3功能測試缺陷記錄通過功能測試后，暫時沒有發(fā)現(xiàn)缺陷。7.2.4功能測試結(jié)果分析本系統(tǒng)通過了功能測試，基本上沒有影響系統(tǒng)功能的bug 出現(xiàn)。7.3性能測試7.3.1性能測試計劃表 7-4 性能測試計劃表序號測試階段測試內(nèi)容人

36、數(shù)（人）工作時間（天）準備 mysql 數(shù)據(jù)庫和 tomcat1環(huán)境準備應(yīng)用服務(wù)器、 Hadoop服務(wù)11及測試工具 loadrunner2整理測試點根據(jù)客戶操作制定性能測11試方案3編寫測試用例根據(jù)測試方案完成性能測11試用例文檔4準備測試數(shù)據(jù)根據(jù)測試用例準備測試數(shù)11據(jù)根據(jù)測試用例執(zhí)行性能測5執(zhí)行測試試，記錄測試數(shù)據(jù)和測試結(jié)11果6優(yōu)化性能瓶頸根據(jù)測試反映出來的性能11問題優(yōu)化軟件系統(tǒng)7完成測試報告根據(jù)測試執(zhí)行情況完成測11試報告7.3.2性能測試用例概要表 7-5性能測試用例概要表第 24頁(共 24頁)編號測試模塊測試內(nèi)容并發(fā)用戶數(shù)與事并發(fā)用戶數(shù)、事務(wù)平均響應(yīng)時間、事務(wù)最大響應(yīng)時間、1

37、平均每秒處理事務(wù)數(shù)、 事務(wù)成功率、 每秒點擊率、 平均務(wù)執(zhí)行情況流量（字節(jié) / 秒）2并發(fā)用戶數(shù)與數(shù)CPU 利用率、磁盤I/O參數(shù)據(jù)庫主機并發(fā)用戶數(shù)與應(yīng)3用服務(wù)器的關(guān)系CPU 利用率表7.3.3性能測試缺陷記錄由于電腦 CPU 影響，響應(yīng)時間相對較慢。7.3.4性能測試結(jié)果分析（ 1）（2）圖 7-1性能測試分析圖7.4界面測試7.4.1界面測試計劃表 7-6 界面測試計劃表序號測試階段測試內(nèi)容人數(shù)（人）工作時間（天）1環(huán)境準備準備 mysql 數(shù)據(jù)庫和 tomcat11應(yīng)用服務(wù)器、 Hadoop 服務(wù)2整理測試點根據(jù)界面要求制定界面測11試方案3編寫測試用例根據(jù)測試方案完成功能測11第 25頁(共 25頁)試用例文檔4準備測試數(shù)據(jù)根據(jù)測試用例準備測試數(shù)11據(jù)根據(jù)測試用例執(zhí)行功能測5執(zhí)行測試試，記錄測試數(shù)據(jù)和測試結(jié)11果6完成測試報告根據(jù)測試執(zhí)行情況完成測11試報告7.4.2界面測試用例概要表 7-7 界面測試用例概要表編號測試模塊測試內(nèi)容1窗體窗體界面風格是否合理， 樣式是否合理， 布局是否完整， 控件是否可行2消息框報錯信息框、通知信息框是否有錯字，是否合理3導(dǎo)航欄文字是否規(guī)范、圖