示例設(shè)計(jì)題目大型網(wǎng)站技術(shù)架構(gòu)演化以為例

緒 背景和意 現(xiàn)狀和發(fā)展趨 研究方 技術(shù)簡(jiǎn) Maven簡(jiǎn) Resin4.0簡(jiǎn) RabbitMQ簡(jiǎn) Memcached簡(jiǎn) 本章小 需求分 技術(shù)可行性分 運(yùn)行可行性分 媒資系統(tǒng)需求分 創(chuàng)建媒資信 媒資信息查 系統(tǒng)總體結(jié) 媒資系統(tǒng)用例 性能需 概要設(shè) 概要設(shè)計(jì)簡(jiǎn) 功能設(shè)計(jì)目 內(nèi)部結(jié)構(gòu)設(shè) E-R圖設(shè) 4.4.1信息E-R 4.4.2專(zhuān)輯信息E-R 4.4.3媒資信息E-R 頻道信息E-R 數(shù)據(jù)庫(kù)表設(shè) 詳細(xì)設(shè) 詳細(xì)設(shè)計(jì)簡(jiǎn) 大 技術(shù)架構(gòu)的演化設(shè) 媒資系統(tǒng)1.0版 媒資系統(tǒng)2.0版 媒資系統(tǒng)3.0版 媒資系統(tǒng)技術(shù)架構(gòu)對(duì) 技術(shù)選擇對(duì) 架構(gòu)優(yōu)缺點(diǎn)對(duì) 大型技術(shù)架構(gòu)演化的設(shè)計(jì)理 價(jià)值 測(cè) 6.1性能測(cè) 用戶(hù)視角的性 開(kāi)發(fā)人員視角的性 運(yùn)維人員視角的性 測(cè)試環(huán) 性能測(cè)試指 基于top命令的硬件測(cè) siege性能指標(biāo)測(cè) 媒資系統(tǒng)接口性能測(cè)試對(duì) 媒資系統(tǒng)接口壓力性能測(cè)試對(duì)比結(jié)果分 結(jié) 參考文 Now,withtheadventoftheinformationage,therapiddevelopmentoftheInternet,InternetcontenttransmissiontremendouschangeshavetakenceintheearlyInternetwithstatictextasthemaincontentofpublicinformation,andthecurrenttransmissionovertheInternetisalotofdynamicinformation.Meanwhile,withthepopularityofthenetwork,peoplegetintothenetworklife.Networktrafficisincreasingyearbyyear,thescopeofbusinessincreaseseveryyear,intheInternetmarket,moreandmorefrequentshopberserk.Service-oriented,highconcurrency,highflow,largevolumesofdatanetworkthenewfeaturesareatestofthecurrentThispaperdiscussedindetailandprovedinaparticularbusinessscenarioforperformancecomparisonofdifferenttechnicalarchitectureshowwebsitesystem,aswellastheadvantagesanddisadvantagesfunctionalhierarchy,inwhichbusinessscenariosaresimulatedmultipleuserssimultaneousaccesstoasourceInterface,thesubjectofthisinterfaceprovidesbasicmediainformationsourcetoobtaintheinformation,theuseoftechnicalmeanstorecordthetimeofeachusercorrespondingprocessallrequests,andrepeatedinanumberofconcurrentaccess,thefinalysisofthedatathrough(e.g.connectionthesuccessrateofAvailability,longresponsetimeaverageresponsetime,theactualumnumberofconcurrentconcurrency,etc.)toprovethecrucialroleoftechnologicalinnovationsystemarchitectureforalargesitedevelopmentoftheInternety.:internet;highconcurrency;websiteperformance;隨著互聯(lián)網(wǎng)的發(fā)展，WebWeb服務(wù)器只簡(jiǎn)單地響應(yīng)瀏覽器端的請(qǐng)求，返回靜態(tài)的HTML。隨著（CommonGatewayInterface,通用網(wǎng)關(guān)接口產(chǎn)生動(dòng)態(tài)頁(yè)面內(nèi)容。PHPASP,JSPCGI在HTMLHTML中嵌入程序代碼，這種模式被稱(chēng)為服務(wù)器頁(yè)面模式直到現(xiàn)在，PHP仍然是許多中小型建站首選技ApacheMySQLLinux共同組成一個(gè)強(qiáng)大的WebLAMPCGI模型和視圖分離為系統(tǒng)開(kāi)發(fā)帶來(lái)了諸多好處，為目前eb開(kāi)發(fā)流暢的各層之間較少耦合，只要保持接口規(guī)范不變，各層可以隨意替換和復(fù)用。eb業(yè)務(wù)邏輯層實(shí)現(xiàn)系統(tǒng)的邏輯數(shù)據(jù)源層負(fù)責(zé)數(shù)據(jù)架構(gòu)二．SSIAOP或異步消息進(jìn)memcached協(xié)議的緩存中間件提供服務(wù)。SiegeWEB站點(diǎn)進(jìn)行多用戶(hù)的并發(fā)模擬，記錄每個(gè)用戶(hù)所有請(qǐng)求過(guò)程的相應(yīng)時(shí)間，并在一定數(shù)量的并發(fā)重復(fù)進(jìn)行，最終通過(guò)分析各項(xiàng)數(shù)據(jù)（連接成功率Availability，平均響應(yīng)時(shí)長(zhǎng)Responsetime，實(shí)際最高并發(fā)數(shù)Concurrency等）來(lái)證明大型系統(tǒng)架構(gòu)的技Maven是一款自動(dòng)化構(gòu)建工具，通常有兩到三行的Maven構(gòu)建可以建立一個(gè)簡(jiǎn)單MavenAntCVS保持。Mavenjar庫(kù)，開(kāi)發(fā)人員無(wú)需在開(kāi)發(fā)jarMavenpom文件即可完成jar引入。Maven也在第的依賴(lài)庫(kù)版本管理下的統(tǒng)一Maven使用相關(guān)jar包，Maven會(huì)自動(dòng)找到第庫(kù)的依賴(lài)，你需要編譯的Maven將jar放到類(lèi)路徑，如果你需要包裝，Maven將jar到WEB-INF/lib 統(tǒng)一項(xiàng)目的結(jié)構(gòu)。這個(gè)保證了項(xiàng)目的結(jié)構(gòu)是有條不紊的，要找源代碼就src/test/下。Resin4.0Resin與TomcatResinHTTP/1.1WEB服務(wù)器構(gòu)建的。ResinWEBApacheIIS等。相同地，ResinServlets2.3JSP1.2標(biāo)準(zhǔn)，開(kāi)發(fā)人員可以方便快捷地ASPPHP的開(kāi)發(fā)人員可以發(fā)現(xiàn)用ResinJSPResin支持負(fù)載平衡（Loadbalancing），方法是增加服務(wù)器的數(shù)量，而且有tomcatSERVERResin0.01%RabbitMQMQ的全稱(chēng)是消息隊(duì)列，消息隊(duì)列（MQ）是一個(gè)應(yīng)用程序到應(yīng)用程序的通MQ是生產(chǎn)者消費(fèi)者模式的典型代表，生產(chǎn)端生產(chǎn)消息發(fā)送至消息隊(duì)列，消MQ提供的消息訂閱可以支持丹單對(duì)單發(fā)送，也可支持廣播，另外，MQ遵循AMQP協(xié)議實(shí)現(xiàn)與產(chǎn)品。RabbitMQErlangRabbitMQAMQP（高級(jí)消息隊(duì)列協(xié)議）Memcachedmemcached（daemon）Clibevent工具的幫助進(jìn)行有效的讀寫(xiě)。libevent是一個(gè)放在memcached服務(wù)器。本次研究主要為大型技術(shù)架構(gòu)的演化，在架構(gòu)技術(shù)的選擇上，往往多種只選取如異步消息中間件RabbitMQ與基于memcached協(xié)議的緩存中間件作為重resintomcat,resin在集群以及負(fù)resin,resin作為后端服務(wù)器使用。模擬大型技術(shù)架構(gòu)的演化最重要也是最關(guān)鍵的應(yīng)該是硬件資源和特定業(yè)務(wù)場(chǎng)景的模擬，就當(dāng)前互聯(lián)網(wǎng)項(xiàng)目而言，高并發(fā)、海量數(shù)據(jù)處理、高可靠運(yùn)行等一系列問(wèn)題與是最需要關(guān)注與研究的，由于資源條件有限，雖無(wú)法呈操作系統(tǒng)：ubuntu12.04中間件 處理器：i5內(nèi)存：4G磁盤(pán)容量：500G為了模擬高并發(fā)，系統(tǒng)采用普通壓力測(cè)試工具siege，siege是一個(gè)壓力測(cè)試和評(píng)估工具，用于在壓力下評(píng)估應(yīng)用能力的Web開(kāi)發(fā)：根據(jù)多用描述：用戶(hù)可以通過(guò)UGC上傳進(jìn)入云上傳系統(tǒng)描述：獲取上傳的媒資信息到媒資系統(tǒng)數(shù)據(jù)庫(kù)中描述：入庫(kù)后發(fā)送消息通知各端業(yè)務(wù)線更新信息功能需求：提供接描述：為PC端，M站，H5提供接口功能需求：按年月查詢(xún)列描述：根據(jù)年月查詢(xún)當(dāng)前庫(kù)中全部的列表CDN3-1圖3-1系統(tǒng)結(jié)構(gòu)媒資系統(tǒng)而言主要用例為媒資數(shù)據(jù)的吞吐通過(guò)編輯人員的操作，將媒資信息入庫(kù)，并不與瀏覽用戶(hù)直接產(chǎn)生交互。3-23-2 一般而言，的性能需求指標(biāo)為以下四個(gè)方面，見(jiàn)表3_1至表3_1一般指標(biāo)(Web應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器必需測(cè)試項(xiàng)MemoryAvailable意，如果是內(nèi)存則比較嚴(yán)Physicsdisk3_2WebRequestsPerSecond（Avg平均每秒鐘響應(yīng)次數(shù)＝Avgtimetolastbyteperterstion平均每秒業(yè) 的迭代次數(shù),有人會(huì)把FailedSuccessfulFailedHitsPerSuccessfulHitsPerFailedHitsPerAttempted嘗試表 數(shù)據(jù)庫(kù)服務(wù)器性能指User0NumberofButterCache數(shù)據(jù)庫(kù)Cache中情3_4系統(tǒng)的瓶頸定義CPU當(dāng)%user+%sys80%I/O當(dāng)%iowait40%(AIX4.3.3或更高版本)當(dāng)%tm_act70%Iostat,CPU數(shù)量(vmstat)10Vmstat,頁(yè)交換增大、CPU概要設(shè)計(jì)是聯(lián)系需求分析與詳細(xì)設(shè)計(jì)兩階段之間不可或缺的一個(gè)重要階段，概要設(shè)計(jì)的主要任務(wù)是把需求分析得到的系統(tǒng)用例圖轉(zhuǎn)換為軟件結(jié)構(gòu)和數(shù)據(jù)結(jié)而數(shù)據(jù)結(jié)構(gòu)則以-R圖以及數(shù)據(jù)庫(kù)設(shè)計(jì)為主，明確系統(tǒng)數(shù)據(jù)與設(shè)計(jì)。E-R圖等。4-1E-RE-R圖也稱(chēng)實(shí)體-聯(lián)系圖(EntityRelationshipDiagram)，用來(lái)描述現(xiàn)實(shí)世界的1:11:nn:m。E-R4-2圖4-2媒資系統(tǒng)E-RE-RE-R4-3圖4-3信息E-RE-RE-R4-4圖4-4專(zhuān)輯信息E-RE-RE-R4-5圖4-5媒資信息E-RE-RE-R4-64-6E-R4-1表4-1t__info基本信息否ID5否5否是5是是是是是5是是Y_是PAY_是5是1是是是是是是4-24-2t_album_info否5是5是否是是是5是DOWNLOAD_是Y_是PAY_是5是1是1是是是樂(lè)視發(fā)布時(shí)間4是是是是是是4-34-3t_category_info否是是是是是1否4-44-4t_mms_info否否是否id是是上傳到服務(wù)是分發(fā)成功并上線的時(shí)間點(diǎn)是是是5是1否是是是是大型技術(shù)架構(gòu)的演化過(guò)程主要在此章進(jìn)行，在詳細(xì)設(shè)計(jì)階段，會(huì)重點(diǎn)對(duì)比視頻媒資系統(tǒng)在三種不同技術(shù)架構(gòu)下的模塊劃分，層次劃分以及技術(shù)選擇，并大型技術(shù)架構(gòu)的演化設(shè)1.0，媒資系統(tǒng)1.0版本為最初始階段，最開(kāi)始時(shí)一般沒(méi)有太多人，只需要一臺(tái)服務(wù)器就綽綽有余，應(yīng)用程序接口，數(shù)據(jù)庫(kù)與等外部資源的劃分并不清晰，也不存在海量文件的問(wèn)題，因此獲取數(shù)據(jù)主要采用直連數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)操作代碼與業(yè)務(wù)代碼全部放在（如：JSP）等前，圖5-1媒資系統(tǒng)1.0版本架構(gòu)結(jié)構(gòu)Tomcat作為傳統(tǒng)的Web應(yīng)用服務(wù)器一直被許多公司廣泛使用許多tomcat來(lái)深入理解應(yīng)用服務(wù)器原理。在1.0版本中針對(duì)于MySQL并未做任何優(yōu)化處理，獲取也是采用最基JDBC，也未使用數(shù)據(jù)庫(kù)連接池。SQL優(yōu)化。將java代碼嵌入到html中，形成站。mms:JavaBean,setget2.0

圖5-2媒資系統(tǒng)2.0版本架構(gòu)結(jié)構(gòu)1.0tomcat進(jìn)行了一些優(yōu)化處理，如：JVM參數(shù)調(diào)優(yōu)（設(shè)與1.0版本相比，修改了常數(shù)據(jù)表的引擎為InnoDB來(lái)專(zhuān)門(mén)針對(duì)并發(fā)大的寫(xiě)操作，為一些常查詢(xún)字段建立索引以及部分配置優(yōu)化，SQL優(yōu)化。SQL。SpringMVC:SpringController層做到零編碼mms：?jiǎn)我粦?yīng)用結(jié)構(gòu)，MVC模式分層開(kāi)發(fā)，數(shù)據(jù)與視圖展3.05-反向服務(wù)器傳統(tǒng)服務(wù)器位于瀏覽器一側(cè)，瀏覽器將HTTP請(qǐng)求發(fā)送到互聯(lián)網(wǎng)上，而反向服務(wù)器位于機(jī)房一側(cè)，Web服務(wù)器接受HTTP請(qǐng)5-4圖5-3技術(shù)架構(gòu)3.0版本架構(gòu)結(jié)構(gòu)圖5-4反向服務(wù)器原理圖資料來(lái)源:百科.反向和傳統(tǒng)服務(wù)器可以保護(hù)瀏覽器安全一樣反向服務(wù)器也具有保護(hù)網(wǎng)站安全的作用，來(lái)自互聯(lián)網(wǎng)的請(qǐng)求必須經(jīng)過(guò)服務(wù)器，相當(dāng)于在Web服務(wù)器和可能的網(wǎng)絡(luò)之間建立了一個(gè)屏障。除了安全功能，服務(wù)器也可以通過(guò)配置緩存功能加速Web請(qǐng)求。當(dāng)其他用戶(hù)該靜態(tài)內(nèi)容時(shí)，就可以直接從反向服務(wù)器返回，加速Web請(qǐng)Web服務(wù)器負(fù)載壓力。由于實(shí)時(shí)性，連貫性較強(qiáng)，resin相對(duì)于tomcat而言，支持生產(chǎn)環(huán)resintomcat,3.0resin作為應(yīng)用服務(wù)，系，可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器更新同步到另一臺(tái)服務(wù)器上利用數(shù)據(jù)庫(kù)這一時(shí)候，主數(shù)據(jù)庫(kù)，主數(shù)據(jù)庫(kù)通過(guò)主從機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù)，，，壓力，這一點(diǎn)對(duì)數(shù)據(jù)庫(kù)架構(gòu)至關(guān)重要數(shù)據(jù)庫(kù)幾乎都是按照有緩存的前5-5，以Memcached為代表的分布式緩存是目前較為常用的，應(yīng)用程序通過(guò)Memcached客戶(hù)端Memcached服務(wù)器集群，Memcached客戶(hù)端主要由一組5-5Memcached緩存結(jié)構(gòu)圖資料來(lái)源:百科.緩存5-65-6異步消息隊(duì)列原理圖AMQP協(xié)議的一款常用的異步消息隊(duì)列框架，使用方便。： ：mms-webapp：管理系 媒資系統(tǒng)技術(shù)架構(gòu)對(duì)表5-1技術(shù)架構(gòu)技術(shù)選擇對(duì)比否是是否否是否否是否是是否否是否否是否否否否否否表5-2技術(shù)架構(gòu)優(yōu)缺點(diǎn)對(duì)比開(kāi)發(fā)小型速度極快，無(wú)法承載高并發(fā)，數(shù)據(jù)上，高并發(fā)承載能力較弱，存大型技術(shù)架構(gòu)演化的設(shè)計(jì)理沒(méi)有哪個(gè)從誕生起就是大型也沒(méi)有哪個(gè)第一次發(fā)布就擁有龐大的用戶(hù)，高并發(fā)的，海量的數(shù)據(jù)；大型就是從小型發(fā)展不同角度下的性能有不同的標(biāo)準(zhǔn)，也有不同的優(yōu)化。用戶(hù)視角的性，從用戶(hù)角度性能就是用戶(hù)在瀏覽器上直觀感受到的響應(yīng)速度快還是慢。用戶(hù)感受到的時(shí)間，包括用戶(hù)計(jì)算機(jī)和服務(wù)器通信的時(shí)間服務(wù)，開(kāi)發(fā)人員視角的性運(yùn)維人員視角的性linxuubuntu12.04,jdk7,4G，i5。6-1top圖基于top命令的硬件測(cè)TOP前臺(tái)執(zhí)行該命令,它將獨(dú)占前臺(tái),直到用戶(hù)終止該程序?yàn)橹?比較準(zhǔn)確的說(shuō),topCPU任務(wù)列表.該命令可以按CPU使用.內(nèi)存使用和執(zhí)行時(shí)間對(duì)任務(wù)進(jìn)行排序,如圖6-1PIDidUSERPR—進(jìn)程優(yōu)先級(jí)NI—niceVIRTkb。RESkb。RES=CODE+DATASHRkbS—進(jìn)程狀態(tài)。D=不可中斷的睡眠狀態(tài)R=運(yùn)行S=睡眠T=/停止%CPUCPU%MEMTIME+CPU1/100COMMAND—進(jìn)程名稱(chēng)（命令名/命令行siege6-26-2siegeTransactions:總共測(cè)試次數(shù)Availability:成功次數(shù)百分比Elapsedtime:總共耗時(shí)多少秒Datatransferred:總共數(shù)據(jù)傳輸Responsetime:等到響應(yīng)耗時(shí)Transactionrate:Throughput:Concurrency:Successfultransactions:Failedtransactions: 媒資系統(tǒng)接口性能測(cè)試對(duì)接口性能測(cè)試分為兩組測(cè)試，一組模擬生產(chǎn)環(huán)境普通情況下的：200并發(fā)數(shù)一分鐘等待持續(xù)，另一組模擬生產(chǎn)環(huán)境高并況下的：200并發(fā)數(shù)請(qǐng)求無(wú)等待（同時(shí)）模擬200并發(fā)數(shù)一分鐘等待持續(xù)接口測(cè)試用例表如表6-1所示Siege-c200-Elapsed1.0ResponseSiege-c200-Elapsed2.0ResponseTransactionSiege-c200-Elapsed3.0ResponseTransaction6-36-3200siege圖6-4模擬200并發(fā)數(shù)一分鐘持續(xù)top模擬200并發(fā)數(shù)請(qǐng)求無(wú)等待（同時(shí)）接口測(cè)試用例表如表6-1所示媒資系 -Elapsed1.0-r100-Response媒資系 -Elapsed2.0-r100-Response媒資系 -Elapsed3.0-r100-Response模擬200并發(fā)數(shù)請(qǐng)求無(wú)等待（同時(shí)）接口siege測(cè)試結(jié)束如圖6-5所圖6-5模擬200并發(fā)數(shù)請(qǐng)求無(wú)等待（同時(shí)）接口siege）1.02.06-6-6resin 媒資系統(tǒng)接口壓力性能測(cè)試對(duì)比結(jié)果分根據(jù)不同架構(gòu)下媒資系統(tǒng)的壓力性能測(cè)試對(duì)比來(lái)看在量不大。常運(yùn)行，說(shuō)明3.0版本架構(gòu)對(duì)于并發(fā)的承載要優(yōu)于1.0與2.0版本，因此可是根據(jù)業(yè)務(wù)的發(fā)展而變化技術(shù)是為業(yè)務(wù)而存在的，除此毫無(wú)意義，在技術(shù)選型和架構(gòu)設(shè)計(jì)中，一味追求時(shí)髦的新技術(shù)，可