P2P環(huán)境下的內(nèi)容分發(fā)機(jī)制研究

摘要隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步，Internet己經(jīng)發(fā)展成為信息社會(huì)中最重要的內(nèi)容發(fā)布系統(tǒng)，但I(xiàn)nternet中傳統(tǒng)的以應(yīng)用服務(wù)器為中心的內(nèi)容分發(fā)網(wǎng)絡(luò)（ContentDistributionNetwork，CDN）存在著性能瓶頸，不利于網(wǎng)絡(luò)擴(kuò)大和維護(hù)費(fèi)用高等問(wèn)題。與此同時(shí)，一種新的分布式資源利用模式——對(duì)等網(wǎng)絡(luò)（Peer-to-Peer，P2P）計(jì)算產(chǎn)生了。與傳統(tǒng)的C/S計(jì)算不同的是，P2P計(jì)算一般不需要中心服務(wù)器。網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)既是客戶端，又是服務(wù)器。P2P允許計(jì)算節(jié)點(diǎn)之間的直接交流和協(xié)作。P2P計(jì)算可以充分利用Internet邊緣日益豐富的閑置資源，包括計(jì)算、存儲(chǔ)、帶寬等資源。內(nèi)容發(fā)布和共享是P2P計(jì)算的一個(gè)主要應(yīng)用領(lǐng)域，基于P2P的內(nèi)容發(fā)布系統(tǒng)的特點(diǎn)是能夠充分利用大量的客戶端資源，減輕或者拋卻應(yīng)用服務(wù)器的負(fù)載。P2P內(nèi)容分發(fā)機(jī)制的核心是負(fù)載均衡算法以及文件分塊選擇算法。其中負(fù)載均衡算法的目的是選擇更接近的、性能更好的節(jié)點(diǎn)作為分發(fā)服務(wù)器。為適應(yīng)P2P網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)隨時(shí)變化的狀態(tài)以及性能，內(nèi)容分發(fā)機(jī)制采用動(dòng)態(tài)的基于優(yōu)先級(jí)的負(fù)載均衡算法——根據(jù)節(jié)點(diǎn)CPU和內(nèi)存的狀況、兩節(jié)點(diǎn)之間的邏輯距離以及網(wǎng)絡(luò)狀況進(jìn)行優(yōu)先級(jí)計(jì)算并排序，然后順序選擇節(jié)點(diǎn)發(fā)出資源請(qǐng)求。文件分塊選擇算法依據(jù)文件兩層分塊的原理劃分為兩部分：部分選擇算法以及塊選擇算法。前者采用基于優(yōu)先級(jí)的原則：通過(guò)該部分在各節(jié)點(diǎn)的分布情況、完成度等因素計(jì)算出優(yōu)先級(jí)，選擇優(yōu)先級(jí)最大的部分進(jìn)行分發(fā)。后者采用順序選擇以及節(jié)點(diǎn)反饋相結(jié)合的方法：正常情況下，按照塊的順序進(jìn)行選擇；否則，跳躍到下載點(diǎn)所反饋回來(lái)的下一塊進(jìn)行順序選擇。負(fù)載均衡算法使得下載者趨向于向更接近的、性能更好的上傳者發(fā)出資源請(qǐng)求，以獲得更好的分發(fā)速度；文件分塊選擇算法有助于增大網(wǎng)絡(luò)中文件分塊在各個(gè)下載者之間的差異性，以便加快下載者之間的分發(fā)速度。以此為核心的內(nèi)容分發(fā)機(jī)制可以更快的速度從更接近、性能更好的節(jié)點(diǎn)處獲得資源。關(guān)鍵字：內(nèi)容分發(fā)、對(duì)等網(wǎng)絡(luò)、負(fù)載均衡、分塊選擇、KademliaAbstractWiththedevelopmentofnetworktechnology,Internethasbecomethemostimportantcontentdistributionsystemintheinformationsociety,butthetraditionalserver-centriccontentdistributionmodeisalsoconfrontedwithperformancebottleneck.Atthesametime,P2Pcomputingasanewmodeofutilizingdistributedcomputingresourcescomesintobeing.ItisdifferentfromClient/Servercomputing,commonlythereisnospecialserverinP2Pnetworkandnodescancommunicateandcollaboratedirectlywitheachother.P2PcomputingcanutilizeincreasinglyunusedresourcesintheedgeoftheInternet.ContentdistributionandsharingisoneofthemainapplicationsofP2Pcomputing,P2P-basedcontentdistributionsystemcanfullyutilizeresourcesofvastclientsandlightentheloadofapplicationserver.ThecoreoftheP2P-basedcontentdistributionmechanismistheloadbalancearithmeticandthefile’spartchoosingarithmetic.Thepurposeoftheloadbalancearithmeticistochoosethenodewhichisnearerorhasabetterperformanceasthedistributionserver.Toadapttothemomentarilychangingofthestateandtheperformanceofthenodes,thepriority-basedloadbalancearithmeticisused,whoseprincipleis:calculatingandsortingtheprioritybythestatesoftheCPUandmemory,thelogicdistanceofthenodesandthestatesofnetwork,thensendaresourcerequesttothenodethathasthehighestpriority.Liketheprincipleofthefile’spartition,thefile’spartchoosingarithmeticisdividedintotwo:thePart-choosingarithmeticandtheBlock-choosingarithmetic.ThePart-choosingarithmeticispriority-based:calculatingandsortingeveryPart’sprioritybythesituationofthePartinthenodesandthefinishpercentage,thensendingthePartthathasbiggestpriority.TheBlock-choosingarithmetic’sprincipleischoosingintheorderandthenode’sfeedback:InthenormalconditionchoosingtheBlockintheorder;otherwise,choosingtheBlockbeginningwiththefeedback.Theload-balancearithmeticcouldmakethedownload-nodetosendtheresourcerequesttotheupload-nodewhichisnearerandhasbetterperformance;thefile’spartchoosingarithmeticisgoodformakingthedifferenceofthefile’sPartinthedownload-nodesbigger,andmakingthespeedofthedistributionfaster.Thecontentdistributionmechanismwhosecoreisthetwoarithmeticscanmakethenodetogettheresourcefasterfromthenearerandbetterperformancenodes.Keyword:ContentDistribution,P2P,LoadBalance,PartChoose,Kademlia目錄TOC\o"1-2"\u摘要……………………. 圖52可以看出，文件的平均分塊丟棄率隨著的分發(fā)子網(wǎng)的增大，而逐漸的增大。如果不限制分發(fā)子網(wǎng)的節(jié)點(diǎn)個(gè)數(shù)，文件的平均丟棄率獎(jiǎng)達(dá)到100％，甚至可能超過(guò)100％。如此用平均丟棄率來(lái)衡量文件分塊選擇的性能就沒(méi)有多大的意義。而且平均丟棄率越大意味著分發(fā)子網(wǎng)中的無(wú)效傳輸越多，逐漸增多的無(wú)效傳輸對(duì)整體的分發(fā)性能并沒(méi)有好處，而會(huì)對(duì)網(wǎng)絡(luò)帶來(lái)?yè)砣?。因此，?yīng)該控制分發(fā)子網(wǎng)的大小，而這也是負(fù)載均衡算法的設(shè)計(jì)原因之一。圖STYLEREF1\s5SEQ圖\*ARABIC\s12分塊選擇算法測(cè)試結(jié)果圖本章小結(jié)本章的工作是對(duì)原型系統(tǒng)的測(cè)試以及結(jié)果分析。由于本文的重點(diǎn)集中在負(fù)載均衡算法以及文件分塊選擇算法上，因此對(duì)本系統(tǒng)的測(cè)試也是集中在這兩點(diǎn)上。本章對(duì)負(fù)載均衡算法的算法的正確性進(jìn)行了簡(jiǎn)單的測(cè)試與分析，并利用文件分塊丟失率來(lái)測(cè)試文件分塊選擇算法的性能。總結(jié)與展望本文工作總結(jié)本文針對(duì)P2P網(wǎng)絡(luò)環(huán)境下的內(nèi)容分發(fā)機(jī)制進(jìn)行研究，分析了包括客戶端/服務(wù)器模式和各種P2P模式（集中式P2P，分布式非結(jié)構(gòu)化P2P、混合式P2P以及分布式結(jié)構(gòu)化P2P）在內(nèi)的各種內(nèi)容分發(fā)方法的優(yōu)缺點(diǎn)，并結(jié)合系統(tǒng)的拓?fù)浣Y(jié)構(gòu)——分布式結(jié)構(gòu)化覆蓋網(wǎng)絡(luò)Kademlia，提出并實(shí)現(xiàn)了一個(gè)P2P環(huán)境下的內(nèi)容分發(fā)機(jī)制——分發(fā)方式、負(fù)載均衡算法以及文件分塊選擇算法，最后對(duì)內(nèi)容分發(fā)模塊進(jìn)行了測(cè)試，并對(duì)結(jié)果進(jìn)行了分析。本文提出了混合式的內(nèi)容分發(fā)方式。對(duì)于部分級(jí)的文件分塊粒度，實(shí)現(xiàn)的是拉方式；對(duì)于塊級(jí)粒度，實(shí)現(xiàn)的是推方式。但這都只是大層次的劃分，事實(shí)上，兩種粒度實(shí)現(xiàn)的都不是單純的一種方式，而是兩種方式的混合。本文提出了兩層的文件分塊選擇算法：基于優(yōu)先級(jí)的部分選擇算法和連續(xù)選擇的塊選擇算法。本文提出了基于優(yōu)先級(jí)的負(fù)載均衡算法，但在具體實(shí)現(xiàn)時(shí)，為避免過(guò)多的節(jié)點(diǎn)相互信息交換通信，在請(qǐng)求者端實(shí)現(xiàn)的基于邏輯距離的負(fù)載均衡算法，而在被請(qǐng)求者端實(shí)現(xiàn)阻塞機(jī)制。展望本文完成了基于文件的P2P環(huán)境下的內(nèi)容分發(fā)機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)，實(shí)現(xiàn)了分布式結(jié)構(gòu)化覆蓋網(wǎng)絡(luò)Kademlia下的對(duì)各種文件進(jìn)行內(nèi)容分發(fā)的功能。但是本系統(tǒng)在某些方面依然需要進(jìn)一步的研究與完善，本人認(rèn)為今后在以下方面有待進(jìn)一步的研究：實(shí)現(xiàn)內(nèi)網(wǎng)互連和防火墻穿透功能。提高系統(tǒng)的安全性。提高跨平臺(tái)性。參考文獻(xiàn)StefanSaroiu,KrishnaP.Gummadi,etal.AnAnalysisofInternetContentDeliverySystems.InProc.ofOSDI'02,2002TyronStading,PetrosManiatis,MaryBaker.Peer-to-PeerCachingSchemestoAddressFlashCrowds.IPTPS2002,LNCS2429.203～213StephenAdler.TheSlashdotEffect:anAnalysisofThreeInternetPublications.LinuxGazette38,1999GuillaumePierre,MaartenvanSteen.Globule:aplatformforself-replicatingWebdocuments.Proceedingsofthe6thInternationalConferenceonProtocolsforMultimediaSystems,2001,10.1～11謝智文.互聯(lián)網(wǎng)P2P應(yīng)用技術(shù)探討.武漢市第二屆學(xué)術(shù)年會(huì)、通信學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集.2006.236~237梁毅，王忠.P2P技術(shù)的發(fā)展與應(yīng)用.四川省通信學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集，2005.440~443LiZP,HuangJH,HuangDY,ZhuangL.IntroductiontoPeer-to-Peernetworkingtechnologyanddevelopment.TelecommunicationsScience,2003,19(3).1-4李之棠.P2P原理與技術(shù)[J].華中科技大學(xué)計(jì)算機(jī)學(xué)院.CERNET第十一屆學(xué)術(shù)會(huì)議李珊.P2P技術(shù)：互聯(lián)網(wǎng)發(fā)展的新驚喜.電子商務(wù)，ElectronicScience&TechnologyReview,2005,02期.72~74DejanS.Milojicic,VanaKalogeraki,etal.Peer-to-PeerComputing.HPLaboratoriesPaloAlto,HPL-2002-57李陽(yáng)明，王麗芬，郭慧.P2P對(duì)等網(wǎng)絡(luò)的關(guān)鍵技術(shù)及應(yīng)用.現(xiàn)代計(jì)算機(jī)（專業(yè)版），2005年08期BalachanderKrishnamurthy,CraigWills,YinZhang.OntheUseandPerformanceofContentDistributionNetworks.InACMSIGCOMMINTERNETMEASUREMENTWORKSHOP2001LazarI,TerrillW.ExploringContentDeliveryNetworking[J]，ITProfessional,Volume3,Issue4,July-Aug.2001.47~49IonStoica,RobertMorris,DavidKarger,M.FransKaashoek,HariBalakrishnan.Chord:AScalablePeer-to-peerLookupServiceforInternetApplications,InProc.ACM,SIGCOMM,SanDiego,CA,August2001.149~160JohnKubiatowicz,DavidBindel,YanChen,StevenCzerwinski.Oceanstore:AnarchitectureforGlobal-ScalePersistentStorage.InProc.ASPLOS’2000,Cambridge,MA,November2000.190~201BenY.Zhao,JohnKubiatowiczandAnthonyD.Joseph.Tapestry:AnInfrastructureforFault-tolerantWide-areaLocationandRouting.TechnicalReportNo.UCB/CSD-01-1141,UniversityofCaliforniaBerkeleyThomasKaragiannis,AndreBroido,NevilBrownlee,etal.File-sharingintheInternet:AcharacterizationofP2Ptrafficinthebackbone.CAIDA,SDSC,UCSDM.Ripeanu.Peer-to-peerArchitectureCaseStudy:Gnutella.InProceedingsofInternationalConferenceonP2PComputing,2001S.Saroiu,P.K.Gummadi,etal.AmeasurementStudyofPeer-to-PeerFileSharingSystems.ProceedingsofMultimediaComputingandNetworking(MMCN),2002NicolDM.Communicationloadbalancingindistributedsystems[C].ProcofScalableHighPerformanceComputingConf,1992.292~299張聯(lián)峰，劉乃安等.綜述：對(duì)等網(wǎng)(P2P)技術(shù)，計(jì)算機(jī)工程與應(yīng)用，2003P.Backx,T.Wauters,B.Dhoedt,P.Demeester.AComparisonofPeer-to-PeerArchitectures[J],EurescomSummit2002.67~75DavidLiben-Nowell,HariBalakrishnan,DavidKarger.Observationsonthedynamicevolutionofpeer-to-peernetworks[J],InProceedingsoftheFirstInternational,WorkshoponPeer-to-PeerSystems,Cambridge,MA,2002.3.25~68JaimeWoret.InterconnectingUnstructuredP2PFileSharingNetworks.P2PJournal.January,2005樂(lè)光學(xué).基于Gnutella協(xié)議的P2P網(wǎng)絡(luò)路由搜索算法：Light-Flooding[J]，計(jì)算機(jī)工程,2005年11期.121~123JainS,MahajanR,WetherallD.AstudyoftheperformancepotentialofDHT-basedoverlays.In:Proc.ofthe4thUSENIXSymposiumonInternetTechnologiesandSystems(USITS2003).2003.256~261AFiat,JSaia.Censorshipresistantpeer-to-peercontentaddressablenetworks.ProceedingsofthethirteenthannualACM-SIAMsymposiumonDiscretealgorithms.2002.94~103SRatnasamy.AScalableContent-AddressableNetwork.[Ph.D.Thesis].UniversityofCalifornia,Berkeley.October2002LuaE.Keong,CrowcroftJon,PiasMarcelo.ASurveyandComparisonofPeer-to-PeerOverlayNetworkSchemes.IEEECommunicationsSurveys&Tutorials,SecondQuarter2005A.Rowstron,P.Druschel.Pastry:Scalable,DistributedObjectLocationandRoutingforLarge-scalePeer-to-peerSystems.Proc.Middleware,2001PetarMaymounkov,DavidMazieres.Kademlia:APeer-to-PeerInformationSystemBasedontheXORMetric.In:Proc.ofthe1stInt'lWorkshoponPeer-to-PeerSystems(IPTPS2002).2002.153