eMule源代碼解析-2

1、eMule源代碼解析 -2 2006-10-16 17:4 1分塊機(jī)制-正確傳輸資源的保證 為了加快內(nèi)容分發(fā)的速度，分塊處理是一種簡單有效的方法。emule中對每個文件都進(jìn)行了分塊處理。另外分塊還有一個好處就是如果保留了每一分塊的hash值，就能在只下載到文件的一部分時判斷出下載內(nèi)容的有效性。 emule在獲取每個共享文件的信息時，就對它進(jìn)行了分塊處理，因此如果要知道emule中的分塊處理和恢復(fù)機(jī)制，看CKnownFile:CreateFromFile函數(shù)的實(shí)現(xiàn)就行了。 這個函數(shù)中牽涉到的和分塊處理以及hash計算相關(guān)的類都在SHAHashSet.cpp和SHAHashSet.h中。 下面介紹

2、其中幾個主要的類： CAICHHash類只負(fù)責(zé)一塊hash值，提供兩個CAICHHash類之間的直接賦值，比較等基本操作。CAICHHashAlgo是一個hash算法的通用的接口，其它hash算法只要實(shí)現(xiàn)這種接口都能使用，這樣，可以很方便得使用不同的hash算法來計算hash值。CAICHHashTree則是一個樹狀的hash值組織方式，它有一個左子樹和右子樹成員變量，類型是指向CAICHHashTree的指針，這是一個典型的實(shí)現(xiàn)樹狀結(jié)構(gòu)的方法。CAICHHashSet中包含了一個CAICHHashTree類型的變量，它直接向CKnownFile負(fù)責(zé)，代表的是一個文件的分塊信息。 SHAHas

3、hSet.h文件的開始的注釋部分向我們解釋了它的分塊的方式。這里要用到兩個常量9728000和184320，它們分別是9500k和180k。這是emule中兩種不同粒度的分塊方式，即首先把一個很大的文件分割成若干個9500k的塊，把這些塊組織成一顆樹狀的結(jié)構(gòu)，然后每一個這樣的塊又分解成若干個180k的塊(52塊，再加一個140k的塊，仍然按照樹狀的結(jié)構(gòu)組織起來。最后總的結(jié)構(gòu)還是一顆樹。 CKnownFile:CreateFromFile方法是在讀取目標(biāo)文件的內(nèi)容時，逐步建立起這樣一顆樹的。CAICHHashTree:FindHash能夠根據(jù)讀取到的目標(biāo)文件的偏移量和下一塊的大小，來找出對應(yīng)的樹

4、枝節(jié)點(diǎn)(就是一個指向CAICHHashTree的指針。如果有必要的話，還會自動創(chuàng)建這些樹枝節(jié)點(diǎn)。因此在進(jìn)行分塊操作的時候，把文件從頭到尾讀一邊，整個CAICHHashTree就建立起來了，對應(yīng)的分塊hash值也賦值好了。 最后我們還需要注意的就是CKnownFile類中的hashlist變量。就是說它還單獨(dú)保留直接以9728000字節(jié)為單位的所有分塊的MD4算法的hash值。這樣對于一個文件就有了兩套分塊驗(yàn)證的機(jī)制，能夠適應(yīng)不同場合 網(wǎng)絡(luò)基礎(chǔ)設(shè)施-網(wǎng)絡(luò)基礎(chǔ)設(shè)施的基礎(chǔ)設(shè)施 MFC中已經(jīng)有一些網(wǎng)絡(luò)基礎(chǔ)設(shè)施類，如CAsyncSocket等。但是emule在設(shè)計中，為了能夠更加高效得開發(fā)網(wǎng)絡(luò)相關(guān)的代碼

5、，構(gòu)建了另外的一些類作為基礎(chǔ)設(shè)施，這些基礎(chǔ)設(shè)施類的代碼也有很高的復(fù)用價值。 首先是CAsyncSocketEx類。AsyncSocketEx.h中對這個類的特點(diǎn)已經(jīng)給出了 一定的說明。它完全兼容CAsyncSocket類，即把應(yīng)用程序中所以的CAsyncSocket換成CAsyncSocketEx，程序仍然能夠和原來的功能相同，因此在使用上更加方便。但是在這個基礎(chǔ)上，它的效率更高，主要是在消息分發(fā)機(jī)制上，即它處理和SOCKET相關(guān)的消息的效率要比原始的MFC的CAsyncSocket類更高。 另外，CAsyncSocketEx類支持通過實(shí)現(xiàn)CAsyncSocketExLayer類的方式，將一個

6、SOCKET分成若干個層，從而可以很方便得實(shí)現(xiàn)許多網(wǎng)絡(luò)功能，如設(shè)置代理，或者是使用SSL進(jìn)行加密等。 另外還有ThrottledSocket.h中定義的ThrottledControlSocket類和ThrottledFileSocket類，這兩個類只定義了兩個接口。任何其它的網(wǎng)絡(luò)套接字類如果想實(shí)現(xiàn)限速的功能，只需要在其默認(rèn)的發(fā)送函數(shù)(如Send或Sendto中不發(fā)送數(shù)據(jù)而是把數(shù)據(jù)緩存起來，然后在實(shí)現(xiàn)ThrottledControlSocket或者ThrottledFileSocket接口中的SendFileAndControlData或SendControlData方法時才真正把數(shù)據(jù)發(fā)送出去

7、，這樣就能實(shí)現(xiàn)上傳限速，而這也是需要UploadBandwidthThrottler類進(jìn)行配合，UploadBandwidthThrottler是一個WinThread的子類，平時單獨(dú)運(yùn)行一個線程。下一次會詳細(xì)描述它是如何控制全局的上傳速度的。 網(wǎng)絡(luò)基礎(chǔ)設(shè)施-全局限速器UploadBandwidthThrottler UploadBandwidthThrottler是emule中使用的全局的上傳限速器。它繼承了CWinThread類，且在該類被創(chuàng)建的時候，就新創(chuàng)建一個線程開始單獨(dú)運(yùn)行。在該類被析構(gòu)時也會自動停止相應(yīng)的線程。這個線程的目標(biāo)函數(shù)就是RunProc，然后為了避免在RunProc函數(shù)不

8、能使用this指針的情況，它使用了RunInternal來實(shí)際完成工作線程的工作。在emule中，還有另外一個類LastCommonRouteFinder有類似的結(jié)構(gòu)。 UploadBandwidthThrottler中保存了若干的套接字(Socket隊(duì)列，這些隊(duì)列的處理方式略有不同。在標(biāo)準(zhǔn)隊(duì)列(m_StandardOrder_list里面排隊(duì)的都是實(shí)現(xiàn)了ThrottledFileSocket接口的類，通常這些類能夠傳輸文件內(nèi)容也可以傳輸控制信息。 而其它四個隊(duì)列都是實(shí)現(xiàn)ThrottledControlSocket接口的類的隊(duì)列，在這些隊(duì)列中的類主要以傳輸控制信息為主。 這四個隊(duì)列為臨時高優(yōu)先

9、級，臨時普通優(yōu)先級，正式高優(yōu)先級，正式普通優(yōu)先級。和把套件字直接添加到普通隊(duì)列(AddToStandardList不同， QueueForSendingControlPacket把要添加到隊(duì)列的套接字全部添加到兩個臨時隊(duì)列。根據(jù)它們的優(yōu)先級添加到普通的臨時隊(duì)列。在RunInternal的大循環(huán)中，臨時隊(duì)列中的項(xiàng)目先被移到普通隊(duì)列中，然后再進(jìn)行處理。 UploadBandwidthThrottler使用了兩個臨界區(qū)，兩個事件。pauseEvent是用來暫停整個大循環(huán)的動作的。而threadEndedEvent是標(biāo)志整個線程停止的事件。sendLocker是大循環(huán)中使用的主要的臨界區(qū)，而tempQ

10、ueueLocker是為兩個臨時 隊(duì)列額外添加的鎖，這樣可以一邊發(fā)送已有隊(duì)列中的套界字要發(fā)送的數(shù)據(jù)，一邊把新的套接字加到隊(duì)列中。 UploadBandwidthThrottler的RunInternal中的大循環(huán)是該工作線程的日常操作。這個大循環(huán)中做了以下事情，計算本次配額，即本次循環(huán)中能夠發(fā)送多少字節(jié)，好安排調(diào)度，計算本次循環(huán)應(yīng)該睡眠多少時間，然后進(jìn)行相應(yīng)的睡眠，從而進(jìn)行限速。操作控制信息隊(duì)列，發(fā)送該隊(duì)列中的數(shù)據(jù)，注意，控制隊(duì)列中的套接字(m_ControlQueueFirst_list和m_ControlQueue_list只使用一次就離開隊(duì)列。而標(biāo)準(zhǔn)隊(duì)列中的套接字不會這樣。在一輪循環(huán)結(jié)束

11、后，如果還有沒有用完的發(fā)送數(shù)據(jù)的配額，則會有部分配額保存到下一輪。 網(wǎng)絡(luò)基礎(chǔ)設(shè)施-emule套接字CEMSocket CEMSocket是CAsyncSocketEx和ThrottledFileSocket的子類，它把若干功能整合到了一起，因此可以作為emule使用起來比較方便的套接字。例如它可以很方便得指定代理，把CAsyncSocketEx中的創(chuàng)建一個新的代理層并且添加到列表中的功能對外屏蔽了。另外它可以分出狀態(tài)，如當(dāng)前是否在發(fā)送控制信息等。 CEMSocket中我們需要仔細(xì)考察的是它的SendControlData和SendFileAndControlData方法。如前所述，這些方法是用

12、來和UploadBandwidthThrottler進(jìn)行配合，以便完成全局的限速功能的。它的功能應(yīng)該是按照UploadBandwidthThrottler的要求，在本次輪到它發(fā)送數(shù)據(jù)時發(fā)送指定數(shù)量的字節(jié)數(shù)。因此，應(yīng)用程序的其它部分在使用CEMSocket時，如果要達(dá)到上傳數(shù)據(jù)限速的目的，不應(yīng)該直接調(diào)用標(biāo)準(zhǔn)的Send或者SendTo方法，而是調(diào)用SendPacket。這里就有了另外一個結(jié)構(gòu)Packet，它通常包含一個emule協(xié)議中完整的包，例如有協(xié)議的頭部數(shù)據(jù)等，還內(nèi)置了PackPacket和UnPackPacket方法，可以自行進(jìn)行壓縮和解壓的功能。SendPacket把要發(fā)送的Packet放到自己的隊(duì)列中，這個隊(duì)列也有兩個，控制信息包隊(duì)列，和標(biāo)準(zhǔn)信息包隊(duì)列。如果有必要，把自己加入到UploadBandwidthThrottler的隊(duì)列中。 我們注意到CEMSocket的SendControlData和SendFileAndControlData方法其實(shí)都是調(diào)用自己的另一個重載的Send方法。而且我們也已經(jīng)知道這個方法是在UploadBandwidthThrottler的工作線程中的大循環(huán)中被調(diào)用的，而這個Send方法的內(nèi)容本身也是一個大循環(huán)，但是意義很明了，就是在不超過自己本次發(fā)送的配額的情況下，把自己的包隊(duì)列中的包取出來，并且發(fā)出去。同樣，這里也用到了一個臨界區(qū)，它是為了保