片上多處理器系統(tǒng)中存儲(chǔ)器訪問(wèn)模擬計(jì)算的研究

片上多處理器系統(tǒng)中存儲(chǔ)器訪問(wèn)模擬計(jì)算的研究

1給藥系統(tǒng)的總線結(jié)構(gòu)隨著半主導(dǎo)技術(shù)向深度和亞洲大米和納米時(shí)代的轉(zhuǎn)變，以多處理器多系統(tǒng)（pmssc）為未來(lái)系統(tǒng)芯片的必然發(fā)展趨勢(shì)。根據(jù)不同的網(wǎng)絡(luò)連接方式，mpssc可分為兩類(lèi)：傳統(tǒng)的基于總線連接的mpssc和基于網(wǎng)絡(luò)的mpssc。第一種方法是通過(guò)總線方式實(shí)現(xiàn)ip內(nèi)核之間的通信，通過(guò)多總線和層次化總線等技術(shù)將片劑中的處理器芯整合到更多的芯片中，從而實(shí)現(xiàn)高度復(fù)雜的多芯連接成一個(gè)非常復(fù)雜的內(nèi)核互聯(lián)。后者是近年來(lái)提出的一個(gè)新概念，將計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)移植到芯片設(shè)計(jì)中。換句話說(shuō)，多處理器的核心通過(guò)包交換器進(jìn)行片內(nèi)通信，并為系統(tǒng)提供延遲通信機(jī)制。這種片內(nèi)通信形式被稱(chēng)為片上網(wǎng)絡(luò)（noc）。總線結(jié)構(gòu)是現(xiàn)有芯片架構(gòu)的通信脈絡(luò),然而隨著MPSoC規(guī)模的增大,總線結(jié)構(gòu)將成為芯片設(shè)計(jì)的瓶頸:總線地址資源不能隨著計(jì)算資源的增加而無(wú)線擴(kuò)展;串行訪問(wèn)機(jī)制導(dǎo)致了通信的瓶頸;龐大的時(shí)鐘網(wǎng)絡(luò)與總線的功耗將占據(jù)總功耗的絕大部分.目前,NoC是解決大規(guī)模MPSoC片上通信問(wèn)題的有效途徑.與基于總線的方式相比,NoC通過(guò)使用網(wǎng)絡(luò)互連的方式進(jìn)行通信,有效地降低了通信功耗,緩解了帶寬爭(zhēng)奪,提高了通信的可靠性,簡(jiǎn)化了硬件體系結(jié)構(gòu),具有更高的靈活性,更強(qiáng)的可擴(kuò)展性,能夠在深亞微米工藝下,避免互連線過(guò)長(zhǎng)所帶來(lái)的信號(hào)的衰減,而且能夠從本質(zhì)上帶來(lái)系統(tǒng)的并行性,提高系統(tǒng)的吞吐率.片上通訊性能的提高必將帶動(dòng)MPSoC整體處理能力的提高.然而,采用NoC方式實(shí)現(xiàn)片上資源互聯(lián)的MPSoC對(duì)存儲(chǔ)器的訪問(wèn)性能并未隨之提高,從而使存儲(chǔ)器的訪問(wèn)性能成為MPSoC性能進(jìn)一步提升的瓶頸.因此,提高存儲(chǔ)器的訪問(wèn)性能對(duì)MPSoC性能的進(jìn)一步提升至關(guān)重要.由于片上網(wǎng)絡(luò)有效地解決了片上系統(tǒng)的通信問(wèn)題,現(xiàn)在它已經(jīng)成為學(xué)術(shù)界和工業(yè)界越來(lái)越普遍關(guān)注的熱點(diǎn).但是片上網(wǎng)絡(luò)的研究,目前尚處于不成熟的階段.尤其是對(duì)片上網(wǎng)絡(luò)存儲(chǔ)器訪問(wèn)性能方面的研究非常有限.針對(duì)NoC的研究開(kāi)展目前主要依賴(lài)于模擬器,雖然學(xué)術(shù)界和工業(yè)界有很多進(jìn)行NoC研究的模擬器,但是這些模擬工具均不能滿(mǎn)足NoC下對(duì)存儲(chǔ)器訪問(wèn)操作進(jìn)行模擬的需求.針對(duì)上述問(wèn)題,本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)能夠?qū)oC下存儲(chǔ)器訪問(wèn)操作進(jìn)行模擬的模擬器,旨在為存儲(chǔ)器訪問(wèn)性能方面的研究提供一個(gè)良好的實(shí)驗(yàn)平臺(tái).該模擬器可以對(duì)各類(lèi)訪問(wèn)集(隨機(jī)訪問(wèn)集、指定Bank的訪問(wèn)集等)的訪問(wèn)性能進(jìn)行模擬和評(píng)估,從而為在NoC下存儲(chǔ)器訪問(wèn)性能的研究提供支持.2noxim片上網(wǎng)絡(luò)模型Nostrum是一個(gè)旨在研究NoC體系結(jié)構(gòu)的工程,該工程主要關(guān)注從物理層到應(yīng)用層的通信問(wèn)題.2002年依托該工程開(kāi)發(fā)了基于SystemC語(yǔ)言的NostrumNoC模擬器(NNSE).用戶(hù)通過(guò)該模擬器提供的可視化界面可以根據(jù)自身需求選擇網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的大小,路由策略以及通信類(lèi)型等,完成這些設(shè)置之后,一個(gè)片上網(wǎng)絡(luò)模型將被建立.最終的模擬結(jié)果將通過(guò)各種各樣的圖來(lái)顯示.Nirgam是一個(gè)使用SystemC開(kāi)發(fā)的基于離散事件的周期精確的模擬器.它為片上網(wǎng)絡(luò)設(shè)計(jì)方面的實(shí)驗(yàn)提供了大量的支持(包括路由算法及多種拓?fù)浣Y(jié)構(gòu)下的應(yīng)用).它提供給用戶(hù)可以設(shè)置的參數(shù)如拓?fù)浣Y(jié)構(gòu)的大小,時(shí)鐘頻率,緩存的深度,片的大小,虛擬通道的個(gè)數(shù)等.Noxim是一個(gè)使用systemC語(yǔ)言開(kāi)發(fā)的模擬器,它為用戶(hù)提供了一個(gè)命令行接口來(lái)設(shè)置片上網(wǎng)絡(luò)的參數(shù),這些參數(shù)包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),緩存空間,路由算法,選擇策略,包注入率等,用戶(hù)通過(guò)設(shè)置這些參數(shù)可以自定義需要的片上網(wǎng)絡(luò)模型.該模擬器可以給出片上網(wǎng)絡(luò)的某些方面的估計(jì)值,如吞吐量,延時(shí)和功耗.這些估計(jì)值可以通過(guò)兩種形式傳遞給用戶(hù),分別是平均值和每一次通信的具體值,用戶(hù)可以根據(jù)自身的需要來(lái)選擇其中一種形式.另外,通過(guò)該模擬器,用戶(hù)還可以獲取其他的信息,包括收到的包或片的總數(shù),全局的平均吞吐量和全局的最大和最小的延遲等.Simics+GEMS能提供全系統(tǒng)模擬的功能,通過(guò)修改這個(gè)模擬器中的一些文件可以自定義需要的片上網(wǎng)絡(luò)模型.如network_file是關(guān)于NoC的拓?fù)浣Y(jié)構(gòu)配置方面的文件,修改這個(gè)文件中的參數(shù)可以更改網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),類(lèi)似這樣的文件很多,通過(guò)更改這些文件可以構(gòu)造用戶(hù)真正需要的片上網(wǎng)絡(luò)模型.這個(gè)模擬器平臺(tái)的模擬效果比之前提到的三種模擬工具的效果更準(zhǔn)確,但是它也有很多缺陷,如使用起來(lái)過(guò)于復(fù)雜,而且運(yùn)行速度很慢,在雙核3.0GHz的PC上只能同時(shí)運(yùn)行具有4個(gè)處理器的片上網(wǎng)絡(luò),較難滿(mǎn)足在NoC下對(duì)存儲(chǔ)器訪問(wèn)操作進(jìn)行模擬的需求.以上這些模擬器或者不具備對(duì)存儲(chǔ)器訪問(wèn)操作進(jìn)行模擬的功能如Nostrum,Nirgam和Noxim;或者雖然具備這樣的功能但是卻存在使用過(guò)于復(fù)雜、運(yùn)行速度很慢等缺點(diǎn)(如simics+GEMS),這就意味著現(xiàn)有的NoC模擬器都不滿(mǎn)足對(duì)存儲(chǔ)器訪問(wèn)操作進(jìn)行模擬的需求.由于這些現(xiàn)有的模擬器工具有其特定的設(shè)計(jì)目的,并不是針對(duì)存儲(chǔ)器訪問(wèn)操作的模擬,對(duì)現(xiàn)有的這些模擬器進(jìn)行修改和擴(kuò)展使其支持對(duì)存儲(chǔ)器訪問(wèn)操作的模擬,將需要大量的二次開(kāi)發(fā)工作,同時(shí)可能導(dǎo)致比較低的模擬性能.綜上所述,設(shè)計(jì)并實(shí)現(xiàn)一個(gè)在NoC下針對(duì)存儲(chǔ)器訪問(wèn)操作進(jìn)行模擬和分析的工具,對(duì)片上網(wǎng)絡(luò)存儲(chǔ)器訪問(wèn)性能方面的研究有非常重要的意義.3模擬模型本文設(shè)計(jì)的模擬器將模擬存儲(chǔ)器和片上網(wǎng)絡(luò)兩部分內(nèi)容.本節(jié)將分別介紹這兩部分的模型.3.1連續(xù)多次訪問(wèn)的時(shí)間延遲DRAM是目前最為常見(jiàn)的系統(tǒng)內(nèi)存,所以本文的存儲(chǔ)器模型建立在該存儲(chǔ)器基礎(chǔ)之上.圖1描述了現(xiàn)代DRAM的三維(Bank、Row和Column)結(jié)構(gòu).每個(gè)DRAM包含若干個(gè)相互獨(dú)立的Bank.每個(gè)bank中包含一個(gè)二維結(jié)構(gòu)的存儲(chǔ)矩陣和一個(gè)用來(lái)緩存行操作數(shù)據(jù)的Rowbuffer.每個(gè)存儲(chǔ)訪問(wèn)操作分為三個(gè)部分:首先選擇待訪問(wèn)的bank;之后該bank中待訪問(wèn)的Row加載到Rowbuffer中;最后在Rowbuffer中對(duì)指定的Column進(jìn)行讀寫(xiě)操作.這三部分對(duì)應(yīng)的基本指令分別是PRE(Precharge)、ACT(Activate)和R/W(Read/Write).本文中采用的是DDRⅡ333的時(shí)間參數(shù),如表1所示.以上三個(gè)基本指令需要的時(shí)間分別為tRP、tRCD和CL/tDQSS.DRAM包含若干個(gè)相互獨(dú)立的Bank,不同Bank間可并行的進(jìn)行操作,例如當(dāng)bank0被訪問(wèn)的時(shí)候,如果有bank1的訪問(wèn)到達(dá),該訪問(wèn)可以同時(shí)被并行執(zhí)行.然而存儲(chǔ)器利用率的提高仍然受限于訪問(wèn)序列的順序.Rixner提出的存儲(chǔ)器訪問(wèn)調(diào)度是將DRAM操作重新排序以達(dá)到提高存儲(chǔ)器訪問(wèn)率的目的.例如,圖2(見(jiàn)下頁(yè))是四個(gè)訪問(wèn)操作分別在沒(méi)有DRAM訪問(wèn)調(diào)度器和有DRAM訪問(wèn)調(diào)度器情況下的執(zhí)行過(guò)程.這四個(gè)讀訪問(wèn)分別是Read1(RA0,BA0,CA0),Read2(RA1,BA0,CA0),Read3(RA0,BA1,CA0),Read4(RA1,BA1,CA0).如圖2(a)所示,在沒(méi)有調(diào)度器的情況下,這四個(gè)存儲(chǔ)器訪問(wèn)是按照read1,read2,read3,read4順序執(zhí)行的,每個(gè)訪問(wèn)操作均需要ACT操作、R/W操作、PRE三個(gè)操作總共12個(gè)Cycle,對(duì)于4個(gè)存儲(chǔ)器訪問(wèn)操作總共需要48個(gè)Cycle.在有DRAM調(diào)度器的情況下,調(diào)度器把這四個(gè)訪問(wèn)的順序改變?yōu)?Read1,Read3,Read2,Read4,調(diào)度結(jié)果如圖2(b)所示.,這樣就大大降低了存儲(chǔ)器的訪問(wèn)延遲時(shí)間.所以,相比于第一種沒(méi)有DRAM調(diào)度器的情況,有調(diào)度器的情況下,同樣的四個(gè)訪問(wèn)更快地得到執(zhí)行,連續(xù)兩次訪問(wèn)的延時(shí)減小了.本模擬器以表1為基礎(chǔ)計(jì)算出各種不同情況下連續(xù)兩次訪問(wèn)之間的時(shí)間延遲,其結(jié)果對(duì)比如表2所示.其中h(n)是時(shí)刻n發(fā)生的訪問(wèn),h(n+1)是時(shí)刻n+1發(fā)生的訪問(wèn).3.2關(guān)于網(wǎng)絡(luò)模型的描述NoC的設(shè)計(jì)空間非常復(fù)雜,但并不是所有的設(shè)計(jì)技術(shù)都與存儲(chǔ)器訪問(wèn)性能相關(guān),所以本文所實(shí)現(xiàn)的模擬器僅對(duì)以下四種設(shè)計(jì)技術(shù)進(jìn)行建模.3.2.1-dmesh網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)片上網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)定義了網(wǎng)絡(luò)內(nèi)節(jié)點(diǎn)與鏈路的布局和互連方式,它對(duì)于網(wǎng)絡(luò)的時(shí)延、吞吐率、面積、容錯(cuò)、功耗等性能有至關(guān)重要的影響,進(jìn)一步還影響了網(wǎng)絡(luò)中的路由策略、映射方法等.本文中所使用的拓?fù)浣Y(jié)構(gòu)是2-Dmesh網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),該類(lèi)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)在NoC研究中應(yīng)用非常廣泛,因?yàn)樗渴鸷?jiǎn)單,結(jié)構(gòu)規(guī)整,可擴(kuò)展性強(qiáng),所以便于用戶(hù)設(shè)計(jì)簡(jiǎn)單高效的路由算法等.一個(gè)2-Dmesh網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是由N2個(gè)路由器構(gòu)成,每一個(gè)路由器通過(guò)link和4個(gè)或者少于4個(gè)的鄰居路由器相連.任務(wù)在IPcore上執(zhí)行,IPcore和路由器直接相連.為了簡(jiǎn)便起見(jiàn),本文不區(qū)分IPcore和與IPcore直接相連的路由器.在不同IPcore上的任務(wù)通過(guò)連續(xù)的路由器進(jìn)行通信.3.2.2包交換技術(shù)包交換技術(shù)關(guān)注的是數(shù)據(jù)包是怎樣從輸入通道交換到輸出通道的.采用的包交換技術(shù)不同,所產(chǎn)生的延遲也不同,網(wǎng)絡(luò)的延遲與包交換技術(shù)直接相關(guān).本文中所使用的包交換技術(shù)是蟲(chóng)洞交換技術(shù),在該技術(shù)中,每一個(gè)數(shù)據(jù)包被“切”成片,在每個(gè)路由器中,利用頭片選定路由路徑,數(shù)據(jù)片緊跟其后,此時(shí)路由器不再對(duì)數(shù)據(jù)片進(jìn)行操作,只是按照頭片的路徑進(jìn)行轉(zhuǎn)發(fā),最后,由尾片釋放剛才選用的路徑.蟲(chóng)洞交換一個(gè)主要的優(yōu)點(diǎn)是:當(dāng)頭片在一個(gè)路由器中被阻塞時(shí),它并不需要將整個(gè)數(shù)據(jù)包全部緩存在頭片所到達(dá)的路由器中,而是各片就地緩存在當(dāng)前路由器.因此,蟲(chóng)洞交換技術(shù)不僅能夠減小路由過(guò)程中每一級(jí)的存儲(chǔ)轉(zhuǎn)發(fā)延時(shí),還能夠減小對(duì)緩存空間的使用.3.2.3源路由策略路由策略決定數(shù)據(jù)包從源地址開(kāi)始選擇哪一條路徑到目的地址,所以有效的路由算法對(duì)NoC通信性能的影響是至關(guān)重要的.本文中所使用的路由策略是源路由策略,源路由在路由過(guò)程中根據(jù)頭片的路由路徑信息進(jìn)行路由.用戶(hù)可以以離線的方式使用多種路由算法計(jì)算出路由路徑,然后將其寫(xiě)入頭片中.這樣本文所實(shí)現(xiàn)的模擬器可以支持多種路由算法.3.2.4sdram-awell流控策略在NoC領(lǐng)域,流量控制主要是指采用一些有效的方法來(lái)管理通信路徑上競(jìng)爭(zhēng)共享資源如link或buffer等的包的數(shù)量,從而避免緩存的溢出和網(wǎng)絡(luò)中包的丟失,起到平滑網(wǎng)絡(luò)通信量的作用.本文除了支持常用的輪詢(xún)流控策略外還支持SDRAM-aware流控策略.SDRAM-aware流控策略是目前唯一基于存儲(chǔ)器訪問(wèn)調(diào)度策略對(duì)存儲(chǔ)器訪問(wèn)性能進(jìn)行優(yōu)化的NoC設(shè)計(jì)技術(shù),它能有效地提高存儲(chǔ)器訪問(wèn)性能,降低存儲(chǔ)器訪問(wèn)延遲.SDRAM-aware流控策略主要為多個(gè)爭(zhēng)用同一個(gè)通道的包解決通道分配的問(wèn)題.該流控策略的基本思想是,當(dāng)存在多個(gè)片爭(zhēng)用相同通道時(shí),SDRAM-aware流控策略選擇一個(gè)與前一次使用該通道的包Bank沖突最小、訪問(wèn)時(shí)間延遲最小的包獲得該共享通道的使用權(quán),被選擇的包將通過(guò)分配給它的通道前進(jìn)到下個(gè)路由節(jié)點(diǎn),同時(shí)那些沒(méi)有獲得需要通道而不能前進(jìn)的包繼續(xù)等待下一次選擇的到來(lái).經(jīng)過(guò)SDRAM-aware流控策略的仲裁,最后訪問(wèn)集會(huì)被選擇排列成具有較小存儲(chǔ)器訪問(wèn)延時(shí)的序列到達(dá)存儲(chǔ)器子系統(tǒng).本文后續(xù)章節(jié)均基于SDRAM-aware流控策略進(jìn)行說(shuō)明.本文設(shè)計(jì)的模擬器針對(duì)每種設(shè)計(jì)技術(shù)實(shí)現(xiàn)了不同的設(shè)計(jì)模型,選擇這些設(shè)計(jì)模型是因?yàn)樗鼈兓蛘呔哂袘?yīng)用的普遍性,如2Dmesh拓?fù)洹⑾x(chóng)洞交換技術(shù)、源路由,或者具有針對(duì)性,如SDRAM-aware流控策略是目前唯一基于存儲(chǔ)器訪問(wèn)調(diào)度策略對(duì)存儲(chǔ)器訪問(wèn)性能進(jìn)行優(yōu)化的NoC設(shè)計(jì)技術(shù).為了使該模擬器具有更好的擴(kuò)展性和可用性,設(shè)計(jì)時(shí)特別采用了模塊化的設(shè)計(jì)方法,即各功能模塊之間是相互獨(dú)立的單元,這樣即使用戶(hù)有新的應(yīng)用需求,只需要對(duì)該模擬器相應(yīng)的模塊單元進(jìn)行改動(dòng)即可滿(mǎn)足要求,這樣能有效地避免大量的二次改動(dòng)的工作.4sort-關(guān)于訪問(wèn)本文設(shè)計(jì)的模擬器是一個(gè)基于離散時(shí)間的模擬器,在模擬器的模擬過(guò)程中,隨著新的模擬步驟的發(fā)生,時(shí)間都會(huì)前進(jìn)一個(gè)固定的間隔(時(shí)間單元),系統(tǒng)狀態(tài)會(huì)根據(jù)這個(gè)新的模擬步驟而更新.圖3顯示了這個(gè)模擬引擎的狀態(tài)轉(zhuǎn)換過(guò)程.模擬器首先進(jìn)入Initialize狀態(tài),在這個(gè)狀態(tài)中時(shí)間被設(shè)置為0.該狀態(tài)主要負(fù)責(zé)為用戶(hù)提供一個(gè)初始設(shè)置的可視化界面.該界面向用戶(hù)提供了三種對(duì)訪問(wèn)集系統(tǒng)進(jìn)行初始設(shè)置的形式:完全手動(dòng)設(shè)置、完全隨機(jī)生成和半手動(dòng)半隨機(jī)生成.用戶(hù)可以根據(jù)需要選擇其中一種進(jìn)行設(shè)置.當(dāng)用戶(hù)完成對(duì)訪問(wèn)集系統(tǒng)的基本信息設(shè)置后,一個(gè)片上網(wǎng)絡(luò)模型被建立,系統(tǒng)會(huì)將用戶(hù)設(shè)置的信息以文本的形式保存下來(lái),然后進(jìn)入prepare狀態(tài).在prepare狀態(tài)中模擬器判斷訪問(wèn)是否全部執(zhí)行結(jié)束,如果是,進(jìn)入sortaccesses狀態(tài);否則進(jìn)入check狀態(tài).具體的判斷流程是通過(guò)兩個(gè)步驟來(lái)完成的,首先需要判斷是否所有的訪問(wèn)都已經(jīng)進(jìn)入到存儲(chǔ)器子系統(tǒng)的等待隊(duì)列中,如果存在沒(méi)有到達(dá)存儲(chǔ)器子系統(tǒng)的等待隊(duì)列的訪問(wèn),那么進(jìn)入check狀態(tài);否則繼續(xù)判斷存儲(chǔ)器子系統(tǒng)的等待隊(duì)列是否為空,如果是,那么就表示訪問(wèn)集的所有訪問(wèn)操作都已經(jīng)執(zhí)行完畢,模擬器進(jìn)入sortaccesses狀態(tài),否則進(jìn)入check狀態(tài).在check狀態(tài)中,系統(tǒng)將檢查正在處理的訪問(wèn)是否和其他的訪問(wèn)存在競(jìng)爭(zhēng)共享資源的沖突,如果存在這種沖突,那么模擬器進(jìn)入arbitrate狀態(tài),否則模擬器會(huì)根據(jù)正在處理的訪問(wèn)的通信路徑將該包傳遞到下一個(gè)路由器節(jié)點(diǎn),然后模擬器進(jìn)入update狀態(tài).在arbitrate狀態(tài)中,模擬器根據(jù)SDRAM-aware流控策略對(duì)存在競(jìng)爭(zhēng)共享資源的包進(jìn)行仲裁,該流控策略會(huì)選擇一個(gè)與前一次使用該通信鏈路的包Bank沖突最小、訪問(wèn)時(shí)間延遲最小的包,使其獲得該共享通信鏈路的使用權(quán).仲裁完成后,獲勝的包將通過(guò)分配給它的通信鏈路前進(jìn)到下個(gè)路由器節(jié)點(diǎn),而競(jìng)爭(zhēng)失敗的包將繼續(xù)等待下一次仲裁的到來(lái),接著模擬器進(jìn)入update狀態(tài).在update狀態(tài)中,模擬器將遍歷整個(gè)訪問(wèn)集,記錄每個(gè)訪問(wèn)在當(dāng)前時(shí)間片里的執(zhí)行情況,并把這些信息存儲(chǔ)到指定的trace文件中,供給returnresult狀態(tài)中可視化訪問(wèn)集存儲(chǔ)器訪問(wèn)調(diào)度回放模塊,同時(shí)更改該訪問(wèn)的其它信息,包括執(zhí)行時(shí)間等;如果在當(dāng)前時(shí)間片里存在訪問(wèn)并沒(méi)有前進(jìn),那么還需要修改該訪問(wèn)的等待時(shí)間.執(zhí)行完這個(gè)操作之后,模擬器進(jìn)入到advancetime狀態(tài)中去.在advancetime狀態(tài)中,模擬器前進(jìn)一個(gè)時(shí)間單位,接著模擬器進(jìn)入到prepare狀態(tài)中去.在sortaccesses狀態(tài)中,模擬器根據(jù)訪問(wèn)執(zhí)行時(shí)間的大小來(lái)對(duì)訪問(wèn)集進(jìn)行重排序.在computetime狀態(tài)中,模擬器根據(jù)表2中所列出的連續(xù)兩次訪問(wèn)之間的時(shí)間延遲來(lái)計(jì)算訪問(wèn)集的執(zhí)行延時(shí),接著模擬器進(jìn)入到returnresult狀態(tài).在returnresult狀態(tài)中,模擬器會(huì)對(duì)以上執(zhí)行過(guò)程和計(jì)算結(jié)果進(jìn)行可視化顯示,直觀地告訴用戶(hù)該訪問(wèn)集的存儲(chǔ)器訪問(wèn)操作模擬結(jié)果;同時(shí)提供可視化的訪問(wèn)集模擬過(guò)程回放的功能.5模擬器的實(shí)現(xiàn)5.1模擬器結(jié)構(gòu)圖4顯示了該模擬器的結(jié)構(gòu)圖.如圖4所示,系統(tǒng)分為5個(gè)功能模塊,各個(gè)功能模塊所要完成的工作如下:5.1.1基于用戶(hù)的信息生成系統(tǒng)該模塊為用戶(hù)提供可視化的訪存需求定制功能,包括如下3個(gè)子模塊:完全手動(dòng)生成子模塊:模擬器系統(tǒng)的所有初始信息都是用戶(hù)手動(dòng)設(shè)置的,包括訪問(wèn)集信息、處理器和存儲(chǔ)器的位置等;完全隨機(jī)生成子模塊:模擬器將根據(jù)用戶(hù)對(duì)系統(tǒng)設(shè)置的一些約束條件,來(lái)隨機(jī)生成滿(mǎn)足這些約束的初始信息;半手動(dòng)半隨機(jī)生成子模塊:用戶(hù)可以根據(jù)需要選擇對(duì)某些初始信息進(jìn)行手動(dòng)設(shè)置,而其他信息均由模擬器隨機(jī)生成.5.1.2sdram-awell網(wǎng)絡(luò)該模塊是模擬器設(shè)計(jì)的核心部分,它將完成片上網(wǎng)絡(luò)中基于SDRAM-aware路由策略的存儲(chǔ)器訪問(wèn)模擬功能,并記錄每個(gè)訪存需求在每個(gè)時(shí)間片里的執(zhí)行情況.5.1.3路由路徑更改模塊提供訪問(wèn)的路由路徑變化的功能.該模塊與模塊(1)對(duì)應(yīng),用戶(hù)重新設(shè)置存儲(chǔ)器和各個(gè)處理器的位置,并相應(yīng)的改變存儲(chǔ)器訪問(wèn)的路由路徑.5.1.4模擬結(jié)果顯示的模塊提供模擬器模擬結(jié)果顯示的功能.該模塊會(huì)對(duì)系統(tǒng)模擬的結(jié)果以文本的形式進(jìn)行顯示,直觀的告訴用戶(hù)系統(tǒng)的模擬結(jié)果及總的訪問(wèn)延時(shí).5.1.5讀存器訪問(wèn)模擬模塊提供可視化的訪問(wèn)集模擬過(guò)程回放的功能.該模塊通過(guò)讀存儲(chǔ)器訪問(wèn)模擬模塊所寫(xiě)的TRACE文件來(lái)分析訪問(wèn)集系統(tǒng)的訪問(wèn)過(guò)程,并在可視化的界面中以動(dòng)畫(huà)的形式將這個(gè)過(guò)程顯示出來(lái).5.2存儲(chǔ)訪問(wèn)模擬模塊的設(shè)計(jì)存儲(chǔ)訪問(wèn)模擬模塊是該模擬器設(shè)計(jì)的核心,下面將給出該模塊的詳細(xì)設(shè)計(jì),主要包括3個(gè)方面的內(nèi)容:存儲(chǔ)訪問(wèn)模擬模塊的類(lèi)圖;存儲(chǔ)訪問(wèn)模擬模塊的過(guò)程圖;串行語(yǔ)言對(duì)并行結(jié)構(gòu)的模擬.5.2.1類(lèi)重調(diào)度存儲(chǔ)訪問(wèn)模塊圖5顯示了存儲(chǔ)器訪問(wèn)模擬模塊中的類(lèi)圖.如圖5所示,類(lèi)TaskG由類(lèi)Router_LinkedList、類(lèi)Path_LinkedList和其他的一些成員變量組合而成,該類(lèi)主要用來(lái)存放訪問(wèn)的信息.其中,類(lèi)Router_LinkedList會(huì)以鏈表的形式來(lái)自動(dòng)存儲(chǔ)訪問(wèn)所需的通信路由節(jié)點(diǎn);類(lèi)Path_LinkedList通過(guò)讀入訪問(wèn)所需的通信路由節(jié)點(diǎn)鏈表來(lái)確定該訪問(wèn)所需的通信路由鏈路.類(lèi)Nodecollide由類(lèi)TaskG、類(lèi)Path_Node和其他的一些成員變量組合而成,該類(lèi)主要用來(lái)存放每個(gè)路由鏈路的信息.下面是對(duì)存儲(chǔ)訪問(wèn)模擬模塊中類(lèi)功能的具體介紹.1)類(lèi)Router_LinkedList.該類(lèi)會(huì)以鏈表的形式來(lái)自動(dòng)存儲(chǔ)訪存需求所需的通信路由節(jié)點(diǎn).2)類(lèi)Path_LinkedList.該類(lèi)通過(guò)讀入訪存需求所需的通信路由節(jié)點(diǎn)鏈表來(lái)確定該訪存需求所需的通信路由鏈路,并且所生成的通信路由鏈路的格式為“源路由節(jié)點(diǎn)→目的路由節(jié)點(diǎn)”.例如:某一訪存需求所需的通信路由節(jié)點(diǎn)為:1、2、3、4,該類(lèi)讀入這些路由節(jié)點(diǎn)之后,確定出此訪存需求所需的通信路由路徑中源路由節(jié)點(diǎn)為1,目的路由節(jié)點(diǎn)為4,并且其所需的通信路由鏈路分別是1→2、2→3、3→4,即其所需的通信路由路徑為1→2→3→4.3)類(lèi)TaskG.該類(lèi)主要用來(lái)存放訪存需求的信息,例如訪存需求的優(yōu)先級(jí)、讀寫(xiě)方式、Bank號(hào)、Row號(hào)、等待時(shí)間wi_time、所需的通信路由路徑及其在每一個(gè)執(zhí)行的時(shí)間片內(nèi)所需占用的通信路由鏈路等.4)類(lèi)Nodecollide.該類(lèi)主要用來(lái)存放每個(gè)路由鏈路的信息,例如該路由鏈路的源和目的節(jié)點(diǎn)分別是多少、該鏈路的占用情況、當(dāng)前時(shí)刻需要占用該路由鏈路的訪存需求、當(dāng)前時(shí)刻最有可能獲得該鏈路的訪存需求及其在最近一次爭(zhēng)用時(shí)被分配到該鏈路的訪存需求.5.2.2低沖突機(jī)制的執(zhí)行圖6顯示了存儲(chǔ)訪問(wèn)模擬模塊的過(guò)程圖.下面將結(jié)合圖6詳細(xì)講述系統(tǒng)是如何實(shí)現(xiàn)存儲(chǔ)訪問(wèn)模塊的.如圖6所示,訪問(wèn)在片上網(wǎng)絡(luò)中的位置主要有兩種:到達(dá)非存儲(chǔ)器節(jié)點(diǎn)和到達(dá)存儲(chǔ)器節(jié)點(diǎn).無(wú)論訪問(wèn)在何種位置,都有可能與其他訪問(wèn)發(fā)生競(jìng)爭(zhēng)共享資源的沖突.沖突主要表現(xiàn)為兩種形式:一種是路由鏈路的沖突,即在同一個(gè)時(shí)間片內(nèi)多個(gè)訪問(wèn)爭(zhēng)用同一個(gè)鏈路;另一種是源節(jié)點(diǎn)的沖突,即在同一時(shí)間片內(nèi)使用不同鏈路的多個(gè)訪問(wèn)要經(jīng)由同一個(gè)路由節(jié)點(diǎn)處理.當(dāng)訪問(wèn)未到達(dá)存儲(chǔ)器節(jié)點(diǎn)時(shí),兩種沖突都有可能發(fā)生;當(dāng)訪問(wèn)到達(dá)存儲(chǔ)器節(jié)點(diǎn)時(shí),只可能發(fā)生源節(jié)點(diǎn)的沖突,本文對(duì)存儲(chǔ)訪問(wèn)的模擬以訪問(wèn)在不同位置時(shí)分別進(jìn)行了設(shè)計(jì);另外由于訪問(wèn)在不同位置時(shí)都需要進(jìn)行記錄、更新操作,對(duì)于該操作本文進(jìn)行了集中設(shè)計(jì).1)如圖6所示,模擬器為每條路由鏈路都設(shè)置了一個(gè)等待訪問(wèn)集(用TaskG類(lèi)型數(shù)組存儲(chǔ)),用來(lái)存放當(dāng)前時(shí)刻要占用該路由鏈路的所有訪問(wèn).在每個(gè)時(shí)間片里,模擬器首先讀取每個(gè)訪問(wèn)的currPtr指針,然后把各個(gè)訪問(wèn)分配到相應(yīng)的路由鏈路的等待訪問(wèn)集中;接著,根據(jù)模擬器采用的流控策略,分別對(duì)每條路由鏈路上存在沖突的訪問(wèn)集進(jìn)行抉擇,最后求出有可能獲得該鏈路資源的訪問(wèn)may1_ace.在這個(gè)步驟完成之后,模擬器要處理的就是源節(jié)點(diǎn)的沖突.模擬器在處理完路由鏈路的沖突后,會(huì)將所有的路由鏈路根據(jù)源節(jié)點(diǎn)的不同劃分開(kāi)來(lái),并把同源鏈路的may1_ace組成一系列新的集合,這些集合類(lèi)似于每條路由鏈路的等待訪問(wèn)集;接著模擬器從每個(gè)集合中查找優(yōu)先級(jí)最大的訪問(wèn)may2_ace,然后根據(jù)網(wǎng)絡(luò)狀態(tài)判斷它們是否可以前進(jìn),如果是,那么它們就可以前進(jìn)到其路徑上下一個(gè)路由節(jié)點(diǎn),同時(shí)釋放前一時(shí)刻它們所占用的路由節(jié)點(diǎn)的緩存空間,最后模擬器要對(duì)這些執(zhí)行情況進(jìn)行記錄,并且更新訪問(wèn)集和網(wǎng)絡(luò)狀態(tài)的信息.2)如圖6所示,當(dāng)訪問(wèn)到達(dá)存儲(chǔ)器節(jié)點(diǎn)時(shí),模擬器為每個(gè)存儲(chǔ)器節(jié)點(diǎn)設(shè)置了一個(gè)等待隊(duì)列(本模擬器可以處理訪問(wèn)集對(duì)多個(gè)存儲(chǔ)器有訪問(wèn)請(qǐng)求的情況),用來(lái)存儲(chǔ)到達(dá)該存儲(chǔ)器直接相連的路由節(jié)點(diǎn)的訪問(wèn)集;接著模擬器根據(jù)所采用的流控策略,求出在當(dāng)前時(shí)刻每個(gè)存儲(chǔ)器應(yīng)該處理的訪問(wèn),同時(shí)標(biāo)記這些訪問(wèn)的狀態(tài)為已獲得執(zhí)行;然后模擬器從隊(duì)列中移除這些訪問(wèn),并更新每個(gè)隊(duì)列的訪問(wèn)集大小.當(dāng)所有訪問(wèn)都獲得執(zhí)行之后,模擬器根據(jù)所訪問(wèn)的存儲(chǔ)器的不同重新對(duì)訪問(wèn)集進(jìn)行劃分,接著根據(jù)訪問(wèn)執(zhí)行時(shí)間的大小分別對(duì)訪問(wèn)集進(jìn)行重排序,然后根據(jù)表2中所列出的連續(xù)的兩次訪問(wèn)之間的時(shí)間延遲來(lái)計(jì)算各個(gè)訪問(wèn)集的執(zhí)行延時(shí),最后計(jì)算得到整個(gè)訪問(wèn)集總的時(shí)間延時(shí).3)無(wú)論訪問(wèn)在何種位置,在每個(gè)時(shí)鐘周期的末尾,模擬器都要記錄訪問(wèn)周期內(nèi)的執(zhí)行情況,同時(shí)更新網(wǎng)絡(luò)狀態(tài)及訪問(wèn)集信息.可擴(kuò)展標(biāo)記語(yǔ)言(ExtensibleMarkupLanguage,XML)提供了一種標(biāo)記內(nèi)容的方式,可以添加關(guān)于數(shù)據(jù)用途的信息.信息使用XML存儲(chǔ)之后,稱(chēng)為解析器的應(yīng)用程序就能夠可靠地提取相關(guān)信息,并根據(jù)不同的需要處理.本模擬器選用XML文件作為信息傳輸介質(zhì),模擬器進(jìn)行的存儲(chǔ)訪問(wèn)模擬的中間過(guò)程以及模擬訪問(wèn)的結(jié)果都將會(huì)存儲(chǔ)在指定的XML文檔中,供給可視化模擬過(guò)程回放模塊,以此來(lái)進(jìn)行模擬器模擬訪問(wèn)集執(zhí)行過(guò)程的回放.5.2.3多源異構(gòu)信息的監(jiān)控本模擬器采用面向?qū)ο笳Z(yǔ)言C++實(shí)現(xiàn),由于串行化編程不支持對(duì)并行結(jié)構(gòu)的模擬,因此在該模擬器的設(shè)計(jì)過(guò)程中存在一個(gè)技術(shù)難點(diǎn),即如何使用串行化的編程語(yǔ)言來(lái)模擬周期內(nèi)片上網(wǎng)絡(luò)系統(tǒng)的并行運(yùn)行.片上網(wǎng)絡(luò)的并行性主要體現(xiàn)在系統(tǒng)中有多個(gè)存儲(chǔ)器和處理器以及相當(dāng)數(shù)量的并行訪問(wèn),它們的操作應(yīng)該可以并行進(jìn)行并且不相互干擾.但是直接使用串行化編程可能造成訪問(wèn)執(zhí)行情況與真實(shí)系統(tǒng)不符合等現(xiàn)象的發(fā)生,這主要是由于訪問(wèn)對(duì)網(wǎng)絡(luò)狀態(tài)(如路由器的緩存信息)等捕獲不及時(shí)而導(dǎo)致的.為了避免這些錯(cuò)誤的發(fā)生,對(duì)網(wǎng)絡(luò)狀態(tài)和訪問(wèn)集信息等的更新工作必須在下一個(gè)周期到來(lái)前完成,以保證在下一個(gè)執(zhí)行周期內(nèi)反饋的是及時(shí)而又準(zhǔn)確的信息.圖7(見(jiàn)下頁(yè))顯示了存儲(chǔ)器訪問(wèn)在一個(gè)時(shí)鐘周期內(nèi)的執(zhí)行過(guò)程,下面將結(jié)合圖7來(lái)詳細(xì)描述一下模擬器是如何解決串行語(yǔ)言模擬并行行為的.如圖7所示,存儲(chǔ)器訪問(wèn)在一個(gè)時(shí)鐘周期內(nèi)主要完成4個(gè)操作:有訪問(wèn)待執(zhí)行;流控策略仲裁;獲勝的訪問(wèn)前進(jìn)或被執(zhí)行;更新訪問(wèn)集信息和網(wǎng)絡(luò)狀態(tài).當(dāng)一個(gè)新的時(shí)鐘周期開(kāi)始時(shí),模擬器首先獲取從前一時(shí)刻反饋過(guò)來(lái)的訪問(wèn)集信息,這些信息包括訪問(wèn)當(dāng)前所在的位置,下一個(gè)時(shí)刻要占用的路由鏈路等,它們被存儲(chǔ)在一個(gè)文件中,該文件主要用來(lái)記錄存儲(chǔ)器訪問(wèn)模擬模塊中各個(gè)訪問(wèn)在每個(gè)時(shí)間片里的執(zhí)行情況;接著模擬器要根據(jù)網(wǎng)絡(luò)狀態(tài)對(duì)訪問(wèn)集進(jìn)行流控策略的仲裁,進(jìn)而決策出當(dāng)前時(shí)鐘周期內(nèi)可以直接(即根據(jù)當(dāng)前網(wǎng)絡(luò)狀態(tài)和訪問(wèn)集的信息能夠直接判斷得出可以前進(jìn)或執(zhí)行)或間接(即由于得到直接可以前進(jìn)的訪問(wèn)釋放它們當(dāng)前時(shí)刻所占用的緩存空間而得以前進(jìn)或執(zhí)行)獲得前進(jìn)或執(zhí)行的訪問(wèn);然后根據(jù)決策結(jié)果獲勝的訪問(wèn)就會(huì)前進(jìn)到下一個(gè)路由節(jié)點(diǎn)的緩存中或者被執(zhí)行,并且釋放前一時(shí)刻它們所占用的路由節(jié)點(diǎn)的緩存空間,這樣就可以為需要該緩存空間的訪問(wèn)提供前進(jìn)的機(jī)會(huì);最后模擬器會(huì)根據(jù)執(zhí)行結(jié)果更新網(wǎng)絡(luò)狀態(tài)和訪問(wèn)集信息,這些信息會(huì)在下一個(gè)時(shí)鐘周期到來(lái)時(shí)反饋給模擬器.6實(shí)驗(yàn)與結(jié)果分析6.1usb配置論文中的模擬器工具是運(yùn)行在VisualC++6.0平臺(tái)上,圖8顯示了該模擬器的操作界面.目前工業(yè)界和學(xué)術(shù)界現(xiàn)有的片上網(wǎng)絡(luò)模擬器只有Simics+GEMS能提供對(duì)存儲(chǔ)器訪問(wèn)進(jìn)行模擬的功能,但是Simics+GEMS模擬器運(yùn)行速度很慢,在雙核3.0GHz的PC上只能同時(shí)運(yùn)行具有4個(gè)處理器的片上網(wǎng)絡(luò),相對(duì)于Simics+GEMS,本文設(shè)計(jì)的模擬器具有高效性,如圖9所示,本模擬器在4×4的網(wǎng)絡(luò)中對(duì)64KB的訪問(wèn)集進(jìn)行模擬,所需的執(zhí)行時(shí)間不足半分鐘.同時(shí)該模擬器所使用的與存儲(chǔ)器訪問(wèn)有關(guān)的參數(shù)均來(lái)自于實(shí)際的存儲(chǔ)設(shè)備(如DDR133、DDR200、DDRII266、DDRII400、DDRIII533、DDRIII800等),這為該模擬器的準(zhǔn)確性提供了有效的保證.6.2測(cè)試內(nèi)容即5.2.本單元使用該模擬器工具對(duì)大量不同類(lèi)型的訪問(wèn)集進(jìn)行存儲(chǔ)器訪問(wèn)模擬,并通過(guò)對(duì)模擬結(jié)果的分析,給出存儲(chǔ)器訪問(wèn)性能優(yōu)化的NoC設(shè)計(jì)建議.測(cè)試數(shù)據(jù)的特點(diǎn):測(cè)試均基于4*4的mesh網(wǎng)絡(luò).網(wǎng)絡(luò)中包含1個(gè)共享的存儲(chǔ)器(該存儲(chǔ)器包含4個(gè)Bank)和15個(gè)處理器.存儲(chǔ)器和處理器的位置均分為三種情況:角、邊、中間.測(cè)試內(nèi)容共分為兩部分,一部分是隨機(jī)訪問(wèn)集的測(cè)試,另一部分是指定Bank的訪問(wèn)集的測(cè)試.存儲(chǔ)器每種放置分別對(duì)應(yīng)10種不同的處理器放置,這在隨機(jī)訪問(wèn)集和指定Bank的訪問(wèn)集的測(cè)試中都有體現(xiàn).6.2.1不同位置對(duì)處理器訪問(wèn)性能的影響在大多數(shù)系統(tǒng)中處理器對(duì)存儲(chǔ)器的訪問(wèn)無(wú)固定規(guī)律,所以本小節(jié)采用隨機(jī)生成的訪問(wèn)集,從而達(dá)到與真實(shí)系統(tǒng)最大程度的逼近.該實(shí)驗(yàn)通過(guò)對(duì)隨機(jī)訪問(wèn)集的測(cè)試來(lái)分析存儲(chǔ)器和處理器的位置對(duì)存儲(chǔ)器的訪問(wèn)性能的影響.隨機(jī)訪問(wèn)集的隨機(jī)主要是指訪問(wèn)集的訪存參數(shù)如訪存需求的讀寫(xiě)模式、行地址等都是隨機(jī)生成的.存儲(chǔ)器的位置共分為角、邊、中間三種,存儲(chǔ)器每種位置分別對(duì)應(yīng)10種不同的處理器放置.為了分析存儲(chǔ)器和處理器的位置對(duì)存儲(chǔ)器訪問(wèn)性能的影響,測(cè)試時(shí)除了由于存儲(chǔ)器和處理器位置的改變導(dǎo)致的訪問(wèn)集的訪問(wèn)路徑的變化之外,訪問(wèn)集的其他信息均保持不變.對(duì)隨機(jī)訪問(wèn)集的模擬結(jié)果如上頁(yè)圖10所示.從圖10的測(cè)試結(jié)果可以看出:1)存儲(chǔ)器在不同位置對(duì)訪問(wèn)性能并無(wú)影響.如圖10示,存儲(chǔ)器在角、邊、中間時(shí),存儲(chǔ)器的訪問(wèn)性能并無(wú)明顯區(qū)別,說(shuō)明來(lái)自不同路徑上的訪問(wèn)請(qǐng)求的多少并不影響訪問(wèn)性能.2)處理器位置的改變并不影響存儲(chǔ)器的訪問(wèn)性能.由于本節(jié)采用的處理器訪問(wèn)集為隨機(jī)生成,即使處理器的位置發(fā)生改變存儲(chǔ)器的訪問(wèn)序列仍然是大量隨機(jī)訪問(wèn)的排列,所以如圖10示在訪問(wèn)集是隨機(jī)生成的情況下,處理器所在位置對(duì)存儲(chǔ)器的訪問(wèn)性能無(wú)影響.6.2.2跨路徑的選擇由于存儲(chǔ)器訪問(wèn)延時(shí)主要由Bank沖突引起,當(dāng)訪問(wèn)集完全隨機(jī)生成的情況下,很難避免Bank沖突;對(duì)于存儲(chǔ)器所在的路由結(jié)點(diǎn),假設(shè)在系統(tǒng)運(yùn)行的每一時(shí)刻該點(diǎn)的多條輸入路徑上都存在著對(duì)多個(gè)Bank的訪問(wèn),即存儲(chǔ)器結(jié)點(diǎn)的SDRAM-aware路由器總能夠選擇到一個(gè)與前一次訪問(wèn)不發(fā)生Bank沖突的訪問(wèn),則該系統(tǒng)發(fā)生Bank訪問(wèn)沖突的可能性就會(huì)極大地降低,存儲(chǔ)器的訪問(wèn)性能也能夠得到進(jìn)一步的提升.本節(jié)為了模擬以上的假設(shè),對(duì)每個(gè)處理器所使用的Bank進(jìn)行了指定,并通過(guò)處理器