內(nèi)存系統(tǒng)對(duì)性能的影響

內(nèi)存系統(tǒng)對(duì)性能的影響第一頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存系統(tǒng)對(duì)性能的影響對(duì)于很多應(yīng)用而言，瓶頸在于內(nèi)存系統(tǒng)，而不是CPU內(nèi)存系統(tǒng)的性能包括兩個(gè)方面：延遲和帶寬Latencyisthetimefromtheissueofamemoryrequesttothetimethedataisavailableattheprocessor.Bandwidthistherateatwhichdatacanbepumpedtotheprocessorbythememorysystem.第二頁(yè)，共十六頁(yè)，編輯于2023年，星期日延遲和帶寬的區(qū)別理解延遲與帶寬的區(qū)別非常重要。考慮消防龍頭的情形。如果打開(kāi)消防龍頭后2秒水才從消防水管的盡頭流出，那么這個(gè)系統(tǒng)的延遲就是2秒。當(dāng)水開(kāi)始流出后，如果水管1秒鐘能流出5加侖的水，那么這個(gè)水管的“帶寬”就是5加侖/秒。如果想立刻撲滅火災(zāi)，那么更重要是減少延遲的時(shí)間。如果是希望撲滅更大的火，那么需要更高的帶寬。第三頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存延遲示例考慮某一處理器以1GHz（1納秒時(shí)鐘）運(yùn)行，與之相連的DRAM有100納秒的延遲（沒(méi)有高速緩存）。假設(shè)處理器有兩個(gè)multiply-add部件，在每1納秒的周期內(nèi)能執(zhí)行4條指令。處理器的峰值是4GFLOPS。由于內(nèi)存延遲是100個(gè)周期，并且塊大小為一個(gè)字（word），每次處理內(nèi)存訪(fǎng)問(wèn)請(qǐng)求時(shí)，處理器必須要等待100個(gè)周期，才能夠獲得數(shù)據(jù)。第四頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存延遲示例在以上平臺(tái)上，考慮計(jì)算兩個(gè)向量點(diǎn)積的問(wèn)題。計(jì)算點(diǎn)積對(duì)每對(duì)向量元素進(jìn)行一次乘法-加法運(yùn)算，即每一次浮點(diǎn)運(yùn)算需要取一次數(shù)據(jù)。此計(jì)算的峰值速度的限制是，每100納秒才能夠進(jìn)行一次浮點(diǎn)計(jì)算，速度為10MFLOPS，只是處理器峰值速度的每小一部分。第五頁(yè)，共十六頁(yè)，編輯于2023年，星期日使用高速緩存改善延遲高速緩存是處理器與DRAM之間的更小但更快的內(nèi)存單元。這種內(nèi)存是低延遲高帶寬的存儲(chǔ)器。如果某塊數(shù)據(jù)被重復(fù)使用，高速緩存就能減少內(nèi)存系統(tǒng)的有效延遲由高速緩存提供的數(shù)據(jù)份額稱(chēng)為高速緩存命中率(hitratio)高速緩存命中率嚴(yán)重影響內(nèi)存受限程序的性能。第六頁(yè)，共十六頁(yè)，編輯于2023年，星期日高速緩存第七頁(yè)，共十六頁(yè)，編輯于2023年，星期日緩存效果示例 繼續(xù)考慮前一示例。在其中加入一個(gè)大小為32KB，延遲時(shí)間為1納秒(或1個(gè)周期)的高速緩存。使用此系統(tǒng)來(lái)計(jì)算矩陣乘法，兩個(gè)矩陣A和B的維數(shù)為32×32。之所以選擇這個(gè)大小，是為了能夠?qū)、B兩個(gè)矩陣以及結(jié)果矩陣都放入高速緩存中。第八頁(yè)，共十六頁(yè)，編輯于2023年，星期日緩存效果示例結(jié)果如下將兩個(gè)矩陣取到高速緩存中等同于取2K個(gè)字，需要大約200μs。兩個(gè)n×n的矩陣乘需要2n3步計(jì)算。在本例中，需要64K步計(jì)算，如果每個(gè)周期執(zhí)行4條指令，則需要16K個(gè)周期，即16μs?？傆?jì)算時(shí)間大約是加載存儲(chǔ)時(shí)間以及計(jì)算時(shí)間之和，即200+16μs。峰值計(jì)算速度為64K/216=303MFLOPS。第九頁(yè)，共十六頁(yè)，編輯于2023年，星期日緩存的效果對(duì)相同數(shù)據(jù)項(xiàng)的重復(fù)引用相當(dāng)于“時(shí)間本地性(temporallocality)”對(duì)于高速緩存的性能來(lái)說(shuō)，數(shù)據(jù)的重復(fù)使用至關(guān)重要。第十頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存帶寬的影響內(nèi)存帶寬由內(nèi)存總線(xiàn)的帶寬和內(nèi)存部件決定。?可以通過(guò)增加內(nèi)存塊的大小來(lái)提高帶寬。底層系統(tǒng)在L時(shí)間單位內(nèi)(L為系統(tǒng)的延遲)存取B單位的數(shù)據(jù)(B為塊大小)第十一頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存帶寬的影響示例繼續(xù)上一示例，將塊大小由1個(gè)字改為4個(gè)字。同樣考慮點(diǎn)積計(jì)算：假定向量數(shù)據(jù)在內(nèi)存中線(xiàn)性排列，則在200個(gè)周期內(nèi)能夠執(zhí)行8FLOPs(4次乘法-加法)這是因?yàn)槊恳淮蝺?nèi)存訪(fǎng)問(wèn)取出向量中4個(gè)連續(xù)的字因此，兩次連續(xù)訪(fǎng)問(wèn)能夠取出每個(gè)向量中的4個(gè)元素。這就相當(dāng)于每25ns執(zhí)行一次FLOP，即峰值速度為40MFLOPS。第十二頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存帶寬的影響需要注意的是，增加塊的大小，并不能改變系統(tǒng)的延遲。物理上講，本例中的情形可以認(rèn)為是與多個(gè)存儲(chǔ)區(qū)相連接的寬的數(shù)據(jù)總線(xiàn)(4個(gè)字，或者128位)實(shí)際上，構(gòu)建這樣的寬總線(xiàn)的代價(jià)是昂貴的。在更切實(shí)可行的系統(tǒng)中，得到第一個(gè)字后，連續(xù)的字在緊接著的總線(xiàn)周期里被送到內(nèi)存總線(xiàn)。第十三頁(yè)，共十六頁(yè)，編輯于2023年，星期日內(nèi)存帶寬的影響示例以上示例清楚地說(shuō)明了增加帶寬對(duì)于提高峰值計(jì)算速度的影響。對(duì)數(shù)據(jù)布局的假設(shè)是，連續(xù)的數(shù)據(jù)字被連續(xù)的指令所使用(空間本地性，spatiallocality)如果以數(shù)據(jù)布局為中心，那么計(jì)算的步驟應(yīng)該確保連接的計(jì)算使用連接的數(shù)據(jù)第十四頁(yè)，共十六頁(yè)，編輯于2023年，星期日小結(jié)以上示例說(shuō)闡述了如下概念：利用應(yīng)用程序的空間本地性與時(shí)間本地性對(duì)于減少內(nèi)存延遲及提高有效內(nèi)存帶寬非常重要。計(jì)算次數(shù)與內(nèi)存訪(fǎng)問(wèn)次數(shù)的比是一個(gè)很好的預(yù)測(cè)內(nèi)存帶寬的承受程序的指標(biāo)。內(nèi)存的布局以及合理組織計(jì)