lec1-GPU硬件體系結(jié)構(gòu)介紹

GPU硬件體系結(jié)構(gòu)介紹大綱GPU最近的成果CPUvs.GPU最近的GPU體系結(jié)構(gòu)CPU和GPU發(fā)展趨勢GPUcomputing20082013100M150K1604000430MCUDAcompatibleGPUs1.6MCUDA下載50超級計算機640所大學采用CUDA課程37,000篇paper應(yīng)用領(lǐng)域Oil&Gas信號圖像處理計算機視覺生命科學&材料科學分子動力學生物信息學醫(yī)療圖像CT,MRI,etcBigdata…CPUvs.GPU(GFLOPS)CPUvs.GPU(GB/s)CPU體系結(jié)構(gòu)DRAMCacheI$ControlALUFPUI$ControlALUFPUI$ControlALUFPUI$ControlALUFPUGPU體系結(jié)構(gòu)(SIMD/SIMT)DRAMCacheI$ControlALUALUALUALUALUALU…I$ControlALUALUALUALUALUALU…I$ControlALUALUALUALUALUALU…I$ControlALUALUALUALUALUALU…為什么需要SIMD(SIMT)控制邏輯vs.數(shù)據(jù)通路(i$/fetch/issue/decode/…)mm^2/flop記分牌(scoreboard)分支預測亂序緩存(re-orderbuffer)MemorywallByte/flop訪存效率DDR的特點PowerwallWatt/flopMemoryWall 為什么？Byte/flop(compute)典型應(yīng)用訪存效率DDR特點提高訪存效率Byte/compute比例程序=數(shù)據(jù)+算法完成單位計算需要的數(shù)據(jù)矩陣乘法DDR架構(gòu)選擇bank激活（activate）一行（行尋址）根據(jù)列地址讀取數(shù)據(jù)（列尋址）ArrayofcellsdecodeArrayofcellsdecodeRowdataRowdatarowbankcolcoladdrcoladdrDatabusDDR時序（簡化模型）

提高訪存效率主要指標：byte/activateCPU:大cache提高命中率，減少訪存次數(shù)L2/L3cache增加mm^2/flopGPU:高并發(fā)，合并訪存提高byte/activate控制邏輯vs.數(shù)據(jù)通路更多控制邏輯？SISD更多數(shù)據(jù)通路？SIMDSIMD的優(yōu)勢mm^2/flopwatt/flop但是…并行編程挑戰(zhàn)資源訪問沖突訪存效率冗余計算負載均衡通訊開銷如何利用多核系統(tǒng)MassiveParallelismDataparallelismRegularcomputationDosimilarworkindifferentthread避免資源沖突挑戰(zhàn)？機遇？高頻率==高性能？GPU歷史固定功能流水線可編程流水線統(tǒng)一處理器流水線通用圖形處理器(GPGPU)GPU固定流水線簡單OpenGL程序大部分功能固定只能修改部分參數(shù)可編程流水線簡單的shaderPixel-shaderforeachpixel{Input:pixel坐標，等Output:pixel顏色，等}統(tǒng)一處理器流水線通用計算（GPGPU）利用GPU的高浮點計算能力利用OpenGL啟動計算代碼缺點編程困難OpenGL的開銷…CUDA/OpenCLCUDA簡單模型GPUCPU數(shù)據(jù)+代碼運算結(jié)果GTX8800http://Kepler(K20)http://

http://Kepler(K20)SMX處理器架構(gòu)高性能peakflops高效率perf/watt存儲系統(tǒng)增強的編程模型SMX1xclock2x數(shù)據(jù)通路面積節(jié)省功耗4

warpscheduler32個線程同時調(diào)度（warp）2dispatchp