GPU監(jiān)控查看參考模板

1、1  NVIDIA-SMI介紹        nvidia-smi簡稱NVSMI，提供監(jiān)控GPU使用情況和更改GPU狀態(tài)的功能，是一個(gè)跨平臺(tái)工具，它支持所有標(biāo)準(zhǔn)的NVIDIA驅(qū)動(dòng)程序支持的Linux發(fā)行版以及從WindowsServer 2008 R2開始的64位的系統(tǒng)。該工具是N卡驅(qū)動(dòng)附帶的，只要安裝好驅(qū)動(dòng)后就會(huì)有它。    Windows下程序位置：C:Program FilesNVIDIACorporationNVSMInvidia-smi.exe。Linux下程序位置：/usr/bin/

2、nvidia-smi，由于所在位置已經(jīng)加入PATH路徑，可直接輸入nvidia-smi運(yùn)行。                                                          

3、                 CMD   以下先加載cd   c:PROGRA1NVIDIA1NVSMI>nvidia-smi2  NVIDIA-SMI命令系列詳解2.1  nvidia-smi顯示所有GPU的當(dāng)前信息狀態(tài) 顯示的表格中：Fan：                

4、  風(fēng)扇轉(zhuǎn)速（0%-100%），N/A表示沒有風(fēng)扇Temp：                 GPU溫度（GPU溫度過高會(huì)導(dǎo)致GPU頻率下降）Perf：                    性能狀態(tài)，從P0（最大性能）到P12（最小性能）Pwr：         &#

5、160;           GPU功耗Persistence-M：    持續(xù)模式的狀態(tài)（持續(xù)模式耗能大，但在新的GPU應(yīng)用啟動(dòng)時(shí)花費(fèi)時(shí)間更少）Bus-Id：                 GPU總線，domain:bus:device.function1 / 8Disp.A：            &#

6、160;    Display Active，表示GPU的顯示是否初始化Memory-Usage：   顯存使用率Volatile GPU-Util： GPU使用率ECC：                   是否開啟錯(cuò)誤檢查和糾正技術(shù)，0/DISABLED, 1/ENABLEDCompute M.：      計(jì)算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/P

7、ROHIBITED 附加選項(xiàng)：nvidia-smi i xxx指定某個(gè)GPUnvidia-smi l xxx動(dòng)態(tài)刷新信息（默認(rèn)5s刷新一次），按Ctrl+C停止，可指定刷新頻率，以秒為單位nvidia-smi f xxx將查詢的信息輸出到具體的文件中，不在終端顯示2.2  nvidia-smi -q查詢所有GPU的當(dāng)前詳細(xì)信息 附加選項(xiàng)：nvidia-smi q u顯示單元而不是GPU的屬性nvidia-smi q i xxx指定具體的GPU或unit信息nvidia-smi q f xxx將查詢的信息輸出到具體的文件中，不在終端顯示nvidia-smi

8、 q x將查詢的信息以xml的形式輸出nvidia-smi -q d xxx指定顯示GPU卡某些信息，xxx參數(shù)可以為MEMORY, UTILIZATION, ECC, TEMPERATURE, POWER,CLOCK, COMPUTE, PIDS, PERFORMANCE, SUPPORTED_CLOCKS, PAGE_RETIREMENT,ACCOUNTINGnvidia-smi q l xxx動(dòng)態(tài)刷新信息，按Ctrl+C停止，可指定刷新頻率，以秒為單位nvidia-smi -query-gpu=gpu_name,gpu_bus_id,vbios_version-format=csv選擇性

9、查詢選項(xiàng)，可以指定顯示的屬性選項(xiàng) 可查看的屬性有：timestamp，driver_version，pci.bus，pcie.link.width.current等。（可查看nvidia-smi-help-querygpu來查看有哪些屬性）2.3  設(shè)備修改選項(xiàng)可以手動(dòng)設(shè)置GPU卡設(shè)備的狀態(tài)選項(xiàng)nvidia-smi pm 0/1設(shè)置持久模式：0/DISABLED,1/ENABLEDnvidia-smi e 0/1切換ECC支持：0/DISABLED, 1/ENABLEDnvidia-smi p 0/1重置ECC錯(cuò)誤計(jì)數(shù)：0/VOLATILE, 1/AGGREGAT

10、Envidia-smi c設(shè)置計(jì)算應(yīng)用模式：0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITEDnvidia-smi rGPU復(fù)位nvidia-smi vm設(shè)置GPU虛擬化模式nvidia-smi ac xxx,xxx設(shè)置GPU運(yùn)行的工作頻率。e.g. nvidia-smi ac2000,800nvidia-smi rac將時(shí)鐘頻率重置為默認(rèn)值nvidia-smi acp 0/1切換-ac和-rac的權(quán)限要求，0/UNRESTRICTED, 1/RESTRICTEDnvidia-smi pl指定最大電源管理限制（瓦特）nvidia-smi am 0/1啟用或禁用

11、計(jì)數(shù)模式，0/DISABLED,1/ENABLEDnvidia-smi caa清除緩沖區(qū)中的所有已記錄PID，0/DISABLED,1/ENABLED2.4  nvidia-smi dmon設(shè)備監(jiān)控命令，以滾動(dòng)條形式顯示GPU設(shè)備統(tǒng)計(jì)信息。GPU統(tǒng)計(jì)信息以一行的滾動(dòng)格式顯示，要監(jiān)控的指標(biāo)可以基于終端窗口的寬度進(jìn)行調(diào)整。 監(jiān)控最多4個(gè)GPU，如果沒有指定任何GPU，則默認(rèn)監(jiān)控GPU0-GPU3（GPU索引從0開始）。 附加選項(xiàng)：nvidia-smi dmon i xxx用逗號(hào)分隔GPU索引，PCI總線ID或UUIDnvidia-smi dmon d xxx指定刷新時(shí)

12、間（默認(rèn)為1秒）nvidia-smi dmon c xxx顯示指定數(shù)目的統(tǒng)計(jì)信息并退出 nvidia-smi dmon s xxx指定顯示哪些監(jiān)控指標(biāo)（默認(rèn)為puc），其中：p：電源使用情況和溫度（pwr：功耗，temp：溫度）u：GPU使用率（sm：流處理器，mem：顯存，enc：編碼資源，dec：解碼資源）c：GPU處理器和GPU內(nèi)存時(shí)鐘頻率（mclk：顯存頻率，pclk：處理器頻率）v：電源和熱力異常m：FB內(nèi)存和Bar1內(nèi)存e：ECC錯(cuò)誤和PCIe重顯錯(cuò)誤個(gè)數(shù)t：PCIe讀寫帶寬nvidia-smi dmon o D/T指定顯示的時(shí)間格式D：YYYYMMDD，THH:MM:SSnvidia-smi dmon f xxx將查詢的信息輸出到具體的文件中，不在終端顯示2.5   nvidia-smi pmon進(jìn)程監(jiān)控命令，以滾動(dòng)條形式顯示GPU進(jìn)程狀態(tài)信息。GPU進(jìn)程統(tǒng)計(jì)信息以一行的滾動(dòng)格式顯示，此工具列出了GPU所有進(jìn)程的統(tǒng)計(jì)信息。要監(jiān)控的指標(biāo)可以基于終端窗口的寬度進(jìn)行調(diào)整。 監(jiān)控最多4個(gè)GPU，如果沒有指定任何GPU，則默認(rèn)監(jiān)控GPU0-GPU3（GPU索引從0開始）。 附加選項(xiàng)：nvidia-smi pmon i xxx用逗號(hào)分隔GPU索引，PCI總線ID或UUIDnvidia-smi pmon d xxx指定刷