AII考试学习 GPU相关TYPE指标释义

nvidia-smi -d 全部 TYPE 指标完整释义

-d TYPE 配合 nvidia-smi -q 使用，只输出指定模块信息，多模块用逗号分隔；功耗、利用率、时钟会附带最大 / 最小 / 平均值采样数据；不能和 -u、-x 同时使用。

• 训练排障必用组合：MEMORY,UTILIZATION,TEMPERATURE,POWER,CLOCK nvidia-smi -q -d MEMORY,UTILIZATION,TEMPERATURE,POWER
• 硬件故障排查：ECC,PAGE_RETIREMENT,ROW_REMAPPER,GSP_FIRMWARE_VERSION

nvidia-smi -q -d ECC,PAGE_RETIREMENT,ROW_REMAPPER

• 性能调优：CLOCK,SUPPORTED_CLOCKS,POWER_PROFILES,VOLTAGE

nvidia-smi -q -d CLOCK,PERFORMANCE,VOLTAGE

• 进程 / 资源统计：PIDS,ACCOUNTING

nvidia-smi -q -d PIDS

逐条指标详解

1. MEMORY显存相关信息

• 总显存、已用显存、空闲显存
• 显存缓冲区、 reserved 预留显存
• 显存故障页、显存带宽占用排查 OOM、显存泄漏、显存硬件故障专用。

1. UTILIZATION GPU 利用率指标

• GPU 核心计算利用率
• 显存读写利用率
• GPU 采样最大 / 最小 / 平均利用率判断显卡是否打满、负载不均衡问题。

1. ECCECC 纠错内存（数据中心 A/H/H100 等专业卡）

• 单比特可纠正错误、双比特不可纠正错误计数
• ECC 开关状态、错误日志、ECC 内存容量用于排查显存硬件损坏、内存稳定性故障。

1. TEMPERATURE温度信息

• GPU 当前温度、慢降阈值、快降阈值、关机温度
• 目标温控温度、散热策略定位热节流、风扇狂转、高温降频。

1. POWER功耗相关

• 当前实时功耗、功耗上限、最低功耗、默认功耗墙
• 功耗平滑参数、功耗最大 / 最小 / 平均采样值排查功耗节流、供电不稳、功耗异常偏高。

1. CLOCK时钟频率

• 当前核心频率、显存频率、视频编码时钟
• 最大 / 最小 / 平均时钟采样
• 当前生效锁定时钟判断是否降频、时钟锁定是否生效。

1. COMPUTE计算模式配置

• Default/Exclusive Process/Prohibited 三种计算模式
• MIG 多实例 GPU 算力分配状态多卡任务抢占、MIG 实例配置排查。

1. PIDS运行中的 CUDA 进程

• 所有占用 GPU 进程 PID、占用显存、进程名称nvidia-smi pmon 底层同源数据，排查显存占用进程。

1. PERFORMANCE性能状态 P-StateGPU 性能档位 P0~P12，P0 满速，数字越大性能越低自动降档、性能受限、功耗温控都会改变 P-State。
2. SUPPORTED_CLOCKS显卡支持的合法时钟档位列表查看可锁定的核心 / 显存时钟区间，用于调优 -lgc/-lmc。
3. PAGE_RETIREMENT显存坏页隔离硬件检测到损坏显存页会自动隔离，记录坏页数量；坏页持续增多代表显卡显存硬件老化损坏。
4. ACCOUNTINGGPU 记账统计开启 -am 1 后生效，记录每个进程运行时长、显存峰值、算力占用；用于资源计费、任务资源占用统计。
5. ENCODER_STATS视频编码硬件编码器统计编码会话数、编码负载、硬件编码利用率；视频推理、直播转码场景使用，大模型训练基本不用。
6. SUPPORTED_GPU_TARGET_TEMP支持的温控目标温度区间可修改的显卡温控目标温度上下限，调节散热策略。
7. VOLTAGEGPU 核心电压实时核心供电电压、电压调节区间；超频、供电异常、功耗异常排查。
8. FBC_STATS帧缓冲捕获统计桌面画面录制、虚拟机投屏硬件捕获负载，AI 训练极少用到。
9. ROW_REMAPPER显存行重映射显存硬件行故障自动修复机制，数值上涨代表显存存在硬件缺陷。
10. GSP_FIRMWARE_VERSIONGPU 系统处理器固件版本Hopper/H100 及更新架构带 GSP 独立固件，固件异常会引发 XID 报错、算力异常。
11. POWER_SMOOTHING功耗平滑参数显卡功耗波动缓冲配置，抑制瞬时功耗尖峰，避免瞬间功耗撞墙降频。
12. POWER_PROFILES功耗预设配置文件厂商预设多套功耗 / 性能平衡方案，可切换平衡、高性能、节能模式