AII考试学习2 NVSM

https://docs.nvidia.com/datacenter/nvsm/nvsm-user-guide/latest/

很多人容易把它和nvidia-smi混淆，其实二者定位完全不同：

nvidia-smi：显卡驱动自带工具，仅能查看、管理单台设备的 GPU 状态。

NVSM（NVIDIA System Manager）：DGX 专属整机运维工具，覆盖服务器全硬件+多节点集群管理，是 DGX 机房运维、认证考试的重点内容。

一、NVSM 核心基础认知

1. 常驻运行机制（Always On）

NVSM 默认开机自启，后台长期驻留运行，不间断采集服务器整机硬件数据，无需手动触发命令即可获取实时状态。

它可以整合替代nvidia-smi、ipmitool、lspci 等零散命令，实现服务器硬件监控统一化，同时支持对接 Prometheus、Grafana 实现可视化监控。

2. 安装适配校验

NVSM仅支持 DGX 系列设备（DGX 机架服务器、DGX Station），普通 RTX 工作站、自研服务器无法完整适配。

安装后可通过核心命令快速校验可用性：

sudo nvsm show health

校验维度包含：NVSM 核心进程、BMC 接口权限、硬件遥测通道、集群通信服务等。

二、NVSM 命令行实操

NVSM 命令行分为交互模式和非交互模式，适配不同运维场景。

1. 交互式模式（深度排查）

输入以下命令进入专属终端，支持分层目录管理，适合精细化故障排查：

sudo nvsm

常用分层操作：进入 GPU 目录、查看硬件详情，可逐层查看 CPU、电源、风扇、存储、网络等全硬件状态。

2. 非交互式模式（日常运维/脚本适配）

单行命令直接执行，适配自动化脚本、批量巡检，高频核心命令：

sudo nvsm show health # 整机健康一键巡检 
sudo nvsm show gpus # 查看所有GPU硬件状态 
sudo nvsm show power # 查看整机电源信息 
sudo nvsm show nvlink # 检测NVLink链路健康状态

3. 帮助查询

通过nvsm -h 或交互模式内help，可查询全部子命令，区分整机运维、集群管理、硬件告警等不同功能模块。

三、BMC 带外监控配置

BMC 是服务器带外管理核心芯片，NVSM 通过Redfish 标准化接口 读写硬件数据，实现电源、风扇、硬件告警的远程监控与管理。

必须配置正确的 BMC 密码，否则无法采集服务器底层硬件数据，带外监控功能会完全失效。

四、软硬件健康巡检

1. 整机硬件健康检测

NVSM 可一键检测服务器 200+ 硬件指标，覆盖 CPU、内存、PCIe、NVLink、GPU、电源、风扇、硬盘、温度等全维度硬件状态。

两大核心命令分工明确：

nvsm show health：快速输出硬件健康摘要，实时定位故障硬件、高危告警

nvsm dump health：导出完整故障日志压缩包，用于提交 NVIDIA 官方售后工单

常见告警场景：PCIe 降速、NVLink 链路中断、电源异常、内存报错等，均会标记为 Critical 严重故障。

2. 软件环境健康检测

除了硬件，NVSM 还会校验整机软件环境兼容性：

包含驱动、GSP 固件、BMC 固件、NVSwitch、Fabric Manager、CUDA 环境、集群组件版本匹配度。

高频故障：GSP 固件版本过低、Fabric 服务未启动、驱动与 DGX 固件不兼容。

五、监控与整机运维功能

1. 可视化监控配置

支持对接 Prometheus+Grafana 监控大屏，可自定义：

• 硬件指标采集周期
• 温度、功耗、链路故障告警阈值
• 邮件、运维平台消息推送

2. 整机硬件运维操作

无需额外工具，NVSM 可直接完成 DGX 核心运维操作：

• 调整风扇策略、设置整机功耗上限
• BMC 远程开关机、硬件复位
• NVLink 链路重启、GPU 整机复位
• 查看 RAID 阵列状态、隔离故障硬盘

六、Call Home 自动售后功能（二十多年前EMC高端存储接的电话线就是做这个的）

这是 DGX 集群无人值守运维的核心功能，大幅降低硬件故障处置成本。

触发逻辑：服务器出现 GPU 损坏、电源失效、NVLink 彻底断开等致命硬件故障时，NVSM 会自动执行：

1. 采集全套硬件故障日志
2. 绑定设备 SN 唯一序列号
3. 自动向 NVIDIA 官方平台提交售后工单

支持手动触发、故障自动触发、定时日志上传三种模式，是大规模 AI 集群运维的必备能力。

七、多节点集群管理

NVSM 支持单条命令跨多台 DGX 节点批量运维，无需逐台登录服务器，适配大型 AI 集群。

1. 部署前提

所有节点 NVSM 服务正常运行、节点网络互通、配置统一集群证书、BMC 带外通信正常。

2. 集群高频命令

nvsm show health --node 23 # 查看指定节点整机健康 
nvsm show gpus --node all # 批量查询集群所有GPU状态 
nvsm dump health --node all # 导出全集群硬件故障日志

3. OOB 带外遥测（核心优势）

普通nvidia-smi 依赖系统运行，服务器宕机、系统崩溃后完全失效。

而 NVSM 的 OOB 带外监控，依托 BMC 独立芯片运行，服务器关机、宕机、系统崩溃时，仍可采集温度、电源、风扇、硬件故障数据。

NVSM vs nvidia-smi 核心区别

另外提一句，NVSM未开源，只能使用在英伟达特定设备上。