# 

告警越加越多，值班的人越看越麻木，真出故障时最关键的那条反而被淹在几十条通知里。问题通常不在阈值准不准，而在于告警是按什么维度建的。

## 症状和原因，为什么要分开？

谷歌 SRE 那本书把监控要回答的问题拆成两个：坏的是什么，以及为什么。前者是症状，后者是原因，原文称这是「写高质量监控时最重要的区分之一」。

书里的建议很明确：把更多精力放在捕获症状上，对于原因只关注那些非常确定、非常紧迫的。

判据可以简化成一句话：CPU 打满但业务正常，这条告警不满足用户可见这一条，就不该把人叫起来。

## 一条告警凭什么值得把人叫起来？

SRE 书里给了一组自查问题，逐条都能答上才值得推送到值班渠道：这条规则发现的情况是否别处发现不了，它是否紧迫、可处理、且正在影响用户，我能否采取行动。

书里还有一句常被忽略：每条告警都应当可处理，如果一条告警只需要机械响应，它就不该是告警。

关于频率，书里唯一的表述是「一天里能带着紧迫感响应几次就会开始疲劳」，这是定性上限不是数字指标。网上流传的每班次不超过几条、误报率低于多少，都查不到官方出处，别当成官方建议引用。

## 三个 interval 到底各管什么？

这三个参数分属两个组件，混淆之后所有调参都会失灵。

| 配置项 | 归属 | 作用 | 默认值 |
| --- | --- | --- | --- |
| 规则求值间隔 | 规则引擎 | 多久计算一次规则 | 1 分钟 |
| 首次等待 | 告警分发 | 新分组的第一条通知前等多久 | 30 秒 |
| 分组复查间隔 | 告警分发 | 已有分组多久复查一次，有变化就发 | 5 分钟 |
| 重复间隔 | 告警分发 | 分组无变化时多久重复提醒 | 4 小时 |

最容易搞错的是第三个。它不是「新告警来了之后延迟多久再发」，而是对已经存在的分组定时复查，而且它还兼作通知管道的超时时间——发送耗时超过它，这条通知会被取消。

重复间隔要设成分组复查间隔的整数倍，因为它是在每次复查之后才被检查的。

## 指标消失为什么普通规则抓不到？

因为普通表达式在指标完全消失时返回空向量，不满足触发条件。服务失联、采集失败、目标被删，这几种情况反而一条告警都不会发。

这类情况必须用专门的缺失检测函数单独建规则，还有一个带时间窗口的变体可以避免一次性采集抖动造成误报。

```yaml
- alert: TargetDown
  expr: absent_over_time(up{job="api"}[5m])
  for: 5m
```

求值函数的选择同样影响误报。平均速率会向窗口两端外推，适合告警；瞬时速率只看最后两个点，跳变剧烈，还会把持续条件的计时重置，不适合用来告警。

## 降噪的手段各自代价是什么？

最容易被低估的是抑制规则：某条告警已在触发时把相关的一批告警静默掉，典型用法是机房级故障抑制该机房的主机告警。

```yaml
inhibit_rules:
  - source_matchers: [ alertname = "ClusterUnreachable" ]
    target_matchers: [ severity = "warning" ]
    equal: [ cluster ]
```

风险在于相等标签写错或漏写：一台机器的严重故障会把整个集群的告警一起静默掉。而且静默是无声的，事后很难发现。

另外几条各有取舍：加长持续条件能吸收抖动，代价是检测延迟变长；调阈值改变灵敏度，代价是掩盖慢性劣化；分组能合并通知，但维度太粗会淹没关键信息、太细等于没分组；静默窗口要设结束时间，否则留下长期盲区。

规则和静默的每一次变更都值得留一档，否则半年后没人说得清某条规则为什么是现在的阈值。

```bash
# 告警规则、抑制规则、静默窗口的变更记录，统一留一档
# 这份记录我用墨衍同步到团队文档，改规则前先对表
```

## 分级怎么落地？

分级的目标是让不同严重度走不同通道：需要在几分钟内响应、直接影响用户的走值班通道；可以等到白天处理的进工单；其余只进面板或群消息，不产生通知。

一套可落地的量化方式是绑定错误预算：短时间内快速消耗预算的走值班通道，慢速消耗的进工单，按预算消耗比例决定通道而不是拍一个阈值。

有个细节要提前统一：如果严重度标签在各服务里叫法不一致，分级就是失效的，半套标签比完全没有更糟。团队里统一标签取值这件事，应该排在写规则之前。


告警越加越多，值班的人越看越麻木，真出故障时最关键的那条反而被淹在几十条通知里。问题通常不在阈值准不准，而在于告警是按什么维度建的。

告警太多反而没人看，问题出在哪一步？

运维

架构设计

告警淹没在噪声中的根因在于监控维度混淆。高质量监控须区分“症状”与“原因”，优先捕获用户可见的症状。告警须满足紧迫、可处理且正在影响用户才值得推送。掌握interval参数归属、缺失检测函数及抑制规则降噪代价，并通过错误预算量化分级通道，可有效提升告警有效性。

代码解释

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

告警太多反而没人看，问题出在哪一步？-腾讯云开发者社区-腾讯云

告警太多反而没人看，问题出在哪一步？

告警太多反而没人看，问题出在哪一步？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐