十年前,一个中型互联网公司的运维团队可能只需要盯几十台服务器、十几个服务。今天,同一个业务的容器实例可能上万个,微服务几百个,每天产生的日志以 TB 计,监控指标以百万级时间序列计。与此同时,业务对可用性的要求从“99.9%”一路抬到“99.99%”,意味着全年不可用时间被压缩到 52 分钟以内。
矛盾就此产生:故障的复杂度在指数级上升,而人的处理能力是线性的。
传统运维依赖三件套——阈值告警、人工排查、经验处置。它在规模较小时非常有效,但在今天的系统面前暴露出三个结构性缺陷:
AIOps(Artificial Intelligence for IT Operations)正是为应对这组矛盾而生的方法论:用数据与算法,把运维从“被动响应”推向“主动预测”,把人的经验沉淀为可复用的模型。
业内常把 AIOps 误解为“上一个 AI 大模型自动修故障”。这不准确。更务实的定义是:
AIOps 是一套以运维数据(指标、日志、链路、事件、变更)为基础,以机器学习和数据挖掘为手段,覆盖监测—发现—定位—处置—预防全链路的运维能力体系。
它通常被划分为三个层次:
层次 | 内容 | 典型能力 |
|---|---|---|
数据层 | 统一采集、清洗、关联指标/日志/Trace/事件/CMDB | 数据湖、标签体系、时序库 |
算法层 | 异常检测、聚类、因果分析、预测、NLP | 模型平台、特征工程 |
应用层 | 面向场景的能力封装 | 智能告警、根因定位、容量预测、智能巡检、故障自愈 |
关键认知是:AIOps 的价值 80% 取决于数据质量和场景选择,20% 才是算法选型。很多项目失败,不是模型不够先进,而是数据孤岛没打通、指标口径不一致、标签缺失。这一点后文还会展开。
一个可落地的 AIOps 平台,大致可以画成下面这条流水线:
[数据源] 指标(Prometheus) 日志(ELK/Loki) 链路(Trace) 事件/变更(CMDB、发布系统)
│ │ │ │
▼ ▼ ▼ ▼
[数据层] 采集 → 清洗 → 对齐时间戳 → 实体关联(打标签: 服务/集群/业务线) → 特征存储
│
▼
[算法层] 异常检测 → 告警收敛/降噪 → 多维下钻 → 根因定位 → 容量预测 → 知识库/NLP
│
▼
[应用层] 智能告警中心 故障看板 值班助手 自动化处置(预案/Runbook) 复盘报告其中有两个容易做错的地方值得强调:
service、env、region、version 等标签,并统一到 CMDB。下面挑几个最有代表性的能力,各给一段极简代码,帮助建立直觉。真实生产环境远比这复杂,但这些片段能说明核心思想。
运维指标大多有明显周期性(工作日/周末、白天/夜间)。静态阈值要么漏报要么误报。一种简单有效的做法是用同环比 + 稳健统计构造动态基线。
import numpy as np
def dynamic_baseline_alert(series, window=7, k=3.0):
"""
series: 按小时采样的指标序列(至少 window 天的历史)
思路:用过去 7 天同一时刻的中位数作为基线,
用 MAD(中位数绝对偏差)作为波动尺度,抗离群点。
"""
n = len(series)
baseline, score = np.zeros(n), np.zeros(n)
for i in range(window * 24, n):
same_slot = series[i - window*24 : i : 24] # 同小时历史值
med = np.median(same_slot)
mad = np.median(np.abs(same_slot - med)) + 1e-6
baseline[i] = med
score[i] = abs(series[i] - med) / (1.4826 * mad) # 稳健 z-score
return baseline, score > k # 超过 k 倍 MAD 判定为异常用 MAD 而不是标准差,是因为标准差本身会被异常点“污染”;在告警场景里,这种稳健性至关重要。生产上还可以叠加 EWMA、STL 分解或 Prophet,但核心思路一致:让基线随业务节律自己动。
告警风暴的本质是“同一故障在多维度重复表达”。常见做法有三类:基于拓扑的父子抑制、基于时间窗口的聚合、基于文本相似度的聚类。下面是一个简单的时间窗聚合:
from collections import defaultdict
def aggregate_alarms(alarms, window_sec=300):
"""alarms: [(timestamp, service, alarm_type), ...] 按时间排序"""
buckets = defaultdict(list)
for ts, svc, atype in alarms:
key = (svc, atype, ts // window_sec) # 服务+类型+时间窗
buckets[key].append(ts)
return [{"service": s, "type": t, "count": len(v),
"first": min(v), "last": max(v)}
for (s, t, _), v in buckets.items() if len(v) > 1]真实系统通常做得更细:结合服务调用链的父子关系做因果抑制(下游数据库挂了,上游的“接口超时”告警自动折叠为子告警),效果远好于纯文本聚类。
最朴素也最常用的方法是:故障发生时,看哪个指标/服务最早异常且异常最显著。这是“时序因果”的简化版。
def earliest_anomaly(candidates, t0, window=60):
"""
candidates: {entity: [anomaly_score_per_minute]}
从故障时刻 t0 往前看 window 分钟,找最早越界的实体
"""
ranked = []
for entity, scores in candidates.items():
seg = scores[max(0, t0-window): t0]
idx = next((i for i, s in enumerate(seg) if s > 0.8), None)
if idx is not None:
ranked.append((entity, t0 - len(seg) + idx, max(seg)))
return sorted(ranked, key=lambda x: x[1]) # 按首次异常时间排序更进阶的做法会引入服务依赖图(拓扑)、PC 算法或 Granger 因果检验,甚至用图神经网络在“服务—指标—日志”三元图上做传播推断。但对多数团队而言,先把拓扑数据治理干净,比换更复杂的模型收益更大。
2023 年之后,LLM 给 AIOps 带来两个务实的变化:
但要注意边界:LLM 适合做“理解与生成”,不适合做实时、确定性要求高的检测与自愈决策。正确的姿势是“规则/模型负责判断,LLM 负责解释与串联”。
不要一上来就做“全链路智能运维平台”,那通常是 PPT 项目。建议按价值/难度排序,从下面几个场景中挑一个切入:
一个经验判断:如果一个场景无法用一句话说清“它替谁省了多少时间/多少钱”,就先别做。
推荐的推进节奏(约 6–12 个月):
几个必须警惕的坑:
回到开头那个问题:AIOps 能替代运维吗?短期内不能,也不应该以此为目标。它真正解决的问题是——把运维从“依赖个人经验的技艺”,变成“依赖数据与流程的工程”。
当告警不再淹没人、当基线能自己适应业务节律、当根因定位从“猜”变成“看证据”、当每一次故障都能沉淀为下一次的自动化预案,运维团队才真正从“救火队”变成“稳定性工程团队”。
技术只是工具,真正的分水岭在于:你是否愿意先把数据治理这件“不性感”的事做扎实。做到这一点,AIOps 的其余部分,都会水到渠成。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。