首页 › new-tools › 半夜告警别喊人:AI值班员已上岗

半夜告警别喊人:AI值班员已上岗

导语: 国内运维圈的深夜常态还是「告警进钉钉群、@到人、爬起来看日志」,而海外从2025年起悄悄完成了一次换岗:一线值班调查工作正在交给AI Agent——告警响了,先让AI去集群里找证据、查根因、写结论,人类只做最后复核。这波工具里最实用的三个还是开源的,一条命令就能跑起来,模型还能换成你自己的本地DeepSeek/Qwen。本文拆解这三个「AI值班员」,告诉你怎么今晚就用上。

一、为什么值班是被AI啃下的第一块骨头

仔细想想,值班的一线工作到底是什么?无非是:收到告警 → 打开五六个面板 → 拉日志、看指标、翻上周的工单 → 排除十种可能 → 给出结论「是XX挂了,重启即可」。这是一套标准的「收集证据、交叉比对、输出报告」流程——输入是结构化的告警和监控数据,输出是结构化的结论文本,天然就是LLM Agent的舒适区。

所以你会看到,2025年到2026年,海外的AI创业热点里安静地挤进来一批「AI SRE / AI on-call」产品:大厂如Datadog在年度大会DASH上发布了AI值班智能体Bits(据其官方博客),创业公司如Resolve.ai主打「AI生产工程师」概念并拿到了大额种子轮(据公开报道,细节以其官网为准),Grafana也在自家可观测平台里内置了AI排查工具Sift(发布时处于测试阶段)。商业产品国内落地少、价格门槛高,今天重点讲三个开源、可自部署、模型可换国内方案的干货——这才是普通人摸得到的信息差。

二、三件开源「AI值班员」

1. K8sGPT:给集群装个AI听诊器

2. HolmesGPT:告警响了,它先去查

3. Kagent:给集群派一个常驻Agent

三、AI值班员到底怎么干活

把三个工具的共性抽出来,就是下面这条流水线:

flowchart TD
    A["凌晨三点告警触发"] --> B["AI值班员自动接管"]
    B --> C["拉取指标与事件"]
    B --> D["检索日志与链路"]
    B --> E["查历史工单与文档"]
    C --> F["交叉比对定位根因"]
    D --> F
    E --> F
    F --> G{"能否给出修复方案"}
    G -->|只读结论| H["结论推送到值班群"]
    G -->|预授权动作| I["执行修复脚本"]
    I --> J["验证指标恢复"]
    H --> K["自动生成复盘初稿"]
    J --> K
    K --> L["人类复核归档"]

注意两个设计细节,这是海外踩过坑之后的共识:第一,默认只读——AI先只出结论和证据,不改生产;修复动作必须走「预授权脚本」白名单。第二,AI写复盘、人签字——事后学习材料让AI批量生产,责任链最后一步永远留给人。

四、信息差总结

你以为的 实际情况
AI运维(AIOps)=告警收敛规则引擎,效果鸡肋 2025年起海外主流已是LLM Agent自动调查,能读日志给根因
用AI运维得先买昂贵的可观测SaaS k8sgpt一条命令+一个API Key就能出诊断报告
生产日志喂给大模型=泄密事故 支持Ollama/LocalAI/自建OpenAI兼容端点,数据可以不出机房
值班质量取决于老师傅在不在 一线调查已可外包给AI,新人+AI可顶第一遍排查
这些东西国内用不了 三件全是开源可自部署,后端可接DeepSeek/Qwen

五、行动指南

  1. 今晚就能跑:在测试集群装K8sGPT(brew install k8sgpt,以官方README为准),配置模型后端后执行 k8sgpt analyze --explain,拿一个故意弄坏的Pod试试诊断质量。
  2. 有Prometheus的团队:在预发环境部署HolmesGPT接Alertmanager,对比「纯转发」和「AI先调查」两种群消息的差别,攒两周数据再决定上生产。
  3. 平台团队:用Kagent搭内部AI运维助手的骨架,把公司值班SOP写成自定义Agent。
  4. 安全红线(必做):给AI的RBAC先开只读;排除敏感namespace;开启审计日志;涉密环境一律本地模型。
  5. 顺便赚一笔:这套「AI值班员上生产」的完整实践(含踩坑数据),国内目前几乎没人系统写——写出来就是稀罕内容,也是你在公司立项的现成材料。

参考来源

注:本期发稿前外部检索通道受限,以下均为项目官方地址,功能与价格细节请以官方文档为准。

  1. K8sGPT 官网:https://k8sgpt.ai
  2. K8sGPT GitHub:https://github.com/k8sgpt-ai/k8sgpt
  3. HolmesGPT GitHub:https://github.com/robusta-dev/holmesgpt
  4. Kagent 官网:https://kagent.dev
  5. Kagent GitHub:https://github.com/kagent-dev/kagent

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入