今天挖的这个方向，是我最近翻海外开源圈时发现的明显信息差：K8s 故障排查这件事，海外已经全面 AI 化了，而国内公众号还停留在“kubectl 查日志三板斧”的教程时代。

先说结论：有三个免费开源工具——K8sGPT、HolmesGPT、kagent——组成了海外 SRE 圈公认的“AI 排障三件套”。它们都能直接扫你的集群、读你的告警、用大白话告诉你哪里坏了、为什么坏、怎么修。全部开源、全部免费（自己付模型 API 费，甚至可以接本地 Ollama 做到零成本），而且数据和代码都不出你的内网。这三个项目在国内技术社区几乎没有系统性的中文教程，但在海外，K8sGPT 已经是 CNCF 官方沙箱项目，HolmesGPT 是 Robusta 团队的明星开源作品，kagent 则是 2025 年由 Solo.io 发起、同样捐给 CNCF 的新生代框架。

下面挨个拆。

一、K8sGPT：给集群装一个“会读报错的实习生”

官网：https://k8sgpt.ai 代码：https://github.com/k8sgpt-ai/k8sgpt

它解决什么问题

K8s 集群出错时，真实报错藏在几百个 Event、Pod 状态、Service 后面。比如一个 Pod 起不来，kubectl describe 会甩给你一堆 CrashLoopBackOff、FailedScheduling、ImagePullBackOff，你得自己判断到底是镜像名写错、节点资源不够、还是 PV 挂载失败。

K8sGPT 的思路很简单粗暴：它内置了一堆分析器（analyzer），把集群里所有异常状态先过滤、聚合、去掉噪音，然后把结构化后的错误上下文发给 LLM，让模型用你的母语解释“这是什么问题 + 怎么修”。

实操三步走

# 1. 安装（Mac/Linux/Windows 都有对应方式）
brew install k8sgpt

# 2. 配置模型后端（OpenAI、Azure OpenAI、本地模型等）
k8sgpt auth add openai -k sk-xxxx

# 3. 一键扫描
k8sgpt analyse

k8sgpt analyse 会输出类似：

AI Provider: openai

0 demo pod/demo-app-xxx [Deployment]
- Error: back-off 5m0s restarting failed container
  Container: demo-app
  Message: Back-off restarting failed container

1 default service/frontend-svc [Service]
- Error: Service has no endpoints
  Message: selector "app=frontend" does not match any pods

第二条那个 “Service 没有后端端点、label selector 和 Pod 对不上” 的诊断，就是每个 K8s 新人都要踩半天坑的经典问题，它直接告诉你原因和修法。想只看某个类别，用 k8sgpt filters 开关分析器；想看更详细的修复建议，加 k8sgpt explain --explain 拿到模型的完整解释。

为什么值得关注

• 它是 CNCF 官方沙箱项目（2023 年 8 月进入），社区活跃度在“AI + 运维”这个细分里是头牌，这保证了它不会像很多个人项目一样半年就弃坑。
• 对国内用户的核心价值是数据主权：它支持 --backend local 接 Ollama/vLLM 跑的本地模型，报错上下文完全不出内网。这一点对企业用户太重要了——集群报错信息里经常有内网域名、镜像仓库地址，直接喂给海外 API 在很多公司是合规红线。
• 和国内方案对比：阿里云 ACK、腾讯云 TKE 都有自己的“智能诊断”功能，但它们是云厂商的增值服务，绑定自家平台、按量收费，而且只能在对应控制台里用。K8sGPT 是自托管 CLI，多云、混合云、自建集群通吃，成本就是你自己那点 API 费。

适用人群：管着 K8s 但不是每天全职搞运维的后端/平台工程师——这类人在国内是最大群体，也正是“排障靠翻文档+问同事”模式的重灾区。

二、HolmesGPT：把 On-call 值班从“半夜被叫醒”变“半夜看摘要”

代码：https://github.com/robusta-dev/holmesgpt

如果 K8sGPT 是“主动体检”，HolmesGPT 就是“被动接诊”。它干的是运维里最痛的那一环：On-call 告警响应。

它解决什么问题

半夜两点 Prometheus 告警响了：“Pod CPU 使用率超过 90%”。传统流程是：爬起来 → 登录 Grafana → 看是哪个服务 → kubectl 查副本、查 HPA、查节点 → 猜是流量上涨还是内存泄漏 → 二十分钟后终于定位。HolmesGPT 把这二十分钟压缩成一次查询。

它是 Robusta 团队开源的 on-call AI 助手，核心玩法是给它一套工具权限（查 K8s 资源、读日志、查 Prometheus 指标），让它自主调查告警的根因，最后给你一份带证据链的结论。

实操感受

安装后（pip install holmesgpt，具体以官方 README 为准），最基本的用法是直接提问：

holmes ask "why is the checkout-service pod restarting?"

它会自己决定要跑哪些命令：查 Pod 事件 → 看上一次退出码 → 拉 crash 前的日志 → 查对应的内存限制 → 最后输出结论，比如“OOMKilled，内存 limit 256Mi 太小，JVM 堆就需要 400Mi，建议调到 512Mi 并配合 HPA”。

更杀手级的用法是接 Alertmanager：告警一触发，HolmesGPT 自动开查，把根因分析结果直接附在告警通知里发到 Slack。值班同学醒来看到的不是“CPU 90%”这种半句话，而是“CPU 90% 是因为 deployment 今天上午改了某个配置导致副本缩容，证据如下 1/2/3”。

为什么值得关注

• 它改的是流程，不只是效率。国内公司做告警自动化的思路大多还是“规则引擎+脚本”，而 HolmesGPT 的“让 LLM 拿着工具自主调查”是典型的 Agent 思路，这个范式海外已经在生产环境验证过。
• 和国内方案对比：国内可观测性平台（如阿里云 ARMS、观测云）也开始加 AI 根因分析，但都是平台绑定。HolmesGPT 开源可自部署，上面接什么告警系统、下面接什么模型，全部自己说了算。
• 成本几乎可以忽略：一次根因调查消耗的 token 通常远低于一次 P1 故障停机的损失，这笔账怎么算都划算。

适用人群：被 On-call 折磨的 SRE、维护着告警体系的运维负责人。

三、kagent：不止排障，把 Helm、Istio、Prometheus 都变成 AI Agent

官网：https://kagent.dev 代码：https://github.com/kagent-dev/kagent

前两个是“单品”，kagent 想做的是“平台”。它是 2025 年 3 月由 Solo.io（Istio 生态里的老牌公司）发起、捐给 CNCF 的开源框架，定位一句话：给云原生运维专门造的 AI Agent 运行时。

它的思路不一样

K8sGPT 和 HolmesGPT 是“预设了具体任务”的工具，而 kagent 把“运维知识”本身封装成一个个可调用的 Agent：

• Helm Agent：帮你生成、调试、升级 Helm Chart，解释 values 差异；
• Istio Agent：帮你写 VirtualService、排查网格流量问题；
• Prometheus/Observe Agent：帮你写 PromQL、设计告警规则；
• kubectl Agent：自然语言直接操作集群资源。

你可以把它理解为“运维版的 Agent 应用商店”：框架负责 Agent 的生命周期管理、工具调用、MCP 集成，你负责挑模型、挑 Agent、组合工作流。它还支持把现有的运维脚本和 MCP Server 挂进来，等于给了存量运维资产一条“AI 化”的路。

和前两个工具的关系

三者不冲突，是递进关系：K8sGPT 管“发现问题”，HolmesGPT 管“响应告警”，kagent 管“日常变更和配置工作”的全面 Agent 化。海外社区的真实用法是按团队成熟度逐步引入。

三件套怎么串起来：一条完整的 AI 排障流水线

把三个工具放进同一条工作流，大概长这样：

flowchart TD
    A[集群异常发生] --> B{k8sgpt analyse 定时巡检}
    B -->|主动发现| C[K8sGPT 结构化诊断<br/>+ LLM 中文解释]
    C --> D[输出问题清单]
    E[Prometheus/Alertmanager<br/>告警触发] --> F[HolmesGPT 自主调查]
    F --> G[查 K8s 资源/日志/指标<br/>生成根因报告]
    G --> H[结论附带证据链<br/>推送至 Slack/飞书]
    D --> I[工程师确认]
    H --> I
    I --> J{需要改配置/写 Chart?}
    J -->|是| K[kagent Helm/Istio Agent<br/>生成配置草案]
    K --> L[人工 Review 后应用]
    J -->|否| M[快速修复闭环]
    L --> M

注意我在图里保留了两个人工卡点（确认问题、Review 配置）。海外社区的共识是：AI 排障工具现在是“副驾驶”而不是“自动驾驶”，根因判断让它做，变更执行必须人审。

信息差总结

行动指南

1. 今晚就能做的：找一台能访问你 K8s 集群的机器，brew install k8sgpt，配一个测试模型 key，在测试集群跑一次 k8sgpt analyse——十五分钟内你会看到它的价值。
2. 本周内：把 K8sGPT 接到你的告警群，做成每小时巡检（一个 cron 就够了），观察一周它抓到的问题质量。
3. 两周内：给 HolmesGPT 接上 Alertmanager 的测试告警，用历史故障回放验证它的根因判断准确率，再决定是否接入生产告警链路。
4. 一个月内：如果团队运维自动化需求重，搭一个 kagent 测试环境，先从 Helm Agent 开始用——写 Chart 是 ROI 最高的场景。
5. 合规提示：接外部 API 前先确认公司数据出境政策；有红线就直接走 Ollama 本地模型方案，Qwen 系列跑运维诊断完全够用。

参考来源

1. K8sGPT 官网：https://k8sgpt.ai
2. K8sGPT GitHub 仓库：https://github.com/k8sgpt-ai/k8sgpt
3. HolmesGPT GitHub 仓库（Robusta 团队）：https://github.com/robusta-dev/holmesgpt
4. kagent 官网：https://kagent.dev
5. kagent GitHub 仓库：https://github.com/kagent-dev/kagent

说明：本文工具的功能描述、安装方式均基于上述官方仓库与文档；CNCF 项目归属（K8sGPT、kagent 为 CNCF 沙箱项目）据项目官方页面与社区公告，具体 Star 数等实时数据请以仓库页面为准。

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。