# 常驻智能体闲置税与三态休眠工程全账 ## 概述 2026 年 6 月 1 日，GitHub Copilot 正式从「按请求计费」切换为「按 token 计费」——这是一个标志性的拐点：当一个 5 秒的快捷问答和一个长达数小时的自主编码会话被同一个价格模型同等计费后，长期在线（always-on）会话的经济模型彻底破产。紧接着是 Anthropic 在 3 月初把提示缓存（prompt cache）默认 TTL 从 1 小时静默下调到 5 分钟，下游团队几乎一夜之间报告缓存创建成本跳涨 20%–32%。这两件事指向同一个被忽视的事实：**自主智能体的真正成本不在「干活」时，而在「闲置」时。** 一个开发者 9:00 打开 IDE 副驾驶、问三个问题、然后开会到 11:30——这 2.5 小时里模型没产出一个 token，但 KV 缓存被钉住、提示缓存被保活、并发槽位被预留、可观测性管道每分钟写一行心跳——乘以一万席位，账单是真的。本文用三份第一手成本账本（自托管 $187/月、企业级 $3,200–13,000/月、托管 $49/月）拆解「闲置税」的四张账单，给出 hot/warm/cold 三态休眠工程，以及用「每任务硬上限」封顶长尾尖峰的实战手法。 ## 核心维度对比 | 维度 | 自托管常驻智能体 | 托管平台（RunLobster/AM类） | 企业级生产部署 | |------|------------------|------------------------------|------------------| | 月成本 | $187（含 15h 运维） | $49 固定价 | $3,200–13,000 | | 年成本 | ~$2,240 + 时间税 | ~$588 | $38,000–156,000 | | token 占比 | 64% | 平台吸收（含路由） | 55%–65% | | 闲置税可见性 | 需自建仪表盘 | 平台内置 | 需 FinOps 团队 | | 心跳/保活成本 | 高（轮询烧 token） | 平台优化 | 可工程化 | | 单任务封顶 | 需自实现 | 默认固定价 | 每任务 ceiling | | 唤醒延迟 | 可控（自管分层） | 不可控 | 可工程化 | | 适合人群 | 有 DevOps 能力、要定制 | 小团队/创始人 | 大规模标准工作流 | ## 深度分析 ### 一、闲置税的四张账单：用户开会时你在为什么付钱 把「会话」当成免费抽象，是 2024 年以来 agentic 产品最普遍的架构错觉。无状态 API 的心智模型是：请求进、响应出、盒子关掉，成本归零。但长期在线会话在用户离场后仍在消耗四类资源，且每一类的成本曲线形态不同。 **第一张账单：提示缓存。** Anthropic、OpenAI、Google 都提供提示缓存，在 TTL 窗口内跨调用复用预算好的 KV 张量。当前 Claude 默认 TTL 已是 5 分钟，扩展 TTL 为 1 小时但要付 2 倍写入溢价。5 分钟档每次缓存写是基准输入 token 的 1.25 倍，读取仅 0.1 倍——只要用户持续交互、读多写少，数学很美。但用户一旦空闲超过 TTL，下一条消息就要重新付一次完整缓存写。如果智能体的系统提示和工具 schema 有 1.2 万 token，这次写就不是「四舍五入」。**5 分钟 TTL 把每一次咖啡时间都变成了一次缓存未命事件，而且是团队在替它买单。** **第二张账单：服务侧 KV 缓存。** 即便自托管推理，空闲对话也会钉住 GPU 显存。KV 缓存随上下文长度和并发用户线性增长，是服务集群最先撞墙的资源。SideQuest、KV-offload 之类的工作之所以存在，正是因为长上下文 agentic 会话吃显存的速度比任何其他负载都快。空闲会话常驻时，集群能承接的并发解码工作变少——成本要么体现为你多买的容量，要么体现为活跃用户的排队延迟。 **第三张账单：并发槽位。** 多数生产 AI 产品对接的是带限流和预留容量的供应商。一个长期会话持有开着的 WebSocket、流式连接或逻辑会话锁，就在配额里占了一个槽位——即便没有 token 在流动。你买了 200 个并发槽位、用户侧开了 1400 个会话时，你要么拒绝活跃请求、要么为填补缺口而买预留并发。 **第四张账单：可观测性磁带。** 这是最隐蔽的杀手。AI 工作负载产生的遥测是传统服务的 10–50 倍。每请求追踪通常覆盖提示文本、补全文本、工具调用、检索结果、评测分数、token 计数、延迟——很多团队还会为每个活跃会话发一个心跳做存活探测。真实报告中，团队在 Datadog 上叠加 LLM 可观测性后账单涨了 40%–200%。你的空闲会话每多「活」一分钟就多写约 2 KB 追踪，而追踪留存窗口通常以月计。**可观测性供应商已经在发信说 LLM 追踪存储成本比传统请求流膨胀了 4–8 倍。** ### 二、提示缓存 TTL 悬崖：一次静默下调引发的 20%–32% 账单跳涨 理解闲置税，必须理解 2026 年最典型的「供应商静默回归」事件。3 月初，Anthropic 把提示缓存默认 TTL 从 1 小时静默下调到 5 分钟。下游团队在几乎没有任何公告的情况下，报告缓存创建成本跳涨 20%–32%。 ```python # 典型的「保活」反模式：团队发现 TTL 缩短后， # 试图用定时 ping 把提示缓存寿命续到默认 TTL 之外 import asyncio async def keep_cache_warm(session_id: str): while session_alive(session_id): await asyncio.sleep(240) # 每 4 分钟 await llm.ping(system_prompt) # 续缓存命 # 副作用：本质上是在「租」热层的延长， # 但这笔 ping 预算被混进了杂项流量，没人归因到热层成本线 ``` 这个反模式的致命之处在于：供应商的 TTL 管的是缓存状态，**不管你的分层跃迁**。那些靠不断 ping 提示缓存来延长其寿命的团队，本质上是在为热层（hot tier）的延长付费，却把这笔开销藏进了「杂项流量」，从不和热层成本线对账。**最先注意到这次 TTL 下调的团队，是仪表盘上能看到「空闲会话缓存写事件激增」的团队；没有这块面板的团队只看到账单涨了，然后归咎于流量增长。** 这就是为什么「先把闲置成本计建起来」不是优化，而是生存线。 ### 三、三态休眠工程：hot/warm/cold 分层与唤醒延迟博弈 标准解法正在收敛：把对话状态当作有热度分层的资源对待，就像数据库区分冷热存储一样。每一层成本和跃迁触发点必须精确。 **Hot tier（热层）**：会话驻留进程内——KV 缓存常驻、提示缓存温热、对话在内存、追踪活跃。每分钟成本高，下一条消息的感知延迟低（缓存得当时首 token < 100ms）。活跃交互期和短宽限期内会话住在这里。 **Warm tier（温层）**：丢掉进程内状态，但保留可廉价重建的层——对话历史序列化到 Redis 这类快速 KV 存储、供应商侧提示缓存仍有效、可观测性从心跳切换为事件驱动。每分钟成本降一个数量级。唤醒延迟上升——典型几百毫秒，因为你在重新水合上下文而非付一次完整缓存未命。 **Cold tier（冷层）**：长尾归档——对话序列化到 S3、提示缓存过期、无活跃并发预留、可观测性卷成批量聚合。成本近似只剩存储。唤醒延迟是秒级，因为下一条消息要从零重建提示缓存并重建智能体依赖的瞬态。 边界 TTL 取决于产品，但数学很直白：**把 hot→warm 的边界设在「维持热态的边际成本超过为平均用户冷唤醒的边际成本」那一刻。** 对用户开完会回来的编码副驾驶，经验值是空闲 5–10 分钟做 hot→warm、30–60 分钟做 warm→cold；对午饭后恢复的客服智能体，边界要推得更远，因为午休场景主导了成本模型。 ### 四、心跳税：自主智能体如何在「闲置」时继续烧 token 闲置税不仅在「会话被钉住」，更在智能体框架的**心跳架构**。一份三个月逐美元追踪的自托管账本把这件事量化得极其清楚。该开发者自托管 OpenClaw 智能体三个月，总支出 $560，约 $187/月、$6.20/天。成本分解颠覆了直觉：**token 占 64%、基础设施 13%、记忆/向量库 13%、监控 8%、杂项 2%。** 几乎三分之二的钱花在了 API token 上。 ```python # 心跳式轮询是闲置烧钱的元凶 # OpenClaw 这类架构会不断轮询 LLM 检查任务状态， # 即便智能体处于空闲也在吃 token async def heartbeat_loop(agent): while True: await asyncio.sleep(HEARTBEAT_INTERVAL) # 看似无害 status = await agent.llm.classify_state() # 每次都带上系统提示+工具定义 if status.needs_action: await agent.act() # 一个月用 Opus 全量心跳：$187； # 换 Sonnet 主力 + Opus 仅复杂推理：第二月 $94、第三月 $78 ``` 更刺眼的是非线性的「尖峰日」。该账本里，忙的一天处理 30 个任务可能花 $8，安静周日只花 $1.50——你拿到的不是一张平稳可预测的账单，而是一项随用量（偶尔随智能体的混乱）波动的开销。**一次卡死的循环在一个下午就烧掉 $12 才被发现。** 评论区一位资深工程师点出核心规律：成本不是随用量线性增长，而是尖峰式的——重试风暴、上下文膨胀、一个循环的坏任务——这些尖峰主导了平均值。**中位数那天很便宜，账单是由坏日子堆出来的。** ### 五、长尾封顶：每任务硬上限是唯一结构性的省钱杠杆 承接上一节的「尖峰主导」洞察，真正能压平尖峰的杠杆是**结构性而非行为性**的：硬性的每任务成本上限 + 路由，让贵模型成为 opt-in 而非默认。一旦单任务最坏情况成本被界定，「24/7」就不再可怕，因为尾巴被截断了。 ```python # 三件套：硬上限 + 模型路由 + 重试节流 TASK_BUDGET = {"tokens": 120_000, "calls": 8, "wallclock_s": 300} @bounded(**TASK_BUDGET) # 超限即熔断，不让坏任务失控 def run_task(spec): model = pick_model(spec) # 分类→Haiku，常规→Sonnet，复杂→Opus return execute(spec, model=model, max_retries=2, backoff="exponential") # 指数退避，防爆循环 # 一位多智能体流水线作者据此敢对每构建报价 ~$3 固定价—— # 因为天花板被强制执行，分布里藏不住 $400 的意外 ``` 这套「有界最坏情况（bounded worst-case）」设计，正是某些多智能体流水线敢于对每次构建报 ~$3 固定价的底气——天花板被执行，分布里没有 $400 的意外潜伏。这也解释了为什么托管平台能用 $49 固定月价存活：它们在平台层做了同样的封顶，用大量用户的平稳中位数对冲少数尖峰，把个体开发者无法承受的方差变成了可定价的风险池。**对自托管者而言，「每任务硬上限」是唯一一个能把不可预测的尖峰日成本从「赌博」变成「可定价」的工程动作。** 配合 token 路由（把简单分类/抽取/格式化任务路由到廉价模型），同样的实测账本砍掉了 40% 的 API 成本。 ### 六、自主性分级与闲置税的耦合：你在哪一级付哪一级的税 把闲置税放回自主性光谱里看，会更清楚「为什么 2026 年这个账才真正咬人」。Adaline 的五级 agentic AI 分级里： - **Level 1（基础响应器）**：规则驱动，最简自动化，无闲置税概念——它本来就不长驻。 - **Level 2（路由与副驾驶）**：统计式 ML 增强，按需触发，闲置即停。 - **Level 3（部分自主 + LLM 规划）**：当前 2025–2026 的主导范式，自主工具的主流形态，**闲置税的主战场就在这里**——它长驻、有心跳、保活上下文，却还没到完全自治。 - **Level 4（高自动化 + 自我改进 + 多智能体）**：引入直接操控 GUI 的计算机使用智能体和自改进回路，闲置税被多智能体心跳叠加放大。 - **Level 5（完全自治 AGI）**：理论上限，需重大安全突破，尚未达成。 关键耦合点：**自主性越高，会话越长驻，闲置税基数越大，但「每任务硬上限」也越难施加**（因为 Level 4–5 的智能体需要自我规划的自由度，硬上限会和「自主」本身冲突）。这就是为什么 GitHub 选择在 2026 年 6 月这个 Level 3 大规模生产化的时间点切 token 计费——它需要在用户侧也内化这笔一直被掩盖的闲置成本。对企业而言，自主性分级不是理论框架，而是定价模型：**Level 3 的闲置税是可以工程化的（三态休眠 + 硬上限），Level 4 的多智能体心跳税则需要治理面的预算与级联隔离来对冲。** ### 七、自托管 vs 托管的经济学：把「时间」也算进账本 那份三个月账本给出的最反直觉结论是：钱只是故事的一半。**隐藏的时间成本才是天平倾斜的真正砝码。** | 阶段 | 月硬成本 | 月运维时间 | 折算（@$80/h） | 全口径月成本 | |------|----------|------------|----------------|--------------| | 第 1 月（搭建调试） | ~$255 | 15h | $1,200 | ~$1,455 | | 第 2 月（稳定中） | ~$134 | 6h | $480 | ~$614 | | 第 3 月（稳定） | ~$118 | 3h | $240 | ~$358 | | 托管平台（任意月） | $49 | ~0h | $0 | $49 | 该开发者在第 2 个月开始看托管平台，不是因为自托管失败，而是因为「厌倦了给自己的 AI 智能体当 on-call」。他试用的 RunLobster（底层跑 OpenClaw，但接管基础设施、监控和 token 管理）报 $49/月固定价——无变动 API 成本、无 VPS、无凌晨 3 点告警。一开始他觉得 $49 比 $24 的 VPS 贵，但把所有因素算进去，自托管每月硬成本 $187 加 5–15 小时时间，数学完全不成立。企业级的数字更夸张：生产级智能体（日处理数千会话）月成本 $3,200–13,000，年运营成本可达 $38,000–156,000——这让 $49/月显得几乎荒谬地便宜。**但托管的 catch 是：它最适合跑标准工作流的小到中型团队；如果你需要定制智能体跑高度专业化的任务、用专有模型，自托管仍然成立——只是要带着现实的成本预期入场，并且别忘了算自己的时间。** ### 八、闲置成本仪表盘：在「需要它」之前就把它建起来 让这一切在团队里落地的纪律，是**把闲置成本和活跃成本放到同一块仪表盘上**。多数成本看板按特性、按模型、按客户分层归组支出，却从不把「服务活跃轮次的 token」「保持会话温热的 token」「空闲分钟里的存储与预留成本」分开。这三者移动方式不同，响应的修法也不同。一块有用的闲置成本面板应当暴露： - 每会话「存活分钟数」分布，按 hot/warm/cold 切片； - 由 TTL 过期触发的缓存写事件，与由真实上下文变更触发的缓存写分开归因； - 并发预留利用率——你买的槽位里，上一区间有多少比例服务了零 token； - 归因到空闲会话的可观测性成本（心跳追踪、存活指标、留存开销）vs 活跃轮次追踪。 这块面板让财务伙伴能问对问题。当仪表盘能回答「上月账单涨 18%，是因为平均会话时长增长 22% 但交互密度下降 9%，所以你花在保温上的钱比服务轮次还多」时，答案指向的是休眠策略调整，而不是提示词重写。**这块面板也是抓住供应商静默回归的唯一工具**——3 月那批发现 Anthropic TTL 变化的团队，正是面板上能看到空闲会话缓存写激增的团队。 ## 系统架构图 ### 三态休眠状态机与会话生命周期 ```mermaid stateDiagram-v2 [*] --> Hot: 用户活跃交互 Hot --> Hot: 连续消息 (读多写少, 0.1x读) Hot --> Warm: 空闲 5-10分钟 Warm --> Hot: 用户回流 (唤醒 ~数百ms, 重新水合) Warm --> Warm: Redis存历史 + 提示缓存仍有效 Warm --> Cold: 空闲 30-60分钟 Cold --> Warm: 用户回流 (预热) Cold --> Cold: S3归档 + 缓存过期 + 无并发预留 Cold --> [*]: 会话终止/归档聚合 note right of Hot 每分钟成本: 高 首token延迟: <100ms KV缓存常驻 + 追踪活跃 end note note right of Cold 每分钟成本: 近似存储价 唤醒延迟: 秒级 (重建提示缓存) end note ``` ### 闲置税四账单与对冲手段映射 ```mermaid flowchart LR subgraph 闲置税四账单 A1[提示缓存 TTL 5min] A2[KV缓存钉 GPU 显存] A3[并发槽位预留] A4[可观测性磁带 2KB/min] end subgraph 对冲工程 B1[三态休眠分层] B2[每任务硬上限 + 路由] B3[心跳→事件驱动] B4[闲置成本仪表盘] end A1 --> B1 A2 --> B1 A3 --> B1 A4 --> B3 B2 -.封顶长尾尖峰.-> A1 B4 -.归因+抓供应商回归.-> A1 ``` ### 成本曲线：活跃 vs 闲置 vs 封顶后 ```mermaid graph LR C1[忙日: 30任务 $8] --> S1[尖峰主导平均] C2[安静周日: $1.5] --> S1 C3[卡死循环: $12/下午] --> S1 S1 --> F{每任务硬上限} F -->|有界最坏情况| P1[可定价: ~$3/构建 固定价] F -->|无上限| P2[赌博: 分布藏 $400 意外] ``` ## 推荐方案 **场景一：个人开发者/小团队，跑标准业务工作流（CRM 报告、Slack 分发、PDF 生成）。** 直接上托管平台（$49/月固定价）。不要自建。第一月就把监控开起来——「凌晨 3 点坏掉、周一才发现的智能体」才是最贵的那一个。预算时按「你以为的 token 量 × 2」估第一个月。 **场景二：有 DevOps 能力、需要定制智能体或专有模型。** 自托管可行，但入场前先建好闲置成本仪表盘和每任务硬上限。技术栈选择：用 token 路由把分类/格式化任务甩给 Haiku，复杂推理留给 Opus/Sonnet——实测砍 40% API 成本。心跳架构必须从轮询改成事件驱动，否则你会在闲置时继续烧 token。 **场景三：企业级生产部署（日处理数千会话）。** 这是闲置税的主战场，也是 Level 3 自主性的规模化痛点。必须落地三件事：(1) hot/warm/cold 分层休眠，hot→warm 设在 5–10 分钟、warm→cold 设在 30–60 分钟（按产品的「午休回归」场景调参）；(2) 每任务硬上限封顶长尾，让单任务最坏情况可定价；(3) 闲置成本独立面板，专门抓供应商静默回归（如 Anthropic TTL 1h→5min 这种 20%–32% 的跳涨）。年运营预算按 $38,000–156,000 规划，其中 token 占 55–65%。 **场景四：多智能体（Level 4）。** 闲置税被多个智能体的心跳叠加放大。除了上述三件套，还需引入治理面的预算控制与级联隔离——单个智能体的失控循环不能拖垮整个工作流的成本预算。硬上限要细化到每个智能体粒度。 无论哪个场景，铁律只有一条：**在 2026 年 6 月之后，再没有任何智能体可以把「会话」当成免费抽象。** GitHub 切 token 计费是整个行业的信号——闲置税已经从「优化项」变成「定价项」，建不好仪表盘、封不好长尾的团队，会发现成本增长和用量增长彻底脱钩，而那张解释不清的账单，正是为「什么都没发生」买单。 ## 参考来源 1. [The Idle Agent Tax: What Your AI Session Costs While the User Is in a Meeting](https://tianpan.co/blog/2026-04-28-idle-agent-tax-session-billing) — 闲置税四账单、hot/warm/cold 三态休眠分层、提示缓存 TTL 工程细节（含 Anthropic TTL 1h→5min、GitHub Copilot 计费转向） 2. [How Much Does It Actually Cost to Run an AI Agent 24/7 in 2026? I Tracked Every Dollar for Three Months (DEV Community)](https://dev.to/helen_mireille_47b02db70c/how-much-does-it-actually-cost-to-run-an-ai-agent-247-in-2026-i-tracked-every-dollar-for-three-3k4i) — 三个月逐美元自托管账本（$187/月、token 占 64%、心跳烧钱、卡死循环 $12、长尾尖峰与每任务硬上限） 3. [GitHub Copilot is moving to usage-based billing](https://github.blog/news-insights/company-news/github-copilot-is-moving-to-usage-based-billing/) — 2026-06-01 起 Copilot 从 premium-request 切换到 token-based AI Credits 计费（行业闲置税内化拐点） 4. [The 5 Levels of Agentic AI in 2026: AI Agent Autonomy Levels With Real Examples (Adaline Labs)](https://labs.adaline.ai/p/the-5-levels-of-agentic-ai) — L1–L5 自主性分级（Level 3 为当前主导范式、Level 4 多智能体与自我改进、Level 5 理论 AGI） 5. [The Economics of Always-On Agents: Why Autonomy Comes With a Bill (Medium)](https://medium.com/@darzi.reza/the-economics-of-always-on-agents-why-autonomy-comes-with-a-bill-e08704fe573f) — 常驻智能体经济学：自主性与账单的耦合，托管与自托管的成本结构对比 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。