你有没有算过一笔账：你的 Agent 每天要做的决定里，九成其实是「三选一」这种级别的送分题——十几个工具选哪个、这段话算不算投诉、五个候选方案挑一个。现在这些题全部递给了几百亿参数的大模型，等它慢悠悠吐完一串 token，再按 token 给你计费。这就像用 super 计算机(超算)来扔硬币。
本周 GitHub 上悄悄冒出来一小波项目，方向出奇一致：别让大模型干杂活。一个 0.8B 参数的开源小模型，专门做「从选项里挑一个」这件事，毫秒出结果；一个干脆跳出了「一个字一个字往外蹦」的自回归框架，直接输出结构化决策；还有一个把这类「决策模型」做成了本地一键起服务的工具，体验对标 ollama。三个仓库最近几天加起来已经近 4500 Star，中文圈几乎还没人写。
这篇文章给你三样东西：这三个工具分别是干嘛的、怎么拼进你现有的 Agent 架构、以及为什么「反射弧下沉」可能是比「换个便宜 API」狠得多的省钱路径。
心理学里把人的思维分成两套系统：System 1 是快思考，条件反射，不假思索；System 2 是慢思考，推理、计算、权衡。大模型干的是 System 2 的活，但它现在被迫把 System 1 的活也全包了——这既慢又贵，还容易在简单题上翻车（想太多反而选错）。
这波新项目的共同主张就一句话：给 Agent 装回反射弧。高频、低难、选项明确的判断，下沉到专用小模型；大模型只接真正需要推理的硬骨头。这个风向在海外社区有明显的佐证——Redis 作者 antirez 新做的本地跑 LLM 工具 ds4 刚登上 Hacker News 首页（125 分），「把模型变小、搬到本地」正在从小众玩具变成主线叙事。
它的定位砍得非常狠：不做对话、不写文章、不写代码，只干「拍板」。0.8B 是什么概念？大概是大模型 Braintree 里的零头，普通笔记本甚至纯 CPU 都有机会跑动，延迟按毫秒算。
最值得抄的用法是 Agent 工具路由。你的 Agent 如果挂了十几个工具，每次用户说话都要大模型先决定「调哪个工具」——这个决定本身就该交给 jeff 这种模型：把工具列表当选项喂进去，毫秒返回，大模型只在实际执行环节出场。
适用人群：做 Agent 编排、工作流自动化的开发者。这是三件里上手心智成本最低的一件。
它的技术关键词是「非自回归」（non-autoregressive）。主流 LLM 生成答案是自回归的：一个 token 接一个 token 往外蹦，输出越长等得越久。而 deepopen 这类架构直接一次性给出整体决策结果——对于「输出本来就是几个固定选项」的场景，这等于砍掉了排队吐字的时间，天然快。
它瞄准的是结构化决策场景：分类、打标、意图识别、在约束条件下选路径。做过数据管线的人应该秒懂——这些活以前靠 BERT 时代的分类模型或者规则引擎，现在可以直接塞给一个专门的决策引擎，而且支持多语言。
和国内生态的差异点在这：国内推理侧的优化（量化、服务化加速那套）基本都在自回归框架内做文章，解决「吐字吐快一点」；deepopen 是直接问「这个场景需不需要吐字」。跳出的不是工程层，是架构层。
适用人群：后端和数据工程师。如果你的系统里有大量「进来一条数据、出去一个标签」的调用，这是最对口的一件。
前两件是「模型/引擎」，这件是「基础设施」。ollaya 做的事情，熟悉本地大模型的人一眼就懂：ollama 让你一条命令把 Llama 拉下来起个 API，ollaya 让你一条命令把决策类小模型拉下来起个 API。
它列表里的模型类型值得展开看：NLI（自然语言推理）模型判断两句话是支持还是矛盾，天然适合做事实校验和评论倾向分类；GLiClass 属于零样本分类路线——不用训练，把候选标签列出来就能直接分。这类模型在海外开源社区已经攒了好几代，但一直缺一个统一的本地服务入口，ollaya 补的就是这个位。
为什么这件事重要：2023 年 ollama 出现，标志着大模型本地化从极客玩具变成标准动作。决策模型这一层现在出现了同款工具，说明这条赛道已经热闹到需要「包一层壳」了——赛道成型期的典型信号。
适用人群：要私有化部署、数据不出内网的团队，以及想系统性试水「小模型下沉」的架构师。
三件货不是孤立的，它们刚好凑成一个完整架构。标准玩法是在你的 Agent 前面加一层「预判」：
flowchart TD
A["用户请求"] --> B{"System 1 小模型<br/>毫秒级预判"}
B -->|高频简单判断| C["小模型直接拍板<br/>延迟毫秒 成本近零"]
B -->|复杂开放问题| D["升级大模型<br/>System 2 慢思考"]
C --> E["合并返回结果"]
D --> E
三个工具在里面的分工：
flowchart TD
subgraph S1["反射弧三层"]
J["jeff<br/>决策模型本体"]
D["deepopen<br/>非自回归引擎"]
O["ollaya<br/>本地服务层"]
end
J -->|模型跑起来靠| O
D -->|结构化决策靠| O
O -->|一行命令起服务| A["你的Agent应用"]
改造步骤不复杂：先用 ollaya 把决策模型起成本地服务；再翻你的 Agent 日志，找出调用量最大、输出又是封闭选项的那些调用点（工具选择、意图分类、选项拍板是重灾区）；把这些点前置到小模型，大模型只保留开放性任务。改完做一轮压测，对比延迟和账单——从按 token 计费变成近零边际成本，这是结构性的省钱，不是换个便宜供应商那种零打碎敲。
国内 Agent 开发者面对「调用太贵太慢」，常见两条路：一是 if-else 规则引擎硬写，二是直接换更便宜的大模型 API（one-api 那类聚合网关生态因此很火）。两条路都没动结构：前者脆，改一个分支要重新发版；后者只是单价便宜了，每次判断仍然全员过大模型。
这波海外项目动的是第三条路：按认知难度分层。这条路的公开讨论在国内社区还很少见，属于典型的视角差——工具都是开源的，谁都能抄，差距只在「知不知道该这么搭」。
| 你以为的 | 实际情况 |
|---|---|
| Agent 每一步都得过大模型 | 路由、分类、拍板这类判断，0.8B 小模型毫秒级就能干 |
| 模型快不快靠量化和服务化 | 非自回归架构直接跳过「逐字生成」，决策场景天然快 |
| 本地跑模型 = ollama 跑 LLM | 决策模型有自己的 ollama（ollaya），专门服务这一层 |
| 省钱 = 换便宜 API | 结构性省钱是把九成低难度调用下沉到本地，边际成本归零 |
窗口期就这几周：等这类「反射模型」被主流 Agent 框架集成，先发者的延迟和成本优势就没了。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。