744B 塞进 25G 笔记本：本周海外四把没人传进来的新刀

国内还在讨论"本地能不能跑满血大模型"，海外一个开发者已经把 744B 参数的 GLM-5.2 塞进一台 25GB 内存、没有显卡的普通笔记本，而且只用了一个 2400 行的 C 文件。这周 Hacker News 上线了一批信息密度极高的新工具，国内一个都没人聊。这篇拆四把：一台笔记本吞下前沿模型的"磁盘流式引擎"、一个让 AI agent 直接开剪映级时间线的浏览器剪辑器、一个能在模型"开口前"看到并改写它脑子里在想什么的可视化工具、还有一个把任何已登录网页 App 的 API 自动反向成 agent 工具的"自动生成 MCP"。全是本周（2026-07 月）刚上、可立刻白嫖的新刀。

第一把刀：Colibrì —— 744B 巨兽，25G 内存，纯 C，零依赖

这是本周 HN 上最炸的一个项目（806 分，340 条评论），GitHub 仓库 JustVugg/colibri 创建于 2026-07-01，今天（07-10）还在持续更新，已经 1833 stars。

一句话：它让一台没有显卡、只有 25GB 内存的笔记本，跑起了 744B 参数的 GLM-5.2（MoE 架构）。

它怎么做到的？核心洞察其实很朴素，但没人这么干过：

• GLM-5.2 是 744B 的 MoE（混合专家）模型，但每个 token 实际只激活约 40B 参数，而且真正每个 token 会变的只有那 ~11GB 的"路由专家"。
• 于是作者把稠密部分（attention、shared expert、embedding，约 17B 参数）用 int4 量化后常驻内存，只占 9.9 GB；
• 真正的 21,504 个路由专家（75 层 × 256 个专家 + MTP 头，每个 int4 约 19MB）全部放硬盘上（约 370GB），按需流式加载，配合每层一个 LRU 缓存、可选的 pinned 热存储，外加操作系统 page cache 当免费二级缓存。

引擎本体是单个 C 文件（c/glm.c，约 2400 行），外加几个头文件。不依赖 BLAS、运行时不需要 Python、不需要 GPU（有一个可选的 CUDA tier 用于 pin 热点专家）。冷启动 32 秒就绪，常驻 9.9GB，能正常对话——速度慢（0.1 tok/s 量级），但它真的能跑。

工程细节全是硬货，值得每一个做推理优化的人读一遍：

• MLA 注意力 + 压缩 KV 缓存：每 token 从 32,768 个 float 压到 576 个，小了 57 倍（GLM-5.2 有 64 个 head、没有 GQA，原版 KV 会爆）。
• 原生 MTP 推测解码：直接用 GLM-5.2 自己的多 token 预测头（第 78 层）起草、主模型批量验证。关键细节——草稿头必须 int8（转换器默认就是 int8）：如果用 int4，接受率会塌到 0–4%，推测根本不触发；用 int8 则接受率 39–59%，每次前向 2.2–2.8 个 token。而且通过拒绝采样，在采样模式下也保持无损。
• 整数点积核：int8 激活（AVX2 maddubs），int8 矩阵乘快 1.4–2.5 倍（实测 119 GFLOP/s）。
• 异步专家预读：当前块专家在算的时候，内核已经用 WILLNEED 把下一块读进来了。
• 作者还很诚实：冷缓存下推测解码会触发更多专家加载（660 → 1100 expert-loads/token），反而更慢，所以内置了 adaptive guard 和 DRAFT=0 开关。

价格：完全免费、开源。

为什么值得国人关注（认知差/视角差）：国内跑本地大模型的方案里，最出名的是 KTransformers（同样做 MoE 专家卸载，但它是"GPU 跑 attention + CPU 跑专家"，需要一张还不错的显卡）。Colibrì 走的是另一个极端——彻底不要 GPU，专家从 SSD 流。它的工程细节（MLA 吸收、压缩 KV、MTP int8 草稿、DSA 稀疏注意力的忠实实现）对国内做边缘推理、做通信设备端侧 AI 的人是现成的参考实现。通用框架 llama.cpp 目前对 GLM-5.2 的 MLA + MTP + DSA 还没有这么"逐 token 精确对齐 transformers oracle"的忠实度。

适用人群：端侧/边缘推理工程师、MoE 优化研究者、想用消费级硬件验证大模型可用性的独立开发者。

下面这张图就是它的核心思路——稠密部分常驻内存，专家住硬盘、按需流式进来，OS page cache 白嫖当二级缓存：

flowchart LR
    TOKEN["输入 token"] --> DENSE["稠密部分 17B<br/>attention/shared/embed<br/>int4 常驻内存 ~9.9GB"]
    DENSE --> ROUTER["sigmoid 路由器<br/>每 token 选专家"]
    ROUTER --> Q{"命中 LRU 缓存?"}
    Q -- 命中 --> CALC["直接计算"]
    Q -- 未命中 --> READ["异步预读 WILLNEED"]
    DISK[("硬盘 ~370GB<br/>21,504 路由专家<br/>每个 ~19MB int4")] --> READ
    READ --> PAGE["OS Page Cache<br/>免费二级缓存"]
    PAGE --> DENSE
    CALC --> OUT["输出 token"]
    MTP["MTP 推测头 int8 草稿<br/>接受率 39-59%<br/>2.2-2.8 tok/forward"] -. 验证 .-> TOKEN

第二把刀：FableCut —— AI agent 直接开时间线的浏览器剪辑器

仓库 ronak-create/FableCut，本周 HN 94 分。一句话定位：一个 Premiere 级的非线性视频剪辑器，跑在浏览器里，而且把整条时间线暴露成一个 JSON 文档——人能改，AI agent 也能改。

它和市面上"AI 视频"工具最大的不同是哲学层面的反转：那些工具把剪辑藏在 API 后面，FableCut 把项目文件本身当成接口。project.json 描述了媒体、片段、轨道、特效、关键帧、转场——任何能写 JSON 的进程都能剪视频，打开的浏览器 UI 通过 SSE（Server-Sent Events）约 150ms 内热重载。人和 agent 可以同时编辑同一条时间线，你眼睁睁看着 agent 在剪辑。

• 零 npm 依赖，一个 node server.js 就跑起来。这点对国内经常被网络/依赖问题劝退的开发者特别友好。
• 编辑能力一点不虚：4 条视频轨 + 3 条音频轨、12 种滤镜预设、调节层（Premiere 式，一个片段给下面所有片段调色）、色度键、MediaPipe 做的 AI 抠人像（浏览器内跑）、关键帧动画（约 25 个属性）、变速曲线（reel 常见的快进转慢动作）、17 种转场、动效字幕（打字机、word-pop、karaoke、letter-pop、wave、bounce）。
• agent 接入：任何支持 MCP/REST 的东西都能驱动——Claude Code、Claude Desktop、自定义脚本，都能边看时间线边剪。

价格：开源免费。

国内对比（信息差）：国内的剪映/CapCut 是完全封闭的，没有任何给 agent 用的 timeline API，你想自动化批量出片只能用它们受限的开放平台或模拟操作。FableCut 这套"时间线即 JSON + SSE 热重载 + MCP"的设计，是把视频剪辑变成 agent 可操作世界的拼图——做无人出镜频道、批量短视频流水线的人，这把刀正好补上"剪辑"那一段空白。

适用人群：做短视频自动化、无人出镜频道、AI 内容流水线的开发者；想做"AI 剪辑 agent"的人。

第三把刀：Lucid —— 在模型开口前，看见并改写它在想什么

地址 lucid.earthpilot.ai/research，本周 HN 32 分。这是一个48 小时做出来的实验性项目，但它背后挂着的论文非常硬：Anthropic 2026 年发的 "Verbalizable Representations Form a Global Workspace in Language Models"（transformer-circuits.pub/2026/workspace）。

作者把论文里那个叫 Jacobian Lens 的工具，在开源模型上跑通了，并做成了一个免费网页工具。效果是这样的：

• 让模型描述"三条弯曲的水线"这个意象，你能在它输出"waves"之前的中间层，看到 ocean、sea、surf 先亮起来。
• 你还能直接编辑模型的内部状态：往 ocean 那条 prompt 的中间层塞一个 fire，答案就会偏向"热/燃烧"。
• 更好玩的是，作者做了一个让模型读取自己的内部 workspace、再决定抑制还是放大某个概念的回路。

一个有意思的跨模型发现：J-lens 在某些架构上吊打普通 logit lens，在另一些架构上毫无作用，而且跟模型大小无关——0.5B 的 Qwen 比 2.8B 的 Pythia 读得更清楚，Pythia 全系列几乎零增益，Llama/Qwen 增益很大。

价格：免费、代码开源。

国内对比（视角差）：国内聊大模型基本还在"刷榜、调 prompt、比价格"层面，模型可解释性（mechanistic interpretability）几乎没人做产品化。Lucid 是少有的把前沿对齐研究（internal-state editing、concept suppression）做成"人人能上手玩"的工具。对做对齐、置信度估计、偏见检测、越狱防护的人来说，这是直接能拿来做实验的玩具。

适用人群：AI 安全/对齐研究者、做内容审核与偏见检测的工程师、对"AI 到底在想什么"有好奇心的极客。

第四把刀（彩蛋）：Frigade Agent —— 把任何网页 App 自动反向成 agent 工具

本周 HN 35 分，来自 frigade.com。它的卖点是：一个跑在已登录网页 App 内部的浏览器 agent，它会"偷看"这个 App 怎么调用自己的 API，然后自动把这些 API 变成 agent 工具——你可以理解为一个会自我更新的、自动生成的 MCP server。

为什么要这么干？作者的理由很实在：

• 理想世界每个应用都该有现成的 MCP server / 好读的 API；现实里连很现代的软件，API 都是一团乱麻，agent 根本开箱用不了。
• 安全也是地狱：JWT、cookie、混着用，每家自己造轮子。
• 让 computer-use agent 去"点界面"又脆又慢又烧 token。

它的做法：训练一个能学会使用已登录应用的浏览器 agent，多加一步——把应用的已认证 API 自动转成 "recipe"（端点+方法、鉴权方式及如何刷新、响应 schema、输入 schema、人话描述）。这些 recipe 就是 LLM 能复用的工具，全程不写、不维护代码；API 变了，agent 自己发现并替换。作者还吐槽：GraphQL 是标准化 recipe 时最难受的 API。它甚至没碰这些产品的源代码，就在 Jira、Spotify、Hacker News 上跑通了。

国内对比（信息差）：国内 MCP 生态刚起步，绝大多数 MCP server 还是一个应用一个手搓。Frigade 这套"观察→自动生成→自愈更新"的思路，是给 agent 喂数据/接世界的另一种范式——尤其适合那些你没法改源码、但有现成账号的 SaaS。

适用人群：做企业级 agent 集成、想快速给 agent 接一堆 SaaS 的工程师。

信息差总结：你知道的 vs 海外在玩的

行动指南（这周就能做）

1. 想验证"本地够不够用"的人：直接 git clone JustVugg/colibri，准备一块 ≥400GB 的 SSD 和一台 25GB+ 内存的机器，照 README 跑 ./coli chat。重点读它 MLA 吸收、压缩 KV、MTP int8 草稿三段实现，这是今年端侧推理最值得抄的工程笔记。
2. 做短视频流水线的人：把 FableCut 拉下来（node server.js 即跑），用 Claude Code 通过 MCP 让 agent 按 project.json 剪一条样片，验证"人 + agent 同编时间线"的体感，再决定要不要接进自己的无人出镜频道管线。
3. 做对齐/审核的人：打开 lucid.earthpilot.ai，拿自己的 prompt 玩"中间层塞概念"——把它当偏见检测和越狱防护的原型沙盒。
4. 做企业 agent 集成的人：用 Frigade 的思路对你手头那些"改不了源码但有账号"的内部 SaaS 做一次反向，看能不能自动生成一套能用的 agent 工具集。

参考来源

• Colibrì 仓库（HN 806 分）：https://github.com/JustVugg/colibri
• FableCut 仓库（HN 94 分）：https://github.com/ronak-create/FableCut
• Lucid 可视化工具（基于 Anthropic 论文）：https://lucid.earthpilot.ai/research
• Anthropic Global Workspace 论文：https://transformer-circuits.pub/2026/workspace/index.html
• Frigade 自动生成 agent 工具（含 Jira/Spotify/HN 演示）：https://demo.frigade.com/hn

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

本轮采集说明：搜索类 MCP（web_search / webReader）本周额度已耗尽（07-18 重置），本轮改用 Hacker News 官方 Firebase API + GitHub raw/API 直接抓取，数据均为 2026-07 月（含今日 07-10）真实在线项目，仓库 star/README 均已逐项核对。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。