## 744B 塞进 25G 笔记本：本周海外四把没人传进来的新刀 国内还在讨论"本地能不能跑满血大模型"，海外一个开发者已经把 **744B 参数的 GLM-5.2 塞进一台 25GB 内存、没有显卡的普通笔记本**，而且只用了一个 2400 行的 C 文件。这周 Hacker News 上线了一批信息密度极高的新工具，国内一个都没人聊。这篇拆四把：一台笔记本吞下前沿模型的"磁盘流式引擎"、一个让 AI agent 直接开剪映级时间线的浏览器剪辑器、一个能在模型"开口前"看到并改写它脑子里在想什么的可视化工具、还有一个把任何已登录网页 App 的 API 自动反向成 agent 工具的"自动生成 MCP"。全是本周（2026-07 月）刚上、可立刻白嫖的新刀。 --- ### 第一把刀：Colibrì —— 744B 巨兽，25G 内存，纯 C，零依赖 这是本周 HN 上最炸的一个项目（**806 分，340 条评论**），GitHub 仓库 `JustVugg/colibri` 创建于 **2026-07-01**，今天（07-10）还在持续更新，已经 **1833 stars**。 一句话：**它让一台没有显卡、只有 25GB 内存的笔记本，跑起了 744B 参数的 GLM-5.2（MoE 架构）。** 它怎么做到的？核心洞察其实很朴素，但没人这么干过： - GLM-5.2 是 744B 的 MoE（混合专家）模型，但每个 token 实际只激活约 **40B 参数**，而且真正每个 token 会变的只有那 ~11GB 的"路由专家"。 - 于是作者把**稠密部分**（attention、shared expert、embedding，约 17B 参数）用 int4 量化后**常驻内存**，只占 **9.9 GB**； - 真正的 **21,504 个路由专家**（75 层 × 256 个专家 + MTP 头，每个 int4 约 19MB）全部放**硬盘上**（约 370GB），**按需流式加载**，配合每层一个 LRU 缓存、可选的 pinned 热存储，外加**操作系统 page cache 当免费二级缓存**。 引擎本体是**单个 C 文件（`c/glm.c`，约 2400 行）**，外加几个头文件。**不依赖 BLAS、运行时不需要 Python、不需要 GPU**（有一个可选的 CUDA tier 用于 pin 热点专家）。冷启动 32 秒就绪，常驻 9.9GB，能正常对话——速度慢（0.1 tok/s 量级），但**它真的能跑**。 工程细节全是硬货，值得每一个做推理优化的人读一遍： - **MLA 注意力 + 压缩 KV 缓存**：每 token 从 32,768 个 float 压到 576 个，**小了 57 倍**（GLM-5.2 有 64 个 head、没有 GQA，原版 KV 会爆）。 - **原生 MTP 推测解码**：直接用 GLM-5.2 自己的多 token 预测头（第 78 层）起草、主模型批量验证。关键细节——**草稿头必须 int8**（转换器默认就是 int8）：如果用 int4，接受率会塌到 0–4%，推测根本不触发；用 int8 则接受率 **39–59%，每次前向 2.2–2.8 个 token**。而且通过拒绝采样，**在采样模式下也保持无损**。 - **整数点积核**：int8 激活（AVX2 `maddubs`），int8 矩阵乘快 1.4–2.5 倍（实测 119 GFLOP/s）。 - **异步专家预读**：当前块专家在算的时候，内核已经用 `WILLNEED` 把下一块读进来了。 - 作者还很诚实：冷缓存下推测解码会触发更多专家加载（660 → 1100 expert-loads/token），**反而更慢**，所以内置了 adaptive guard 和 `DRAFT=0` 开关。 **价格**：完全免费、开源。 **为什么值得国人关注（认知差/视角差）**：国内跑本地大模型的方案里，最出名的是 **KTransformers**（同样做 MoE 专家卸载，但它是"GPU 跑 attention + CPU 跑专家"，需要一张还不错的显卡）。Colibrì 走的是另一个极端——**彻底不要 GPU，专家从 SSD 流**。它的工程细节（MLA 吸收、压缩 KV、MTP int8 草稿、DSA 稀疏注意力的忠实实现）对国内做边缘推理、做通信设备端侧 AI 的人是现成的参考实现。通用框架 **llama.cpp** 目前对 GLM-5.2 的 MLA + MTP + DSA 还没有这么"逐 token 精确对齐 transformers oracle"的忠实度。 **适用人群**：端侧/边缘推理工程师、MoE 优化研究者、想用消费级硬件验证大模型可用性的独立开发者。 下面这张图就是它的核心思路——稠密部分常驻内存，专家住硬盘、按需流式进来，OS page cache 白嫖当二级缓存： ```mermaid flowchart LR TOKEN["输入 token"] --> DENSE["稠密部分 17B
attention/shared/embed
int4 常驻内存 ~9.9GB"] DENSE --> ROUTER["sigmoid 路由器
每 token 选专家"] ROUTER --> Q{"命中 LRU 缓存?"} Q -- 命中 --> CALC["直接计算"] Q -- 未命中 --> READ["异步预读 WILLNEED"] DISK[("硬盘 ~370GB
21,504 路由专家
每个 ~19MB int4")] --> READ READ --> PAGE["OS Page Cache
免费二级缓存"] PAGE --> DENSE CALC --> OUT["输出 token"] MTP["MTP 推测头 int8 草稿
接受率 39-59%
2.2-2.8 tok/forward"] -. 验证 .-> TOKEN ``` --- ### 第二把刀：FableCut —— AI agent 直接开时间线的浏览器剪辑器 仓库 `ronak-create/FableCut`，本周 HN **94 分**。一句话定位：**一个 Premiere 级的非线性视频剪辑器，跑在浏览器里，而且把整条时间线暴露成一个 JSON 文档——人能改，AI agent 也能改。** 它和市面上"AI 视频"工具最大的不同是哲学层面的反转：那些工具把剪辑藏在 API 后面，FableCut 把**项目文件本身当成接口**。`project.json` 描述了媒体、片段、轨道、特效、关键帧、转场——任何能写 JSON 的进程都能剪视频，打开的浏览器 UI 通过 **SSE（Server-Sent Events）约 150ms 内热重载**。**人和 agent 可以同时编辑同一条时间线**，你眼睁睁看着 agent 在剪辑。 - **零 npm 依赖，一个 `node server.js` 就跑起来**。这点对国内经常被网络/依赖问题劝退的开发者特别友好。 - 编辑能力一点不虚：4 条视频轨 + 3 条音频轨、12 种滤镜预设、**调节层（Premiere 式，一个片段给下面所有片段调色）**、色度键、**MediaPipe 做的 AI 抠人像（浏览器内跑）**、关键帧动画（约 25 个属性）、**变速曲线（reel 常见的快进转慢动作）**、17 种转场、动效字幕（打字机、word-pop、karaoke、letter-pop、wave、bounce）。 - agent 接入：**任何支持 MCP/REST 的东西都能驱动**——Claude Code、Claude Desktop、自定义脚本，都能边看时间线边剪。 **价格**：开源免费。 **国内对比（信息差）**：国内的剪映/CapCut 是**完全封闭**的，没有任何给 agent 用的 timeline API，你想自动化批量出片只能用它们受限的开放平台或模拟操作。FableCut 这套"**时间线即 JSON + SSE 热重载 + MCP**"的设计，是把视频剪辑变成 agent 可操作世界的拼图——做无人出镜频道、批量短视频流水线的人，这把刀正好补上"剪辑"那一段空白。 **适用人群**：做短视频自动化、无人出镜频道、AI 内容流水线的开发者；想做"AI 剪辑 agent"的人。 --- ### 第三把刀：Lucid —— 在模型开口前，看见并改写它在想什么 地址 `lucid.earthpilot.ai/research`，本周 HN **32 分**。这是一个**48 小时做出来的实验性项目**，但它背后挂着的论文非常硬：Anthropic 2026 年发的 *"Verbalizable Representations Form a Global Workspace in Language Models"*（`transformer-circuits.pub/2026/workspace`）。 作者把论文里那个叫 **Jacobian Lens** 的工具，在开源模型上跑通了，并做成了一个**免费网页工具**。效果是这样的： - 让模型描述"三条弯曲的水线"这个意象，你能**在它输出"waves"之前的中间层**，看到 `ocean`、`sea`、`surf` 先亮起来。 - 你还能**直接编辑模型的内部状态**：往 ocean 那条 prompt 的中间层塞一个 `fire`，答案就会偏向"热/燃烧"。 - 更好玩的是，作者做了一个让**模型读取自己的内部 workspace、再决定抑制还是放大某个概念**的回路。 一个有意思的跨模型发现：**J-lens 在某些架构上吊打普通 logit lens，在另一些架构上毫无作用，而且跟模型大小无关**——0.5B 的 Qwen 比 2.8B 的 Pythia 读得更清楚，Pythia 全系列几乎零增益，Llama/Qwen 增益很大。 **价格**：免费、代码开源。 **国内对比（视角差）**：国内聊大模型基本还在"刷榜、调 prompt、比价格"层面，**模型可解释性（mechanistic interpretability）几乎没人做产品化**。Lucid 是少有的把前沿对齐研究（internal-state editing、concept suppression）做成"人人能上手玩"的工具。对做**对齐、置信度估计、偏见检测、越狱防护**的人来说，这是直接能拿来做实验的玩具。 **适用人群**：AI 安全/对齐研究者、做内容审核与偏见检测的工程师、对"AI 到底在想什么"有好奇心的极客。 --- ### 第四把刀（彩蛋）：Frigade Agent —— 把任何网页 App 自动反向成 agent 工具 本周 HN **35 分**，来自 frigade.com。它的卖点是：**一个跑在已登录网页 App 内部的浏览器 agent，它会"偷看"这个 App 怎么调用自己的 API，然后自动把这些 API 变成 agent 工具**——你可以理解为一个**会自我更新的、自动生成的 MCP server**。 为什么要这么干？作者的理由很实在： - 理想世界每个应用都该有现成的 MCP server / 好读的 API；现实里**连很现代的软件，API 都是一团乱麻**，agent 根本开箱用不了。 - 安全也是地狱：JWT、cookie、混着用，每家自己造轮子。 - 让 computer-use agent 去"点界面"又脆又慢又烧 token。 它的做法：训练一个能学会使用已登录应用的浏览器 agent，多加一步——**把应用的已认证 API 自动转成 "recipe"**（端点+方法、鉴权方式及如何刷新、响应 schema、输入 schema、人话描述）。这些 recipe 就是 LLM 能复用的工具，**全程不写、不维护代码**；API 变了，agent 自己发现并替换。作者还吐槽：**GraphQL 是标准化 recipe 时最难受的 API**。它甚至没碰这些产品的源代码，就在 Jira、Spotify、Hacker News 上跑通了。 **国内对比（信息差）**：国内 MCP 生态刚起步，绝大多数 MCP server 还是**一个应用一个手搓**。Frigade 这套"**观察→自动生成→自愈更新**"的思路，是给 agent 喂数据/接世界的另一种范式——尤其适合那些你**没法改源码、但有现成账号**的 SaaS。 **适用人群**：做企业级 agent 集成、想快速给 agent 接一堆 SaaS 的工程师。 --- ### 信息差总结：你知道的 vs 海外在玩的 | 维度 | 国内主流认知（你大概率知道的） | 海外本周新刀（你大概率不知道的） | |------|------------------------------|----------------------------------| | 跑大模型 | 本地 = 显卡 + KTransformers，没显卡就别想 700B+ | Colibrì：纯 C、零依赖、专家从硬盘流，**没显卡也能跑 744B** | | AI 剪视频 | 剪映/CapCut，封闭、无 agent API | FableCut：**时间线即 JSON + SSE + MCP**，agent 直接开剪 | | 理解模型 | 比 prompt、比价格、刷榜 | Lucid：**模型开口前看到并改写它的中间层想法** | | 给 agent 接工具 | 一个 App 手搓一个 MCP server | Frigade：**观察已登录 App 自动生成 + 自愈 MCP** | | 推测解码 | 知道有这回事，很少自己调 | Colibrì 实测：**草稿头必须 int8，否则接受率从 50% 塌到 2%** | --- ### 行动指南（这周就能做） 1. **想验证"本地够不够用"的人**：直接 `git clone JustVugg/colibri`，准备一块 ≥400GB 的 SSD 和一台 25GB+ 内存的机器，照 README 跑 `./coli chat`。重点读它 MLA 吸收、压缩 KV、MTP int8 草稿三段实现，这是今年端侧推理最值得抄的工程笔记。 2. **做短视频流水线的人**：把 FableCut 拉下来（`node server.js` 即跑），用 Claude Code 通过 MCP 让 agent 按 `project.json` 剪一条样片，验证"人 + agent 同编时间线"的体感，再决定要不要接进自己的无人出镜频道管线。 3. **做对齐/审核的人**：打开 `lucid.earthpilot.ai`，拿自己的 prompt 玩"中间层塞概念"——把它当偏见检测和越狱防护的原型沙盒。 4. **做企业 agent 集成的人**：用 Frigade 的思路对你手头那些"改不了源码但有账号"的内部 SaaS 做一次反向，看能不能自动生成一套能用的 agent 工具集。 --- ### 参考来源 - Colibrì 仓库（HN 806 分）：https://github.com/JustVugg/colibri - FableCut 仓库（HN 94 分）：https://github.com/ronak-create/FableCut - Lucid 可视化工具（基于 Anthropic 论文）：https://lucid.earthpilot.ai/research - Anthropic *Global Workspace* 论文：https://transformer-circuits.pub/2026/workspace/index.html - Frigade 自动生成 agent 工具（含 Jira/Spotify/HN 演示）：https://demo.frigade.com/hn --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 --- **本轮采集说明**：搜索类 MCP（web_search / webReader）本周额度已耗尽（07-18 重置），本轮改用 Hacker News 官方 Firebase API + GitHub raw/API 直接抓取，数据均为 2026-07 月（含今日 07-10）真实在线项目，仓库 star/README 均已逐项核对。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。