<!-- title: 硬盘当内存：32G小主机跑万亿模型 -->
<!-- domain: new-tools -->

# 硬盘当内存：32G 小主机跑万亿参数模型，这批新工具把硬件门槛打穿了

今天这篇是第 6 轮新工具首发盘点，全部素材来自 2026 年 9 月 3 日当天 Hacker News「Show HN」实时榜单（我在发布后几小时内抓取的第一手数据）。头条是一个让我盯着屏幕看了三遍的项目：**MoE-Direct**，一个韩国开发者的单人项目，让一台只有 32GB 内存、一块 RTX 5080 的普通桌面机，跑起了 447GB 的 1T 级 Kimi K2.6 模型——靠的不是黑魔法，而是把硬盘当内存用。国内做本地部署的朋友，你们的认知要更新了。后面还跟着三个小而美的新工具：给 Claude Code 画「行车记录仪」的 Seedeep、内置 MCP 的 SSH 客户端 SSH Ache，以及一个写给 AI 看的文档标准。每个都附链接和上手路径。

---

## 一、MoE-Direct：NVMe 流式推理，RAM 从此不再是上限

**项目地址**：https://github.com/tmxkzm1925-max/MoE-Direct
**价格**：完全免费，MIT 开源协议，基于 llama.cpp 构建（README 明确标注了上游 commit）
**平台**：目前仅 Windows 10/11 x64 + NVIDIA GPU（CUDA），Linux/macOS 在路线图上

### 原理：一行话讲清楚

MoE（混合专家）模型每个 token 只激活极少数专家（比如 Qwen3.5-122B 是 256 个专家选 top-8），**绝大多数权重在任意时刻都是闲置的**。既然如此，何必把它们全塞进内存？MoE-Direct 把专家数据留在 NVMe 固态硬盘上，用到谁就读谁。不用改量化、不改路由、不动权重，原文_weights 字节级保留（打包路径下每条记录过 SHA-256 校验）。

```mermaid
flowchart LR
    A["OpenAI 兼容客户端"] --> B["MoE-Direct 推理服务"]
    B --> C["llama.cpp 计算层"]
    C -->|"每 token 仅激活 top-k 专家"| D{"这个专家在哪?"}
    D -->|"热专家"| E["显存 / RAM 缓存命中"]
    D -->|"冷专家"| F["NVMe 按需流式读取<br/>持续多 GB/s"]
    E --> C
    F --> C
    G["一次性 Repack<br/>专家重排 + SHA-256 校验"] -. 预处理 .-> F
```

### 实测数字（README 自带冻结测试协议，非营销话术）

参考机器配置：32GB 内存 + 一块 RTX 5080 + Gen5 NVMe：

| 模型 | 硬盘上的专家数据 | 实测结果 | 评级 |
|---|---|---|---|
| Qwen3.5-122B-A10B Q4_K_M | 72.8 GB | **5.59–5.69 tok/s** 持续解码，比同二进制走普通 mmap 快约 **2.3 倍** | OFFICIAL（通过发布门禁） |
| gpt-oss-120b MXFP4 | 61 GB | 12/12 贪心解码输出与原版读取路径 **逐 token 一致** | OFFICIAL |
| Kimi K2.6（1T 级、混合量化） | 436 GB | 1.03 tok/s，输出连贯，服务约 **19 秒**冷启动 | PROBE（仅供参考，别指望交互） |

作者最诚实的一点是评级制度：`OFFICIAL` 是冻结协议下的门禁跑分，`PROBE` 只是记录在案的观测值。这种「每个数字都带测量条件」的做法，在开源推理项目里罕见地较真。演示视频（https://youtu.be/JDfrWMxwczk）是一镜到底未剪辑的 2 分 49 秒：任务管理器全程在画面里，K2.6 冷启动到出答案，内存始终低于 32GB。

### 为什么这是信息差

国内玩本地部署的，默认认知是「Ollama/LM Studio，模型多大内存多大」。这条路线在 122B 就撞墙了。此前国内清华系团队做的 KTransformers 走 CPU+GPU 混合推理火过一波，但它依赖大内存做专家池；MoE-Direct 更激进——**直接把冷专家压到 NVMe 层**，等于宣布：本地模型的上限指标从「你有多少内存」变成「你有多少硬盘」。2TB NVMe 现在什么价格，大家心里有数。注意它支持的模型清单：Qwen3.5 全系、DeepSeek-V4-Flash、Kimi K2.6、gpt-oss——主流 MoE 开源模型几乎一网打尽。

更值得盯的是路线图：v0.3 已支持「虚拟 repack」（零拷贝，磁盘占用 1.0 倍，实测 in-place 解码配合预取快约 14%）；再往后是 **KV cache 也分层到 NVMe**，目标是在同一台消费级机器上做百万 token 上下文。「装不装得下」的判断标准，正在从 RAM 迁移到 SSD。

### 快速上手（Windows 用户）

1. 到 Releases 下载 `moe-direct--win-x64.zip` 和 `SHA256SUMS.txt`（作者提供了 PowerShell 一行校验命令，务必执行——目前构建未签名，SmartScreen 报警属预期）
2. 按 docs/models.md 下载指定 GGUF 分片，放进 `\moe-models\` 目录
3. 双击 `Start-MoeDirect.cmd`，方向键选模型，批准一次性 repack（作者机器上 122B 约十几分钟），然后用任意 OpenAI 兼容客户端连接它打印的地址

**局限先说清**：只对 MoE 模型有效（稠密模型无收益）；已经装得进内存的模型不需要它；K2.6 的 1 tok/s 只能算「能跑」，不能算「能用」；暂不支持 Linux/Mac。

---

## 二、Seedeep：给 Claude Code 装个「行车记录仪」

**来源**：Show HN，作者 GitHub 用户 duqaxxx，发布于今天数小时前
**一句话**：作者原话是「我看不见 Claude Code 在干什么，所以我把它画了出来」

Claude Code 在终端里哗哗刷字的时候，多数人其实看不懂它此刻的全局状态：改了哪些文件、卡在哪一步、token 烧到哪了。Seedeep 把 agent 的工作过程实时渲染成图。这个需求极广——此前热门话题「Claude 账单 71% 花在重读旧上下文」讨论的就是这种黑盒焦虑，可视化是最直接的解法。国内用户目前普遍靠 statusline 脚本和 `/status` 凑合，专门做「过程可视化」的独立工具，在我查到的范围内还没有成熟对位品。该项目刚发布、尚无评论积累，属于典型的「发布当天」信息差——等它上国内科技号，至少一周后。建议直接去 news.ycombinator.com/shownew 页搜「Seedeep」找到仓库地址，Claude Code 重度使用者值得第一时间盯一眼。

---

## 三、SSH Ache：SSH 客户端第一次长出了 MCP

**来源**：Show HN，仓库组织名 ssh-ache
**一句话**：开源桌面 SSH 客户端，集成 SFTP、隧道，以及——**MCP**

前面几项都好理解，MCP 出现在 SSH 客户端里是个新信号。这意味着 Claude/Codex 等 agent 可以通过它内置的 MCP 服务端，直接、受控地操作你的服务器会话。国内运维常用 Xshell、FinalShell、Tabby，全是「给人用」的设计；「给 agent 用」的服务器入口工具，目前还是空白地带。想想场景：你在 Claude Code 里说「帮我看下 prod-3 的磁盘」，agent 通过 SSH Ache 的 MCP 拿到会话执行 df -h，全程有客户端级的审计边界——比让 agent 自己拼 ssh 命令体面得多。开源免费，具体支持平台需进仓库确认。

---

## 加餐快讯（各一句话）

- **Documentation.ai.md**（github.com/iwasoftcom）：一份「写给 AI agent 而非人类」的文档标准。当你的仓库主要读者是 Coding Agent 时，README 该怎么写？这个标准给出了答案。开源维护者值得研究——agent 读得懂你的仓库，PR 质量直接上一个档位。
- **Vectorify**（vectorify.co）：PNG/JPG 秒转干净 SVG 的在线工具，Show HN 上 1 小时内已有讨论，设计师处理 AI 生成图转矢量时可一试。

```mermaid
flowchart TD
    A{"你是谁?"} -->|"本地部署玩家"| B{"Windows + N卡 + NVMe?"}
    B -->|"是"| C["MoE-Direct<br/>从 Qwen3.5-122B 起步"]
    B -->|"否"| D["Watch 仓库等 Linux/macOS 版"]
    A -->|"Claude Code 重度用户"| E["Seedeep<br/>过程可视化"]
    A -->|"运维 / 后端"| F["SSH Ache<br/>Agent 服务器入口"]
    A -->|"开源维护者"| G["Documentation.ai.md<br/>给 Agent 写文档"]
```

---

## 信息差总结

| 你以为的 | 实际情况 |
|---|---|
| 本地跑模型，内存决定上限 | MoE 专家 95% 时间闲置，NVMe 流式读取即可，32G 内存跑 122B 实测 5.6 tok/s |
| 1T 级模型是数据中心专属 | Kimi K2.6（436GB 专家数据）在一台 32G 桌面机 19 秒冷启动（虽仅 1 tok/s） |
| Claude Code 是黑盒，只能盯着刷屏 | Seedeep 发布当天就能把 agent 行为画成图 |
| SSH 客户端是给人用的 | SSH Ache 内置 MCP，正把服务器入口变成 agent 基础设施 |
| README 是写给人的 | 已出现专为 AI agent 设计的文档标准 Documentation.ai.md |

## 行动指南

1. **今天就能做**：Windows + N 卡 + NVMe 的朋友，去 GitHub 下载 MoE-Direct release，先校验 SHA-256，从 Qwen3.5-122B 起步（预留约 150GB 磁盘空间，packed 路径需约 2 倍模型体积）
2. **本周做**：Mac/Linux 用户 Watch 该仓库，v0.3.1 之后的多平台支持是明确路线图项
3. **Claude Code 用户**：去 HN shownew 搜 Seedeep，跑一次可视化，观察你每月 200 刀到底烧在了哪一步
4. **运维同学**：clone SSH Ache，把你的测试机接进 MCP，试一条「让 agent 查日志」的指令
5. **所有人**：把「本地模型上限 = 硬盘容量」这条认知写进你的技术选型备忘录，2026 年底它会影响一批硬件采购决策

## 参考来源

1. MoE-Direct 仓库（本文实测数据均出自其 README 及 docs）：https://github.com/tmxkzm1925-max/MoE-Direct
2. MoE-Direct 演示视频（一镜到底实测）：https://youtu.be/JDfrWMxwczk
3. Hacker News Show HN 实时榜单（Seedeep / SSH Ache / Documentation.ai.md 均发现于此）：https://news.ycombinator.com/shownew
4. MoE-Direct 技术细节文档：https://github.com/tmxkzm1925-max/MoE-Direct/blob/main/TECHNICAL.md

---
> 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。
> 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)