首页 › new-tools › 硬盘当内存：32G小主机跑万亿模型

硬盘当内存：32G 小主机跑万亿参数模型，这批新工具把硬件门槛打穿了

今天这篇是第 6 轮新工具首发盘点，全部素材来自 2026 年 9 月 3 日当天 Hacker News「Show HN」实时榜单（我在发布后几小时内抓取的第一手数据）。头条是一个让我盯着屏幕看了三遍的项目：MoE-Direct，一个韩国开发者的单人项目，让一台只有 32GB 内存、一块 RTX 5080 的普通桌面机，跑起了 447GB 的 1T 级 Kimi K2.6 模型——靠的不是黑魔法，而是把硬盘当内存用。国内做本地部署的朋友，你们的认知要更新了。后面还跟着三个小而美的新工具：给 Claude Code 画「行车记录仪」的 Seedeep、内置 MCP 的 SSH 客户端 SSH Ache，以及一个写给 AI 看的文档标准。每个都附链接和上手路径。

一、MoE-Direct：NVMe 流式推理，RAM 从此不再是上限

项目地址：https://github.com/tmxkzm1925-max/MoE-Direct 价格：完全免费，MIT 开源协议，基于 llama.cpp 构建（README 明确标注了上游 commit） 平台：目前仅 Windows 10/11 x64 + NVIDIA GPU（CUDA），Linux/macOS 在路线图上

原理：一行话讲清楚

MoE（混合专家）模型每个 token 只激活极少数专家（比如 Qwen3.5-122B 是 256 个专家选 top-8），绝大多数权重在任意时刻都是闲置的。既然如此，何必把它们全塞进内存？MoE-Direct 把专家数据留在 NVMe 固态硬盘上，用到谁就读谁。不用改量化、不改路由、不动权重，原文_weights 字节级保留（打包路径下每条记录过 SHA-256 校验）。

flowchart LR
    A["OpenAI 兼容客户端"] --> B["MoE-Direct 推理服务"]
    B --> C["llama.cpp 计算层"]
    C -->|"每 token 仅激活 top-k 专家"| D{"这个专家在哪?"}
    D -->|"热专家"| E["显存 / RAM 缓存命中"]
    D -->|"冷专家"| F["NVMe 按需流式读取<br/>持续多 GB/s"]
    E --> C
    F --> C
    G["一次性 Repack<br/>专家重排 + SHA-256 校验"] -. 预处理 .-> F

实测数字（README 自带冻结测试协议，非营销话术）

参考机器配置：32GB 内存 + 一块 RTX 5080 + Gen5 NVMe：

模型 硬盘上的专家数据 实测结果 评级
Qwen3.5-122B-A10B Q4_K_M 72.8 GB 5.59–5.69 tok/s 持续解码，比同二进制走普通 mmap 快约 2.3 倍 OFFICIAL（通过发布门禁）
gpt-oss-120b MXFP4 61 GB 12/12 贪心解码输出与原版读取路径 逐 token 一致 OFFICIAL
Kimi K2.6（1T 级、混合量化） 436 GB 1.03 tok/s，输出连贯，服务约 19 秒冷启动 PROBE（仅供参考，别指望交互）

作者最诚实的一点是评级制度：OFFICIAL 是冻结协议下的门禁跑分，PROBE 只是记录在案的观测值。这种「每个数字都带测量条件」的做法，在开源推理项目里罕见地较真。演示视频（https://youtu.be/JDfrWMxwczk）是一镜到底未剪辑的 2 分 49 秒：任务管理器全程在画面里，K2.6 冷启动到出答案，内存始终低于 32GB。

为什么这是信息差

国内玩本地部署的，默认认知是「Ollama/LM Studio，模型多大内存多大」。这条路线在 122B 就撞墙了。此前国内清华系团队做的 KTransformers 走 CPU+GPU 混合推理火过一波，但它依赖大内存做专家池；MoE-Direct 更激进——直接把冷专家压到 NVMe 层，等于宣布：本地模型的上限指标从「你有多少内存」变成「你有多少硬盘」。2TB NVMe 现在什么价格，大家心里有数。注意它支持的模型清单：Qwen3.5 全系、DeepSeek-V4-Flash、Kimi K2.6、gpt-oss——主流 MoE 开源模型几乎一网打尽。

更值得盯的是路线图：v0.3 已支持「虚拟 repack」（零拷贝，磁盘占用 1.0 倍，实测 in-place 解码配合预取快约 14%）；再往后是 KV cache 也分层到 NVMe，目标是在同一台消费级机器上做百万 token 上下文。「装不装得下」的判断标准，正在从 RAM 迁移到 SSD。

快速上手（Windows 用户）

  1. 到 Releases 下载 moe-direct--win-x64.zip 和 SHA256SUMS.txt（作者提供了 PowerShell 一行校验命令，务必执行——目前构建未签名，SmartScreen 报警属预期）
  2. 按 docs/models.md 下载指定 GGUF 分片，放进 \moe-models\ 目录
  3. 双击 Start-MoeDirect.cmd，方向键选模型，批准一次性 repack（作者机器上 122B 约十几分钟），然后用任意 OpenAI 兼容客户端连接它打印的地址

局限先说清：只对 MoE 模型有效（稠密模型无收益）；已经装得进内存的模型不需要它；K2.6 的 1 tok/s 只能算「能跑」，不能算「能用」；暂不支持 Linux/Mac。

二、Seedeep：给 Claude Code 装个「行车记录仪」

来源：Show HN，作者 GitHub 用户 duqaxxx，发布于今天数小时前 一句话：作者原话是「我看不见 Claude Code 在干什么，所以我把它画了出来」

Claude Code 在终端里哗哗刷字的时候，多数人其实看不懂它此刻的全局状态：改了哪些文件、卡在哪一步、token 烧到哪了。Seedeep 把 agent 的工作过程实时渲染成图。这个需求极广——此前热门话题「Claude 账单 71% 花在重读旧上下文」讨论的就是这种黑盒焦虑，可视化是最直接的解法。国内用户目前普遍靠 statusline 脚本和 /status 凑合，专门做「过程可视化」的独立工具，在我查到的范围内还没有成熟对位品。该项目刚发布、尚无评论积累，属于典型的「发布当天」信息差——等它上国内科技号，至少一周后。建议直接去 news.ycombinator.com/shownew 页搜「Seedeep」找到仓库地址，Claude Code 重度使用者值得第一时间盯一眼。

三、SSH Ache：SSH 客户端第一次长出了 MCP

来源：Show HN，仓库组织名 ssh-ache 一句话：开源桌面 SSH 客户端，集成 SFTP、隧道，以及——MCP

前面几项都好理解，MCP 出现在 SSH 客户端里是个新信号。这意味着 Claude/Codex 等 agent 可以通过它内置的 MCP 服务端，直接、受控地操作你的服务器会话。国内运维常用 Xshell、FinalShell、Tabby，全是「给人用」的设计；「给 agent 用」的服务器入口工具，目前还是空白地带。想想场景：你在 Claude Code 里说「帮我看下 prod-3 的磁盘」，agent 通过 SSH Ache 的 MCP 拿到会话执行 df -h，全程有客户端级的审计边界——比让 agent 自己拼 ssh 命令体面得多。开源免费，具体支持平台需进仓库确认。

加餐快讯（各一句话）

flowchart TD
    A{"你是谁?"} -->|"本地部署玩家"| B{"Windows + N卡 + NVMe?"}
    B -->|"是"| C["MoE-Direct<br/>从 Qwen3.5-122B 起步"]
    B -->|"否"| D["Watch 仓库等 Linux/macOS 版"]
    A -->|"Claude Code 重度用户"| E["Seedeep<br/>过程可视化"]
    A -->|"运维 / 后端"| F["SSH Ache<br/>Agent 服务器入口"]
    A -->|"开源维护者"| G["Documentation.ai.md<br/>给 Agent 写文档"]

信息差总结

你以为的 实际情况
本地跑模型，内存决定上限 MoE 专家 95% 时间闲置，NVMe 流式读取即可，32G 内存跑 122B 实测 5.6 tok/s
1T 级模型是数据中心专属 Kimi K2.6（436GB 专家数据）在一台 32G 桌面机 19 秒冷启动（虽仅 1 tok/s）
Claude Code 是黑盒，只能盯着刷屏 Seedeep 发布当天就能把 agent 行为画成图
SSH 客户端是给人用的 SSH Ache 内置 MCP，正把服务器入口变成 agent 基础设施
README 是写给人的 已出现专为 AI agent 设计的文档标准 Documentation.ai.md

行动指南

  1. 今天就能做：Windows + N 卡 + NVMe 的朋友，去 GitHub 下载 MoE-Direct release，先校验 SHA-256，从 Qwen3.5-122B 起步（预留约 150GB 磁盘空间，packed 路径需约 2 倍模型体积）
  2. 本周做：Mac/Linux 用户 Watch 该仓库，v0.3.1 之后的多平台支持是明确路线图项
  3. Claude Code 用户：去 HN shownew 搜 Seedeep，跑一次可视化，观察你每月 200 刀到底烧在了哪一步
  4. 运维同学：clone SSH Ache，把你的测试机接进 MCP，试一条「让 agent 查日志」的指令
  5. 所有人：把「本地模型上限 = 硬盘容量」这条认知写进你的技术选型备忘录，2026 年底它会影响一批硬件采购决策

参考来源

  1. MoE-Direct 仓库（本文实测数据均出自其 README 及 docs）：https://github.com/tmxkzm1925-max/MoE-Direct
  2. MoE-Direct 演示视频（一镜到底实测）：https://youtu.be/JDfrWMxwczk
  3. Hacker News Show HN 实时榜单（Seedeep / SSH Ache / Documentation.ai.md 均发现于此）：https://news.ycombinator.com/shownew
  4. MoE-Direct 技术细节文档：https://github.com/tmxkzm1925-max/MoE-Direct/blob/main/TECHNICAL.md

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章