# 8GB跑125B：本地伺模三件横评——同赛道对比第7期 ## 概述 ## 评测对比表 | 对象 | 定位 | 功能 | 设计 | 实战 | 上手 | 社区 | 加权 | |:---|:---|:---:|:---:|:---:|:---:|:---:|:---:| | ollaya | 决策模型本地伺服器 | ★★★※ | ★★★★ | ★★※ | ★★★※ | ★★★★ | **3.20** | | Strata | 8GB 卡跑 125B 安装器 | ★★★※ | ★★★★ | ★★※ | ★★★★ | ★★ | **3.05** | | HyperQwen | 自有 GPU 伺服 27B | ★★★※ | ★★★ | ★★★※ | ★★★※ | ★★★ | **3.00** | 三个总分咬得极近，恰好说明这条赛道还没有赢家，只有三种押注。 ## 主角一：ollaya——被预告了两天的门牌终于挂上 这一行描述信息量在三个词上。第一个是 **pull and serve**——这是 Ollama 在 2023 年定下的范式：一条命令拉模型、一条命令起服务、本地吐 API。ollaya 把这套范式原样搬进 Jev 生态，等于承认：决策模型再小也是模型，也需要一个统一的伺服层，而不是每件 Skill 各自带一个推理脚本。第二个词是 **locally**——Jev 生态的六层塔（模型、黄页、宿主插件、应用、娱乐、基建）里，前面五层本栏都拆过，缺的正是这一层本地基建。09-28 本栏《jevgrep》篇已经给它画了生态位：「laya 是引擎，ollaya 是本地运行器」。第三个是模型清单本身：**Laya、decider、NLI、GLiClass**——一个类型化决策引擎、一个判定器、一个自然语言推理件、一个文本分类件，全部是「System 1 快思考」家族的小模型。它伺的不是通用大模型，是 Agent 的反射弧。 短板照实说：700 星与 HN 405 分证明的是注意力，不是可用性——「一条命令跑起来」的体验是否兑现，正文未读无从验证※；TypeSafe 技术栈的安装依赖有多重，对非 Jev 生态用户是否友好，同样存疑。它的实战 2 星不是指控，是暂无证据。 ## 主角二：Strata——门牌上最锋利也最大胆的一句话 `Niko1221/Strata`，⭐501，新星榜末席。描述：「Qwen3.8-Flash-Next (125B MoE) on a 8GB+ NVIDIA GPU: one-click install for Windows / Linux. Strata in…」（截断，推测为 installer 字样，未经官方证实）。 「8GB 显卡跑 125B」是三张门牌里最锋利的一句——锋利到必须先做一遍算术。按公开量化常识，125B 参数哪怕压到 2bit 级别，权重也要 25GB 上下的量级，8GB 显存纯放权重在算术上不成立；所以它几乎必然依赖显存+内存协同卸载、或 MoE 架构的按需加载专家机制——这是工程推断，不是指控，仓库正文未读※。但恰恰是这个算术缺口，决定了它的产品定位：它赌的不是「量化算法多先进」，而是**入门级硬件用户的规模**——8GB 卡是存量游戏本和办公台式机的众数，Windows/Linux 一键安装把门槛从「会配 CUDA 环境」压到「会点下一步」。变现栏今天已按变现视角给它开过分；本栏从赛道角度补一句：在三件里，它是唯一把目标用户定义成「非开发者」的——这是差异化，也是风险，因为这个人群恰恰是最没法自己排障的人群。 设计分给 4 星：一句话门牌把型号、参数量、硬件门槛、安装方式全部说完，触发词密度是三件里最高的。社区 2 星：501 星三件垫底，且描述截断说明门牌打磨未完成。 ## 主角三：HyperQwen——三件里唯一的多期在册老将 它的路线与 Strata 正好相反：不赌量化极限，不赌小白用户，赌的是「**你实际拥有的 GPU**」（GPUs you actually own）——24GB 卡（4090/3090 一档）伺 Qwen3.8-27B。这个组合的算术是成立的：27B 走 4bit 级量化约 14GB 上下，留足 KV cache，单张 24GB 卡伺得起——这同样是以量化常识做的推断，具体精度方案未读正文※。对比 Strata，它牺牲了门槛换吞吐与稳定；对比 ollaya，它伺的是通用对话模型而非决策小模型——同一个「本地伺模」的壳，装的是三种不同的生意。 它的短板是时间维度的：+10 的日增速放在 Strata、ollaya 两个首印新席旁边显得沉闷，星数体量最大、话题势能最弱——三件里它是最早进场的一个，却也最先遇到「赛道名字被别人抢走」的问题：说到本地伺模，先被提起的是挂着 Ollama 名号的 ollaya。 ## 赛道全景 ```mermaid flowchart TD ROOT["把脑子搬回家"] --> A["ollaya 伺快脑"] ROOT --> B["Strata 压整脑"] ROOT --> C["HyperQwen 供整脑"] A --> A1["四类决策小模型"] A --> A2["服务Jev装机人"] B --> B1["8GB卡125B MoE"] B --> B2["一键装面向玩家"] C --> C1["24GB卡27B原味"] C --> C2["自有GPU讲吞吐"] ``` 再从一张调用关系图看三件在同一台机器上的分工——它们并非只能二选一： ```mermaid flowchart TD U["本地Agent"] -->|"快判断"| O["ollaya端点"] O --> M1["laya"] O --> M2["decider与NLI"] U -->|"长生成"| H["HyperQwen端点"] H --> M3["Qwen3.8-27B"] U -->|"全离线兜底"| S["Strata整机"] S --> M4["125B MoE量化"] ``` ## 同赛道对比的三条结论 **第一，门派之争的本质是「伺什么脑」。** ollaya 伺反射弧（毫秒级、可本地、模型小到无所谓显卡），Strata 和 HyperQwen 伺大脑（通用生成、吃显存、量化即代价）。前者的天花板是 Jev 生态自己的规模，后者的天花板是用户显卡的价格。三条路线里，ollaya 押的是生态，Strata 押的是人群，HyperQwen 押的是硬件存量——3.20、3.05、3.00 的分差正对应三种押注的确定性排序。 **第二，「Ollama 范式」正在被批量复刻，验证的是范式而非产品。** 三件描述里 pull、serve、one-click、locally 这几个词素高度同源，说明大家都接受了同一个产品形状。这个形状上一轮属于跑通用大模型的 Ollama 们，这一轮被细分市场认领——对写件人的启示是：**在成熟范式里找无人认领的细分位，比发明新范式便宜得多**。本栏 09-25 记过「Agent 护栏赛道空位还空着」，本地伺模这条赛道则相反：位置有人占，但每个位置都还没有二次验证——700 星没有一张实测帖背书，8GB 的算术缺口没人拆穿，27B 的量化方案没人复核。货架上的货，标签都还没撕。 **第三，星数与进场的时机关系又添一个样本。** HyperQwen 四天涨 56 星、稳定在册，ollaya 靠 HN 405 分一夜拿走赛道命名权，Strata 靠一句门牌主张挤进新星榜——进场最晚、星数最少的 ollaya 反而拿走了最大的注意力红利。这与本栏《流速对账》篇「周边件要蹭，得在周边潮那三天上架」的结论互为印证：**这条赛道上，命名权比先发权值钱**。 ## 安装与上手 三件均为黑箱，以下仅提供入口与自查清单，不构成可用性背书；装前先读 README 与网络请求清单（本栏 09-19 底线条款）： ```bash # ollaya：Jev生态本地决策模型伺服器（HN 405分，⭐700） git clone https://github.com/ollaya-dev/ollaya # Strata：8GB卡一键装125B MoE（⭐501，Windows/Linux） git clone https://github.com/Niko1221/Strata # HyperQwen：24GB卡伺Qwen3.8-27B（⭐1736） git clone https://github.com/syv-ai/HyperQwen ``` 硬件对照：ollaya 目标模型为决策小模型，显卡要求预计最低（以仓库说明为准）；Strata 门牌写 8GB+ NVIDIA；HyperQwen 门牌写单张 24GB。三件的许可证、依赖栈、是否真离线（有无遥测回传）均未核验※。 ## 推荐排行榜 - **生态卡位榜**：ollaya（3.20）——Jev 六层塔补上了本地基建层，赛道命名权在手 - **门牌营销榜**：Strata（3.05）——「8GB 跑 125B」是本期最好的广告语，也是最需要实测对账的主张 - **稳健持有榜**：HyperQwen（3.00）——唯一多期在册、增速最稳，适合已有 24GB 卡的人先试 - **待验证红榜**：三件全部在列——谁先交出第一份第三方实测（token 速度、显存峰值、离线断网测试），谁拿走这条赛道的下一个头条 ## 本期观察 ## 参考来源 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。