首页 › skills-review › 8GB跑125B:本地伺模三件横评

8GB跑125B:本地伺模三件横评——同赛道对比第7期

概述

评测对比表

对象 定位 功能 设计 实战 上手 社区 加权
ollaya 决策模型本地伺服器 ★★★※ ★★★★ ★★※ ★★★※ ★★★★ 3.20
Strata 8GB 卡跑 125B 安装器 ★★★※ ★★★★ ★★※ ★★★★ ★★ 3.05
HyperQwen 自有 GPU 伺服 27B ★★★※ ★★★ ★★★※ ★★★※ ★★★ 3.00

三个总分咬得极近,恰好说明这条赛道还没有赢家,只有三种押注。

主角一:ollaya——被预告了两天的门牌终于挂上

这一行描述信息量在三个词上。第一个是 pull and serve——这是 Ollama 在 2023 年定下的范式:一条命令拉模型、一条命令起服务、本地吐 API。ollaya 把这套范式原样搬进 Jev 生态,等于承认:决策模型再小也是模型,也需要一个统一的伺服层,而不是每件 Skill 各自带一个推理脚本。第二个词是 locally——Jev 生态的六层塔(模型、黄页、宿主插件、应用、娱乐、基建)里,前面五层本栏都拆过,缺的正是这一层本地基建。09-28 本栏《jevgrep》篇已经给它画了生态位:「laya 是引擎,ollaya 是本地运行器」。第三个是模型清单本身:Laya、decider、NLI、GLiClass——一个类型化决策引擎、一个判定器、一个自然语言推理件、一个文本分类件,全部是「System 1 快思考」家族的小模型。它伺的不是通用大模型,是 Agent 的反射弧。

短板照实说:700 星与 HN 405 分证明的是注意力,不是可用性——「一条命令跑起来」的体验是否兑现,正文未读无从验证※;TypeSafe 技术栈的安装依赖有多重,对非 Jev 生态用户是否友好,同样存疑。它的实战 2 星不是指控,是暂无证据。

主角二:Strata——门牌上最锋利也最大胆的一句话

Niko1221/Strata,⭐501,新星榜末席。描述:「Qwen3.8-Flash-Next (125B MoE) on a 8GB+ NVIDIA GPU: one-click install for Windows / Linux. Strata in…」(截断,推测为 installer 字样,未经官方证实)。

「8GB 显卡跑 125B」是三张门牌里最锋利的一句——锋利到必须先做一遍算术。按公开量化常识,125B 参数哪怕压到 2bit 级别,权重也要 25GB 上下的量级,8GB 显存纯放权重在算术上不成立;所以它几乎必然依赖显存+内存协同卸载、或 MoE 架构的按需加载专家机制——这是工程推断,不是指控,仓库正文未读※。但恰恰是这个算术缺口,决定了它的产品定位:它赌的不是「量化算法多先进」,而是入门级硬件用户的规模——8GB 卡是存量游戏本和办公台式机的众数,Windows/Linux 一键安装把门槛从「会配 CUDA 环境」压到「会点下一步」。变现栏今天已按变现视角给它开过分;本栏从赛道角度补一句:在三件里,它是唯一把目标用户定义成「非开发者」的——这是差异化,也是风险,因为这个人群恰恰是最没法自己排障的人群。

设计分给 4 星:一句话门牌把型号、参数量、硬件门槛、安装方式全部说完,触发词密度是三件里最高的。社区 2 星:501 星三件垫底,且描述截断说明门牌打磨未完成。

主角三:HyperQwen——三件里唯一的多期在册老将

它的路线与 Strata 正好相反:不赌量化极限,不赌小白用户,赌的是「你实际拥有的 GPU」(GPUs you actually own)——24GB 卡(4090/3090 一档)伺 Qwen3.8-27B。这个组合的算术是成立的:27B 走 4bit 级量化约 14GB 上下,留足 KV cache,单张 24GB 卡伺得起——这同样是以量化常识做的推断,具体精度方案未读正文※。对比 Strata,它牺牲了门槛换吞吐与稳定;对比 ollaya,它伺的是通用对话模型而非决策小模型——同一个「本地伺模」的壳,装的是三种不同的生意。

它的短板是时间维度的:+10 的日增速放在 Strata、ollaya 两个首印新席旁边显得沉闷,星数体量最大、话题势能最弱——三件里它是最早进场的一个,却也最先遇到「赛道名字被别人抢走」的问题:说到本地伺模,先被提起的是挂着 Ollama 名号的 ollaya。

赛道全景

flowchart TD
    ROOT["把脑子搬回家"] --> A["ollaya 伺快脑"]
    ROOT --> B["Strata 压整脑"]
    ROOT --> C["HyperQwen 供整脑"]
    A --> A1["四类决策小模型"]
    A --> A2["服务Jev装机人"]
    B --> B1["8GB卡125B MoE"]
    B --> B2["一键装面向玩家"]
    C --> C1["24GB卡27B原味"]
    C --> C2["自有GPU讲吞吐"]

再从一张调用关系图看三件在同一台机器上的分工——它们并非只能二选一:

flowchart TD
    U["本地Agent"] -->|"快判断"| O["ollaya端点"]
    O --> M1["laya"]
    O --> M2["decider与NLI"]
    U -->|"长生成"| H["HyperQwen端点"]
    H --> M3["Qwen3.8-27B"]
    U -->|"全离线兜底"| S["Strata整机"]
    S --> M4["125B MoE量化"]

同赛道对比的三条结论

第一,门派之争的本质是「伺什么脑」。 ollaya 伺反射弧(毫秒级、可本地、模型小到无所谓显卡),Strata 和 HyperQwen 伺大脑(通用生成、吃显存、量化即代价)。前者的天花板是 Jev 生态自己的规模,后者的天花板是用户显卡的价格。三条路线里,ollaya 押的是生态,Strata 押的是人群,HyperQwen 押的是硬件存量——3.20、3.05、3.00 的分差正对应三种押注的确定性排序。

第二,「Ollama 范式」正在被批量复刻,验证的是范式而非产品。 三件描述里 pull、serve、one-click、locally 这几个词素高度同源,说明大家都接受了同一个产品形状。这个形状上一轮属于跑通用大模型的 Ollama 们,这一轮被细分市场认领——对写件人的启示是:在成熟范式里找无人认领的细分位,比发明新范式便宜得多。本栏 09-25 记过「Agent 护栏赛道空位还空着」,本地伺模这条赛道则相反:位置有人占,但每个位置都还没有二次验证——700 星没有一张实测帖背书,8GB 的算术缺口没人拆穿,27B 的量化方案没人复核。货架上的货,标签都还没撕。

第三,星数与进场的时机关系又添一个样本。 HyperQwen 四天涨 56 星、稳定在册,ollaya 靠 HN 405 分一夜拿走赛道命名权,Strata 靠一句门牌主张挤进新星榜——进场最晚、星数最少的 ollaya 反而拿走了最大的注意力红利。这与本栏《流速对账》篇「周边件要蹭,得在周边潮那三天上架」的结论互为印证:这条赛道上,命名权比先发权值钱。

安装与上手

三件均为黑箱,以下仅提供入口与自查清单,不构成可用性背书;装前先读 README 与网络请求清单(本栏 09-19 底线条款):

# ollaya:Jev生态本地决策模型伺服器(HN 405分,⭐700)
git clone https://github.com/ollaya-dev/ollaya

# Strata:8GB卡一键装125B MoE(⭐501,Windows/Linux)
git clone https://github.com/Niko1221/Strata

# HyperQwen:24GB卡伺Qwen3.8-27B(⭐1736)
git clone https://github.com/syv-ai/HyperQwen

硬件对照:ollaya 目标模型为决策小模型,显卡要求预计最低(以仓库说明为准);Strata 门牌写 8GB+ NVIDIA;HyperQwen 门牌写单张 24GB。三件的许可证、依赖栈、是否真离线(有无遥测回传)均未核验※。

推荐排行榜

本期观察

参考来源

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入