首页 › tips-tricks › 本地大模型，八成卡在ollama run

本地大模型，八成卡在 ollama run

如果你装 Ollama 只是为了在终端敲一句 ollama run，那你就属于那八成人——用一个开源神器最贵的姿势，只榨出了它 10% 的能力。这篇拆的是 Ollama 官方文档里写得明明白白、但 90% 用户从没翻到过的八个开关：从把上下文从 2048 拉到 128K、到一行 base_url 让全家桶秒变本地、再到 OLLAMA_HOST=0.0.0.0 用一张显卡撑起整个团队。每一条都能立刻敲、立刻见效。今天（2026-06-23）Ollama 仓库主页挂着支持 GLM-5.1、Kimi-K2.6、DeepSeek、gpt-oss、Gemma 4、Qwen —— 这些当前主流模型你都能零 API 费、数据不出本机地跑起来，但前提是：你得会用下面这些开关。

先看一张图：从青铜到超凡的八段位

很多人以为 ollama run 就是终点，其实那只是起跑线。下面这张流程图就是这八个开关的进化路径——每往下一层，你的本地大模型就更强一档：

flowchart TD
    A["青铜｜ollama run gemma4<br/>默认2K上下文·单机·手敲"] --> B["白银｜/set parameter num_ctx 32768<br/>长文档不截断"]
    B --> C["黄金｜Modelfile + ollama create<br/>固化seed/温度/系统提示"]
    C --> D["铂金｜ollama ps 查GPU/CPU拆分<br/>调num_gpu全卸载到显卡"]
    D --> E["钻石｜keep_alive=-1<br/>模型常驻内存·零加载延迟"]
    E --> F["星耀｜import GGUF/Safetensors<br/>HF/魔搭模型直接吃"]
    F --> G["王者｜/v1 OpenAI兼容端点<br/>Cursor/LangChain秒接本地"]
    G --> H["超凡｜OLLAMA_HOST=0.0.0.0<br/>一张卡撑起整个团队"]
    style A fill:#f4cccc,stroke:#cc0000
    style H fill:#d9ead3,stroke:#38761d

开关一：num_ctx——默认只有 2K，长文直接被悄悄砍头

这是最大的认知差。Ollama 在 Modelfile 层默认上下文窗口只有 2048 token，服务端默认也只有 4096（docs.ollama.com/faq 白纸黑字）。也就是说，你喂一篇几万字的技术文档、或一段长对话，模型默默只读了开头就开答，你以为它蠢，其实是被掐了脖子。

操作步骤： - 运行时临时改：在 ollama run 的对话框里敲 /set parameter num_ctx 32768 - 全局改：启动时设环境变量 OLLAMA_CONTEXT_LENGTH=32768 ollama serve - 永久固化（见开关三，写进 Modelfile）

预期效果： 长文档 RAG、长代码 review 不再"断片"。代价是吃显存——32K 上下文大约多吃 1–2GB 显存，量力而行。

适用人群： 任何做长文档问答、代码库分析、长对话的人。

开关二：keep_alive——别让模型每次提问都重新加载

模型加载到显存要几秒到十几秒。Ollama 默认 5 分钟没调用就把模型从内存踢掉，下次你问一句话，又得干等重新加载。ollama ps 输出里的 UNTIL 列，就是这个倒计时。

操作步骤（API 调用时）：

{ "model": "glm5.1", "keep_alive": "30m" }

设 "30m"：空闲 30 分钟才卸载
设 "-1"：永久常驻内存，高频调用首字延迟从 8 秒降到 0.2 秒
也可设 OLLAMA_KEEP_ALIVE=-1 环境变量全局生效

预期效果： 高频 API 调用场景，吞吐和体感速度提升一个数量级。代价是显存被长期占用，别常驻太多模型。

适用人群： 把 Ollama 当后端服务、做 Agent、做高频问答机器人的人。

开关三：Modelfile——把你的"私人配置"固化成一个模型

每次手动敲 /set parameter 太蠢。Ollama 借鉴 Docker 的思路，用一个 Modelfile 把系统提示、温度、上下文、停止符、随机种子全部固化，再 ollama create 打包成你专属的模型，团队共享。

操作步骤：

# 文件名 Modelfile
FROM gemma4
PARAMETER temperature 0.3
PARAMETER num_ctx 32768
PARAMETER seed 42
SYSTEM """你是5G核心网专家，只回答通信协议问题，不确定就说不确定。"""

ollama create telecom-expert -f ./Modelfile
ollama run telecom-expert

反查别人的配方： ollama show --modelfile glm5.1 能把官方模型的完整 Modelfile 打印出来，照抄改即可。

适用人群： 想把模型"调成自己样子"、做产品、想团队复用统一配置的人。

开关四：ollama ps + num_gpu——揪出"假 GPU"的慢元凶

你以为在用显卡，其实模型溢出一半到内存了。ollama ps 的 PROCESSOR 列会老实告诉你：

NAME        SIZE    PROCESSOR      UNTIL
glm5.1      9 GB    48%/52% CPU/GPU   ← 显存不够，半数层在CPU跑，慢10倍

操作步骤： - 看到 100% GPU 才是真·全显卡推理 - 看到 XX%/YY% CPU/GPU：换更小的量化版（ollama run glm5.1:4b-q4_K_M 这类），或用 num_gpu 参数手动控制卸载层数 - 显存不够别硬撑，溢出到 CPU 的部分是性能黑洞

预期效果： 避免花显卡的钱、跑 CPU 的速度。一张 16GB 卡通常能完整跑 7B–14B 的 Q4 量化。

适用人群： 觉得"本地模型好慢"的所有人——多半是这一条没调对。

开关五：seed=42——锁死输出，做评测/自动化才靠谱

默认 seed=0，每次输出都漂移。你拿本地模型做 benchmark、做 A/B 对比、做自动化测试，结果每次不一样，根本没法比。PARAMETER seed 42 一行锁死，相同 prompt 永远相同输出。

预期效果： 可复现的评测、可回归的自动化、可对比的模型选型。这是搞评测和工程化的人必开的开关，但文档里就一行带过，几乎没人用。

开关六：speculative decoding——用小模型给大模型"递草稿"

这是 2026 年的新参数 draft_num_predict。原理是配一个小的 draft 模型先猜几个 token，大模型只做校验，猜对了就白赚——相同质量下吞吐翻倍。Modelfile 里 PARAMETER draft_num_predict 4，配合一个同家族的小模型当 draft，长文本生成速度肉眼可见提升。

适用人群： 追求本地推理吞吐、做批量生成、显存够同时装一大一小两个模型的人。

开关七：import 自定义 GGUF/Safetensors——HuggingFace/魔搭模型直接吃

官方库没收录的模型，不用等。国内魔搭、HuggingFace 下载的权重，Modelfile 一行就能跑：

FROM ./my-model.gguf          # GGUF 直吃
FROM ./safetensors-dir/       # 或 Safetensors 目录（支持 Llama/Mistral/Gemma/Phi3 架构）

ollama create mymodel -f ./Modelfile

加分项：ADAPTER 指令还能挂你自己的 LoRA 微调权重，本地跑"你微调过的私有模型"。这是把开源模型私有化的完整闭环，企业内网部署尤其香。

适用人群： 想跑特定冷门模型、用自己微调权重、做私有化部署的人。

开关八：/v1 兼容 + OLLAMA_HOST——一张卡变成团队推理服务器

这是信息差最大的一招，分两层：

① OpenAI 兼容端点。 Ollama 自带 /v1/chat/completions，base_url 指过去，api_key 随便填：

client = OpenAI(base_url='http://localhost:11434/v1/', api_key='ollama')

Cursor、Cherry Studio、LangChain、Dify、AnythingLLM……所有支持 OpenAI 协议的工具，一行 base_url 秒变本地，零 API 费用、数据不出本机。README 里还列出 ollama launch claude / ollama launch openclaw，能直接把 Ollama 接进 Claude Code、Codex、Copilot CLI 当后端。

② 局域网共享。 设 OLLAMA_HOST=0.0.0.0:11434，你的机器就成了团队推理服务器，同事手机、其他工位、测试机全部连 http://你的内网IP:11434。一张显卡、一份模型，全团队白嫖，省下每人一份 API 订阅。

适用人群： 小团队、独立开发者、想砍掉全家桶 API 月费的所有人。

信息差总结：你知道的 vs 别人早就在玩的

维度	八成人的做法（青铜）	两成人的玩法（超凡）
上下文	默认 2K–4K，长文被截断	`num_ctx 32768` 起步，长文档全读
加载延迟	每次重新加载干等	`keep_alive=-1` 常驻内存
配置	每次手敲参数	`Modelfile` + `ollama create` 固化
GPU	不知道在不在用显卡	`ollama ps` 查拆分，调 `num_gpu`
接入	只在终端用	`/v1` 端点，全家桶秒接本地
部署	单机自用	`OLLAMA_HOST=0.0.0.0` 团队共享
模型	只用官方库	`import` GGUF/魔搭/LoRA 私有模型
可复现	每次漂移没法比	`seed=42` 锁死，可评测可回归

行动指南：今晚就能做的三件事

先诊断： ollama run 进去敲 /show parameters，再开个新终端 ollama ps，看你的模型到底吃了多少显存、是不是在用 GPU、上下文多少。多数人会大吃一惊。
写第一个 Modelfile： 用 ollama show --modelfile <你常用的模型> 导出官方配方，改 num_ctx 和 temperature，加一段你的 SYSTEM，ollama create my-v1 -f ./Modelfile，以后就跑你自己的版本。
接进你的工具链： 打开 Cursor 或 Cherry Studio，把模型 API 地址改成 http://localhost:11434/v1，api_key 填 ollama——你会瞬间理解"本地大模型 + OpenAI 协议"的爽感，从此 API 月费砍大半。

参考来源

Ollama 官方仓库（含 2026 模型支持列表）：https://github.com/ollama/ollama
Modelfile 参数参考（num_ctx/seed/draft_num_predict 全在这）：https://docs.ollama.com/modelfile
FAQ（上下文默认值、ollama ps、OLLAMA_HOST）：https://docs.ollama.com/faq
OpenAI 兼容端点文档：https://docs.ollama.com/api/openai-compatibility
官方模型库：https://ollama.com/library ｜社区：https://reddit.com/r/ollama

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入