Medium#Ollama

Ollama 模型速度过慢 — 5 种优化方法

作者 Jason Guo发布于 2026年3月2日更新于 2026年9月5日

如果 Ollama 模型在 OpenClaw 中每秒生成不足 5 个 token，最可能的原因是：GPU 加速未启用而在 CPU 上运行、使用了不适合 VRAM 的全精度（F16）模型，或者上下文窗口设置过大。以下每条优化都针对其中一个根本原因——按顺序执行可获得最快的累积改善效果。在配置了 gpu_layers: -1 和 Q4_K_M 量化的 Mac Mini M4 上，吞吐量通常可从 4-6 tok/s 提升至 80-120 tok/s。

diagnose.sh

🔍 第一步：诊断基准速度

# Check if GPU is being used

$ ollama ps

# Check tok/s directly

$ ollama run llama3.1:8b "Write a 100-word poem" --verbose

# Expected output for GPU: eval rate 80-150 tok/s

# Expected output for CPU only: 1-10 tok/s

重点关注两项输出：'ollama ps' 中的 'device' 列——如果显示 'CPU' 而非 'GPU' 或 'Metal'，说明硬件加速未启用。以及 --verbose 输出中的 'eval rate' 行——Apple 芯片低于 10 tok/s，或独立 NVIDIA GPU 低于 20 tok/s，说明这是配置问题，而非硬件限制。记录该数值后再继续执行优化步骤。

optimizations.yaml

✅ 5 种优化（按顺序执行）

#01启用所有 GPU 层+900%（macOS Metal）

默认情况下，如果 Ollama 无法确认所有层都能放入 VRAM，会将部分层卸载到 CPU。设置 gpu_layers: -1 可强制所有层到 GPU——若不够用，Ollama 会给出警告，而非静默降级。这一改动是 Apple 芯片和 NVIDIA 系统性能提升的最主要来源。

# config.yaml

ai:

gpu_layers: -1 # -1 = all layers on GPU

#02缩小上下文窗口+30-50% 速度

注意力计算随上下文长度呈平方级增长。大多数 OpenClaw 对话实际使用不超过 1,500 个 token，默认 4096 的窗口通常是浪费。除非处理长文档分析，否则减半即可。对于只发送简短心跳的 agent，512 已经足够。

ai:

context_length: 2048 # default 4096 — halve it

#03使用 Q4_K_M 量化体积减半，质量相当

Q4_K_M 是大多数场景的推荐量化方案：比 Q8 小 40-50%，基准性能损失不足 1%。Q2_K 更快但在推理和指令遵循方面明显更差——避免在需要多步逻辑的 agent 任务中使用。

$ ollama pull llama3.1:8b-q4_K_M # instead of :8b (F16)

#04启用响应缓存重复查询约 0ms

重复相同的提示——每日问候、心跳 ping、静态问答——可从缓存以近零延迟提供服务。如果将 Ollama 数据目录挂载为 Docker 卷，缓存条目将在重启后保留。对每天多次发送相同提示的定时 agent 最有帮助。

ai:

cache:

enabled: true

max_size: 100

#05对简单任务使用更小的模型16 tok/s vs 8 tok/s

将意图分类为'简单'的查询路由到 2-3B 模型。OpenClaw 路由配置允许为问候、状态检查和简短回复指定快速模型，将大模型留给真正需要深度推理的任务。Gemma 2B 能以 7B 模型两倍的速度处理大多数对话交流。

routing:

simple:

model: "gemma2:2b" # fast for greetings/FAQ

cold_start.sh

冷启动：重启后第一次请求报「model not found」

重启后第一次响应特别慢、甚至直接报「model not found」，其实是同一个问题的两个侧面：模型还没被加载进内存。下面这几个修复能让第一次请求的表现接近第十次。

✅ 修复方法 1 — 在 OpenClaw 中增加 Ollama 请求超时

默认 30 秒超时对冷启动来说太短

# 在 openclaw.yaml 中，增加 Ollama 超时
providers:
  - id: local-ollama
    type: ollama
    baseUrl: http://localhost:11434
    timeout: 120000        # 120 秒（默认：30）
    coldStartTimeout: 300000  # 首次加载 5 分钟

✅ 修复方法 2 — 在网关启动前预热 Ollama

在网关开始接受请求前预热模型

# 在启动脚本中，在 openclaw gateway start 之前添加
ollama run llama3.1:8b-q4_K_M '' --nowordwrap &
sleep 30  # 等待模型加载
openclaw gateway start

✅ 修复方法 3 — 禁用模型卸载（始终保持模型加载）

在 openclaw.json 中 — 防止模型在闲置时卸载

# 无限期保持模型加载（使用更多 RAM）
{
  "ai": {
    "keep_alive": -1
  }
}

# 或设置长超时
{
  "ai": {
    "keep_alive": "24h"
  }
}

❓ 常见问题

Q1. 什么样的 tok/s 速度算好？

交互使用：10+ tok/s 感觉流畅，20+ tok/s 舒适，低于 5 tok/s 会让对话体验变得令人沮丧。对于后台任务（如夜间摘要或定期报告），速度要求较低，3-5 tok/s 也可以接受。

Q2. Ollama 支持 GPU 加速吗？

支持。Ollama 自动使用 Metal（Apple 芯片）、CUDA（NVIDIA）或 ROCm（AMD）。用 'ollama ps' 检查，设备列显示 'gpu' 或 'metal' 表示加速已激活。如果显示 'cpu'，请检查 GPU 驱动是否安装，以及模型是否超出 VRAM 容量——若超出，改用 Q4_K_M 等更小的量化版本使其完全放入显存。

Q3. 应该选小模型还是大模型？

取决于任务。编程辅助、复杂推理和长文写作推荐 8B+ 模型，效果明显更好。简单聊天、问答和快速指令，3B 模型如 Phi-3 Mini 或 Gemma 2B 已足够快且能力够用。OpenClaw 路由配置可自动将不同意图分配到不同模型，兼顾速度与质量。

Q4. 为什么直接运行 Ollama 比通过 OpenClaw 快？

OpenClaw 会为上下文管理和工具调用增加少量开销——通常每次请求 50-200ms，而非每个 token。如果 tok/s 相似但总响应时间更长，请检查是否启用了大量工具。每个启用的工具都会向系统提示添加 token，增加首 token 时间（TTFT）。在 agent 配置中禁用未使用的工具可降低提示开销。

Q5. GPU 已识别但 tok/s 仍低于 10，原因是什么？

三个常见原因：(1) 模型只有部分层在 VRAM 中——溢出到 RAM 的层在 CPU 运行，造成瓶颈，改用更小的量化版本；(2) 过热降频——MacBook 和迷你电脑持续推理 10-15 分钟后可能触发热限制，用 Activity Monitor 或 iStats 检查温度；(3) 上下文过长——每个新 token 都需要关注所有前序 token，将 context_length 从 4096 降至 2048 可节省 30-50% 计算量。

Q6. 响应缓存对 OpenClaw agent 真的有帮助吗？

有帮助，但仅对完全相同的重复输入有效——通常是心跳消息、定期问候，或使用相同模板的问答型提示。对于独特的对话消息无效。缓存在 Ollama 的 KV cache 层工作：若提示前缀与缓存序列匹配，推理将从序列中途开始，而非从头计算。在 config.yaml 中启用，并将 max_size 设为至少 50 条以供日常使用。

Q7. 冷启动需要多长时间？

取决于模型大小和存储速度。NVMe SSD 上的 7B Q4 模型约 3-5 秒。树莓派 SD 卡上可能需要 30-60 秒。

Q8. 可以在启动时预加载模型吗？

可以。在启动脚本中添加 "ollama run <model> --keepalive 999h"，或配置 OLLAMA_KEEP_ALIVE 环境变量防止卸载。

Q9. 云端 API 提供商会出现这个问题吗？

不会。这是本地 Ollama 模型特有的问题。云端 API 在服务器端处理冷启动。

← 返回故障排除 Ollama 集成指南 →

Ollama 模型速度过慢 — 5 种优化方法

作者 Jason Guo发布于 2026年3月2日更新于 2026年9月5日

🔍 第一步：诊断基准速度

# Check if GPU is being used

$ ollama ps

# Check tok/s directly

$ ollama run llama3.1:8b "Write a 100-word poem" --verbose

# Expected output for GPU: eval rate 80-150 tok/s

# Expected output for CPU only: 1-10 tok/s

✅ 5 种优化（按顺序执行）

#01启用所有 GPU 层+900%（macOS Metal）

# config.yaml

ai:

gpu_layers: -1 # -1 = all layers on GPU

#02缩小上下文窗口+30-50% 速度

ai:

context_length: 2048 # default 4096 — halve it

#03使用 Q4_K_M 量化体积减半，质量相当

$ ollama pull llama3.1:8b-q4_K_M # instead of :8b (F16)

#04启用响应缓存重复查询约 0ms

ai:

cache:

enabled: true

max_size: 100

#05对简单任务使用更小的模型16 tok/s vs 8 tok/s

routing:

simple:

model: "gemma2:2b" # fast for greetings/FAQ

冷启动：重启后第一次请求报「model not found」

✅ 修复方法 1 — 在 OpenClaw 中增加 Ollama 请求超时

默认 30 秒超时对冷启动来说太短

# 在 openclaw.yaml 中，增加 Ollama 超时
providers:
  - id: local-ollama
    type: ollama
    baseUrl: http://localhost:11434
    timeout: 120000        # 120 秒（默认：30）
    coldStartTimeout: 300000  # 首次加载 5 分钟

✅ 修复方法 2 — 在网关启动前预热 Ollama

在网关开始接受请求前预热模型

# 在启动脚本中，在 openclaw gateway start 之前添加
ollama run llama3.1:8b-q4_K_M '' --nowordwrap &
sleep 30  # 等待模型加载
openclaw gateway start

✅ 修复方法 3 — 禁用模型卸载（始终保持模型加载）

在 openclaw.json 中 — 防止模型在闲置时卸载

# 无限期保持模型加载（使用更多 RAM）
{
  "ai": {
    "keep_alive": -1
  }
}

# 或设置长超时
{
  "ai": {
    "keep_alive": "24h"
  }
}

❓ 常见问题

Q1. 什么样的 tok/s 速度算好？

Q2. Ollama 支持 GPU 加速吗？

Q3. 应该选小模型还是大模型？

Q4. 为什么直接运行 Ollama 比通过 OpenClaw 快？

Q5. GPU 已识别但 tok/s 仍低于 10，原因是什么？

Q6. 响应缓存对 OpenClaw agent 真的有帮助吗？

Q7. 冷启动需要多长时间？

取决于模型大小和存储速度。NVMe SSD 上的 7B Q4 模型约 3-5 秒。树莓派 SD 卡上可能需要 30-60 秒。

Q8. 可以在启动时预加载模型吗？

可以。在启动脚本中添加 "ollama run <model> --keepalive 999h"，或配置 OLLAMA_KEEP_ALIVE 环境变量防止卸载。

Q9. 云端 API 提供商会出现这个问题吗？

不会。这是本地 Ollama 模型特有的问题。云端 API 在服务器端处理冷启动。

🔍 第一步：诊断基准速度

✅ 5 种优化（按顺序执行）

冷启动：重启后第一次请求报 「model not found」

✅ 修复方法 1 — 在 OpenClaw 中增加 Ollama 请求超时

✅ 修复方法 2 — 在网关启动前预热 Ollama

✅ 修复方法 3 — 禁用模型卸载（始终保持模型加载）

❓ 常见问题

Q1. 什么样的 tok/s 速度算好？

Q2. Ollama 支持 GPU 加速吗？

Q3. 应该选小模型还是大模型？

Q4. 为什么直接运行 Ollama 比通过 OpenClaw 快？

Q5. GPU 已识别但 tok/s 仍低于 10，原因是什么？

Q6. 响应缓存对 OpenClaw agent 真的有帮助吗？

Q7. 冷启动需要多长时间？

Q8. 可以在启动时预加载模型吗？

Q9. 云端 API 提供商会出现这个问题吗？

🔍 第一步：诊断基准速度

✅ 5 种优化（按顺序执行）

冷启动：重启后第一次请求报 「model not found」

✅ 修复方法 1 — 在 OpenClaw 中增加 Ollama 请求超时

✅ 修复方法 2 — 在网关启动前预热 Ollama

✅ 修复方法 3 — 禁用模型卸载（始终保持模型加载）

❓ 常见问题

Q1. 什么样的 tok/s 速度算好？

Q2. Ollama 支持 GPU 加速吗？

Q3. 应该选小模型还是大模型？

Q4. 为什么直接运行 Ollama 比通过 OpenClaw 快？

Q5. GPU 已识别但 tok/s 仍低于 10，原因是什么？

Q6. 响应缓存对 OpenClaw agent 真的有帮助吗？

Q7. 冷启动需要多长时间？

Q8. 可以在启动时预加载模型吗？

Q9. 云端 API 提供商会出现这个问题吗？

冷启动：重启后第一次请求报「model not found」

冷启动：重启后第一次请求报「model not found」