同一台 Mac,本地大模型速度差 2 倍多:Kapitsa 推理引擎专为苹果芯片优化

3次阅读
没有评论

同一台 Mac 跑本地大模型,69 tokens/s 和 161 tokens/s 的差距,居然来自推理引擎。开源项目 Kapitsa 专门针对 Apple Silicon 做了优化。

官方测试数据(M4 Pro、48GB 内存,运行 Qwen3.6 35B-A3B 4-bit 版):llama.cpp 69 tokens/s,Ollama 89 tokens/s,Kapitsa 161 tokens/s。

提速的核心是 KFlash:通过树状推测解码,一次验证更多候选 Token,减少重复计算。

功能上还支持:Claude Code、Codex、OpenCode 接入本地模型;OpenAI / Anthropic 兼容 API;SSD 缓存,重启后复用上下文;多 Agent 并发推理。

安装只需一行:

brew install nace-ai/tap/kapitsa

数据来自项目自己的 Benchmark,实际速度取决于 Mac 配置。用 Mac 跑本地 Coding Agent 的,值得拿来和 Ollama 实测一轮。

开源地址:https://github.com/nace-ai/kapitsa

正文完
 0