同一台 Mac 跑本地大模型,69 tokens/s 和 161 tokens/s 的差距,居然来自推理引擎。开源项目 Kapitsa 专门针对 Apple Silicon 做了优化。
官方测试数据(M4 Pro、48GB 内存,运行 Qwen3.6 35B-A3B 4-bit 版):llama.cpp 69 tokens/s,Ollama 89 tokens/s,Kapitsa 161 tokens/s。
提速的核心是 KFlash:通过树状推测解码,一次验证更多候选 Token,减少重复计算。
功能上还支持:Claude Code、Codex、OpenCode 接入本地模型;OpenAI / Anthropic 兼容 API;SSD 缓存,重启后复用上下文;多 Agent 并发推理。
安装只需一行:
brew install nace-ai/tap/kapitsa
数据来自项目自己的 Benchmark,实际速度取决于 Mac 配置。用 Mac 跑本地 Coding Agent 的,值得拿来和 Ollama 实测一轮。
开源地址:https://github.com/nace-ai/kapitsa