Ollama 越用越臃肿,每次启动都像在等一个大块头翻身。最近换了个思路:Shimmy,Rust 写的本地模型运行时,单文件只有 5MB,启动压在 100ms 以内,内存占用约 50MB。第一次运行甚至会怀疑它到底有没有启动——实在太快了。

轻是真轻:5MB 单文件,下载干脆利落,不像某些工具几百兆打底;点开即用,老旧机器也能带动。
好用也没打折:自带 OpenAI 兼容 API,接入成本几乎可以忽略;不用配置,端口自动分配,打开就进入状态;模型自动发现,Hugging Face、Ollama、本地目录统统支持。
体积、速度、内存三项摆一起,Shimmy 比 Ollama 轻得不是一点半点。项目地址:https://github.com/Michael-A-Kuykendall/shimmy
正文完