AI工具 ESP32 上跑大模型、给 Coding Agent 装屏幕：3 个值得收藏的 AI 开源项目 几十块钱的 ESP32-S3 能干什么？这周有 3 个开源项目把答案玩出了花：本地跑 3000 万参数的大模型…
AI工具 12GB 显卡跑 763B 大模型：GSQ+RCO 非均匀量化，IQ2_XXS 恢复 100% 763B 参数的 MoE 大模型，被压到 1.75 bpw，能在单张 12GB 显卡上跑起来。 关键不是“压得…
AI工具 同一台 Mac，本地大模型速度差 2 倍多：Kapitsa 推理引擎专为苹果芯片优化 同一台 Mac 跑本地大模型，69 tokens/s 和 161 tokens/s 的差距，居然来自推理引擎。…
AI工具 单文件 5MB、启动不到 100ms：这个 Rust 写的本地模型运行时比 Ollama 轻得多 Ollama 越用越臃肿，每次启动都像在等一个大块头翻身。最近换了个思路：Shimmy，Rust 写的本地模型…
