一张二手 3090 跑 Qwen3.8-Flash-Next:速度接近官方 API 两倍,配置清单一次给全

3次阅读
没有评论

本地跑 Qwen3.8-Flash-Next,一张二手 RTX 3090 就能跑出接近官方 API 两倍的速度。速度从哪来、配置怎么配,核心就这几件事。

一张二手 3090 跑 Qwen3.8-Flash-Next:速度接近官方 API 两倍,配置清单一次给全

速度怎么来的

MoE 加专家卸载:Strata 把热门专家放显存,其余放内存,命中率 93-96%,大部分 token 不用全量跑。MTP 投机解码一次猜 4 个 token 再验证,接受率高,直接加速。框架优化:Strata 0.2.3 针对 3090(sm_86)做了专门优化,再快约 9%。内存充足是前提,专家没被挤到 SSD,带宽才不拖后腿。

一张二手 3090 跑 Qwen3.8-Flash-Next:速度接近官方 API 两倍,配置清单一次给全

关键配置清单

显卡:RTX 3090 24GB ×1,显存实际占用约 22.5GB。内存:≥96GB,推荐 128GB,实际占用 62-70GB。64GB 装不下,部分专家读 SSD,速度直接腰斩到约 55 tok/s。硬盘:NVMe,留 100GB 空间,模型约 94GB。框架:Strata 0.2.3,OpenAI 兼容接口,MTP 开 4。量化:内存够优先 UD-IQ4_XS,内存紧张选 IQ3_XXS。

一张二手 3090 跑 Qwen3.8-Flash-Next:速度接近官方 API 两倍,配置清单一次给全

内存不够时,改用 IQ3_XXS,准确率 92.8%,速度仍约 102 tok/s。内存够就用 IQ4,内存不够就降到 IQ3_XXS,一张 3090 就能把速度和可用性同时拉满。

一张二手 3090 跑 Qwen3.8-Flash-Next:速度接近官方 API 两倍,配置清单一次给全

正文完
 0