8GB 显存笔记本跑 Qwen3.8 Flash Next:262K 上下文预填充 900 t/s

3次阅读
没有评论

8GB 显存加 32GB 内存的笔记本,也能把 Qwen3.8 Flash Next 跑起来。配置是 RTX 5060 Laptop、32GB DDR5、1TB SSD、Linux,用的工具是 Strata。

成绩:262K 上下文预填充 800–970 t/s,生成 30–40 t/s;131K 上下文预填充 930–1040 t/s。

原理不复杂:常用专家放显存,可能用到的放内存,其余的放 SSD,不频繁换用例时效果最好。

关键参数就这几个:–mmap-experts –kv-resident 20480 –vram-reserve-mib 900 –pcie-frac 0.35,STRATA_RESIDENT_HEADROOM_GIB=4。

别踩的坑:不用 MTP,它占显存还拖慢预填充;视觉放 CPU,每张图约 1–2 秒;并行调用不用 –parallel,改用 –conversation-cache 顺序恢复会话。

正文完
 0