一个 flag 让 Strata 解码从 12.9 涨到 28.6 tok/s:慢的不是引擎,是它对内存的猜测

3次阅读
没有评论

有人实测:本地推理引擎 Strata 跑 DeepSeek,比另一个引擎 Maya 慢了 1.8 倍。数据没错,测了两遍都一样。

一个 flag 让 Strata 解码从 12.9 涨到 28.6 tok/s:慢的不是引擎,是它对内存的猜测

直到加了一个参数:–mmap-experts off。解码速度从 12.9 tok/s 直接涨到 28.6 tok/s,反超 Maya 的 22.8 tok/s。同样的代码,同一台机器,同一份权重。

原因很朴素。DeepSeek 的权重包有 274GB,引擎判断“内存装不下”,于是全程从 NVMe 硬盘上边读边跑。可“内存能装多少先装多少”的代码,它自己早就写好了。一个关于内存够不够的猜测,吃掉了一半多的速度。

实测表里还有个细节:解码反超之后,预填充还是 Maya 更快——2K 上下文 214 对 480,8K 上下文 1008 对 1406。也就是说这个 flag 修的是解码,不是全方位碾压。

评论区有人回复:已经看到这个问题,计划修。

这事值得记一下。很多“A 比 B 慢”“这玩意不好用”的结论,测到的其实是默认配置,加上工具对你机器的一个猜测,引擎真正的能力压根没上场。当然,默认值本身就是产品的一部分,大多数人不会去翻 flag,默认跑出来慢,对他们来说就是慢。但下“不行”这个判断之前,值得多问一句:它对我的环境做了什么假设?

正文完
 0