1521 tok/s——Fireworks 把 DeepSeek V4.1 Flash 跑出了这个数字,11 秒现场搓出一个能玩的俄罗斯方块。对比一下:不少在线服务还在 30 tok/s 挤牙膏。

Fireworks 不是普通的中转站,而是一家估值 175 亿美元的美国 AI 推理公司。创始团队 7 个人里有 6 个 Meta 背景,CEO 林乔以前就是 Meta 的 PyTorch 负责人。从 Meta 出来创业,反手把 DeepSeek 跑出极限速度,多少有点黑色幽默。
更有意思的是时间线:梁文锋前脚开源 DeepInfer(推理优化技术),后脚 Fireworks 就跑出这个成绩。虽然没法证明两者有直接关系,但这恰恰是最可怕的地方——模型开源了,推理技术也开源了,全球顶尖工程师都能参与优化,整个生态越卷越快。
快到极致,本身就是一种能力。对开发者来说,推理成本和延迟直接决定了 Agent 类应用能不能落地;对普通用户来说,本地和云端模型的体验差距正在被这种速度抹平。