两台 DGX Spark 跑 DeepSeek-V4.1-Flash-1017,解码速度能到多少?实测给出的答案是:代码 70.5 tok/s,散文 70.6 tok/s。500 个词大约 10 秒写完,读一个 3.2 万 token 的提示词要 1830 tok/s,读完后等 17.9 秒出第一个 token。
并发上去之后,总吞吐反而涨了:4 个请求同时跑,总共 107.4 tok/s;8 个请求同时跑,总共 106.3 tok/s。不过配方只开了 4 个槽位,8 个请求时多出来的只能排队等空位。
上下文按配方的设定拉到 1048576 个 token,实测过的最大上下文是 131072 个 token。
做个对照:同一份配方、4.0 bpw 量化跑在 4 台 Spark 上,代码解码 82.8 tok/s,散文 80.8 tok/s,8 并发总共 141.2 tok/s。两台对四台,速度差距没有翻倍那么大。
质量分也一并测了:MMLU-Pro 62.0%(±4.7),GPQA Diamond 43.9%(±6.9),IFEval 92.0,LiveCodeBench 60.0%(±14.5),长文本 8K 67.5%(±14.0)、32K 57.5%(±14.7),开思考的 GPQA 80.0%(±13.9)。但有个口子要说明:MMLU-Pro 和 GPQA 的答案被截在 48 个 token,MMLU-Pro 400 道题里 49 道被截断、GPQA 198 道里 46 道被截断,截断的都算错,长文本和 LiveCodeBench 也各有几道被截。
工具调用在 sparkDash 2.50.0 里测的:问答 89.3%(±5.0),MMLU 93.0%(±3.0),工具评测 93/100。
部署上还有两个细节:配方要 RDMA GID index 5,两台 Spark 上没有,就给互联端口配了 IPv4 地址;其中一台是华硕 GX10,驱动版本比较旧。模型用的是 bertholomus 的 EXL3 2.5 bpw 量化,一个模型拆到两台机器上跑 TP2,配方版本 v0.7.2,思考全程关闭,只有标注思考的那行 GPQA 例外。
完整数字、每条命令和原始输出都在下面这篇实测记录里:
https://niklaslenz.com/v2/deepseek-v41-flash-2sparks-bertholomus-tp2/