本地大模型实测对决:RTX 5090 跑 Qwen3.8-27B,对上 Mac Studio 的 DeepSeek-V4.1-Flash

2次阅读
没有评论

把两个本地大模型放进同一个实时策略游戏、让它们自己思考、自己行动,不靠人力干预——这场对决的看点不在跑分,而在真实硬件上跑起来的样子。

一方是 RTX 5090 上的 Qwen3.8-27B,用 NVFP4 与 FP8 混合量化、NInfer 推理引擎、MTP 3;另一方是 Mac Studio M5 Ultra 上的 DeepSeek-V4.1-Flash-1017,走 TensorFold Metal 方案、MLX 框架,专家权重压到 2bit 和 3bit。游戏本身就是作者在做的策略游戏,全程实时运行,两个模型先思考再行动,没有人类输入。

参数设置也各按各的规矩:DeepSeek 按配方走贪心解码,Qwen 按模型卡建议用 temperature 1.0。结果分两头:DeepSeek 在作者自己的知识与代码测试里得分更高,Qwen 的解码速度更快。作者自己也提醒,一场比赛不是基准测试,单场结果别当成通用结论。

值得注意的是,画面里的一切,包括配音,全部是在本地跑出来的。两个配方的完整数字都已公开:

RTX 5090 方案:https://niklaslenz.com/v2/qwen38-27b-nvfp4-ninfer-mtp3-5090/
Mac 方案:https://niklaslenz.com/v2/deepseek-v41-flash-mac-tensorfold-metal-bob/

想在本地复现这种“模型对打”的,照着配方搭环境比空谈参数实在得多:显卡路线拼解码速度,Mac 路线拼低比特量化后的可用性,选哪条先看自己手里有什么硬件。

正文完
 0