DeepSeek-V4.1-Flash 本地量化版来了:64GB 内存就能跑,1M 上下文一次喂完

3次阅读
没有评论

本地跑大模型又往前迈了一大步:Unsloth 刚刚放出 DeepSeek-V4.1-Flash 的 Dynamic V3.1 量化版,64GB 内存的机器就能直接跑起来。

以前这种体量的模型得堆昂贵的服务器,现在门槛直接被砸穿。关键变化有三点:一是 Engram 直接放 SSD,按需极速读取,内存占用大幅砍下来;二是配合 DSpark 加速,推理速度最高能快 3 倍;三是 1M 超长上下文,整个代码库、几十本书可以一次性喂进去。

同级量化里的基准测试,这次也几乎全线霸榜。手里有 64GB 内存设备的,现在就可以冲了。

模型下载:

https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

官方指南:

https://unsloth.ai/docs/models/deepseek-v4.1-flash

正文完
 0
评论(没有评论)