本地跑大模型又往前迈了一大步:Unsloth 刚刚放出 DeepSeek-V4.1-Flash 的 Dynamic V3.1 量化版,64GB 内存的机器就能直接跑起来。
以前这种体量的模型得堆昂贵的服务器,现在门槛直接被砸穿。关键变化有三点:一是 Engram 直接放 SSD,按需极速读取,内存占用大幅砍下来;二是配合 DSpark 加速,推理速度最高能快 3 倍;三是 1M 超长上下文,整个代码库、几十本书可以一次性喂进去。
同级量化里的基准测试,这次也几乎全线霸榜。手里有 64GB 内存设备的,现在就可以冲了。
模型下载:
https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF
官方指南:
正文完