763B 参数的 MoE 大模型，被压到 1.75 bpw，能在单张 12GB 显卡上跑起来。
关键不是“压得狠”，而是压得“不均匀”。ISTA-DASLab 这版用的是 GSQ + RCO 的非均匀量化，给不同 tensor 分配不同量化类型，而不是一刀切。结果 IQ2_XXS（2.00 bpw，约 249GB）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上把原始分数 100% 恢复；更狠的 IQ1_M（1.75 bpw，约 231GB）整体恢复 98.7%。
三个版本这样分：IQ1_M 1.75 bpw、总计 231.32GB，是最小的；IQ2_XXS 2.00 bpw、248.84GB，是推荐档，最接近基础模型；IQ2_XS 2.25 bpw、265.83GB。约 111GB 的 Engram 表直接走 SSD 内存映射，不用全塞进内存或显存。
配置门槛是 12GB 显存 + 46–64GB 系统内存，首次下载要留出 240–270GB 空间，SSD 优先。速度别期待太高：RTX 3060 上 IQ2_XXS 约 8–10 tok/s，属于能玩、能验证、不适合高强度生产的水平；换更好的卡会更快。
模型与论文：
ISTA-DASLab / DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF（Hugging Face）
GSQ 论文 arXiv:2604.18556
RCO 论文 arXiv:2605.00649
正文完