DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版

3次阅读
没有评论

DeepSeek V4.1 Flash 1017 出了个未审核版,拒答率直接砍掉 91.5%,能力还几乎没掉:有害提示拒答率从 0.874 降到 0.074,MMLU zero-shot 反而从 91% 涨到 92%。

DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版

这个版本是冲着安全研究、红队和 Agent 场景做的:1M 上下文、Engram、函数调用都齐全。本地部署的内存门槛不低,Mix-256G 推荐版约 236GB,Mix-128G 能压到 114GB,但质量会掉。

DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版

跑起来分三步:去 Hugging Face 下推荐量化版;编译带 PR #30817 的 llama.cpp,原版跑不了这套权重;再用 llama-server 加载,-ngl 99 把注意力扔到 GPU,专家可以放 CPU 或统一内存。Engram 表放 NVMe SSD,别开 –mlock,不然内存会爆。

DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版
DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版

另一条线更适合普通硬件:ISTA-DASLab 的 GSQ-RCO 非均匀量化版,Strata 引擎原生支持,763B 参数的 MoE 大模型最低能压到 1.75 bpw,12GB 显卡就能跑,前沿质量几乎无损。

DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版
DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版

提醒一句:这个版本已经去掉了拒答,适合做安全研究时用,最好加自己的系统提示和输出过滤兜底,后果自行负责。

DeepSeek V4.1 Flash 1017 未审核版:拒答率砍掉 91.5%,12GB 显卡也能跑 763B 量化版

权重下载:https://huggingface.co/orcarouter/DeepSeek-V4.1-Flash-1017-abliterated-GGUF

官方 API:https://www.orcarouter.ai/models/orca/orcacyber-flash-1.0

正文完
 0