27B 砍到 24GB 几乎无损:Qwen3.8-27B 无损量化版上手

4次阅读
没有评论

厉害了!27B 砍到 24GB,却几乎和原版一模一样。Qwen3.8-27B 的无损量化版,三档仅 23.7–30.5GB,EAR 高达 98–99%。

27B 砍到 24GB 几乎无损:Qwen3.8-27B 无损量化版上手

主要亮点:EAR 直接衡量与原版下一 token 概率的重叠,99% 基本等于统计上分不开。敏感层用更高精度,激活保持 BF16,专为最小体积保最高保真。

vLLM + Humming 即开即用,Apache 2.0 协议,GGUF 版下周到。

快速上手

装 vLLM + humming-kernels,然后:

vllm serve kaitchup/Qwen3.8-27B-SLQ-EAR99 --quantization humming --dtype bfloat16 --max-model-len 262144

之后直接调 OpenAI 兼容接口即可,需要工具调用/推理再加 parser。

模型集合:https://huggingface.co/collections/kaitchup/qwen38-27b-slq

推荐直接用 EAR99 版:https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-EAR99

正文完
 0