厉害了!27B 砍到 24GB,却几乎和原版一模一样。Qwen3.8-27B 的无损量化版,三档仅 23.7–30.5GB,EAR 高达 98–99%。

主要亮点:EAR 直接衡量与原版下一 token 概率的重叠,99% 基本等于统计上分不开。敏感层用更高精度,激活保持 BF16,专为最小体积保最高保真。
vLLM + Humming 即开即用,Apache 2.0 协议,GGUF 版下周到。
快速上手
装 vLLM + humming-kernels,然后:
vllm serve kaitchup/Qwen3.8-27B-SLQ-EAR99 --quantization humming --dtype bfloat16 --max-model-len 262144
之后直接调 OpenAI 兼容接口即可,需要工具调用/推理再加 parser。
模型集合:https://huggingface.co/collections/kaitchup/qwen38-27b-slq
推荐直接用 EAR99 版:https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-EAR99