小显存跑大模型：AirLLM 分层推理，8GB 显存跑 405B Llama 3.1

小显存跑大模型，这事儿听起来像吹牛，AirLLM 却真给做成了。它的门道叫分层推理：不把整个模型一次性灌进显存，而是一层一层加载，算完一层立马清掉，硬生生让巨无霸挤进了小破卡。

仓库里给出的数字很直接：405B 的 Llama 3.1 在 8GB 上能跑，671B 的 DeepSeek-V3 大概 12GB，连 Kimi K3 那种 2.8T 的大家伙都压到 4GB 以下。MoE 走的是按专家流式加载，同一套逻辑。

更关键的是 100% 开源。手头只有小显存、又想本地跑大模型的，可以先去仓库看看。

仓库地址：github.com/0xSojalSec/airllm