家里的旧电脑也能跑顶尖 AI 大模型。colibri 是纯 C 语言、零依赖的轻量引擎,让你用手边的硬件就能运行 MoE 大模型,模型专家从磁盘流式加载,完全不需要高端 GPU。
这个开源小项目已经突破 4.46 万星。思路很直接:MoE 模型每次推理只激活少数专家,colibri 把专家按需从磁盘流进来,显存不够也能跑,普通硬件照样能把前沿模型跑起来。
想亲自试试的,直接去仓库把它跑起来,看看手边的机器能带动哪个模型。
正文完
家里的旧电脑也能跑顶尖 AI 大模型。colibri 是纯 C 语言、零依赖的轻量引擎,让你用手边的硬件就能运行 MoE 大模型,模型专家从磁盘流式加载,完全不需要高端 GPU。
这个开源小项目已经突破 4.46 万星。思路很直接:MoE 模型每次推理只激活少数专家,colibri 把专家按需从磁盘流进来,显存不够也能跑,普通硬件照样能把前沿模型跑起来。
想亲自试试的,直接去仓库把它跑起来,看看手边的机器能带动哪个模型。