旧电脑也能跑顶尖大模型:colibri 纯 C 轻量引擎,MoE 模型不用高端 GPU

3次阅读
没有评论

家里的旧电脑也能跑顶尖 AI 大模型。colibri 是纯 C 语言、零依赖的轻量引擎,让你用手边的硬件就能运行 MoE 大模型,模型专家从磁盘流式加载,完全不需要高端 GPU。

这个开源小项目已经突破 4.46 万星。思路很直接:MoE 模型每次推理只激活少数专家,colibri 把专家按需从磁盘流进来,显存不够也能跑,普通硬件照样能把前沿模型跑起来。

想亲自试试的,直接去仓库把它跑起来,看看手边的机器能带动哪个模型。

项目地址:https://github.com/JustVugg/colibri

正文完
 0