FreeToken:290B 大模型,游戏 PC 也能本地跑

2次阅读
没有评论

290B 级的 MoE 大模型,家用电脑真能跑起来吗?FreeToken 给出的答案是:可以,而且不用数据中心级别的硬件。

FreeToken 是一个边端 MoE 推理引擎,核心思路是 CPU 和 GPU 协同计算,专家模型按需缓存换入,不用把整个模型一次性塞进显存。这样一来,290B 以上的模型也能在一台游戏 PC 上本地跑起来。

对想本地跑大模型的人来说,上手前先做一件事:查一下自己的显卡在不在支持列表里,确认配置够不够再动手。DeepSeek、Qwen 这类 MoE 模型,都是可以先试的方向。

项目地址:https://github.com/FlashML-org/FreeToken

正文完
 0