290B 级的 MoE 大模型,家用电脑真能跑起来吗?FreeToken 给出的答案是:可以,而且不用数据中心级别的硬件。
FreeToken 是一个边端 MoE 推理引擎,核心思路是 CPU 和 GPU 协同计算,专家模型按需缓存换入,不用把整个模型一次性塞进显存。这样一来,290B 以上的模型也能在一台游戏 PC 上本地跑起来。
对想本地跑大模型的人来说,上手前先做一件事:查一下自己的显卡在不在支持列表里,确认配置够不够再动手。DeepSeek、Qwen 这类 MoE 模型,都是可以先试的方向。
正文完