Flint开源:能在笔记本上跑的40B编码模型

3次阅读
没有评论

写代码用的 AI 模型,一定要连云端吗?Recursive 开源的编码模型 Flint 给出了不同的答案:这是一个专为本地运行设计的模型,目标是让 agentic coding 直接在你自己的笔记本上完成。这款模型一经推出便受到关注。

据介绍,Flint 采用 MoE 架构,总参数量 40B,但每个 token 只激活约 2.5B 参数,这是它能在本地跑得快的关键。帖中称,在 50B 以下的 MoE 模型中,Flint 在多项基准上处于领先:SWE-Bench Pro v2 为 89.7,SWE-Bench Verified 为 74.2,Terminal-Bench 2.1 为 54.9(均为帖中数据)。运行表现方面,帖中称在 M4 Pro 版 MacBook Pro 上,Flint 的生成速度可达每秒 125 个 token 以上,全程数据不出本机、可以离线使用。权重已上线 Hugging Face,可用 ollama、llama.cpp、vLLM 运行。

看点一:激活参数小,才是本地模型的速度密码

很多人看到 40B 就觉得笔记本跑不动,其实对 MoE 模型来说,真正决定速度的是每个 token 的激活参数量。Flint 每步只激活约 2.5B 参数,计算量更接近一个小模型,内存与带宽压力随之下降,这才有了三位数以上的每秒 token 数。下次挑本地模型时,与其只看总参数,不如多问一句:激活参数是多少。

看点二:本地运行解决的是信任问题

代码是很多公司最敏感的资产,把代码发给云端 API,意味着要接受数据出境、留存与合规审查等问题。本地模型把这条链路直接剪断:断网能用,代码不出机器。对于金融、政企或手握未公开项目的开发者来说,这个价值有时比跑分高几个点更实在。Flint 把速度做到可用区间之后,本地编码 agent 才算真正有了入场资格。

想上手可以这样开始

如果你手边有一台 Apple Silicon 的 Mac 或显存够用的 PC,最快的体验路径是装好 ollama,从 Hugging Face 拉取 Flint 权重,先拿它处理几个真实小任务:解释一段老代码、补一个函数、写一组测试,再和你现在用的云端模型对比质量与速度。基准分数终究是别人机器上跑的,你的项目、你的体感,才是决定要不要把它留下来的最终标准。

正文完
 0