8 个对话同时进来，最后一个等了 201 秒才吐出第一个字。新版本里，这个数字是 31 秒，快了 6 倍多。开源本地推理引擎 TensorFold 刚发了 1.1.6。
测试条件写得很具体：8 个对话同时到，带着同一份全新的 2.8 万 token 系统提示词，在英伟达 GB10 上跑 Qwen3.8-27B。GB10 就是 DGX Spark 那台桌面小主机里的芯片。而且每条回复都和它单独跑时一模一样，质量没打折。
算一下就明白了：201 除以 8 大概 25 秒，跟 31 秒很接近。说白了就是那段共同的开头只读一遍，8 个对话一起用。以前等于把同一份说明书，挨个给 8 个人从头念一遍。
这比跑分本身有意思。现在的 Agent，系统提示词动不动几万 token，规则、工具说明、背景资料全塞进去。同时开几个 Agent 干活，它们的开头几乎一模一样。等待的大头，很多时候花在“读”上，写反而快。云厂商早就在吃这块了，缓存命中的输入，价格大概只有原价一成。现在这套省法，开始搬到自己桌上的机器里。
对想在本地跑一堆 Agent 的人，这很实在：同样一台机器，能同时养的“员工”变多了。当然也有边界：只有多个对话共享同一段长开头，才有这么大的收益，各问各的就没这么夸张。
顺带一提，官网还写着正在为卫星部署做准备，那里每一点硬件资源都得算着用。“本地推理”的本地，范围比想的大。
正文完