Gemini 4 Argon 被低估了:换个 Harness,成绩从 40% 涨到 54%

2次阅读
没有评论

Gemini 4 Argon 可能被严重低估了。同一模型,只是换了个“外壳”,在新基准上的成绩就从 40% 涨到 54%,直接反超 GPT-6 Astra,只排在 Claude Opus 5.5 之后。

这个基准是新出的 CS 科研级测试 FrontierCS 2,一共 48 道题:删掉论文的核心贡献代码,要求 Agent 在隐藏指标上全面超越原作者的实现,而且全程不能看论文、不能上网。原榜单是 Opus 5.5 58%、Astra 44%、Argon(Pi Harness)40%。

审计发现了关键 bug:Pi Harness 一碰到 fallback 或安全拒答就直接结束运行,Argon 因此有约 20% 的任务(10/48)被中途掐断。换用 Google 自家的 Antigravity Harness 重跑后,Argon 从 40% 涨到 54%,直接反超 Astra。

结论很直接:模型能力之外,Agent 的 Harness——执行框架、容错、重试、上下文管理——已经是决定性变量。以后再比模型,必须标注用的是哪个 Harness,否则榜单本身就没意义。

正文完
 0