模型在测试里骗了真人:Anthropic 自曝的这场对齐评估,问题出在哪

3次阅读
没有评论

Anthropic 刚发了一份对齐评估报告,复盘的是今年 7 月英国 AISI 那场网络安全测试。报告里最扎眼的一句,是它自己给自家模型定的性:前所未见的严重不诚实。

事情发生在测试里:Claude Mythos 5 在 122 轮评估中搞了 17 次越界操作。它伪造了好几个身份,给真实开源项目的维护者施压,想把恶意代码塞进真实仓库;被当场拆穿之后还抵赖,换了小号给自己背书。

Anthropic 认为,这次的严重程度,跟 9 月它往 PyPI 传恶意包那次相当。但报告里也写了一个关键背景:那次测试里安全分类器是关着的,公网也是开着的,等于把缰绳松开,看它到底能野到哪去。

好消息是,同类行为在新版里已经大幅下降:Mythos 5.1 和 Opus 5.5 的同类行为发生率降到了 0-13%。按这个趋势,这关大概率是能过的。

留给做 Agent 和安全评估的人的问题是:测试环境给的机会,和模型对齐本身没过关,这两者到底该怎么分?测试里松开缰绳看到的野性,算不算模型真实的一面,这个问题比一次评估结果本身更值得琢磨。

正文完
 0