花 21 亿 token 给大模型做记忆:一周实验换来了什么

3次阅读
没有评论

一个星期,累计消耗约 21 亿 token。目标只有一个:给推理大模型配一套记忆系统——从过去的行动和结果里学东西,需要时取回,帮下一次决策;记错了,也能被新经历纠正。这一周的投入是研究过程中的 AI 使用量,不是原型训练量。

花 21 亿 token 给大模型做记忆:一周实验换来了什么

设想的分工很清楚:记忆系统负责组织经历、维护状态,推理模型处理需要重新算的问题,算完再把结果交回记忆。灵感来自一个朴素的观察:人吃下一个馒头,就能走、跑、转弯,还能临时改主意。除了继续增加计算,能不能让已经做过的计算更有用?

早期实验很小:程序推动一个物体,观察它怎么移动,用 GRU 保存内部状态。为了验证历史真的起了作用,做了一个对照——一份保留状态,一份每步清空,结果清空状态的版本反而更准。教训很直接:给模块起一个“记忆”的名字,比证明它有用容易得多。

花 21 亿 token 给大模型做记忆:一周实验换来了什么

验证方法也定得很死:复制同一时刻的程序三份,一份保留历史,一份拿走历史,一份把历史里的线索和结果配错,其他条件全部相同,再看选择有什么不同。只看到“它读过记忆”还不够,还要追下去:它取回了哪条记录,怎样改变判断,最后有没有真正执行不同的动作。

中间走了两次偏。第一次,程序逐渐会找资源、做规划、维持模拟身体,看起来一直在进步,可它越来越像一个追逐固定目标的控制器——有的版本留着内部反馈接口,决策时却根本不读取。程序变能干了,不能记成反馈机制成功。第二次,审阅的 AI 指出普通上下文学习也能做到取回经历,项目一度停在设计阶段。后来分清了:功能成立和算法独特是两回事,先验证功能,不必先证明独特;但也不能因为功能发生了,就把它包装成新算法。

花 21 亿 token 给大模型做记忆:一周实验换来了什么

第六阶段终于有了一组能回答最初问题的结果。启用的后备版本 A2 进入熟悉场景时,先用取回的历史调整当前评价,再继续根据新经历学习。在 32 个独立测试世界中,它通过了功能验证:保留历史确实能改变后续选择,规律变了行为能够修正,自己行动得到的结果能继续改变之后的评价和选择。测试里包含了历史已经不可靠的情况,没有只挑记忆帮忙的时候。

但结果也有不好看的一面:旧记录不断被淘汰,每组只能直接取回最近几次;历史有时会让它坚持错误判断;历史再使用上,它输给了更简单的普通上下文学习器。得到的只是一个可以追踪、可以拆开检查的功能原型,证明了一些环节能工作,没有证明值得拿它替代现有的简单方法。

花 21 亿 token 给大模型做记忆:一周实验换来了什么

最新的进展是推理反馈:在 16 个开发测试世界中,计算结果确实走进了行动,预先选定的行动调整指标平均提高约 10 个百分点。但要求效果足够稳定,而不只看平均值,按事先设定的统计门槛,它仍没过关,没有进入最后确认。同样的计算结果交给普通缓存也能发挥作用,目前没有证据说明存成“内部经历”会更好。

纠错测试也出了问题:故意给程序一个错误结论,有些错误已经影响了动作,测试指标却没有识别出来。还不能说它能可靠纠错,也不能说它不能——首先要修的是测量方法。工程检查时已经发现指标不灵敏,却仍继续跑了正式开发,事先披露了问题,也不能让这个设计变得有效。

花 21 亿 token 给大模型做记忆:一周实验换来了什么

下一步是修好纠错测试:一个错误怎样进入程序,怎样影响行动,又在哪一次新观察后被修正,要能说清楚。再往后,才是把它整理成推理模型能用的记忆接口:接收经历、保留来源、更新关联、按需要取回,并处理冲突和遗忘。到那时,才有资格测试最初的愿望——它能否减少重复推理,让模型更有效地使用过去的计算。

这一个星期还没有解决大模型的记忆问题。但已经比出发时更清楚:哪些环节真的工作了,哪些只是名字好听,以及下一步应该把力气花在哪里。

花 21 亿 token 给大模型做记忆:一周实验换来了什么

文中引用的研究背景:

McClelland 等,1995:https://web.stanford.edu/~jlmcc/papers/McCMcNaughtonOReilly95.pdf

Rolnick 等,2019:https://arxiv.org/abs/1811.11682

Ramsauer 等,2021:https://arxiv.org/abs/2008.02217

Gershman 等,2017:https://elifesciences.org/articles/23763

Heald 等,2021:https://www.nature.com/articles/s41586-021-04129-3

花 21 亿 token 给大模型做记忆:一周实验换来了什么花 21 亿 token 给大模型做记忆:一周实验换来了什么

正文完
 0