Agent 越跑越贵、效果却不见涨?Overmind 把线上 Trace 变成持续改进的数据

4次阅读
没有评论

Agent 上线之后越跑越贵,效果却不见涨,问题往往不在提示词上,而在没有一套办法,拿它真实跑起来的数据持续改进。Overmind 就是干这个的:一个让 Agent 持续变好的平台。

它的循环很直接:线上跑出来的 trace 直接变成数据集,再拿这份数据去做评测、做微调。改完的模型可以下载下来自己用,效果不对也能回滚,不用从头再来。

这套打法最适合已经有 Agent 在线上跑的团队:有真实流量,就有真实 trace 可用,用跑出来的数据改进,比凭感觉调提示词靠谱得多。

开源地址:https://github.com/overmind-core/overmind

正文完
 0