OpenAI 这次发的 Decisions API,比新模型更有意思。以前做 Agent,判断一下要不要继续、该调用哪个工具,都得让大模型跑一遍。现在连这种小决策都单独做成 API 了。
最多一次问 400 个问题,每百万输入 Token 只要 0.10 美元,还不收输出费。官方说最高能快 10 倍。
这意味着以后做 Agent,可能会变成大模型负责干活,小模型负责做判断。把轻量决策从大模型手里分出来,既省钱又提速,Agent 的成本结构会跟着变。
正文完
OpenAI 这次发的 Decisions API,比新模型更有意思。以前做 Agent,判断一下要不要继续、该调用哪个工具,都得让大模型跑一遍。现在连这种小决策都单独做成 API 了。
最多一次问 400 个问题,每百万输入 Token 只要 0.10 美元,还不收输出费。官方说最高能快 10 倍。
这意味着以后做 Agent,可能会变成大模型负责干活,小模型负责做判断。把轻量决策从大模型手里分出来,既省钱又提速,Agent 的成本结构会跟着变。