Codex 省 Token 不只有换模型这一招。TOON 是专门给 AI 设计的精简数据格式,能把符合条件的 JSON 数据转成更紧凑的格式,尤其适合重复字段特别多的数据。官方基准测试里,混合结构数据比普通 JSON 少用 42.6% Token。
最值得关注的 5 点:一、Token 消耗更低。官方基准中混合结构数据比 JSON 少用 42.6% Token,长上下文场景值得一试。二、重复数据更精简。相同字段只需要声明一次,再按行排列数据,处理大量结构统一的记录更省空间。三、AI 更容易理解。明确声明字段和数据行数,帮助模型识别数据结构,减少字段错位等问题。四、支持双向转换。JSON 和 TOON 可以无损转换,不用推翻现有数据结构。五、开源免费。提供现成的工具和多语言实现,可以让 Codex 帮你评估、安装并接入合适的工作流。
最实用的是不用一上来就改整个项目。直接把下面这段提示词扔进 Codex:“阅读 github 中 toon-format/toon,理解官方文档和使用方式。检查当前项目中适合使用 TOON 的数据输入场景,对比 JSON 与 TOON 的 Token 消耗和解析结果,选择合适的场景进行测试。先输出改造方案,确认后再实施,完成后运行测试验证,不要盲目替换不适合的数据结构。”
项目地址:
https://github.com/toon-format/toon
别再只想着换模型了,有时候优化数据怎么喂给 AI,本身就是省钱的办法。