AI 应用上线之后最让人头疼的,往往不是模型本身,而是出了问题说不清:用户反馈回答不对,你翻日志只看到一句最终输出,中间用了哪版 prompt、检索回来了什么、哪一步花了多少钱,全靠猜。改完一版 prompt,也说不清到底是变好还是变坏。
Langfuse 就是为了解决这个痛点而生的开源工具:它能把每一次大模型调用都摊开给你看。
每次调用都会留下一条完整追踪,从输入到输出全链路可查;prompt 统一放在一处管理,不用散落在代码里;改完 prompt 之后,拿数据集跑一遍评估就能前后对比——用 LLM 当裁判、人工标注、收集用户反馈都行,效果变化一目了然。
它和常用框架的集成也很齐全,OpenAI、LangChain、LlamaIndex、Vercel AI SDK 都有现成接入方式,接进现有项目不费事。
这个项目在 GitHub 上已经有 3.6 万 star、4100 多个 fork,10 月 27 日和 29 日又各发了一个新版本,是真有很多团队在日常用。核心代码 MIT 开源,可以用官方云(有免费额度,不用绑卡),也可以自己部署;它现在已经是 ClickHouse 的一部分。
AI 应用能跑起来只是开始,看得见,才改得动。