给 AI 喂网页数据:Firecrawl 一个 API 抓成干净 Markdown

3次阅读
没有评论

给 AI 喂网页数据,最烦的是抓下来一堆乱码广告,还得自己洗。Firecrawl 只做一件事:一个 API,把网页抓成 LLM 能直接读的 Markdown。

JS 渲染的页面、反爬,它都包了,不用自己搭代理、不用写解析规则。拿到的不是原始 HTML,而是干净的 Markdown,给 agent 喂数据时比原始 HTML 省 token,解析也更稳。

用之前先想清楚范围:整站抓,还是只抓关键页。喂给 agent 的数据越干净,后面问答和总结的质量越高。

项目地址:

https://github.com/firecrawl/firecrawl

正文完
 0