给 AI 喂网页数据,最烦的是抓下来一堆乱码广告,还得自己洗。Firecrawl 只做一件事:一个 API,把网页抓成 LLM 能直接读的 Markdown。
JS 渲染的页面、反爬,它都包了,不用自己搭代理、不用写解析规则。拿到的不是原始 HTML,而是干净的 Markdown,给 agent 喂数据时比原始 HTML 省 token,解析也更稳。
用之前先想清楚范围:整站抓,还是只抓关键页。喂给 agent 的数据越干净,后面问答和总结的质量越高。
项目地址:
正文完
给 AI 喂网页数据,最烦的是抓下来一堆乱码广告,还得自己洗。Firecrawl 只做一件事:一个 API,把网页抓成 LLM 能直接读的 Markdown。
JS 渲染的页面、反爬,它都包了,不用自己搭代理、不用写解析规则。拿到的不是原始 HTML,而是干净的 Markdown,给 agent 喂数据时比原始 HTML 省 token,解析也更稳。
用之前先想清楚范围:整站抓,还是只抓关键页。喂给 agent 的数据越干净,后面问答和总结的质量越高。
项目地址: