没文档的网站接口不用再手写爬虫:bluebox 先查套路,查不到再上浏览器 Agent

8次阅读
没有评论

没文档的网站接口,扒数据全靠手写爬虫?bluebox 换了个思路:先查现成的网站套路索引,并行跑;索引里没有,再 fallback 到实时浏览器 Agent 去扒。

常扒没文档网站数据的人都懂,重复造轮子最费时间。有套路索引打底,大量常见站点的解析逻辑不用每次重写,只在新站点上才动用浏览器 Agent,效率和成本都划算不少。

项目已开源,用之前要准备好 Vectorly 与模型 Key。

项目地址:https://github.com/VectorlyApp/bluebox

正文完
 0