php - 是否有适用于PHP或Ruby的网络搜寻器库？

Question

是否有一个可用于php或ruby的web爬虫程序库？一个能做到深度优先或广度优先的图书馆…并处理链接，即使使用了ref=“../relative\u path.html”和基url。

Answer 1

查看此页面以获取Ruby库：Ruby Mechanize
我想说的是，你仍然要对你的爬虫穿越网站的方式负责。