ruby - 使用 Mechanize 检索网站的所有链接

Question

如何使用 Mechanize 库查找网站上的所有链接？

我想递归地解析内部链接，以获取网站的所有链接。

Answer 1

你看过Anemone吗？ gem ？它是专门为蜘蛛网站创建的。

您可以执行以下操作来抓取并打印网站的所有链接:

require 'anemone'

Anemone.crawl("http://www.example.com/") do |anemone|
  anemone.focus_crawl { |page| puts page.links }
end

它有相当详细的记录，其中包含选项，可以选择是否要抓取整个侧面、排除某些类型的链接或排除类似的链接。