screen-scraping - 使用屏幕抓取器提取数据

Question

<分区>

Answer 1

自己写——这并不难。如果您不熟悉编程或无法选择编程语言:使用 Python 库支持进行抓取。

至于如何解决这个问题，有两种流行的技术:使用 regular expressions , 它们最适合ad-hoc 屏幕抓取。如果你的目标网站结构良好——阅读:不是临时的——然后使用一个允许你使用 DOM 的框架。 .

导航和提取

这是编写 spider 的两个阶段.您的蜘蛛需要浏览网站以访问不同的页面，并且需要提取感兴趣的信息。这两个阶段都可以由 DOM 或 RE 驱动

p.s.，因为您的名字表示 .NET——我应该提到我已经用 C-Sharp 编写了爬虫——这是轻而易举的事。