javascript - JS中的蜘蛛爬行框架

Question

这不会是一个严格的技术编程问题。我正在寻求更多建议，希望你们能提供帮助。

我正在寻找一个网络框架/蜘蛛，它可以抓取我指向的不规则网站(没有易于定义的页面结构的网站，例如使用网址中的标题字符串进行索引)并搜索关键字。可以轻松定制的东西，我可以轻松地用 JS(最好)或 C# 编写附加功能

我对网络爬虫行业很陌生，所以只要给我一个框架，我就很乐意自己阅读它。谢谢:)

Answer 1

对我来说，最好的 C# 网络爬虫仍然是 Abot https://code.google.com/p/abot/它易于学习并且可以扩展。