c# - 如何使用 AbotX Javascriptrendering 在网页上覆盖和执行操作

Question

我正在尝试使用 AbotX crawler抓取我需要呈现 javascript 的网站并在其上按一个 span 标签。

我经常使用 Abot 爬虫，并预计必须覆盖一些类，就像我在以前的场合不得不扩展例如 CrawlDecisionMaker 一样。

但我似乎找不到从哪里开始，我希望我必须写这样的东西:

var implemnts = new ImplementationOverride(config);
implemnts.JavascriptRenderer = new PhantomJsRendererTest(config);

并扩展 PhantomJsRenderer 使其能够单击渲染页面上的按钮。

但是由于我看不到现有类的作用或找不到有关从哪里开始的任何信息，所以我完全迷路了。

我想标记帖子 Abot 和 AbotX，但我没有所需的声誉。

Answer 1

AbotX (使用 IsJavascriptRenderingEnabled = true)将检索页面源并执行所有 javascript 以获得最终页面呈现。这个最终呈现包括所有内容 (html/css) 甚至是使用 javascript 添加/修改的内容。它不允许您进一步执行 javascript。

如果您需要与页面进一步交互，那么网络爬虫可能不是您所需要的。您需要使用像 PhantomJs 这样的浏览器自动化框架。或 Selenium .这些是 headless 浏览器，可让您像在浏览器中一样与页面交互。