javascript - 使用nodejs和phantomjs进行动态抓取

Question

首先，我已经成功安装了 PhantomJs 及其 npm 接口(interface) phantom 。我已设置代码以使用新语法加载我的页面(此处发布的所有其他问题均基于旧代码语法，或者我遗漏了某些内容)。 this is the source I'm trying to scrape .

现在，右侧边栏，即“Comune”附近带有假选择的侧边栏和另一个是动态生成的，我不明白为什么 phantomjs 没有选择它们。按照我的代码:

var sito = "http://bicincitta.tobike.it/";
var sitepage = null;
var phInstance = null;
var phantom = require('phantom')

phantom.create()
    .then((instance) => {
    phInstance = instance;
return instance.createPage();
})
.then((page) => {
    sitepage = page;
return page.open(sito);
})
.then((status) => {
    console.log(status);
return sitepage.property('content');
})
.then((content) => {
    console.log(content);
sitepage.close();
phInstance.exit();
})
.catch((error) => {
    console.log(error);
phInstance.exit();
})

我现在正在用头撞墙。我是否应该以某种方式获取网站的脚本并执行它们？我错过了指令吗？

此外，旁注；如果页面的范围位于第二个“.then”内，目前还不清楚如何将其他方法连接到页面。

Answer 1

过去一周我一直在使用 PhantomJS 来尝试让它用 Angular 渲染的数据来拍摄页面快照。我发现最简单的事情就是使用 page.injectJs('../script.js')对于任何本地脚本，以及 page.includeJs('http://jquery.com...')对于任何外部脚本。由于 Phantom 是沙盒的，它不会在它捕获的页面上执行 javascript，除非你给它 JS 来执行。这将允许您截取包含使用 javascript 呈现的数据的页面。