javascript - 用 CasperJS 抓取 : page seems to load without javascript enabled

标签 javascript web-scraping phantomjs google-search casperjs

我正在尝试从 google 中抓取图书类型信息。

很像当您将计算/转换放入 google 时,结果显示在搜索结果上方的框中。我可以很容易地在浏览器(控制台)中抓取此框中的数据,但是当我尝试在 casper 中使用相同的代码时,内容框不会出现在代码中的任何位置。我可以在浏览器中复制它的唯一方法是关闭 JS。

我不确定为什么向 CasperJS 和我自己的浏览器显示不同的格式,但有没有办法让它们相同?这是我正在使用的当前代码,其中

链接= https://www.google.com/webhp?hl=en&tab=ww#safe=off&hl=en&output=search&sclient=psy-ab&q=The+Love+Affairs+of+a+Bibliomaniac+book+genre&oq=The+Love+Affairs+of+a+Bibliomaniac+book+genre

casper.start();
casper.userAgent('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36        (KHTML, like Gecko) ');
casper.thenOpen(links, function() {

casper.waitForSelector('.answer_predicate', function() {
this.echo(this.getHTML('.answer_predicate'));

});



});
casper.run();
}

最佳答案

运行以下内容:

var casper = require('casper').create({
  pageSettings: {
    loadImages: false,
    loadPlugins: false,
    userAgent: 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1588.0 Safari/537.36'
  }
});

links = 'https://www.google.com/webhp?hl=en&tab=ww#safe=off&hl=en&output=search&sclient=psy-ab&q=The+Love+Affairs+of+a+Bibliomaniac+book+genre&oq=The+Love+Affairs+of+a+Bibliomaniac+book+genre'

casper.start();

casper.thenOpen(links, function() {
  this.waitForSelector('.answer_predicate', function() {
    this.echo(this.getHTML('.answer_predicate'));
    this.echo(this.getElementInfo('.answer_predicate').text);
  });
});

casper.run();

给我这个输出:

<span class="kno-a-v">Fiction</span>
Fiction

我的假设是这里的问题与发布的问题相同 here .

关于javascript - 用 CasperJS 抓取 : page seems to load without javascript enabled,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17909340/

相关文章:

javascript - 如何使用 webpack 将两个或多个函数导出到全局上下文?

python - (python) 列表索引超出范围 - 使用 Selenium 单击事件

r - 将 PDF 从 iframe 抓取到 R

java - 鼠标悬停并随后单击菜单项

javascript - 禁用 ASP.NET LinkBut​​ton 后重新启用它的正确方法是什么?

javascript - Firebase Web自动插入createdAt和updatedAt字段

javascript - 如何将对象数组添加到 apollo 客户端突变请求?

python - 使用selenium返回动态页面的html代码

node.js - Node 骑士异步不起作用?

javascript - 从 PhantomJS/CasperJS 中的 “SyntaxError: Parse error” 消息获取更多信息