标签：javascript web-scraping phantomjs casperjs google-search

我试图从谷歌刮取书籍类型信息.

就像将计算/转换放入谷歌一样,结果会显示在搜索结果上方的框中.我可以很容易地在浏览器(控制台)中抓取此框中的数据,但是当我在casper中尝试相同的代码时,内容框不会出现在代码中的任何位置.我可以在浏览器中复制这个的唯一方法就是关闭JS.

我不确定为什么CasperJS和我自己的浏览器会显示不同的格式,但有没有办法让它们相同？这是我正在使用的当前代码,其中

links = https://www.google.com/webhp?hl=en&tab=ww#safe=off&hl=en&output=search&sclient=psy-ab&q=The+Love+Affairs+of+a+Bibliomaniac+book+genre&oq=The+Love+Affairs+of+a+Bibliomaniac+book+genre

casper.start();
casper.userAgent('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36        (KHTML, like Gecko) ');
casper.thenOpen(links, function() {

casper.waitForSelector('.answer_predicate', function() {
this.echo(this.getHTML('.answer_predicate'));

});



});
casper.run();
}

解决方法:

运行以下内容：

var casper = require('casper').create({
  pageSettings: {
    loadImages: false,
    loadPlugins: false,
    userAgent: 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1588.0 Safari/537.36'
  }
});

links = 'https://www.google.com/webhp?hl=en&tab=ww#safe=off&hl=en&output=search&sclient=psy-ab&q=The+Love+Affairs+of+a+Bibliomaniac+book+genre&oq=The+Love+Affairs+of+a+Bibliomaniac+book+genre'

casper.start();

casper.thenOpen(links, function() {
  this.waitForSelector('.answer_predicate', function() {
    this.echo(this.getHTML('.answer_predicate'));
    this.echo(this.getElementInfo('.answer_predicate').text);
  });
});

casper.run();

给我这个输出：

<span class="kno-a-v">Fiction</span>
Fiction

我的假设是这里的问题与here发布的问题相同.

标签：javascript,web-scraping,phantomjs,casperjs,google-search
来源： https://codeday.me/bug/20190624/1283132.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。